[開源項目] 基于WebGPU的免安裝本地AI聊天機(jī)器人 (開發(fā)中) – 藍(lán)點網(wǎng)
早前谷歌在 Google Chrome Canary 版里發(fā)布了 WebGPU 項目，開源該項目可以讓開發(fā)者基于瀏覽器調(diào)用本機(jī)顯卡算力。項目
所以在 GitHub 上有開源團(tuán)隊構(gòu)建了 Web-LLM 項目，基于機(jī)器三亞哪里能找到小姐上門服務(wù)【電話微信192=1819=1410提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)即基于 Web 的安裝大型語言模型，一切都在瀏覽器內(nèi)運(yùn)行，本地不需要服務(wù)器支持、聊天藍(lán)點不需要安裝、人開直接利用 WebGPU 特性運(yùn)行。發(fā)中
這個項目可以大幅度簡化搭建 AI 聊天機(jī)器人的開源步驟，而且可以保護(hù)隱私，項目三亞哪里能找到小姐上門服務(wù)【電話微信192=1819=1410提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)因為這個 AI 模型是基于機(jī)器 “你” 控制的，你提交的安裝數(shù)據(jù)不會被共享給開發(fā)者進(jìn)行模型訓(xùn)練。
這個項目還在開發(fā)中，本地有興趣的聊天藍(lán)點開發(fā)者可以參與該項目。
![[開源項目] 基于WebGPU的人開免安裝本地AI聊天機(jī)器人 (開發(fā)中)](https://img.lancdn.com/landian/2023/04/98381.png)
當(dāng)然由于是相當(dāng)于在本地運(yùn)行的，所以顯卡性能至關(guān)重要，根據(jù)開源團(tuán)隊說明， 顯存至少需要 6.4GB，所以如果你的顯卡顯存比較小的話可能無法運(yùn)行。
必要條件：Google Chrome 113.0+、顯存至少為 6.4GB，使用不同的模型顯存要求可能還會增加。
項目地址：https://github.com/mlc-ai/web-llm
演示地址：https://mlc.ai/web-llm/#chat-demo
注：演示聊天使用的模型是 vicuna-7b-v0。