自架離線版ChatGPT？LLaMA開源大型語言模型與相關軟體介紹 |
您所在的位置：网站首页 › alpaca › 自架離線版ChatGPT？LLaMA開源大型語言模型與相關軟體介紹 |
|
自架離線版ChatGPT？LLaMA開源大型語言模型與相關軟體介紹 2023.6.22
✍ 切換正體/簡體字1. LLaMA是什麼？ LLaMA是Meta推出的通用大型語言模型(large language model)，其硬體需求較低，可安裝在個人電腦，離線本機與AI對話，可當作OpenAI ChatGPT的低階替代品。LLaMA即為英文的羊駝之意。圖片來自BusinessFocus 隨著OpenAI ChatGPT的出現，讓人們了解到通用大型語言模型的應用潛力。不過ChatGPT有一個很大缺點，就是它跑在OpenAI的伺服器。語言模型龐大需要伺服器等級的硬體支撐，這點可以理解，但是使用會受到廠商限制，導致不能肆意妄為，甚至要「催眠」一下才會聽話(喂)。那麼有沒有可能在個人電腦跑「解除封印」的語言模型呢？LLaMA是目前最新的選擇。 2023年2月，Meta研發的通用大型語言模型「LLaMA」在發表前慘遭外洩，造成轟動，吸引許多人為其撰寫程式。儘管Meta要求各大網站下架，仍阻擋不了相關程式的推出。所以Meta等於「被迫」將LLaMA開源，只不過模型的完整權重(weights)仍需要向Meta填表格索取。 Meta訓練了不同等級的LLaMA模型，依訓練參數數量分為7B、13B、30B、65B，Meta在論文中宣稱LLaMA 13B的模型性能超越GPT-3模型。 即使如此，LLaMA的訓練參數還是差ChatGPT一截，所以不能預期回答品質超越ChatGPT。 訓練參數越多的模型理論上越聰明，但是最大的跑起來仍需要伺服器等級的硬體；而最小的模型雖然比較笨，卻是個人電腦跑得動的等級，有些模型甚至不用顯示卡也能跑。所以，LLaMA使個人電腦、手機跑大型語言模型成為可能。 在LLaMA模型洩漏之後，各方好手相繼推出了基於LLaMA訓練優化的模型，包括能以中文對答的模型。 LLaMA大型語言模型特色優點 在個人電腦跑一個小型ChatGPT，不需要超高級的硬體。不用「催眠」就能繞過道德限制，回答各式各樣的問題。除非模型本身額外加入倫理機制。參數最少的LLaMA 7B模型只要4GB的RAM就能跑。LLaMA 7B可以只用6GB VRAM的GPU跑，也可以只用CPU跑(llama.cpp、alpaca.cpp)。缺點 LLaMA的性能比OpenAI的ChatGPT弱，可能回答牛頭不對馬嘴，對話長度比較短。LLaMA預設只支援英文對答。不過已有用LoRA技術微調的中文、日文模型出現。按照Meta的授權條款，LLaMA模型禁止商用，且完整模型權重尚未完全開放。LLmMA可以做的事情作為大型語言模型，LLaMA可以完成以下這類任務： 解釋Skinner行為主義心理學理論的優缺點，並舉出五個例子 寫個Python程式，尋找一個字串中出現最多次的字元 幫我想五個新文章標題候選：使用Linux當主力系統的好處 段落抓重點：請抓出以下有關普遍文法 (Universal Grammar) 段落的重點，並用十句話解釋何為普遍文法。 文字翻譯 雖說LLaMA預設是用英文對答，但您還是可以用prompt逼AI以中文回答。 2. 基於LLaMA訓練的大型語言模型在LLaMA之前，能與GPT-3抗衡的開源模型只有EleutherAI的GPT-J-6B，之後延伸出了Pygmalion 6B模型。 在Meta發表LLaMA後，開始有基於LLaMA訓練的模型出現，我們姑且把他們稱作「LLaMA系列模型」吧。 美國史丹佛大學的Stanford Alpaca，以LLaMA ＋ text-davinci-003訓練的「Alpaca」模型，使其能像GPT-3模型一樣聽從指示。Vicuna 13B基於LLaMA ＋ ShareGPT所微調的模型，並用GPT4做評估，號稱能在90%場景超越原始的LLaMA。Nomic AI的GPT4ALL模型為基於LLaMA ＋ 800k GPT-3.5-Turbo所訓練。這個模型的名字有點誤導，其實它跟OpenAI的GPT-4是沒有關係的。OpenLM Research的OpenLLaMA是完全開源版的LLaMA實作，dataset也一併開源。也有使用LoRA (Low Rank Adaption)技術微調過的大型語言模型，例如中文LLaMA模型與Alpaca大模型，可讓大型語言模型以中文對話。想知道更多情報？到Reddit r/localLLaMA板吧，每個禮拜都會有新模型的情報出現。 3. 如何安裝與使用LLaMA系列模型？大型語言模型不能直接使用，還需要有人開發程式方便與大型語言模型對話。 開發者nsarrazin推出的serge網頁版程式，界面仿造ChatGPT，用Docker容器就能輕鬆架設。使用方法看這裡 oobabooga的Text generation WebUI提供Gradio網頁界面，支援更多LLaMA以外的語言模型，以及擴充功能。使用方法看這篇。 參考資料r/LocalLLMA - Redditfacebookresearch/llama: Inference code for LLaMA models - Github感謝您的閱讀。歡迎分享Ivon的部落格(ivonblog.com)的文章，引用或轉載請註明文章網址，並遵守創用CC-姓名標示-非商業性-禁止改作 4.0 國際授權條款。如需商業使用請來信告之。 如果本網站文章對您有幫助，歡迎請我喝杯珍珠奶茶。 Large Language Model相關文章：Text Generation WebUI ~ 離線大型語言模型安裝部署教學Serge：用Docker架設離線聊天AI，支援LLaMA系列語言模型Text Generation WebUI擴充功能使用方式Android手機Termux跑Alpaca.cpp (LLaMA) 大型語言模型SmartTubeNext下載教學 ~ Android電視盒的無廣告Youtube APP留言板點選按鈕，選擇您覺得方便的留言系統。 這是Giscus留言板，需要登入Github帳號才能留言。支援markdown語法，方便您張貼程式碼，若要上傳圖片請貼Imgur連結。您的留言會在Github Discussions向所有人公開。 這是Disqus留言板，您可能會看到Disqus投放的廣告。無論有無登入皆可留言。此處留言只有本站參與者看得到。若您選擇以訪客身份匿名留言，就不會收到後續回覆通知。 |
今日新闻 |
推荐新闻 |
| CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |