達(dá)到GPT4百分之90性能的小羊駝Vicuna

---

文章目錄

• 達(dá)到GPT4百分之90性能的小羊駝Vicuna
• 一、小羊駝Vicuna介紹
• 二、使用效果測(cè)評(píng)
• 三、小羊駝Vicuna安裝webui linux部署教程
• 總結(jié)踩坑經(jīng)驗(yàn)

---

隨著chatgpt大火，很多人都開始學(xué)習(xí)chatgpt相關(guān)知識(shí)，本文就介紹一下最近很火的小羊駝Vicuna項(xiàng)目。

---

一、小羊駝Vicuna介紹

一群來自UCB（主導(dǎo)這個(gè)項(xiàng)目）、CMU、Stanford、UCSD的充滿熱情且能力強(qiáng)勁的學(xué)生共同實(shí)現(xiàn)了以合規(guī)，廉價(jià)和高效的方式做出真正意義上和ChatGPT-3.5 相當(dāng)?shù)拈_源版本ChatGPT，GPT-4 給我們模型的“總分”最終達(dá)到了ChatGPT的90%

二、使用效果測(cè)評(píng)

話不多說先上圖，這是我們?cè)诜?wù)器上部署Vicuna-13b測(cè)試的效果

讓小羊駝幫我寫了一個(gè)汽車的廣告

讓小羊駝幫我根據(jù)一段新聞生成標(biāo)題

三、小羊駝Vicuna安裝webui linux部署教程

3.1 下載代碼安裝虛擬環(huán)境

下載代碼 git clone https://github.com/lm-sys/FastChat cd FastChat 使用conda安裝虛擬環(huán)境 我使用的是A100顯卡 python版本是3.8先安裝幾個(gè)單獨(dú)的包 # Install FastChat pip3 install fschat# Install the latest main branch of huggingface/transformers pip3 install git+https://github.com/huggingface/transformerspip3 install --upgrade pip # enable PEP 660 support pip3 install -e .

3.2 下載權(quán)重文件

然后開始下載權(quán)重文件，分別是13b和7b，需要主要是是你cpu的內(nèi)存要夠，64g最佳Vicuna-13B This conversion command needs around 60 GB of CPU RAM.python3 -m fastchat.model.apply_delta \--base /path/to/llama-13b \--target /output/path/to/vicuna-13b \--delta lmsys/vicuna-13b-delta-v0 Vicuna-7B This conversion command needs around 30 GB of CPU RAM.python3 -m fastchat.model.apply_delta \--base /path/to/llama-7b \--target /output/path/to/vicuna-7b \--delta lmsys/vicuna-7b-delta-v0 --base 是你原始的llama-7b 權(quán)重文件的路徑 --target 是你生成的小羊駝權(quán)重文件的存儲(chǔ)路徑

3.3 啟動(dòng)命令
啟動(dòng)方式分為命令行啟動(dòng)和webui啟動(dòng)方式
3.3.1 命令行啟動(dòng)方式

單GPU啟動(dòng)命令 The command below requires around 28GB of GPU memory for Vicuna-13B and 14GB of GPU memory for Vicuna-7B.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights 多GPU啟動(dòng)命令 If you do not have enough GPU memory, you can use model parallelism to aggregate memory from multiple GPUs on the same machine.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights --num-gpus 2 使用CPU啟動(dòng)的命令，不建議很吃CPU配置，并且很慢 This runs on the CPU only and does not require GPU. It requires around 60GB of CPU memory for Vicuna-13B and around 30GB of CPU memory for Vicuna-7B.python3 -m fastchat.serve.cli --model-name /path/to/vicuna/weights --device cpu

3.3.2
webui啟動(dòng)方式

python3 -m fastchat.serve.controllerpython3 -m fastchat.serve.model_worker --model-path /path/to/vicuna/weightspython3 -m fastchat.serve.test_message --model-name vicuna-13b

總結(jié)踩坑經(jīng)驗(yàn)

例如：內(nèi)存一定要夠，要不然啟動(dòng)不起來服務(wù)，顯存保底40G，才能穩(wěn)定的保證webui服務(wù)啟動(dòng)起來，因?yàn)槎噍唽?duì)話以后顯存漲的很快

總結(jié)

以上是生活随笔為你收集整理的超过ChatGPT3达到ChatGPT4%90性能的小羊驼来了-Vicuna(校招社招必备，chatgpt风口来了赶紧学起来吧)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。