Archive 2024 年 4 月 20 日

Llama3最简便的下载及最简便的使用方法

1、下载Ollama 在Ollama的网站:https://ollama.com/library/llama3 上查看有哪些模型tag可用,例如要使用llama8b的base的4bit量化版本,可直接运行: ollama run llama3 建议使用微调过的量化版本,问答效果更佳。 ollama run llama3:instruct 即默认下载到本地,大小约4.7G,当运行后,已经可以在终端中进行交互。 2、下载chatbox 然后直接在设置中,后端选择ollama,便可以直接在chatbox中使用

Read More