就是用ollama https://github.com/ollama/ollama
这是一个用golang写的,底层使用llama.cpp的命令行工具,本身也可以做一个服务器,与OpenAI的API兼容。
ollama这个命令行工具模仿docker的方式。所以熟悉docker的同学们用起来应该觉得很方便。除了可以从云上抓取模型来用,也可以写一个Modelfile来自己定义一个模型,比如使用自己的系统提示,自己的温度设定,等等。模型文件用GGUF格式的就行,一般都可以在抱脸云(huggingface)上下载。
ollama自用就够了,用来做生产还不够快。生产上一般用vllam之类的,但都更麻烦一些。
最简单的在自己机器上跑大语言模型的方法
版主: hci
-
- 正式写手
- 帖子: 190
- 注册时间: 7月 14, 2023, 2:03 am
- 昵称(选填): 小兵刀
#2 Re: 最简单的在自己机器上跑大语言模型的方法
LMStudio更简单