#1 最简单的在自己机器上跑大语言模型的方法
发表于 ： 2024年 2月 9日 12:34
就是用ollama https://github.com/ollama/ollama
这是一个用golang写的，底层使用llama.cpp的命令行工具，本身也可以做一个服务器，与OpenAI的API兼容。
ollama这个命令行工具模仿docker的方式。所以熟悉docker的同学们用起来应该觉得很方便。除了可以从云上抓取模型来用，也可以写一个Modelfile来自己定义一个模型，比如使用自己的系统提示，自己的温度设定，等等。模型文件用GGUF格式的就行，一般都可以在抱脸云(huggingface)上下载。
ollama自用就够了，用来做生产还不够快。生产上一般用vllam之类的，但都更麻烦一些。
这是一个用golang写的，底层使用llama.cpp的命令行工具，本身也可以做一个服务器，与OpenAI的API兼容。
ollama这个命令行工具模仿docker的方式。所以熟悉docker的同学们用起来应该觉得很方便。除了可以从云上抓取模型来用，也可以写一个Modelfile来自己定义一个模型，比如使用自己的系统提示，自己的温度设定，等等。模型文件用GGUF格式的就行，一般都可以在抱脸云(huggingface)上下载。
ollama自用就够了，用来做生产还不够快。生产上一般用vllam之类的，但都更麻烦一些。