最简单的在自己机器上跑大语言模型的方法

[hci]

就是用ollama https://github.com/ollama/ollama

这是一个用golang写的，底层使用llama.cpp的命令行工具，本身也可以做一个服务器，与OpenAI的API兼容。

ollama这个命令行工具模仿docker的方式。所以熟悉docker的同学们用起来应该觉得很方便。除了可以从云上抓取模型来用，也可以写一个Modelfile来自己定义一个模型，比如使用自己的系统提示，自己的温度设定，等等。模型文件用GGUF格式的就行，一般都可以在抱脸云(huggingface)上下载。

ollama自用就够了，用来做生产还不够快。生产上一般用vllam之类的，但都更麻烦一些。

[skywalkur]

LMStudio更简单

[hci]

GUI?

没兴趣