新未名空间

huangchong 写了： 2025年 2月 1日 18:42 ollama api:

https://www.postman.com/postman-student ... a-rest-api

huangchong 写了： 2025年 2月 1日 17:39 @Pegasi
我下了好几个。如果显卡有8G显存，建议先试试 qwen－7b

dramawatcher1 写了： 2025年 2月 1日 14:06 我两块显卡。显存一块11gb 一块8gb。
用 14b , 100%的 GPU
用 32b , 30%/70% 的 CPU/GPU
用 70b , 100% 的 CPU

32b 和 70b 的时候，两块显卡显存占用率都是 80%

Pegasi 写了： 2025年 2月 1日 20:17 我试了下qwen的14b，速度还行，结果惨不忍睹

wass 写了： 2025年 2月 1日 19:10 我是说有一个open source vscode extension叫Cline

huangchong 写了： 2025年 2月 1日 20:48 刚刚研究清楚：
ollama 缺省情况下，只给localhost：11434 提供服务。如果想把它做成网络服务，需要在 /etc/systemd/system/ollama.service 里加一句
Environment="OLLAMA_HOST=0.0.0.0"

然后重启机器


我看网上有个地方也说了wsl怎么设置

代码： 全选

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama

Pegasi 写了： 2025年 2月 1日 20:53 我直接让deepseek给写了一个带web ui的，一共20几行

huangchong 写了： 2025年 2月 1日 21:21 你怎么指挥他的？

How to set up something like chatgpt or DeepSeek with a local LLM file, on my home network. Show me the code, python preferred.

Pegasi 写了： 2025年 2月 1日 20:18 30B和70B都在哪下的？

dramawatcher1 写了： 2025年 2月 2日 09:51 我用的 ollama

然后用命令

ollama run Deepseek-R1:30b 就会自动下载

其他的模型类似。第一次运行的时候，如果没有，就会自动下载。

https://ollama.com/library/deepseek-r1

Pegasi 写了： 2025年 2月 3日 12:40 14B和30B都是RL蒸馏的Qwen，被洗脑的太厉害了

huangchong 写了： 2025年 2月 3日 13:23 确实 ollama的模型名字很误导 lmstudio显示模型的全名 要好一些

wass 写了： 2025年 2月 3日 13:33 API还是ollama好用

mkdir lmstudio
cd lmstudio
LM-Studio....AppImage       --appimage-extract