分页: 2 / 3
#21 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 1月 30日 17:14
由 huangchong
Pegasi 写了: 2025年 1月 29日 23:44
14B 4090显存不够吧
完全够 我都可以在3090/24G上跑32b呢
#22 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 1月 31日 07:13
由 Pegasi
huangchong 写了: 2025年 1月 30日 17:14
完全够 我都可以在3090/24G上跑32b呢
换成4bit跑起来了
#23 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 1月 31日 12:33
由 Pegasi
huangchong 写了: 2025年 1月 30日 17:14
完全够 我都可以在3090/24G上跑32b呢
huangchong 你下的哪个?
#24 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 13:08
由 wass
(ヅ) 写了: 2025年 1月 29日 04:32
这个东西可以直接接入vscode,替代cursor/windsurf,还蛮好用
术版有讨论怎么配置
哪个模型优化过Coding?
#25 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 14:02
由 (ヅ)
wass 写了: 2025年 2月 1日 13:08
哪个模型优化过Coding?
Claude
#26 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 14:06
由 dramawatcher1
我两块显卡。显存一块11gb 一块8gb。
用 14b , 100%的 GPU
用 32b , 30%/70% 的 CPU/GPU
用 70b , 100% 的 CPU
32b 和 70b 的时候,两块显卡显存占用率都是 80%
#27 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 14:43
由 wass
(ヅ) 写了: 2025年 2月 1日 14:02Claude
我是问ds的有没有哪个模型优化过Coding
Claude经常在vs code里面用。如果ds可以,就省钱了

#28 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 15:06
由 wass
我试了dsr1 8b,在4060上很快。速度跟copilot差不多
#30 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 17:39
由 huangchong
Pegasi 写了: 2025年 1月 31日 12:33
huangchong 你下的哪个?
@Pegasi
我下了好几个。如果显卡有8G显存,建议先试试 qwen-7b
#31 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 17:43
由 huangchong
wass 写了: 2025年 2月 1日 13:08
哪个模型优化过Coding?
模型名字里带code/coding的应该都是
vscode有个continue插件,可以用本地模型,我们关于它的讨论在joke版精华区
这个continue插件推荐用codellama当编程的聊天ai。我试了一下,DS各种distill版本也都不错
#32 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 17:53
由 wass
huangchong 写了: 2025年 2月 1日 17:43
模型名字里带code/coding的应该都是
vscode有个continue插件,可以用本地模型,我们关于它的讨论在joke版精华区
这个continue插件推荐用codellama当编程的聊天ai。我试了一下,DS各种distill版本也都不错
好,我试试continue
#33 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:00
由 huangchong
wass 写了: 2025年 2月 1日 17:53
好,我试试continue
@wass
前提是ollma在linux下正常安装(会被装成一个系统服务,systemctl 可以管理它)
代码: 全选
curl -fsSL https://ollama.com/install.sh | sh
#download deepseek-7b
ollama pull deepseek-r1:7b
不需要自己打ollama run,在continue里开始chat, 这个事件就通过ollama的网页api启动网络了。
~/.continue/config.json
代码: 全选
"models": [
{
"model": "deepseek-r1:7b",
"provider": "ollama",
"title": "deepseek-r1:7b"
}
],
"tabAutocompleteModel": {
"model": "deepseek-r1:7b",
"provider": "ollama",
"title": "deepseek-r1:7b",
"apiBase": "http://localhost:11434"
},
tab completion我还没有试过
https://docs.continue.dev/customize/mod ... ers/ollama
#34 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:06
由 huangchong
ollama上面的deepseek模型都是用其他小模型蒸馏deepseekR1得来的,具体是什麽看这里
https://ollama.com/library/deepseek-r1
#35 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:10
由 anesthetic
#36 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:17
由 wass
huangchong 写了: 2025年 2月 1日 18:00
@wass
前提是ollma在linux下正常安装(会被装成一个系统服务,systemctl 可以管理它)
代码: 全选
curl -fsSL https://ollama.com/install.sh | sh
#download deepseek-7b
ollama pull deepseek-r1:7b
不需要自己打ollama run,在continue里开始chat, 这个事件就通过ollama的网页api启动网络了。
~/.continue/config.json
代码: 全选
"models": [
{
"model": "deepseek-r1:7b",
"provider": "ollama",
"title": "deepseek-r1:7b"
}
],
"tabAutocompleteModel": {
"model": "deepseek-r1:7b",
"provider": "ollama",
"title": "deepseek-r1:7b"
"apiBase": "http://localhost:11434"
},
tab completion我还没有试过
https://docs.continue.dev/customize/mod ... ers/ollama
我用Windows,已经用ollama serve设为Service
#37 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:20
由 YouHi
裂害。
#38 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:22
由 huangchong
anesthetic 写了: 2025年 2月 1日 18:10
有完整的啊,1.5-671b都有啊
确实有 我觉得没用就自动把它从脑袋里过滤了

#39 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:24
由 wass
还有一个open source的extension,哪天读读源代码。
目前看,最好的应用,还是写代码
#40 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:28
由 anesthetic
wass 写了: 2025年 2月 1日 18:17
我用Windows,已经用ollama serve设为Service
吧open webgui挂上,跟deepseek.com完全一样了,sb才给openai交钱,lol
#41 Re: 自己玩DSR1我建议弄14b参数的模型
发表于 : 2025年 2月 1日 18:42
由 huangchong
wass 写了: 2025年 2月 1日 18:24
还有一个open source的extension,哪天读读源代码。
目前看,最好的应用,还是写代码
ollama api:
https://www.postman.com/postman-student ... a-rest-api