分页: 2 / 3

#21 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 1月 30日 17:14
huangchong
Pegasi 写了: 2025年 1月 29日 23:44 14B 4090显存不够吧
完全够 我都可以在3090/24G上跑32b呢

#22 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 1月 31日 07:13
Pegasi
huangchong 写了: 2025年 1月 30日 17:14 完全够 我都可以在3090/24G上跑32b呢
换成4bit跑起来了

#23 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 1月 31日 12:33
Pegasi
huangchong 写了: 2025年 1月 30日 17:14 完全够 我都可以在3090/24G上跑32b呢
huangchong 你下的哪个?

#24 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 13:08
wass
(ヅ) 写了: 2025年 1月 29日 04:32 这个东西可以直接接入vscode,替代cursor/windsurf,还蛮好用

术版有讨论怎么配置
哪个模型优化过Coding?

#25 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 14:02
(ヅ)
wass 写了: 2025年 2月 1日 13:08 哪个模型优化过Coding?
Claude

#26 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 14:06
dramawatcher1
我两块显卡。显存一块11gb 一块8gb。
用 14b , 100%的 GPU
用 32b , 30%/70% 的 CPU/GPU
用 70b , 100% 的 CPU

32b 和 70b 的时候,两块显卡显存占用率都是 80%

#27 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 14:43
wass
(ヅ) 写了: 2025年 2月 1日 14:02Claude
我是问ds的有没有哪个模型优化过Coding

Claude经常在vs code里面用。如果ds可以,就省钱了 :D

#28 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 15:06
wass
我试了dsr1 8b,在4060上很快。速度跟copilot差不多

#30 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 17:39
huangchong
Pegasi 写了: 2025年 1月 31日 12:33 huangchong 你下的哪个?
@Pegasi
我下了好几个。如果显卡有8G显存,建议先试试 qwen-7b

#31 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 17:43
huangchong
wass 写了: 2025年 2月 1日 13:08 哪个模型优化过Coding?
模型名字里带code/coding的应该都是
vscode有个continue插件,可以用本地模型,我们关于它的讨论在joke版精华区
这个continue插件推荐用codellama当编程的聊天ai。我试了一下,DS各种distill版本也都不错

#32 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 17:53
wass
huangchong 写了: 2025年 2月 1日 17:43 模型名字里带code/coding的应该都是
vscode有个continue插件,可以用本地模型,我们关于它的讨论在joke版精华区
这个continue插件推荐用codellama当编程的聊天ai。我试了一下,DS各种distill版本也都不错
好,我试试continue

#33 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:00
huangchong
wass 写了: 2025年 2月 1日 17:53 好,我试试continue
@wass



前提是ollma在linux下正常安装(会被装成一个系统服务,systemctl 可以管理它)

代码: 全选

curl -fsSL https://ollama.com/install.sh | sh

#download deepseek-7b
ollama pull deepseek-r1:7b
不需要自己打ollama run,在continue里开始chat, 这个事件就通过ollama的网页api启动网络了。

~/.continue/config.json

代码: 全选

"models": [
    {
      "model": "deepseek-r1:7b",
      "provider": "ollama",
      "title": "deepseek-r1:7b"
    }

  ],
  "tabAutocompleteModel": {
      "model": "deepseek-r1:7b",
      "provider": "ollama",
      "title": "deepseek-r1:7b",
    "apiBase": "http://localhost:11434"
  },
tab completion我还没有试过

https://docs.continue.dev/customize/mod ... ers/ollama

#34 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:06
huangchong
ollama上面的deepseek模型都是用其他小模型蒸馏deepseekR1得来的,具体是什麽看这里
https://ollama.com/library/deepseek-r1

#35 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:10
anesthetic
huangchong 写了: 2025年 2月 1日 18:06 ollama上面的deepseek模型都是用其他小模型蒸馏deepseekR1得来的,具体是什麽看这里
https://ollama.com/library/deepseek-r1
有完整的啊,1.5-671b都有啊

#36 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:17
wass
huangchong 写了: 2025年 2月 1日 18:00 @wass



前提是ollma在linux下正常安装(会被装成一个系统服务,systemctl 可以管理它)

代码: 全选

curl -fsSL https://ollama.com/install.sh | sh

#download deepseek-7b
ollama pull deepseek-r1:7b
不需要自己打ollama run,在continue里开始chat, 这个事件就通过ollama的网页api启动网络了。

~/.continue/config.json

代码: 全选

"models": [
    {
      "model": "deepseek-r1:7b",
      "provider": "ollama",
      "title": "deepseek-r1:7b"
    }

  ],
  "tabAutocompleteModel": {
      "model": "deepseek-r1:7b",
      "provider": "ollama",
      "title": "deepseek-r1:7b"
    "apiBase": "http://localhost:11434"
  },
tab completion我还没有试过

https://docs.continue.dev/customize/mod ... ers/ollama
我用Windows,已经用ollama serve设为Service

#37 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:20
YouHi
裂害。

#38 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:22
huangchong
anesthetic 写了: 2025年 2月 1日 18:10 有完整的啊,1.5-671b都有啊
确实有 我觉得没用就自动把它从脑袋里过滤了 :D

#39 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:24
wass
还有一个open source的extension,哪天读读源代码。

目前看,最好的应用,还是写代码

#40 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:28
anesthetic
wass 写了: 2025年 2月 1日 18:17 我用Windows,已经用ollama serve设为Service
吧open webgui挂上,跟deepseek.com完全一样了,sb才给openai交钱,lol

#41 Re: 自己玩DSR1我建议弄14b参数的模型

发表于 : 2025年 2月 1日 18:42
huangchong
wass 写了: 2025年 2月 1日 18:24 还有一个open source的extension,哪天读读源代码。

目前看,最好的应用,还是写代码
ollama api:

https://www.postman.com/postman-student ... a-rest-api