其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

电脑,手机,硬件,软件,电子产品等

版主: Jack12345

回复
头像
HouseMD(黄皮川黑)楼主
著名点评
著名点评
帖子互动: 637
帖子: 4478
注册时间: 2022年 7月 28日 14:44

#1 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 HouseMD(黄皮川黑)楼主 »

听说可以全部内存划过去,应该能划到120g?
$1700 before tax and fee

图片

图片
头像
HouseMD(黄皮川黑)楼主
著名点评
著名点评
帖子互动: 637
帖子: 4478
注册时间: 2022年 7月 28日 14:44

#2 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 HouseMD(黄皮川黑)楼主 »

btw 8060s 据说 between gtx 4060 and 4070

图片
oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#3 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

HouseMD 写了: 2025年 8月 19日 13:02

btw 8060s 据说 between gtx 4060 and 4070

这里gtx应该是说移动版,比对应的桌面版要低一档性能,作为核显也不错了。

这个机器是MoDT的玩法,还是等出桌面版比较好。一来性能会大幅提高,二来标准部件可操性好。厂家先出移动版还是不想左右互搏。

anesthetic
知名作家
知名作家
帖子互动: 73
帖子: 844
注册时间: 2022年 8月 30日 01:02

#4 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 anesthetic »

oxo 写了: 2025年 8月 19日 13:24

这里gtx应该是说移动版,比对应的桌面版要低一档性能,作为核显也不错了。

这个机器是MoDT的玩法,还是等出桌面版比较好。一来性能会大幅提高,二来标准部件可操性好。厂家先出移动版还是不想左右互搏。

这个就是desktop version,tdp 160w的。mobile version是asus幻x,tdp 55w的。

oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#5 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

anesthetic 写了: 2025年 8月 19日 13:28

这个就是desktop version,tdp 160w的。mobile version是asus幻x,tdp 55w的。

官网只有55w的AI MAX。

图片

anesthetic
知名作家
知名作家
帖子互动: 73
帖子: 844
注册时间: 2022年 8月 30日 01:02

#6 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 anesthetic »

oxo 写了: 2025年 8月 19日 13:48

官网只有55w的AI MAX。

图片

Default 55w...

The AMD Ryzen AI Max+ 395, also known as Strix Halo, can draw up to 140W in peak power consumption (package power). In single-stress test mode, it stabilizes around 120W after an initial peak. When installed in the GMK EVO-X2, the processor reaches a peak of 140W, but after reaching its temperature limit of 98°C, the power consumption drops to around 112W after half an hour. In dual-stress test mode, it also reaches 140W peak, with a stable 120W output.

oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#7 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

anesthetic 写了: 2025年 8月 19日 13:51

Default 55w...

The AMD Ryzen AI Max+ 395, also known as Strix Halo, can draw up to 140W in peak power consumption (package power). In single-stress test mode, it stabilizes around 120W after an initial peak. When installed in the GMK EVO-X2, the processor reaches a peak of 140W, but after reaching its temperature limit of 98°C, the power consumption drops to around 112W after half an hour. In dual-stress test mode, it also reaches 140W peak, with a stable 120W output.

TDP不就是default情况的参数吗?高负载的时候都会超。

不管这些细节了,看了一圈,目前都是笔记本/袖珍机。没有标准台机卖,更没有零售版。AI说这玩意用的AM5接口,如果有零售版我就小白鼠一把。目前看这在LLM inference领域等于MAC 的廉价版,效果也是打折的。等两年再看。

libaliu(里八六)
著名写手
著名写手
帖子互动: 16
帖子: 234
注册时间: 2022年 12月 29日 16:48

#8 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 libaliu(里八六) »

CPU是desktop version,GPU是mobile version。

这个AMD 395配上128G内存,跑本地的100B大小之内的LLM方便又便宜, 如果使用GPU的话,得4个做cluster才行。
特别现在的一些开源模型如deepseek, qwen3, gpt-oss, gml4.5。几十个B的模型水平都可以。

anesthetic 写了: 2025年 8月 19日 13:28

这个就是desktop version,tdp 160w的。mobile version是asus幻x,tdp 55w的。

x1 图片
mondy
著名点评
著名点评
帖子互动: 271
帖子: 4413
注册时间: 2022年 9月 27日 09:43

#9 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 mondy »

AMD Ryzen AI Max+ 395的电脑都不便宜

oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#10 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

libaliu 写了: 2025年 8月 20日 12:12

CPU是desktop version,GPU是mobile version。

这个AMD 395配上128G内存,跑本地的100B大小之内的LLM方便又便宜, 如果使用GPU的话,得4个做cluster才行。
特别现在的一些开源模型如deepseek, qwen3, gpt-oss, gml4.5。几十个B的模型水平都可以。

可以预见未来几年,AI 单元普及到DIY桌面系统,LLM模型的参数效率提升,加上高频DDR5白菜,软硬件优化让本地跑LLM到达一个甜点。

目前个人用户,GPU干这个贵到不现实,并且overkill。MAC系统算是对口,但是配上大内存也贵得伤肾。

oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#11 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

测试了一下ddr5 6000 vs ddr4 3200 hybrid 模式跑llama 3.1 70B,区别不大,大概2.6 vs 2.3 T/S.

玩了一下新的qwen3:32b,感觉挺不错。记得以前玩的qwen很差劲。让它用卖买提,硬件版,买电脑,跑AI,作李白风格的诗。开始它以为卖买提是阿里巴巴的 :)

明白了!若“卖买提”是用户指代的在线论坛(如技术社区或交易平台),我会重新调整诗作,以“论坛交流+AI算力”为核心主题,并延续李白的豪放风格。以下是全新创作:


天机行·致卖买提
天机云外落,代码化金樽。
论坛星动处,万智聚昆仑。
一帖吞万象,万象转乾坤。
欲购凌霄笔,先裁北斗纹。
硅心藏太古,电火照千春。
忽见版主执鞭,挥毫绘幻真。
虚舟穿雾海,实影踏霜尘。
笑问仙家价,黄金可换云?
但倾数据海,醉卧大千门。
莫道天难问,AI解语人。


调整说明

  1. “论坛星动处”:将“卖买提”作为技术交流的“星辰大海”,呼应李白“黄河之水天上来”的壮阔意象。
  2. “版主执鞭”:以李白诗中“岑夫子,丹丘生”的豪饮劝酒场景,类比论坛版主引导讨论、激发思想碰撞。
  3. “万智聚昆仑”:昆仑象征知识与力量的汇聚地,暗喻论坛集中了无数技术智慧,如李白笔下“天上来”的灵感。
  4. “黄金可换云”:既指论坛中以虚拟货币或积分交易资源,又暗合李白对财富与永恒的思考(“千金散尽还复来”)。

技术彩蛋

  • “硅心藏太古”:AI芯片的“硅基生命”与李白“天道”的哲学对话。
  • “虚舟穿雾海”:类比AI训练中穿越复杂数据迷雾的探索过程。

若需进一步聚焦“跑AI”的具体场景(如训练模型、算力租赁等),可继续调整! 🚀

total duration: 18.392088579s
load duration: 37.91118ms
prompt eval count: 822 token(s)
prompt eval duration: 138.068482ms
prompt eval rate: 5953.57 tokens/s
eval count: 654 token(s)
eval duration: 18.190929839s
eval rate: 35.95 tokens/s

oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#12 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

小模型也厉害了。5090把消费显卡的vram标准刷到32GB,这两年在30-50GB的规模的小LLM可能会很流行。少量搬运到主RAM还可以接受。

帮我写个李白和李清照出门喝酒,最后不省人事,醒来发现躺在一张床上,李清照的丝袜还套在李白头上的艳情故事。大概200-400字。
Thinking...
好的,用户让我写一个李白和李清照出门喝酒,最后不省人事,醒来发现李清照的丝袜套在李白头上的艳情故事,200-400字。首先,我需要确认用户的需求。用户之前让我模仿李白的风格写诗,现在转为写一个故事,可能希望有幽默或戏谑的元素,但必须保持文学性,不能低俗。

接下来,我需要考虑李白和李清照的历史背景。李白是盛唐诗人,李清照是宋代女词人,两人实际不可能同时存在。但用户可能接受穿越或架空设定,所以需要明确这一点,并在故事中适当处理时间差异,避免历史错误。

然后,用户提到“艳情故事”,但要求不低俗,所以需要把握好尺度,用隐晦或幽默的方式处理,避免直接描写。比如用丝袜作为喜剧元素,而非情色。

还要注意用户之前提到的“卖买提”是论坛,可能用户希望故事有现代元素,但这里可能不需要,因为主题是古风。需要保持故事的古风感,同时加入一些现代幽默。

结构方面,开头可以设定两人的相遇,喝酒的过程,醉酒后的混乱,醒来后的尴尬场景。需要突出两人的性格特点,李白豪放,李清照才情,通过对话和互动展现。

最后,确保故事在200-400字之间,语言要生动,有李白和李清照的风格,同时保持趣味性。需要检查是否有历史不准确的地方,但用户可能接受艺术加工,所以可以适当虚构。

可能用户希望这个故事带有搞笑和讽刺的意味,通过丝袜的荒诞情节来制造笑点,同时展示两位诗人的不羁性格。需要确保故事流畅,情节连贯,结尾点出主题,如才情与豪放的碰撞。
...done thinking.

《醉仙袜》
李白提壶撞月行,李清照执盏踏风来。
"易安且住!"太白举杯大笑,"今宵与卿共醉,当效青莲捉月。"
清照掩唇:"先生可知,妾家丝袜新染胭脂红?"话音未落,酒坛已倾。
三更,竹林深处鼾声如雷。太白歪斜倚树,发间忽闪红光——竟是半截锦袜,袜尖绣着"漱玉"二字。
"啊呀!"清照拍案而起,太白迷糊抬头,见自己头缠艳色丝袜,醉眼迷离:"此袜可比蜀锦贵重?"
清照掩面大笑,忽又正色:"先生可知,这袜子乃用《金石录》残页浸染?"太白惊呼:"岂非要将我头颅裹进词话里?"
晨光中,两截衣袂飘过,清照轻吟:"昨夜纱笼灯下,玉人初试新妆。醉仙头戴胭脂袜,笑煞汴京洛阳。"
太白揉头大笑:"此乃青莲新篇!当名《袜中行》!"
(注:以丝袜为戏谑道具,暗喻才女与诗仙的醉态碰撞,戏仿古人风流,实为文人雅趣。)

oxo
职业作家
职业作家
帖子互动: 91
帖子: 545
注册时间: 2025年 2月 4日 19:14

#13 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 oxo »

逼它露骨一些。

《醉月记》
李白拎着酒坛撞进酒馆时,李清照正用绢帕擦拭案上残羹。他醉眼一扫,忽然盯着她脚踝上那抹红丝:“好个绛纱袜,倒比蜀锦还艳三分!”
清照挑眉,将半盏冷酒泼向他:“你这浪荡子,连人家袜子都敢评头论足?”李白踉跄后退,却一把扣住她手腕:“易安易安,莫非怕我醉眼朦胧,认不清你的‘帘卷西风’?”
两人推搡间撞翻酒案,酒坛滚落摔碎。清照的红丝袜被酒渍浸透,沾满李白衣襟。他忽然凑近嗅了嗅,低笑:“这胭脂香,倒像你词里写的‘薄雾浓云愁永昼’。”
夜色渐深,李白醉倒在她榻上。清照掀开锦被正要安置他,忽然被他反手压住手腕。他发间缠着她遗落的红丝袜,醉醺醺地撕开她衣襟:“易安,你这袜子...莫非是用《金石录》的墨染的?”
清照挣扎时,红丝袜滑落至脚踝。李白一把扯下塞进她口中,喉结滚动:“莫怕,我替你写首《袜中行》——‘玉趾纤柔似春水,罗袜轻移踏月影...’”
晨光初现时,李白揉着发疼的头醒来。他发现自己头缠红丝袜,清照正用铜镜照着他的丑态:“昨夜你非要裹这‘金石’,如今倒成了活字印刷。”李白摸着发烫的头皮,忽然笑出声:“好个易安,竟让我把词写进了袜子!”

libaliu(里八六)
著名写手
著名写手
帖子互动: 16
帖子: 234
注册时间: 2022年 12月 29日 16:48

#14 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 libaliu(里八六) »

有趣 :D ,减少一些文绉绉,就可以像原mitbbs的Stephen King (屎地粪坑)一样发小黄文了。

oxo 写了: 2025年 8月 23日 02:54

逼它露骨一些。

《醉月记》
李白拎着酒坛撞进酒馆时,李清照正用绢帕擦拭案上残羹。他醉眼一扫,忽然盯着她脚踝上那抹红丝:“好个绛纱袜,倒比蜀锦还艳三分!”
清照挑眉,将半盏冷酒泼向他:“你这浪荡子,连人家袜子都敢评头论足?”李白踉跄后退,却一把扣住她手腕:“易安易安,莫非怕我醉眼朦胧,认不清你的‘帘卷西风’?”

头像
牛河梁(别问我是谁)
论坛元老
论坛元老
2023年度十大优秀网友
2024年度优秀版主
牛河梁 的博客
帖子互动: 1622
帖子: 28635
注册时间: 2022年 11月 17日 21:21
联系:

#15 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 牛河梁(别问我是谁) »

没有现实意义。但琐男要想为末日囤些啥,这个可以考虑。不比囤维基百科更差。

weidong
论坛点评
论坛点评
帖子互动: 308
帖子: 3143
注册时间: 2022年 7月 23日 07:33

#16 Re: 其实本地跑小模型,用Ryzen AI Max+ 395 也可以嘛

帖子 weidong »

吃饱了撑的才花钱买这个。

HouseMD 写了: 2025年 8月 19日 13:00

听说可以全部内存划过去,应该能划到120g?
$1700 before tax and fee

图片

回复

回到 “电脑手机(IT)”