版主： hci
原来是女大黄老。失敬失敬。magagop 写了： 2025年 7月 18日 11:29 我自己就是做GPU的，也天天深度使用LLM，這玩意真能解決普通人99％的日常問題，快速上手然後節省大量時間，ELR就是一個例子，因為普通人儲備知識很少，特別適合給你們碼農這類人作測試，比你說的小說管用多了。
你能舉出其他方案解決我提出的ELR狙擊鏡問題嗎？ChatGPT O3 + RAG + COT用來給小白科普大海撈針非常有用，易用性遠遠超過GOOG，未來至少會出現一個萬億美元AI公司。
我肯定不會在$200前賣NVDA，這波應該能漲幾個月到年底，除非關稅戰再啟。heteroclinic 写了： 2025年 7月 18日 12:41 原来是女大黄老。失敬失敬。
黄老是我们黄人最伟大的企业家，棋手，旗手，舵手，校长！
在黄老的带领下，索南们必将取得一个又一个的胜利！
另外女大现在进合适么，hold 多久？
fantasist 写了： 2025年 7月 17日 13:58 我现在搞training framework，基本全是python。AI帮忙解释vllm项目之类的屎山代码逻辑还是很有帮助的，比肉眼看逻辑和查文档快很多。因为我做的training infra scale比较大，还涉及到算法，没有开源项目实现过，也没几个大厂内部搞过，不可能有足够稳定、well documented训练数据，而且运行一次费时长，必须很小心。这方面让AI自己上手编写或修改然后运行这些代码肯定是不现实的，只能自己一点点试，所以不具有代表性。目前coding agent写个网站什么的因为有大量开源template，运行迭代也容易，这方面能力成熟多了。
发布开源项目需要非常多人力。我们满足内部需求的人手都不够，离开源还远。
只要不需要scale up，很容易做到“好用”。比如随便clone个框架单机训练llama 8b，基本都work out of the box。但要拿几百张卡训几百B参数的模型，分布式环境下各种问题都来了，没法做到好用。能跑就不错了，避免不了大量时间用于痛苦地修bug。
fantasist 写了： 2025年 7月 18日 22:51 只要不需要scale up，很容易做到“好用”。比如随便clone个框架单机训练llama 8b，基本都work out of the box。但要拿几百张卡训几百B参数的模型，分布式环境下各种问题都来了，没法做到好用。能跑就不错了，避免不了大量时间用于痛苦地修bug。
你说aws那些？速度太慢了，无法依赖。比如kimi-k2出来，我们几小时后下载完开始eval，发现模型不错，过一两天开始sft，效果好的话可能过两周做rl。这种极限的速度要求，服务供应商怎么可能满足。
sft是什么的缩写？fantasist 写了： 2025年 7月 18日 23:04 你说aws那些？速度太慢了，无法依赖。比如kimi-k2出来，我们几小时后下载完开始eval，发现模型不错，过一两天开始sft，效果好的话可能过两周做rl。这种极限的速度要求，服务供应商怎么可能满足。
ds r1火了半年，现在一个能train的open source framework都没有，只能自己开发。
Fine tuning 一个full llm需要多少H100？
要看多大的模型。而且自己团队finetune需要有额外的卡做实验，不是只用能跑起来一个模型的卡数就可以，至少得三四倍。wildthing 写了： 2025年 7月 19日 11:57 Fine tuning 一个full llm需要多少H100？
我想推荐一些公司搞自己的 Fine tuned local model.
不知道需要多少成本
卡可以租赁的。不需要担心供应。比如kimi需要多少卡才可以fine tune呢？fantasist 写了： 2025年 7月 19日 14:42 要看多大的模型。而且自己团队finetune需要有额外的卡做实验，不是只用能跑起来一个模型的卡数就可以，至少得三四倍。
另外finetune自己的模型后多半也需要自己serve，这方面的卡和团队也得考虑到。
RAG 可不可以取代 fine tune? 似乎成本要低的多。fantasist 写了： 2025年 7月 19日 14:42 要看多大的模型。而且自己团队finetune需要有额外的卡做实验，不是只用能跑起来一个模型的卡数就可以，至少得三四倍。
另外finetune自己的模型后多半也需要自己serve，这方面的卡和团队也得考虑到。
H200x256起步。即使可以租，也不是一般玩家舍得投入的。懂行的mle也非常贵。
fantasist 写了： 2025年 7月 18日 23:04 你说aws那些？速度太慢了，无法依赖。比如kimi-k2出来，我们几小时后下载完开始eval，发现模型不错，过一两天开始sft，效果好的话可能过两周做rl。这种极限的速度要求，服务供应商怎么可能满足。
ds r1火了半年，现在一个能train的open source framework都没有，只能自己开发。
为啥不用LMnstudio？heteroclinic 写了： 2025年 7月 17日 20:08 这个板上谁跑过deepseek 的inference? 来吹吹?
我个人整三个星期(筹备机器两个月)左右把草台子搭起来.当然您有一键云CD,书就就跪求您plan了.
新名词太多,你点了,最简便的GOOGLE,fb 登录也得十秒.
