现在说ai是骗子的都是骗子

版主: hci

heteroclinic(Heteroclinic)
著名点评
著名点评
heteroclinic 的博客
帖子互动: 39
帖子: 3848
注册时间: 2022年 10月 31日 00:35

#41 Re: 现在说ai是骗子的都是骗子

帖子 heteroclinic(Heteroclinic) »

magagop 写了: 2025年 7月 18日 11:29 我自己就是做GPU的,也天天深度使用LLM,這玩意真能解決普通人99%的日常問題,快速上手然後節省大量時間,ELR就是一個例子,因為普通人儲備知識很少,特別適合給你們碼農這類人作測試,比你說的小說管用多了。

你能舉出其他方案解決我提出的ELR狙擊鏡問題嗎?ChatGPT O3 + RAG + COT用來給小白科普大海撈針非常有用,易用性遠遠超過GOOG,未來至少會出現一個萬億美元AI公司。
原来是女大黄老。失敬失敬。
黄老是我们黄人最伟大的企业家,棋手,旗手,舵手,校长!
在黄老的带领下,索南们必将取得一个又一个的胜利!

另外女大现在进合适么,hold 多久?

标签/Tags:
magagop
见习点评
见习点评
帖子互动: 114
帖子: 1699
注册时间: 2024年 12月 5日 17:35

#42 Re: 现在说ai是骗子的都是骗子

帖子 magagop »

heteroclinic 写了: 2025年 7月 18日 12:41 原来是女大黄老。失敬失敬。
黄老是我们黄人最伟大的企业家,棋手,旗手,舵手,校长!
在黄老的带领下,索南们必将取得一个又一个的胜利!

另外女大现在进合适么,hold 多久?
我肯定不會在$200前賣NVDA,這波應該能漲幾個月到年底,除非關稅戰再啟。
x1 图片
Havana
论坛元老
论坛元老
帖子互动: 754
帖子: 21145
注册时间: 2022年 8月 16日 21:53

#43 Re: 现在说ai是骗子的都是骗子

帖子 Havana »

你这个training framework还处在研发阶段,没有发布?如果是这样的话,那AI编程对用户而言对维护现有的屎山就是不太好用。
fantasist 写了: 2025年 7月 17日 13:58 我现在搞training framework,基本全是python。AI帮忙解释vllm项目之类的屎山代码逻辑还是很有帮助的,比肉眼看逻辑和查文档快很多。因为我做的training infra scale比较大,还涉及到算法,没有开源项目实现过,也没几个大厂内部搞过,不可能有足够稳定、well documented训练数据,而且运行一次费时长,必须很小心。这方面让AI自己上手编写或修改然后运行这些代码肯定是不现实的,只能自己一点点试,所以不具有代表性。目前coding agent写个网站什么的因为有大量开源template,运行迭代也容易,这方面能力成熟多了。
fantasist
见习点评
见习点评
帖子互动: 182
帖子: 1463
注册时间: 2022年 7月 24日 19:52

#44 Re: 现在说ai是骗子的都是骗子

帖子 fantasist »

Havana 写了: 2025年 7月 18日 22:26 你这个training framework还处在研发阶段,没有发布?如果是这样的话,那AI编程对用户而言对维护现有的屎山就是不太好用。
发布开源项目需要非常多人力。我们满足内部需求的人手都不够,离开源还远。
维护屎山代码,只有懂的一两个人能略高效地维护,其他人没有context也玩不转。这方面work要求ai是强人所难。不如想好需求让ai写个新的,这方面效率容易提升。
Havana
论坛元老
论坛元老
帖子互动: 754
帖子: 21145
注册时间: 2022年 8月 16日 21:53

#45 Re: 现在说ai是骗子的都是骗子

帖子 Havana »

只要好用,不一定要开源。我老板给手下买的就是付费copilot,虽然并不好用。
fantasist 写了: 2025年 7月 18日 22:39 发布开源项目需要非常多人力。我们满足内部需求的人手都不够,离开源还远。
fantasist
见习点评
见习点评
帖子互动: 182
帖子: 1463
注册时间: 2022年 7月 24日 19:52

#46 Re: 现在说ai是骗子的都是骗子

帖子 fantasist »

Havana 写了: 2025年 7月 18日 22:43 只要好用,不一定要开源。我老板给手下买的就是付费copilot,虽然并不好用。
只要不需要scale up,很容易做到“好用”。比如随便clone个框架单机训练llama 8b,基本都work out of the box。但要拿几百张卡训几百B参数的模型,分布式环境下各种问题都来了,没法做到好用。能跑就不错了,避免不了大量时间用于痛苦地修bug。
Havana
论坛元老
论坛元老
帖子互动: 754
帖子: 21145
注册时间: 2022年 8月 16日 21:53

#47 Re: 现在说ai是骗子的都是骗子

帖子 Havana »

你这是要让用户自己来搞一个系统,那些服务供应商不是应该更有资源训练出大参数的系统。
fantasist 写了: 2025年 7月 18日 22:51 只要不需要scale up,很容易做到“好用”。比如随便clone个框架单机训练llama 8b,基本都work out of the box。但要拿几百张卡训几百B参数的模型,分布式环境下各种问题都来了,没法做到好用。能跑就不错了,避免不了大量时间用于痛苦地修bug。
fantasist
见习点评
见习点评
帖子互动: 182
帖子: 1463
注册时间: 2022年 7月 24日 19:52

#48 Re: 现在说ai是骗子的都是骗子

帖子 fantasist »

Havana 写了: 2025年 7月 18日 22:55 你这是要让用户自己来搞一个系统,那些服务供应商不是应该更有资源训练出大参数的系统。
你说aws那些?速度太慢了,无法依赖。比如kimi-k2出来,我们几小时后下载完开始eval,发现模型不错,过一两天开始sft,效果好的话可能过两周做rl。这种极限的速度要求,服务供应商怎么可能满足。
ds r1火了半年,现在一个能train的open source framework都没有,只能自己开发。
wildthing
著名点评
著名点评
帖子互动: 270
帖子: 4484
注册时间: 2022年 7月 22日 14:25

#49 Re: 现在说ai是骗子的都是骗子

帖子 wildthing »

fantasist 写了: 2025年 7月 18日 23:04 你说aws那些?速度太慢了,无法依赖。比如kimi-k2出来,我们几小时后下载完开始eval,发现模型不错,过一两天开始sft,效果好的话可能过两周做rl。这种极限的速度要求,服务供应商怎么可能满足。
ds r1火了半年,现在一个能train的open source framework都没有,只能自己开发。
sft是什么的缩写?

你公司是做什么的啊?
司马光在《资治通鉴》中说日本人:'知小礼而无大义,拘小节而无大德。重末节而无廉耻,畏威而不怀德。强必盗寇,弱必卑伏'。
康熙皇帝在《康熙朝起居注》中这样评论日本人:“倭子国,最是反复无常之国。其人,甚卑贱,不知世上有恩谊,只一味慑于武威……故尔,不得对其有稍许好颜色。”

图片
fantasist
见习点评
见习点评
帖子互动: 182
帖子: 1463
注册时间: 2022年 7月 24日 19:52

#50 Re: 现在说ai是骗子的都是骗子

帖子 fantasist »

wildthing 写了: 2025年 7月 19日 10:52 sft是什么的缩写?

你公司是做什么的啊?
Supervised fine tuning,就是最基本的拿label好的数据post train。
wildthing
著名点评
著名点评
帖子互动: 270
帖子: 4484
注册时间: 2022年 7月 22日 14:25

#51 Re: 现在说ai是骗子的都是骗子

帖子 wildthing »

fantasist 写了: 2025年 7月 19日 11:21 Supervised fine tuning,就是最基本的拿label好的数据post train。
Fine tuning 一个full llm需要多少H100?

我想推荐一些公司搞自己的 Fine tuned local model.
不知道需要多少成本
司马光在《资治通鉴》中说日本人:'知小礼而无大义,拘小节而无大德。重末节而无廉耻,畏威而不怀德。强必盗寇,弱必卑伏'。
康熙皇帝在《康熙朝起居注》中这样评论日本人:“倭子国,最是反复无常之国。其人,甚卑贱,不知世上有恩谊,只一味慑于武威……故尔,不得对其有稍许好颜色。”

图片
fantasist
见习点评
见习点评
帖子互动: 182
帖子: 1463
注册时间: 2022年 7月 24日 19:52

#52 Re: 现在说ai是骗子的都是骗子

帖子 fantasist »

wildthing 写了: 2025年 7月 19日 11:57 Fine tuning 一个full llm需要多少H100?

我想推荐一些公司搞自己的 Fine tuned local model.
不知道需要多少成本
要看多大的模型。而且自己团队finetune需要有额外的卡做实验,不是只用能跑起来一个模型的卡数就可以,至少得三四倍。
另外finetune自己的模型后多半也需要自己serve,这方面的卡和团队也得考虑到。
wildthing
著名点评
著名点评
帖子互动: 270
帖子: 4484
注册时间: 2022年 7月 22日 14:25

#53 Re: 现在说ai是骗子的都是骗子

帖子 wildthing »

fantasist 写了: 2025年 7月 19日 14:42 要看多大的模型。而且自己团队finetune需要有额外的卡做实验,不是只用能跑起来一个模型的卡数就可以,至少得三四倍。
另外finetune自己的模型后多半也需要自己serve,这方面的卡和团队也得考虑到。
卡可以租赁的。不需要担心供应。比如kimi需要多少卡才可以fine tune呢?
司马光在《资治通鉴》中说日本人:'知小礼而无大义,拘小节而无大德。重末节而无廉耻,畏威而不怀德。强必盗寇,弱必卑伏'。
康熙皇帝在《康熙朝起居注》中这样评论日本人:“倭子国,最是反复无常之国。其人,甚卑贱,不知世上有恩谊,只一味慑于武威……故尔,不得对其有稍许好颜色。”

图片
wildthing
著名点评
著名点评
帖子互动: 270
帖子: 4484
注册时间: 2022年 7月 22日 14:25

#54 Re: 现在说ai是骗子的都是骗子

帖子 wildthing »

fantasist 写了: 2025年 7月 19日 14:42 要看多大的模型。而且自己团队finetune需要有额外的卡做实验,不是只用能跑起来一个模型的卡数就可以,至少得三四倍。
另外finetune自己的模型后多半也需要自己serve,这方面的卡和团队也得考虑到。
RAG 可不可以取代 fine tune? 似乎成本要低的多。
司马光在《资治通鉴》中说日本人:'知小礼而无大义,拘小节而无大德。重末节而无廉耻,畏威而不怀德。强必盗寇,弱必卑伏'。
康熙皇帝在《康熙朝起居注》中这样评论日本人:“倭子国,最是反复无常之国。其人,甚卑贱,不知世上有恩谊,只一味慑于武威……故尔,不得对其有稍许好颜色。”

图片
fantasist
见习点评
见习点评
帖子互动: 182
帖子: 1463
注册时间: 2022年 7月 24日 19:52

#55 Re: 现在说ai是骗子的都是骗子

帖子 fantasist »

wildthing 写了: 2025年 7月 19日 15:02 卡可以租赁的。不需要担心供应。比如kimi需要多少卡才可以fine tune呢?
H200x256起步。即使可以租,也不是一般玩家舍得投入的。懂行的mle也非常贵。
可以先拿frontier api搭rag,产品真正有market fit再考虑要不要投入到自己训模型上。
Havana
论坛元老
论坛元老
帖子互动: 754
帖子: 21145
注册时间: 2022年 8月 16日 21:53

#56 Re: 现在说ai是骗子的都是骗子

帖子 Havana »

我是说的比如Cursor, CoPilot plug-in,还有一些国内在VS Code基础上开发的AI编程工具。

你不能指望最终用户还要自己搭一个平台来搞什么Supervised fine tuning。用户需要的是一个能直接使用的工具。
fantasist 写了: 2025年 7月 18日 23:04 你说aws那些?速度太慢了,无法依赖。比如kimi-k2出来,我们几小时后下载完开始eval,发现模型不错,过一两天开始sft,效果好的话可能过两周做rl。这种极限的速度要求,服务供应商怎么可能满足。
ds r1火了半年,现在一个能train的open source framework都没有,只能自己开发。
Caravel
论坛元老
论坛元老
Caravel 的博客
帖子互动: 568
帖子: 24720
注册时间: 2022年 7月 24日 17:21

#57 Re: 现在说ai是骗子的都是骗子

帖子 Caravel »

heteroclinic 写了: 2025年 7月 17日 20:08 这个板上谁跑过deepseek 的inference? 来吹吹?

我个人整三个星期(筹备机器两个月)左右把草台子搭起来.当然您有一键云CD,书就就跪求您plan了.
为啥不用LMnstudio?
头像
Yellen
论坛精英
论坛精英
帖子互动: 551
帖子: 5896
注册时间: 2022年 7月 23日 14:04

#58 Re: 现在说ai是骗子的都是骗子

帖子 Yellen »

iDude 写了: 2025年 7月 16日 11:47 AI不是骗子,AGI是骗子。
卖什么吆喝什么,鼓吹AI会让码农失业的AI从业者是骗子。
没错,所谓AI说白还是更进一步的automation而已。
heteroclinic(Heteroclinic)
著名点评
著名点评
heteroclinic 的博客
帖子互动: 39
帖子: 3848
注册时间: 2022年 10月 31日 00:35

#59 Re: 现在说ai是骗子的都是骗子

帖子 heteroclinic(Heteroclinic) »

Caravel 写了: 2025年 7月 24日 17:12 为啥不用LMnstudio?
新名词太多,你点了,最简便的GOOGLE,fb 登录也得十秒.
很多还要你填表注册.

你知道firefox nightly build 有个dashboard.其实就是想看看这个东西有没有类似的一个表.基本一个buzzword可以干什么,不能干什么,非常几角旮旯的边界情况做工是否精细,基本有个底数
heteroclinic(Heteroclinic)
著名点评
著名点评
heteroclinic 的博客
帖子互动: 39
帖子: 3848
注册时间: 2022年 10月 31日 00:35

#60 Re: 现在说ai是骗子的都是骗子

帖子 heteroclinic(Heteroclinic) »

我说的就是这个东西,从我的理解,这是目前我知道的最成功的CI/CD集成.很遗憾,多数团队来10单元测试都不能稳定地工作三天.
https://treeherder.mozilla.org/jobs?repo=autoland

很牛逼的buzzword都应该有一个这样dashboard

很奇怪的是我搜索半天,(最少我自己多次成功第跑过mach).居然搜不到这这链接.还是chatgpt 说你找的是treeherder.

如果做前端,不知道mach, treeherder我觉得你们公司掉飞机是一件活该的事情.
回复

回到 “葵花宝典(Programming)”