分页: 1 / 1

#1 编程大模型训练的关键还是数据

发表于 : 2025年 7月 10日 20:54
Caravel
帖子 3 分钟前

“hci 写了:
https://metr.org/blog/2025-07-10-early- ... dev-study/

这与去年的研究一致。也与我个人经验一致。“


现在AI写code不行的一个原因还是data 问题

没有debugging chain of thought

推理大模型到2024年才出现也是因为训练数据的问题

人类基本没有这样详细的推理数据

第一波数据是openai花钱请人标注出来的

可能被deepseek用prompt套了一些出来,或者是ds仿照openai的例子自己标注了一些

所以ds也训练成功

后面的人可以用ds输出大量思维链训练,就很简单了

现在编程也是一样,没有debugging过程的详细记录

只能靠人工

#2 Re: 编程大模型训练的关键还是数据

发表于 : 2025年 7月 10日 22:06
fantasist
现在限制llm的是数据和各种infra,有些任务不容易做成训练数据所以llm生成的答案不对,不是因为智力不够。

#3 Re: 编程大模型训练的关键还是数据

发表于 : 2025年 7月 10日 22:16
Caravel
fantasist 写了: 昨天 22:06 现在限制llm的是数据和各种infra,有些任务不容易做成训练数据所以llm生成的答案不对,不是因为智力不够。
属实,不同的编程环境,java python都需要不同的sand box

现在大厂就是一个环境一个环境训练