Agent比单个LLM有明显的优势

[Caravel]

这段时间LLM用的越多，它的弊端就越明显。

首先就是LLM已经出现了分化的趋势，推理模型需要的思考时间很长，短的几十秒，长的几百秒。普通模型则反应时间很快。有时候我会犹豫一下到底要不要点deep think。

同时像wdong说的，有的模型数学coding很好指令跟随不行，这样的模型作为交互模型则不好用。另外，对于一些特定的任务，小模型可以取得和大模型同样的效果，当然cost更低。

如此种种，越来越明显的是，单个模型不可能满足这所有的条件。使用多模型的协作可以更好的利用各种模型的特长，同时提高利用效率，比如去网上找资料就不需要很大的模型，用一些小模型就可以，甚至可以让小模型迅速对各个网页summarize，然后再启动大模型进行深入分析。

另外一个可能的场景是，内部各个的LLM之间不需要share所有的context，除了总管LLM需要知道所有的对话context，做题的LLM则只需要相关的信息。这几天我用Grok就发现，问他STEM的问题，他常常会refer到之前我们一个不相干的对话，结果被误导想错了。

总之，Agent这个design的空间非常大，有点像寒武纪大爆发，会出现各种架构的Agent，内部功能结构都不一样。

[forecasting]

你打算把AI Agent弄成AGI吗？

[Caravel]

你打算把AI Agent弄成AGI吗？

agent可以解锁一些能力，但效率不高