hci说的内注意力有道理

[Caravel]

现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

[hci]

很明显呀，目前的LLM的功能就是一个纯函数，输入映射到输出，并没有自己的状态，还不如马尔可夫链。

所以在我老鼓吹agent几年后，业界终于跟上趟了，都在搞agent。也就是要有自己的状态，最好是单个用户专有的状态。各大公司也在组建团队开始搞这些了。我找工的时候遇到一些这样的职位，当然我签了NDA，不能透露是哪些公司。其实这些东西我的公司早就已经做出来了，没人鸟，也没办法。

做预言家没有什么好处，给人类做贡献，就是行善，积累功德，争取早日修成正果。

[newguy]

现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

这个感觉是insight啊，我感觉最近已经进步很多了，就是没测试过大型问题。

[fantasist]

现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

就像人类无法有效context switch，inference stack处理大量不同的任务时kv cache老被刷掉，当然效率低

[wass]

很明显呀，目前的LLM的功能就是一个纯函数，输入映射到输出，并没有自己的状态，还不如马尔可夫链。

所以在我老鼓吹agent几年后，业界终于跟上趟了，都在搞agent。也就是要有自己的状态，最好是单个用户专有的状态。各大公司也在组建团队开始搞这些了。我找工的时候遇到一些这样的职位，当然我签了NDA，不能透露是哪些公司。其实这些东西我的公司早就已经做出来了，没人鸟，也没办法。

做预言家没有什么好处，给人类做贡献，就是行善，积累功德，争取早日修成正果。

无厘头

编程工具已经不只是llm，已经是agents，有context/memory，有tools，还有越来越多的mcp

[bihai]

现在LLM效率不行的一个原因

就是每次都要把context过一遍

最后才关注到最新的问题

一个正常人有一个自己的状态

内注意力一直关注在最新的动态上面

目前的架构不行

需要多少显存呢？现在对每一个问问题的对话，用了多少显存？有1TB没有？

[Terminus]

？使用大量内存和算力的（无）状态机？WTF

[wass]

用户端不需要显卡

[hci]

正是如此，有意思吧。

这个问题出现在我的一轮ML面试中：＂what is the computational nature of a transformer model?” 回答：＂it is a stateless function，mapping one sequence to another”… ＂what does attention mechanism do? How does it work”，回答如我在这儿解释Q，K，V一样。还有些其它问题，都用我在这儿发表的言论回答。

顺利进入下一轮。

如果你扯什么涌现，模拟大脑，AGI啥的，应该过不了这种面试，哈哈哈。

？使用大量内存和算力的（无）状态机？WTF

[bihai]

用户端不需要显卡

服务器端用多少？