如何在这波产业革命中立足

[newstart]

我猜测热门专业的，容易找工作，反而是温水煮蛤蟆，慢慢地荒废了

meta等的稍微好点职位的员工每年都是按照每年million收入了。等人家温水煮青蛙，都已经可以算是退休了。这个没什么。周围很多40多岁就可以退休只是在打酱油的人。根本不在乎是不是温水煮。

[newstart]

期待如此，因为人类产生的垃圾太多了，直到现在还大多数被填埋

如果能用机器拆解和分拣，我决定对环境的贡献要比电动车还要大

有过具体的数值统计，全部100%换成电动车对气候变化的影响都不如把牛全部杀光。

[mingliu]

有过具体的数值统计，全部100%换成电动车对气候变化的影响都不如把牛全部杀光。

三哥不干！

[newstart]

“这里面最主要的原因是，chunking和embedding对于信息及其连续性的损耗是极大的。 Chunking这一步不是AI，然后基于embedding的匹配也不是AI。这两个瓶颈必然会导致整个方案的智能性被拖垮。我觉得目前比较promising的方向是把context做大，然后上面提到的各种思路可能会在context这块换一个形式又出来”
embedding 确实是我们做vertical行业企业rag的一个问题。对于把context做大，对于很多客户希望自己的信息不上云的要求下，如何做呢？可以给些建议么？

说起来我还是vector db其中一路的先驱。高维向量索引是一个非常老的问题，各路算法大神多多少少都碰过，姚期智早年也做过。2005年我开始读博时princeton已经是content-based retrieval的重镇了。各种对象通过手工算法提取特征，然后放到vector db里就可以按内容检索。 但是当时离AlexNet的突破还有五六年时间， 其实检索的效果一直都不尽人意。当时解决vector db的基本架构已经确立了，就是索引算法外加数据压缩算法。索引是缩小搜索空间，压缩则是减少单个对象匹配时的计算量。索引算法主要是两个套路，LSH和tree。2006年师姐吕琴做出来Multi-Probe LSH，解决了LSH需要维护几千个散列表的问题，至今仍是一篇高引用论文。压缩算法一开始叫sketch (就是把对象embed到bit vector，然后可以用位操作进行高速对比)。后来法国人H Jégou搞出来product quantization，并成为了对象压缩算法的主流。Jégou后来到了facebook弄出来了faiss 。到2010年左右，学术界对高维空间索引普遍持悲观态度(curse of dimensionality)。甚至有人发了一篇paper，测出来什么kdtree和各种fancy tree，其实性能都不如用k-means clustering做索引。然后因为brutal force linear scan可以通过体系结构性能优化做得很快，而各种索引一般都依赖random access， 所以很多时候还不如不用。原始的faiss就是不带索引的，只是在压缩后的数据上做linear scan。当时我博士已经读到第五年了，没有任何建树，天天来老论坛这个版灌水。然后某天就突然想出来图算法。LSH虽然快，但是有个很大的问题就是准确度做不上去。2011年我的图算法出来以后直接在Erik Bernhardsson的benchmark上霸榜，可以说是石破天惊。然后俄国人Boytsov迅速接过接力棒把性能提升到了极致(nmslib)。再之后的发展其实都是非常incremental的改进。至今为止所有的高分实现基本上都逃不出图算法的套路。后来我再回过头去做literature survey的时候发现图算法的思路其实日本人早就提过了，但是一直没有引起重视。原因是图算法的基础数据结构是k-NN graph。而构建这个索引图本身要依赖某种vector index， 就成了鸡生蛋蛋生鸡了。我那篇论文则是以一种非常通用的方法把鸡和蛋都解决了。

吹完牛，回过头来说vector db。我觉得RAG是LLM发展早期的一朵浪花而已。Vector db作为RAG的工具，必然也是朵浪花。这里面最主要的原因是，chunking和embedding对于信息及其连续性的损耗是极大的。 Chunking这一步不是AI，然后基于embedding的匹配也不是AI。这两个瓶颈必然会导致整个方案的智能性被拖垮。我觉得目前比较promising的方向是把context做大，然后上面提到的各种思路可能会在context这块换一个形式又出来。

[newstart]

三哥不干！

那是自然不能干，我只是说我很同意你的看法，针对垃圾的处理其实对自然的保护要远远大于电动车整个产业。其实Elon如果真的是关心环境他应该去做垃圾回收，但是他毕竟是个商人，只是作为招牌人物和他背后的利益集团打着环保的招牌进行财富重新分配，垃圾回收的利益远远低于吹捧电动车。当然elon粉丝不会同意，我说的也只是我个人粗浅而且没有vision的看法而已。

[mingliu]

那是自然不能干，我只是说我很同意你的看法，针对垃圾的处理其实对自然的保护要远远大于电动车整个产业。其实Elon如果真的是关心环境他应该去做垃圾回收，但是他毕竟是个商人，只是作为招牌人物和他背后的利益集团打着环保的招牌进行财富重新分配，垃圾回收的利益远远低于吹捧电动车。当然elon粉丝不会同意，我说的也只是我个人粗浅而且没有vision的看法而已。

同意

很多切实有效的环保政策，往往得不到老百姓的拥护

例如强制家具、电器、服装的耐用性和可维修性，这样能够减少一半的垃圾量。目前这些产品的寿命都非常短，应该延长到3倍以上（如同几十年前的生活方式）

[绿竹猗猗]

这个逻辑（元神）、压缩（识神）的说法很有意思。

这两天看你们这些高手过招，很过瘾。

wdong的kgraph我司用过几年，还是不错的。的确是先驱。

不过，我和你对AI的看法又一次完全相反了。“chunking和embedding对于信息及其连续性的损耗是极大的。”，你觉得这不是智能，我认为这就是能够人造的智能的本质，也就是压缩。

本人的独特认识：不能够人造的智能的本质是逻辑，能够人造的智能的本质是压缩。前者曰“元神”，后者曰“识神”。

[verdelite]

你们热烈地讨论，还记得我这个2015年预测AGI 要在2025年实现的人？

[绿竹猗猗]

“例如强制家具、电器、服装的耐用性和可维修性”这个太同意了。如今的电子产品，更新换代太快。虽然本山看起来很小，但是生产过程其实产生很多垃圾。

同意

很多切实有效的环保政策，往往得不到老百姓的拥护

例如强制家具、电器、服装的耐用性和可维修性，这样能够减少一半的垃圾量。目前这些产品的寿命都非常短，应该延长到3倍以上（如同几十年前的生活方式）

[magagop]

什么产品？

Office 365集成啊，把所有東西都集成到SharePoint Server裡面，別告訴我那玩意不需要數據庫。其他家的AI數據庫，不能和雲計算緊密結合。AWS、GCP、OCI不能跟桌面應用緊密結合。別說AI Agent不需要桌面OS支持。Apple本身數據庫不強，Google數據庫也只有移動端OS是自己的。

[magagop]

说起来我还是vector db其中一路的先驱。高维向量索引是一个非常老的问题，各路算法大神多多少少都碰过，姚期智早年也做过。2005年我开始读博时princeton已经是content-based retrieval的重镇了。各种对象通过手工算法提取特征，然后放到vector db里就可以按内容检索。 但是当时离AlexNet的突破还有五六年时间， 其实检索的效果一直都不尽人意。当时解决vector db的基本架构已经确立了，就是索引算法外加数据压缩算法。索引是缩小搜索空间，压缩则是减少单个对象匹配时的计算量。索引算法主要是两个套路，LSH和tree。2006年师姐吕琴做出来Multi-Probe LSH，解决了LSH需要维护几千个散列表的问题，至今仍是一篇高引用论文。压缩算法一开始叫sketch (就是把对象embed到bit vector，然后可以用位操作进行高速对比)。后来法国人H Jégou搞出来product quantization，并成为了对象压缩算法的主流。Jégou后来到了facebook弄出来了faiss 。到2010年左右，学术界对高维空间索引普遍持悲观态度(curse of dimensionality)。甚至有人发了一篇paper，测出来什么kdtree和各种fancy tree，其实性能都不如用k-means clustering做索引。然后因为brutal force linear scan可以通过体系结构性能优化做得很快，而各种索引一般都依赖random access， 所以很多时候还不如不用。原始的faiss就是不带索引的，只是在压缩后的数据上做linear scan。当时我博士已经读到第五年了，没有任何建树，天天来老论坛这个版灌水。然后某天就突然想出来图算法。LSH虽然快，但是有个很大的问题就是准确度做不上去。2011年我的图算法出来以后直接在Erik Bernhardsson的benchmark上霸榜，可以说是石破天惊。然后俄国人Boytsov迅速接过接力棒把性能提升到了极致(nmslib)。再之后的发展其实都是非常incremental的改进。至今为止所有的高分实现基本上都逃不出图算法的套路。后来我再回过头去做literature survey的时候发现图算法的思路其实日本人早就提过了，但是一直没有引起重视。原因是图算法的基础数据结构是k-NN graph。而构建这个索引图本身要依赖某种vector index， 就成了鸡生蛋蛋生鸡了。我那篇论文则是以一种非常通用的方法把鸡和蛋都解决了。

吹完牛，回过头来说vector db。我觉得RAG是LLM发展早期的一朵浪花而已。Vector db作为RAG的工具，必然也是朵浪花。这里面最主要的原因是，chunking和embedding对于信息及其连续性的损耗是极大的。 Chunking这一步不是AI，然后基于embedding的匹配也不是AI。这两个瓶颈必然会导致整个方案的智能性被拖垮。我觉得目前比较promising的方向是把context做大，然后上面提到的各种思路可能会在context这块换一个形式又出来。

讚詳細解答

[wdong]

“这里面最主要的原因是，chunking和embedding对于信息及其连续性的损耗是极大的。 Chunking这一步不是AI，然后基于embedding的匹配也不是AI。这两个瓶颈必然会导致整个方案的智能性被拖垮。我觉得目前比较promising的方向是把context做大，然后上面提到的各种思路可能会在context这块换一个形式又出来”
embedding 确实是我们做vertical行业企业rag的一个问题。对于把context做大，对于很多客户希望自己的信息不上云的要求下，如何做呢？可以给些建议么？

我也不知道。现在是技术还没ready牛吹得大的拿了钱赶鸭子上架。得这一波泡泡破掉一些好东西才会出来。

[wdong]

你们热烈地讨论，还记得我这个2015年预测AGI 要在2025年实现的人？

我当年肯定不信啊。你这是很有远见了。

[cmrhm2008]

那是自然不能干，我只是说我很同意你的看法，针对垃圾的处理其实对自然的保护要远远大于电动车整个产业。其实Elon如果真的是关心环境他应该去做垃圾回收，但是他毕竟是个商人，只是作为招牌人物和他背后的利益集团打着环保的招牌进行财富重新分配，垃圾回收的利益远远低于吹捧电动车。当然elon粉丝不会同意，我说的也只是我个人粗浅而且没有vision的看法而已。

垃圾回收如车电池和塑料回收是很赚钱的，我前年给SK hynix做项目，间接了解到它集团下有个公司就是做这方面的。 Elon也可以做，但是这方面没有FSD对社会更有用，就不会是他的重点了。

[newstart]

垃圾回收如车电池和塑料回收是很赚钱的，我前年给SK hynix做项目，间接了解到它集团下有个公司就是做这方面的。 Elon也可以做，但是这方面没有FSD对社会更有用，就不会是他的重点了。

纯粹吃补贴的行业

[abovetherim]

你们热烈地讨论，还记得我这个2015年预测AGI 要在2025年实现的人？

那你现在还觉得今年能实现AGI?

[verdelite]

那你现在还觉得今年能实现AGI?

我2015年说的是：2025年要实现AGI；别人实现或者我实现都可以，如果别人不能实现那么我就要去实现。
搞了3年后，7年前，我面临一个选择，是继续搞AGI还是去搞倒量子力学。我选择了后者，因为觉得两三年就够了。但是一搞就是7年。
我今年要搞倒量子力学后才能来搞AGI。而且我知道方向。如果现在人们实现的东西你们觉得不是AGI，那么就要等我了。
如果他们现在找到我知道的方向，今年就能实现AGI。否则要等我。

[damagu3]

共产主义科学喂养猪圈模式，早躺平早享福

[Narcotics07]

AI会真正实现“劳动成为人的需要，而不是谋生的手段”，这句话老将们很熟悉吧！

逗死了，真到那时候ai 为什么需要人类这些造粪机？

有些马公真是sx, 想着怎么帮ai 给人类挖坟膜又快又好，呵呵

[abovetherim]

我2015年说的是：2025年要实现AGI；别人实现或者我实现都可以，如果别人不能实现那么我就要去实现。
搞了3年后，7年前，我面临一个选择，是继续搞AGI还是去搞倒量子力学。我选择了后者，因为觉得两三年就够了。但是一搞就是7年。
我今年要搞倒量子力学后才能来搞AGI。而且我知道方向。如果现在人们实现的东西你们觉得不是AGI，那么就要等我了。
如果他们现在找到我知道的方向，今年就能实现AGI。否则要等我。

谢回答！

如果现在人们实现的东西你们觉得不是AGI

我觉得这波用llm搞的东西当然不是啥agi, 甚至这个方向再怎么折腾也不可能实现agi

那能简单讲讲你的思路/想法吗？