如何在这波产业革命中立足
版主： hci
#144 Re: 如何在这波产业革命中立足
有2020年写的回顾，还在网上。更早的我得找找。2017年附近在mitbbs上发过贴，只是现在都没了。
上次由 verdelite 在 2025年 1月 9日 13:34 修改。
没有光子；也没有量子能级，量子跃迁，量子叠加，量子塌缩和量子纠缠。
#145 Re: 如何在这波产业革命中立足
在我和一些朋友的的email里面找到了。具体做出预测是2015年3月初。我说：
2015年3月10日
在过去的一个半月里，我读了一英寸厚的论文。我预测，在不久的将来，我们将在这个特定领域看到巨大的突破。光是看着就很有趣，更不用说可能有机会真正参与其中。到目前为止，我看到了写两篇论文的机会，但我现在没有时间深入挖掘。我想读更多。
2015年3月11日
昨天读了一篇一年前发表的论文。作者的想法与我的想法很接近，但深度只有我的一半。我不知道他们在过去两年里对这个想法的发展有多少（我想他们是两年前开始发展这个想法的）。但我认为这个方向将会带来巨大的突破。我谈到这个伟大的突破是因为我有一个想法，如果没有人做到，我就去做。
2015年5月4日
还记得两个月前我预言某个特定领域即将出现重大突破吗？今天看到这个领域的一位前沿研究者今年发表的一篇文章，他在文中也做出了这样的预测。他给出的时间表是 50 年。我的是10年。
update：刚才我去把读的这篇文章找到了。这就是把文章打印下来阅读的好处。文章是：
Chris Eliasmith "On the Eve of Artificial Minds" dio: 10.15502/9783958570252
网上有pdf
abstract: "I review recent technological, empirical, and theoretical developments related to
building sophisticated cognitive machines. I suggest that rapid growth in robotics,
brain-like computing, new theories of large-scale functional modeling, and financial
resources directed at this goal means that there will soon be a significant increase
in the abilities of artificial minds. I propose a specific timeline for this development
over the next fifty years and argue for its plausibility. I highlight some
barriers to the development of this kind of technology, and discuss the ethical and
philosophical consequences of such a development. I conclude that researchers in
this field, governments, and corporations must take care to be aware of, and willing
to discuss, both the costs and benefits of pursuing the construction of artificial
minds."
Conclusion第一句：“I have argued that we are at a unique point in
the development of technologies that are critical
to the realization of artificial minds. I have even
gone so far as to predict that human-level intelligence
and physical ability will be achieved in
about fifty years.”
这就是我说的，他预测50年我预测10年。
x1
没有光子；也没有量子能级，量子跃迁，量子叠加，量子塌缩和量子纠缠。
#147 Re: 如何在这波产业革命中立足
十年前，做完准确预测后，你有啥具体行动？verdelite 写了： 2025年 1月 9日 12:32 在我和一些朋友的的email里面找到了。具体做出预测是2015年3月初。我说：
2015年3月10日
在过去的一个半月里，我读了一英寸厚的论文。我预测，在不久的将来，我们将在这个特定领域看到巨大的突破。光是看着就很有趣，更不用说可能有机会真正参与其中。到目前为止，我看到了写两篇论文的机会，但我现在没有时间深入挖掘。我想读更多。
2015年3月11日
昨天读了一篇一年前发表的论文。作者的想法与我的想法很接近，但深度只有我的一半。我不知道他们在过去两年里对这个想法的发展有多少（我想他们是两年前开始发展这个想法的）。但我认为这个方向将会带来巨大的突破。我谈到这个伟大的突破是因为我有一个想法，如果没有人做到，我就去做。
2015年5月4日
还记得两个月前我预言某个特定领域即将出现重大突破吗？今天看到这个领域的一位前沿研究者今年发表的一篇文章，他在文中也做出了这样的预测。他给出的时间表是 50 年。我的是10年。
update：刚才我去把读的这篇文章找到了。这就是把文章打印下来阅读的好处。文章是：
Chris Eliasmith "On the Eve of Artificial Minds" dio: 10.15502/9783958570252
网上有pdf
abstract: "I review recent technological, empirical, and theoretical developments related to
building sophisticated cognitive machines. I suggest that rapid growth in robotics,
brain-like computing, new theories of large-scale functional modeling, and financial
resources directed at this goal means that there will soon be a significant increase
in the abilities of artificial minds. I propose a specific timeline for this development
over the next fifty years and argue for its plausibility. I highlight some
barriers to the development of this kind of technology, and discuss the ethical and
philosophical consequences of such a development. I conclude that researchers in
this field, governments, and corporations must take care to be aware of, and willing
to discuss, both the costs and benefits of pursuing the construction of artificial
minds."
Conclusion第一句：“I have argued that we are at a unique point in
the development of technologies that are critical
to the realization of artificial minds. I have even
gone so far as to predict that human-level intelligence
and physical ability will be achieved in
about fifty years.”
这就是我说的，他预测50年我预测10年。
相同时期，叔也做出了类似的预测，然后寻找ai趋势里获益最大的股票。初选两家，谷歌和英伟达，一软一硬。再深入研究后判断，硬件是ai趋势的根本动力。然后，叔做出了这辈子最成功的投资行动，开始建仓英伟达股票，重仓，10年前。以后，不论股票市场如何波动，长持英伟达是一种信仰。
x1
#148 Re: 如何在这波产业革命中立足
===>购入英伟达股票，重仓，10年前。jiml 写了： 2025年 1月 9日 15:15 十年前，做完准确预测后，你有啥具体行动？
相同时期，叔也做出了类似的预测，然后寻找ai趋势里获益最大的股票。初选两家，谷歌和英伟达，一软一硬。再深入研究后判断，硬件是ai趋势的根本动力。然后，叔做出了这辈子最成功的投资行动，开始建仓英伟达股票，重仓，10年前。以后，不论股票市场如何波动，长持英伟达是一种信仰。
梦里啥都有！
意淫的最高境界，是把彪形大汉的你意淫成我的一个小妾。
#150 Re: 如何在这波产业革命中立足
我一分钱也没买。我有同事问我，如果我说的会发生，那么该买什么股票。我说NVDA。jiml 写了： 2025年 1月 9日 15:15 十年前，做完准确预测后，你有啥具体行动？
相同时期，叔也做出了类似的预测，然后寻找ai趋势里获益最大的股票。初选两家，谷歌和英伟达，一软一硬。再深入研究后判断，硬件是ai趋势的根本动力。然后，叔做出了这辈子最成功的投资行动，开始建仓英伟达股票，重仓，10年前。以后，不论股票市场如何波动，长持英伟达是一种信仰。
但是我并没有买。原因是我家是廉颇管钱，我要买需要找她要钱，而她肯定会拿出当年读书时我拿了5000炒股最后剩下1000的事情来说。而且我也没想到会涨300倍。我当时是感觉涨个几倍不值得我的时间和去找她要钱被羞辱一次。例如投入10万，几年涨到20，30万，那么这几年我肯定天天要去看股，我就没有时间做民科了，不值得。
至于同事有没有赚，她也没有赚，因为炒股的人，拿不住。涨一点就会卖，再涨又会后悔。来来回回就挣不了什么钱。她10年里三次问我我都是说的NVDA，她却没赚到钱。我如果当年买了，估计也是一样的结果。
我每10年做一次精准预测。上上次(200几年）我预测AMD长期比intel看好。这次的是量子计算永远不能成功。这次我不知道该买什么股票，但是我不敢short量子计算股，我怕short squeeze。至于我预测得准不准，刚刚黄仁勋说量子计算20年后才能成功，量子股纷纷腰斩。我比他精准，我知道永远也不可能成功。
等你明白了世人皆傻，你就有了洞察力，创造力和行动力。对了，关于世人皆傻，这也比马斯克的“世界是个草台班子”要早7年以上。
x1
没有光子；也没有量子能级，量子跃迁，量子叠加，量子塌缩和量子纠缠。
#151 Re: 如何在这波产业革命中立足
去年读到一遍文章，说vector db可能是伪需求，我认为有一定道理。如果向量总数1 million以内，load进内存用numpy点乘然后argmax一下就行，运算在毫秒级内完成，根本不需要另搞一套infra组件。而如果business成功，scale上去，再投资vector db也不迟。这些年vector search的各种算法优化，真正能用到的可能只有极少数顶尖的公司。wdong 写了： 2025年 1月 8日 09:48 说起来我还是vector db其中一路的先驱。高维向量索引是一个非常老的问题，各路算法大神多多少少都碰过，姚期智早年也做过。2005年我开始读博时princeton已经是content-based retrieval的重镇了。各种对象通过手工算法提取特征，然后放到vector db里就可以按内容检索。 但是当时离AlexNet的突破还有五六年时间， 其实检索的效果一直都不尽人意。当时解决vector db的基本架构已经确立了，就是索引算法外加数据压缩算法。索引是缩小搜索空间，压缩则是减少单个对象匹配时的计算量。索引算法主要是两个套路，LSH和tree。2006年师姐吕琴做出来Multi-Probe LSH，解决了LSH需要维护几千个散列表的问题，至今仍是一篇高引用论文。压缩算法一开始叫sketch (就是把对象embed到bit vector，然后可以用位操作进行高速对比)。后来法国人H Jégou搞出来product quantization，并成为了对象压缩算法的主流。Jégou后来到了facebook弄出来了faiss 。到2010年左右，学术界对高维空间索引普遍持悲观态度(curse of dimensionality)。甚至有人发了一篇paper，测出来什么kdtree和各种fancy tree，其实性能都不如用k-means clustering做索引。然后因为brutal force linear scan可以通过体系结构性能优化做得很快，而各种索引一般都依赖random access， 所以很多时候还不如不用。原始的faiss就是不带索引的，只是在压缩后的数据上做linear scan。当时我博士已经读到第五年了，没有任何建树，天天来老论坛这个版灌水。然后某天就突然想出来图算法。LSH虽然快，但是有个很大的问题就是准确度做不上去。2011年我的图算法出来以后直接在Erik Bernhardsson的benchmark上霸榜，可以说是石破天惊。然后俄国人Boytsov迅速接过接力棒把性能提升到了极致(nmslib)。再之后的发展其实都是非常incremental的改进。至今为止所有的高分实现基本上都逃不出图算法的套路。后来我再回过头去做literature survey的时候发现图算法的思路其实日本人早就提过了，但是一直没有引起重视。原因是图算法的基础数据结构是k-NN graph。而构建这个索引图本身要依赖某种vector index， 就成了鸡生蛋蛋生鸡了。我那篇论文则是以一种非常通用的方法把鸡和蛋都解决了。
吹完牛，回过头来说vector db。我觉得RAG是LLM发展早期的一朵浪花而已。Vector db作为RAG的工具，必然也是朵浪花。这里面最主要的原因是，chunking和embedding对于信息及其连续性的损耗是极大的。 Chunking这一步不是AI，然后基于embedding的匹配也不是AI。这两个瓶颈必然会导致整个方案的智能性被拖垮。我觉得目前比较promising的方向是把context做大，然后上面提到的各种思路可能会在context这块换一个形式又出来。
关于RAG的未来，我跟你的观点相反，我认为RAG会是最主流的知识管理方式。embedding是压缩了信息，LLM自带的知识何尝不是，朱泽园有研究每个parameter bit能存多少知识。人类也不可能在脑子里记太多东西，做事的时候先google、查书，这不就是RAG吗。In context learning也有局限。现在确实可以把context window增加到几million token，但效果并不好。首先一次请求要把整个知识库喂给模型，是对inference infra巨大的挑战，不make sense。其次模型在context里检索的recall并不是100%，而且context不同的位置知识丢失机率不均匀，影响实际应用的效果。
智能=知识+计算能力。我认为已有的LLM已经学到了远超人类的知识，还能通过RAG进一步提升，短板在计算能力（主要是逻辑推理）上。近期看，各种商业模式正在做的是与非公开的知识integrate，大幅扩展已有的模型能力，这两年真正能挣钱的应用也许会有很大进步。如果未来三五年有办法将逻辑能力突破一下，配合agent、robotic之类的外围基础工具建设（这个恐怕难度不高），人类大规模失业指日可待。
目前大模型快速学习的能力还有限，一旦完成了这个，并有充分的与物理世界交互的interface，开始如生物一般自我迭代的进程，人类退出历史的时刻就到了。
#152 Re: 如何在这波产业革命中立足
我不認為AI今年會爆，因為大多數人都是懷疑態度，這就不能爆，還在半山腰呢hci 写了： 2025年 1月 5日 15:23 唯一可以庆幸的是，这次AI爆不会如2000年互联网爆带来的危害大。
因为目前整个社会对AI并没有当年对互联网那么疯狂，而是保持了极大的克制和怀疑态度。
绝大多数公司都没有All in AI。投入是很少的，最多试一试水。据我所知，绝大多数尝试都失败了，或者收效甚微。
#153 Re: 如何在这波产业革命中立足
這個確實是趨勢，所以wdong說的才是重點：學會AI的語言（prompts engineering），成為AI在自己領域的帶路黨（benchmarking），加速AI淘汰初級人員的過程，然後分一口湯喝。奧斯威辛集中營裡面負責燒鍋爐的猶太人最後活下來了。uws 写了： 2025年 1月 6日 16:56 不少人都乐观的认为AI能让人类实现UBI
但就目前来看更可能的结果是互联网/AI让越来越多人
变成机器/算法的奴隶
最典型的就是美团外卖，吴博滴滴，人完全就是变成了服从
机器的指示的奴隶
恐怕随着AI 进一步发展，会有越来越多的人成为机器的last mile 奴隶
另外一个发展结果则是AI通过从人类身上榨取越来越多的空余时间
来发展自己，一大部分人群把自己的时间供奉给了AI，类似TikTok
抖音，油管。
如果任由AI + 资本发展，这两种结果必然会发生。
#154 Re: 如何在这波产业革命中立足
確實拿不住，我也是很早建倉NVDA，然後幾次大跌就賣了，十年也沒賺到錢。verdelite 写了： 2025年 1月 9日 17:16 我一分钱也没买。我有同事问我，如果我说的会发生，那么该买什么股票。我说NVDA。
但是我并没有买。原因是我家是廉颇管钱，我要买需要找她要钱，而她肯定会拿出当年读书时我拿了5000炒股最后剩下1000的事情来说。而且我也没想到会涨300倍。我当时是感觉涨个几倍不值得我的时间和去找她要钱被羞辱一次。例如投入10万，几年涨到20，30万，那么这几年我肯定天天要去看股，我就没有时间做民科了，不值得。
至于同事有没有赚，她也没有赚，因为炒股的人，拿不住。涨一点就会卖，再涨又会后悔。来来回回就挣不了什么钱。她10年里三次问我我都是说的NVDA，她却没赚到钱。我如果当年买了，估计也是一样的结果。
我每10年做一次精准预测。上上次(200几年）我预测AMD长期比intel看好。这次的是量子计算永远不能成功。这次我不知道该买什么股票，但是我不敢short量子计算股，我怕short squeeze。至于我预测得准不准，刚刚黄仁勋说量子计算20年后才能成功，量子股纷纷腰斩。我比他精准，我知道永远也不可能成功。
等你明白了世人皆傻，你就有了洞察力，创造力和行动力。对了，关于世人皆傻，这也比马斯克的“世界是个草台班子”要早7年以上。
#155 Re: 如何在这波产业革命中立足
『短板在计算能力（主要是逻辑推理）上。』，你說的短板不是o3用CoT已經解決了嗎？今年一定能看到o3的精彩表演。fantasist 写了： 2025年 1月 9日 23:10 去年读到一遍文章，说vector db可能是伪需求，我认为有一定道理。如果向量总数1 million以内，load进内存用numpy点乘然后argmax一下就行，运算在毫秒级内完成，根本不需要另搞一套infra组件。而如果business成功，scale上去，再投资vector db也不迟。这些年vector search的各种算法优化，真正能用到的可能只有极少数顶尖的公司。
关于RAG的未来，我跟你的观点相反，我认为RAG会是最主流的知识管理方式。embedding是压缩了信息，LLM自带的知识何尝不是，朱泽园有研究每个parameter bit能存多少知识。人类也不可能在脑子里记太多东西，做事的时候先google、查书，这不就是RAG吗。In context learning也有局限。现在确实可以把context window增加到几million token，但效果并不好。首先一次请求要把整个知识库喂给模型，是对inference infra巨大的挑战，不make sense。其次模型在context里检索的recall并不是100%，而且context不同的位置知识丢失机率不均匀，影响实际应用的效果。
智能=知识+计算能力。我认为已有的LLM已经学到了远超人类的知识，还能通过RAG进一步提升，短板在计算能力（主要是逻辑推理）上。近期看，各种商业模式正在做的是与非公开的知识integrate，大幅扩展已有的模型能力，这两年真正能挣钱的应用也许会有很大进步。如果未来三五年有办法将逻辑能力突破一下，配合agent、robotic之类的外围基础工具建设（这个恐怕难度不高），人类大规模失业指日可待。
目前大模型快速学习的能力还有限，一旦完成了这个，并有充分的与物理世界交互的interface，开始如生物一般自我迭代的进程，人类退出历史的时刻就到了。
#156 Re: 如何在这波产业革命中立足
Chain of Thought 的称呼是在侮辱 "thought"。 你知道 LLM 之外的套壳里有什么样的屎山逻辑才造就了 o3? 虽然不会是 rules， 但 expert system 为什么死了并引发了一个 AI 寒冬应该是 LLM driven reasoning 的下场。
#157 Re: 如何在这波产业革命中立足
你理解没问题。每一层attention都是RAG。问题在于两处。 1. LLM的关键是有N层，不光是每一层的embedding抽象程度顺次提高，更重要的是，下面的层attend错了，上面的层能纠正回来。 现在的RAG只有一层。2. context size增加后，softmax的定位能力会逐渐减弱。RAG相当于不计效果地把context size直接增加到了无穷大。fantasist 写了： 2025年 1月 9日 23:10 去年读到一遍文章，说vector db可能是伪需求，我认为有一定道理。如果向量总数1 million以内，load进内存用numpy点乘然后argmax一下就行，运算在毫秒级内完成，根本不需要另搞一套infra组件。而如果business成功，scale上去，再投资vector db也不迟。这些年vector search的各种算法优化，真正能用到的可能只有极少数顶尖的公司。
关于RAG的未来，我跟你的观点相反，我认为RAG会是最主流的知识管理方式。embedding是压缩了信息，LLM自带的知识何尝不是，朱泽园有研究每个parameter bit能存多少知识。人类也不可能在脑子里记太多东西，做事的时候先google、查书，这不就是RAG吗。In context learning也有局限。现在确实可以把context window增加到几million token，但效果并不好。首先一次请求要把整个知识库喂给模型，是对inference infra巨大的挑战，不make sense。其次模型在context里检索的recall并不是100%，而且context不同的位置知识丢失机率不均匀，影响实际应用的效果。
智能=知识+计算能力。我认为已有的LLM已经学到了远超人类的知识，还能通过RAG进一步提升，短板在计算能力（主要是逻辑推理）上。近期看，各种商业模式正在做的是与非公开的知识integrate，大幅扩展已有的模型能力，这两年真正能挣钱的应用也许会有很大进步。如果未来三五年有办法将逻辑能力突破一下，配合agent、robotic之类的外围基础工具建设（这个恐怕难度不高），人类大规模失业指日可待。
目前大模型快速学习的能力还有限，一旦完成了这个，并有充分的与物理世界交互的interface，开始如生物一般自我迭代的进程，人类退出历史的时刻就到了。
#158 Re: 如何在这波产业革命中立足
这个llm怎么和common sense，常识（应为常理，不是常识，common knowledge)，联系起来。
我感觉现在的llm是知识，而不是智能，而智能需要的是常理，就是一种举一反三的能力。
我看现在的主流看法是，llm学的东西多了，他的智能就上去了，这不是扯淡吗。这是死记硬背的方法。llm里头灌的东西已经太多了，但是完全没有常理，比如1.9和1.11哪个大，说明它没有常理。
那常理是什么，我觉得是一种归纳推理的能力。
我感觉现在的llm是知识，而不是智能，而智能需要的是常理，就是一种举一反三的能力。
我看现在的主流看法是，llm学的东西多了，他的智能就上去了，这不是扯淡吗。这是死记硬背的方法。llm里头灌的东西已经太多了，但是完全没有常理，比如1.9和1.11哪个大，说明它没有常理。
那常理是什么，我觉得是一种归纳推理的能力。
意淫的最高境界，是把彪形大汉的你意淫成我的一个小妾。
#159 Re: 如何在这波产业革命中立足
我的观点是：人在个人层面上说，既没有归纳能力也没有推理能力，只有死记硬背和hallucination的能力。具体讨论在下面这个帖子：duiduilu 写了： 2025年 1月 10日 09:25 这个llm怎么和common sense，常识（应为常理，不是常识，common knowledge)，联系起来。
我感觉现在的llm是知识，而不是智能，而智能需要的是常理，就是一种举一反三的能力。
我看现在的主流看法是，llm学的东西多了，他的智能就上去了，这不是扯淡吗。这是死记硬背的方法。llm里头灌的东西已经太多了，但是完全没有常理，比如1.9和1.11哪个大，说明它没有常理。
那常理是什么，我觉得是一种归纳推理的能力。
viewtopic.php?p=4796068#p4796068
#160 Re: 如何在这波产业革命中立足
往LLM外套屎山逻辑真是非常pathetic的做法。我相信OpenAI的人不是不知道，他们也没办法。我好几次看到pro转好几分钟算出来缺胳膊少腿的东西。现在已经退订$200了。mn 写了： 2025年 1月 10日 06:44 Chain of Thought 的称呼是在侮辱 "thought"。 你知道 LLM 之外的套壳里有什么样的屎山逻辑才造就了 o3? 虽然不会是 rules， 但 expert system 为什么死了并引发了一个 AI 寒冬应该是 LLM driven reasoning 的下场。