（转载）看来大模型的pre train非常困难

[magagop]

逻辑是什么？逻辑就是一种硬性的筛子。

内在语义几何空间的硬性限制其实很少。所以能从语料中学习到的逻辑是很少的，同时也不是硬性的。

大量预训练这条路已经走到头了，几个AI头面人物现在都意识到了。

马克屁都不懂。

結合邏輯的語意分析已經搞了30年，不是新概念，參考ACE ERG語法

[magagop]

https://zhuanlan.zhihu.com/p/1979222608 ... 6140399806

「如果你在Meta，你是在一家巨头打工，做出的成果是优化广告算法或者让聊天机器人更顺滑；但在OpenAI，你是在参与“人类最后一次发明”。这种“使命感溢价”和“技术前沿的垄断性”，让OpenAI可以用低于Meta的现金报价，依然留住最核心的那500个研究员。这就好比当年的曼哈顿计划，你不需要给奥本海默开出华尔街投行的工资，因为“造原子弹”这件事本身的吸引力，超越了货币。」

這是一年前的訪談，其實就是畫大餅，跟當年Jobs鄙視賣糖水一樣。。。

[Caravel]

這些是兩年前的paper熱點

并没有解决啊，oai都搞不定

[magagop]

并没有解决啊，oai都搞不定

Paper熱點不代表有成熟商業解決方案