对GenAI现状感兴趣的推荐一点资料

[bihai]

不是推理，是訓練。AI訓練相當於Top1超級計算機，把EECS領域過去50年所有的偏門技術都用上了，不是普通人可以想像。有技術搞AI訓練芯片的，全球不超過十家。真正搞AI訓練芯片的，一隻手能數過來。說AI簡單的，都是外行。

这个已经最优了吗？能否让AI参与一下设计，看看能否继续提升？

[oxo]

我一直认为想挣钱，得提供价值作为交换，所以错过了各种炒房炒币暴富的机会（哭死）。现在在ai还没完全成熟的时候加入，还能提供一些算法调优、搭建infra的价值。但过几年AI不仅智力全面超越绝大多数人类，与物理世界的交互也逐渐完善，大部分人可能陷入沦为无用阶层的道路上。那时候虽然工具肯定更好用，但个人能创造什么价值，还有没有干一番事业的机会，就很难说了。

可以稍微形象一点地探讨。前两年，你能让AI从知识库里给你生成一些答案，或者根据提示词生成一些质量勉强可以接受的图。今天，你已经可以跟AI agent对话，生成一个app挂到应用商店去；或者描述一些需求制订完整的旅游行程。只要AI实现了自动化某个之前需要人类介入的流程，对应的初级职位就消失了。很容易想象到，现在老板让你干的活，几年后很可能直接交待AI几句，AI就把最终结果完成了；或者几年后个人用的工具都完善到你想做什么，交待AI几句它能帮你完成，但别人也可以用到相同的AI。那么这种情况下，个人需要能提供其他人想不到或没有，而又有用，让别人愿意花钱买的信息，怎么看都是一件很难的事。等到那个时候发现自己成为无用阶层，再想努力已经晚了。所以我认为要早点做准备，不一定是学AI做AI本身，而是想明白未来的自己能提供什么独特的价值，以及怎么利用AI工具几天或几周后就能10x甚至100x自己的生产力，都是越早开始越好。

跟我想得一样。以前还觉得人类个体的创造性是无可取代的，现在感觉越来越像刘慈欣早年一片科幻《诗云》里面的设定，都是计算而已。在AI还没有全面跟物理世界交互之前，需要些技术的蓝领工作可能是不多的绿洲了。

这一年开始学做股市交易。既然人没啥用了，就玩这种相互收割的游戏吧。

[bihai]

跟我想得一样。以前还觉得人类个体的创造性是无可取代的，现在感觉越来越像刘慈欣早年一片科幻《诗云》里面的设定，都是计算而已。在AI还没有全面跟物理世界交互之前，需要些技术的蓝领工作可能是不多的绿洲了。

这一年开始学做股市交易。既然人没啥用了，就玩这种相互收割的游戏吧。

我以前以为人的思维是一种思考，比如数学题目，不知道怎么就找到办法了。其实都是学过的东西不停地试。最近我发现开发代码就是读懂文字，比如需求的文字说明，和别人讨论，看代码的注释，看代码本身。这些都是阅读理解，带着猜想，求证，然后写一些代码试试，编译，运行看看结果，逐步成型。

这个AI完全可以做了，就是要理解人类的语言而已。

[magagop]

什么乱七八糟的。GEMM的实现是CuBLAS。 这个也是把BLAS填到GPU上面。

backpropagation 就是partial derivation and chain rule.高中数学。

不是問你原理，問你BLAS和Backpropagation怎麼在芯片上實現，多GPU如何協同，你懂嗎？不懂就別口出狂言。

[magagop]

这个已经最优了吗？能否让AI参与一下设计，看看能否继续提升？

不懂你說的什麼是最優，底層非常複雜，普通人也不關心也無法關心，一個小小的atomics就能搞死你，當你不信任硬件時，哪裡都能出問題。

[wildthing]

不是問你原理，問你BLAS和Backpropagation怎麼在芯片上實現，多GPU如何協同，你懂嗎？不懂就別口出狂言。

我十年前就写过这方面的编译器。

[bihai]

不懂你說的什麼是最優，底層非常複雜，普通人也不關心也無法關心，一個小小的atomics就能搞死你，當你不信任硬件時，哪裡都能出問題。

最优的性能，比如进行多少矩阵乘法等，是由各种电阻电容特性决定的，面积等。还有功耗。底层很复杂，让AI去解决嘛

[magagop]

我十年前就写过这方面的编译器。

不是軟件編譯器，仔細看我的問題，是芯片架構具體如何實現，在GPU ISA下面的RTL。

[magagop]

最优的性能，比如进行多少矩阵乘法等，是由各种电阻电容特性决定的，面积等。还有功耗。底层很复杂，让AI去解决嘛

看你的回答就知道你也不懂，軟件用戶總覺得芯片很簡單，誰都能做，其實一個小破問題，就需要很長時間解決。

[fantasist]

我十年前就写过这方面的编译器。

我相信你纯软件写的东西能计算，但慢呀，训一轮要几天谁等的起。nvidia在硬件上就对这些有优化加速，配合cuda生态，构成了软硬结合的护城河。

[牛河梁]

不是推理，是訓練。AI訓練相當於Top1超級計算機，把EECS領域過去50年所有的偏門技術都用上了，不是普通人可以想像。有技術搞AI訓練芯片的，全球不超過十家。真正搞AI訓練芯片的，一隻手能數過來。說AI簡單的，都是外行。

你这话搞多少级流水线预测的Intel也能说。说话客气一点。老牛从不认为自己是普通人。虽然老牛不做硬件。

[牛河梁]

我相信你纯软件写的东西能计算，但慢呀，训一轮要几天谁等的起。nvidia在硬件上就对这些有优化加速，配合cuda生态，构成了软硬结合的护城河。

用计算复杂性的说法，只要差一个常数，训练3个月和3年或者30年没啥区别。硬件的确可以做很多优化。但硬件上不去，模型小一点而已。人类又不是等不起急着AGI。等芯片集成度上去了照样可以训练新模型。晚18个月芯片能力就上升了一倍。

[fantasist]

用计算复杂性的说法，只要差一个常数，训练3个月和3年或者30年没啥区别。硬件的确可以做很多优化。但硬件上不去，模型小一点而已。人类又不是等不起急着AGI。等芯片集成度上去了照样可以训练新模型。晚18个月芯片能力就上升了一倍。

模型小一点，能力差老远。目前开源模型里，几B参数量是toy model，几十B参数量是一些场景勉强能用，几百B参数量才能算强。现在几B的模型够小了都能放手机上，但没什么意义。

[牛河梁]

模型小一点，能力差老远。目前开源模型里，几B参数量是toy model，几十B参数量是一些场景勉强能用，几百B参数量才能算强。现在几B的模型够小了都能放手机上，但没什么意义。

那一位说的问题Intel也有。如果连加减乘除都算不准。那么就去破产吧。

你说的问题等N x 18个月都不是问题。老牛都等了20年了。假设现在举球之力只能搞几B。再过20年能搞多少B？

友情提示，按照摩尔定律，现在的算力是20年前的1万倍。

[magagop]

你这话搞多少级流水线预测的Intel也能说。说话客气一点。老牛从不认为自己是普通人。虽然老牛不做硬件。

你不做硬件就別瞎BB了，不做AI芯片的就是普通人。

[magagop]

用计算复杂性的说法，只要差一个常数，训练3个月和3年或者30年没啥区别。硬件的确可以做很多优化。但硬件上不去，模型小一点而已。人类又不是等不起急着AGI。等芯片集成度上去了照样可以训练新模型。晚18个月芯片能力就上升了一倍。

這又是沒有硬件經驗的瞎BB，聽過MCA和RAS嗎？計算時間越長越容易出錯，如果萬卡集群裡面有一個計算單元的硬件出錯了，你怎麼定位排除？

[magagop]

那一位说的问题Intel也有。如果连加减乘除都算不准。那么就去破产吧。

你说的问题等N x 18个月都不是问题。老牛都等了20年了。假设现在举球之力只能搞几B。再过20年能搞多少B？

友情提示，按照摩尔定律，现在的算力是20年前的1万倍。

你知道短浮點數計算現在還沒有IEEE標準嗎？你知道這意味什麼嗎？紅綠藍廠的浮點數計算結果就是不一樣的，沒有誰對誰錯，但是普通用戶就傻眼了。

[牛河梁]

這又是沒有硬件經驗的瞎BB，聽過MCA和RAS嗎？計算時間越長越容易出錯，如果萬卡集群裡面有一個計算單元的硬件出錯了，你怎麼定位排除？

你这和称坏苹果有啥区别。你的硬件这么不可靠还不破产。那撑死最笨再算一次好了。2万卡。

[fantasist]

你知道短浮點數計算現在還沒有IEEE標準嗎？你知道這意味什麼嗎？紅綠藍廠的浮點數計算結果就是不一樣的，沒有誰對誰錯，但是普通用戶就傻眼了。

跟他们说这些没什么用，真搞过ai的不用说也懂。
别说浮点精度了，计算图稍微差一点，矩阵相乘顺序不一样，结果就有误差。一个几十层的神经网络，误差累积起来很可观。所以amd华为之类做的训练卡虽然便宜，没什么人愿意去趟雷，因为数值都无法跟n卡对齐。家是自己养了一大批硬件到infra到算法的牛人，才把TPU搞成实际可用的状态。

[牛河梁]

你不做硬件就別瞎BB了，不做AI芯片的就是普通人。

你先一边凉快去。先有如何训练。才有你的硬件优化。硬件是为软件/算法服务的。你做不出可靠的你就破产去。软件照样可以在慢一点的机器上跑。