对GenAI现状感兴趣的推荐一点资料

[fantasist]

1. Hinton最近的一个podcast，能了解到先驱是怎么看待目前AI技术发展的。
https://www.nobelprize.org/prizes/physi ... n/podcast/

我觉得特别有意思的部分是提到研究表明，人类大脑在回忆时，实际上是generate一个自认为合理的场景，而不是retrieval。再综合其它讨论，延伸出随着GenAI研究越来越深入，researcher们实际上发现AI的工作原理跟人脑越来越像。


2. Andrej Karpathy在YC的talk


他从实战角度出发，探讨了AI agent的发展情况，和未来编程的范式。我认为这个科普不仅对码工有帮助，对于想创业而对AI领域了解有限的人也很有启发。

[hci]

1.Hinton说的这个是心理学常識，没有什么新意。因为这𠆤，就说LLM与人脑原理很像，是逻辑錯誤。他不过是重复他被批得體無完膚的老观点。

2. 这个vibe coder的talk我看了。一是没有新意。他说的观察，与我2023年在心理所的talk差不多。我是预见，所以更勝一籌。而他的建议，不但是反动的，其实也是自相矛盾的：如果AI这么厲害，就不需要人专门为AI写doc，不是么？

1. Hinton最近的一个podcast，能了解到先驱是怎么看待目前AI技术发展的。
https://www.nobelprize.org/prizes/physi ... n/podcast/

我觉得特别有意思的部分是提到研究表明，人类大脑在回忆时，实际上是generate一个自认为合理的场景，而不是retrieval。再综合其它讨论，延伸出随着GenAI研究越来越深入，researcher们实际上发现AI的工作原理跟人脑越来越像。


2. Andrej Karpathy在YC的talk


他从实战角度出发，探讨了AI agent的发展情况，和未来编程的范式。我认为这个科普不仅对码工有帮助，对于想创业而对AI领域了解有限的人也很有启发。

[newstart]

VIBE Coding的时代，听那些东西没大用处。重要的是自己执行，东西几个月甚至几周就要过时，那些vision对个人没什么用处。

[fantasist]

VIBE Coding的时代，听那些东西没大用处。重要的是自己执行，东西几个月甚至几周就要过时，那些vision对个人没什么用处。

这些是推荐给感兴趣但没有动过手的人。我发现连很多号称搞过ml的，都对现在ai的能力完全不了解，连使用最新工具的mindset都没有，所以需要科普。

[robot2022]

能不能这么想
现在是早期
干啥都不容易
等过个几年
技术成熟了也简单了
再沾手

[fantasist]

能不能这么想
现在是早期
干啥都不容易
等过个几年
技术成熟了也简单了
再沾手

我一直认为想挣钱，得提供价值作为交换，所以错过了各种炒房炒币暴富的机会（哭死）。现在在ai还没完全成熟的时候加入，还能提供一些算法调优、搭建infra的价值。但过几年AI不仅智力全面超越绝大多数人类，与物理世界的交互也逐渐完善，大部分人可能陷入沦为无用阶层的道路上。那时候虽然工具肯定更好用，但个人能创造什么价值，还有没有干一番事业的机会，就很难说了。

可以稍微形象一点地探讨。前两年，你能让AI从知识库里给你生成一些答案，或者根据提示词生成一些质量勉强可以接受的图。今天，你已经可以跟AI agent对话，生成一个app挂到应用商店去；或者描述一些需求制订完整的旅游行程。只要AI实现了自动化某个之前需要人类介入的流程，对应的初级职位就消失了。很容易想象到，现在老板让你干的活，几年后很可能直接交待AI几句，AI就把最终结果完成了；或者几年后个人用的工具都完善到你想做什么，交待AI几句它能帮你完成，但别人也可以用到相同的AI。那么这种情况下，个人需要能提供其他人想不到或没有，而又有用，让别人愿意花钱买的信息，怎么看都是一件很难的事。等到那个时候发现自己成为无用阶层，再想努力已经晚了。所以我认为要早点做准备，不一定是学AI做AI本身，而是想明白未来的自己能提供什么独特的价值，以及怎么利用AI工具几天或几周后就能10x甚至100x自己的生产力，都是越早开始越好。

[bihai]

我一直认为想挣钱，得提供价值作为交换，所以错过了各种炒房炒币暴富的机会（哭死）。现在在ai还没完全成熟的时候加入，还能提供一些算法调优、搭建infra的价值。但过几年AI不仅智力全面超越绝大多数人类，与物理世界的交互也逐渐完善，大部分人可能陷入沦为无用阶层的道路上。那时候虽然工具肯定更好用，但个人能创造什么价值，还有没有干一番事业的机会，就很难说了。

可以稍微形象一点地探讨。前两年，你能让AI从知识库里给你生成一些答案，或者根据提示词生成一些质量勉强可以接受的图。今天，你已经可以跟AI agent对话，生成一个app挂到应用商店去；或者描述一些需求制订完整的旅游行程。只要AI实现了自动化某个之前需要人类介入的流程，对应的初级职位就消失了。很容易想象到，现在老板让你干的活，几年后很可能直接交待AI几句，AI就把最终结果完成了；或者几年后个人用的工具都完善到你想做什么，交待AI几句它能帮你完成，但别人也可以用到相同的AI。那么这种情况下，个人需要能提供其他人想不到或没有，而又有用，让别人愿意花钱买的信息，怎么看都是一件很难的事。等到那个时候发现自己成为无用阶层，再想努力已经晚了。所以我认为要早点做准备，不一定是学AI做AI本身，而是想明白未来的自己能提供什么独特的价值，以及怎么利用AI工具几天或几周后就能10x甚至100x自己的生产力，都是越早开始越好。

是啊。几年后，会不会老板都没了？都是AI了。人干啥呢？

[magagop]

我一直认为想挣钱，得提供价值作为交换，所以错过了各种炒房炒币暴富的机会（哭死）。现在在ai还没完全成熟的时候加入，还能提供一些算法调优、搭建infra的价值。但过几年AI不仅智力全面超越绝大多数人类，与物理世界的交互也逐渐完善，大部分人可能陷入沦为无用阶层的道路上。那时候虽然工具肯定更好用，但个人能创造什么价值，还有没有干一番事业的机会，就很难说了。

可以稍微形象一点地探讨。前两年，你能让AI从知识库里给你生成一些答案，或者根据提示词生成一些质量勉强可以接受的图。今天，你已经可以跟AI agent对话，生成一个app挂到应用商店去；或者描述一些需求制订完整的旅游行程。只要AI实现了自动化某个之前需要人类介入的流程，对应的初级职位就消失了。很容易想象到，现在老板让你干的活，几年后很可能直接交待AI几句，AI就把最终结果完成了；或者几年后个人用的工具都完善到你想做什么，交待AI几句它能帮你完成，但别人也可以用到相同的AI。那么这种情况下，个人需要能提供其他人想不到或没有，而又有用，让别人愿意花钱买的信息，怎么看都是一件很难的事。等到那个时候发现自己成为无用阶层，再想努力已经晚了。所以我认为要早点做准备，不一定是学AI做AI本身，而是想明白未来的自己能提供什么独特的价值，以及怎么利用AI工具几天或几周后就能10x甚至100x自己的生产力，都是越早开始越好。

AI太難了，是最難搞的CS方向，搞得我心累。

[fantasist]

AI太難了，是最難搞的CS方向，搞得我心累。

你是搞哪一个方向的？

[jkxf]

ChatGPT 到现在都不能告诉我附近哪家店的鸡蛋最p便宜

[fantasist]

ChatGPT 到现在都不能告诉我附近哪家店的鸡蛋最p便宜

先想一下让你自己去找附近哪家店的鸡蛋最便宜时，你作为人类会怎么寻找答案？很简单，要不亲自去看一遍， 要不通过某种app比如instacart搜一圈附近的店进行比价。对AI来说，“亲自看”需要与物理世界交互，不efficient。所以当下最适合AI的方案就是生成一个plan，然后利用tool use的能力去一步步执行这个plan。以chatgpt目前的智商，完全能理解你问题里的时间（现在）、地点（附近）、物体（鸡蛋）、状态（价格），必要的context只有你的坐标、每家grocery store的鸡蛋价格，只要有了这些数据，立刻能给出正确的答案。
回过头再来看这个问题，chatgpt现在不能告诉你答案，是因为它智能不足无法理解这个问题或无法生成一个plan，还是只由于没有接入相关的context？很明显是后者，它没有渠道帮你问每家grocery鸡蛋的价格，plan无法执行下去。而做这些data connector只是苦力活，没有技术上的blocker，难以立刻实现最主要的原因是grocery store们的数据不对openai开放。如果回答这类问题有很高的商业价值，那么oai一定会接入相关API，就能在几秒内给你结果。

[magagop]

你是搞哪一个方向的？

芯片性能測試

[magagop]

ChatGPT 到现在都不能告诉我附近哪家店的鸡蛋最p便宜

這不是GPT擅長的，這是database擅長的，不怨OpenAI

[牛河梁]

是啊。几年后，会不会老板都没了？都是AI了。人干啥呢？

自信一点。不用很多年。“文明世界”里人大都没了。只剩下一些Ai“游牧”的后代。

老牛最近在研究一本书。经常被抓差，还没看完。里面提到公有化的Ai将实现人类大同。老牛琢磨着是不拥有Ai的人都死绝了。拥有Ai的人的后代（拥有Ai）自然“公有”Ai进入“共产主义”。

这种事情在人类历史上发生过很多次。举例说农业革命及金属（青铜）时代。至今不是还有很多皇汉在吹，汉族男人来自三位（或五位）超级祖先么。

[牛河梁]

AI太難了，是最難搞的CS方向，搞得我心累。

Ai没有图灵机/算法/计算复杂性难。Ai只是CS应用。来回就几个算法。老牛Ai/ML之类这么多年来混（网）课基本上都是满分。当年图灵机/计算复杂性是不及格的边沿。

[magagop]

Ai没有图灵机/算法/计算复杂性难。Ai只是CS应用。来回就几个算法。老牛Ai/ML之类这么多年来混（网）课基本上都是满分。当年图灵机/计算复杂性是不及格的边沿。

你不是搞硬件的，不懂AI。你知道GPT怎麼訓練嗎？AI的基礎是硬件，不僅僅是軟件。你知道GEMM和Backpropagation在硬件上怎麼實現嗎？尤其是萬卡集群。老黃的公司市值第一，絕不是偶然。

[fantasist]

芯片性能測試

推理硬件吗？AI为什么会增加难度

[magagop]

推理硬件吗？AI为什么会增加难度

不是推理，是訓練。AI訓練相當於Top1超級計算機，把EECS領域過去50年所有的偏門技術都用上了，不是普通人可以想像。有技術搞AI訓練芯片的，全球不超過十家。真正搞AI訓練芯片的，一隻手能數過來。說AI簡單的，都是外行。

[bihai]

先想一下让你自己去找附近哪家店的鸡蛋最便宜时，你作为人类会怎么寻找答案？很简单，要不亲自去看一遍， 要不通过某种app比如instacart搜一圈附近的店进行比价。对AI来说，“亲自看”需要与物理世界交互，不efficient。所以当下最适合AI的方案就是生成一个plan，然后利用tool use的能力去一步步执行这个plan。以chatgpt目前的智商，完全能理解你问题里的时间（现在）、地点（附近）、物体（鸡蛋）、状态（价格），必要的context只有你的坐标、每家grocery store的鸡蛋价格，只要有了这些数据，立刻能给出正确的答案。
回过头再来看这个问题，chatgpt现在不能告诉你答案，是因为它智能不足无法理解这个问题或无法生成一个plan，还是只由于没有接入相关的context？很明显是后者，它没有渠道帮你问每家grocery鸡蛋的价格，plan无法执行下去。而做这些data connector只是苦力活，没有技术上的blocker，难以立刻实现最主要的原因是grocery store们的数据不对openai开放。如果回答这类问题有很高的商业价值，那么oai一定会接入相关API，就能在几秒内给你结果。

这岂不是AI领域的最后一英里问题，对应光纤通讯的最后一英里难题。难题在于，数据的产生着没有把数据放入网络。要不搞个人力最后一英里吧，让人去商店看看价格然后照下来。每天最早做的7个人得到奖赏（每人1-5块不等），如何？

[wildthing]

你不是搞硬件的，不懂AI。你知道GPT怎麼訓練嗎？AI的基礎是硬件，不僅僅是軟件。你知道GEMM和Backpropagation在硬件上怎麼實現嗎？尤其是萬卡集群。老黃的公司市值第一，絕不是偶然。

什么乱七八糟的。GEMM的实现是CuBLAS。 这个也是把BLAS填到GPU上面。

backpropagation 就是partial derivation and chain rule.高中数学。