（转载）十年后的算力

[wass]

此帖转自 wass 在 STEM 的帖子：十年后的算力

算力：2年一代，快10倍

10年后，算力是现在的10万倍。

现在马斯克的10万卡，就需要一卡

数据增加为1.5？

什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实

[hci]

算力没有卵用。女大绝对混不了多久了。

以后的趋势是小模型，放在边缘设备上。

此帖转自 wass 在 STEM 的帖子：十年后的算力

算力：2年一代，快10倍

10年后，算力是现在的10万倍。

现在马斯克的10万卡，就需要一卡

数据增加为1.5？

什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实

[wass]

算力没有卵用。女大绝对混不了多久了。

以后的趋势是小模型，放在边缘设备上。

有了算力，可以live learning，或者叫online learning

[hci]

online learning不是靠算力。目前DL还没有能Online Learning的算法。

需要突破。

我知道如何突破，当然我不会说。

有了算力，可以live learning，或者叫online learning

[tfusion]

此帖转自 wass 在 STEM 的帖子：十年后的算力

算力：2年一代，快10倍

10年后，算力是现在的10万倍。

现在马斯克的10万卡，就需要一卡

数据增加为1.5？

什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实

摩尔定律不是到极限了么？

算力一样。会增长越来越慢

[wass]

online learning不是靠算力。目前DL还没有能Online Learning的算法。

需要突破。

我知道如何突破，当然我不会说。

就是算力不够，哈哈

[TheMatrix]

算力没有卵用。女大绝对混不了多久了。

以后的趋势是小模型，放在边缘设备上。

同意。LLM很快会遇到瓶颈。AI agent会大发展，但是它可能不会再用Nvidia了。

[wass]

同意。LLM很快会遇到瓶颈。AI agent会大发展，但是它可能不会再用Nvidia了。

数据有瓶颈，10年以后谁都可以训foundation model。Agent主要是长考，一样需要大力出效率

[TheMatrix]

数据有瓶颈，10年以后谁都可以训foundation model。Agent主要是长考，一样需要大力出效率

不光是数据的瓶颈，还有电力的瓶颈 - 说穿了就是算法的瓶颈。

一个指数增长的东西，不靠算法的改进是无法穿透的。

LLM的瓶颈是架构的问题，架构就是算法。

但是新的架构目前还没有，而下一个10年重点又不在它这，在AI agent上。

[hci]

我在卖一个AI agent的公司，有感兴趣的，赶紧联系我。现在已经有三家在看了。过了这个村，就没这个店了。哈哈。

不光是数据的瓶颈，还有电力的瓶颈 - 说穿了就是算法的瓶颈。

一个指数增长的东西，不靠算法的改进是无法穿透的。

LLM的瓶颈是架构的问题，架构就是算法。

但是新的架构目前还没有，而下一个10年重点又不在它这，在AI agent上。

[wass]

不光是数据的瓶颈，还有电力的瓶颈 - 说穿了就是算法的瓶颈。

一个指数增长的东西，不靠算法的改进是无法穿透的。

LLM的瓶颈是架构的问题，架构就是算法。

但是新的架构目前还没有，而下一个10年重点又不在它这，在AI agent上。

电力肯定不是问题，10年后，一卡用一样的电有现在10万卡的算力，一两个月就可以跑一遍所有数据，用现在的attention算法

[wass]

想想看，现在两个小时，4个卡，就可以训ChatGpt 2

当初老费劲了

[GAGAMA]

好转载！

好久没见到这么SB的发言了，算力增加，需求不变？

此帖转自 wass 在 STEM 的帖子：十年后的算力

算力：2年一代，快10倍

10年后，算力是现在的10万倍。

现在马斯克的10万卡，就需要一卡

数据增加为1.5？

什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实

[VladPutin]

算力只是最简单的部分，神经网络结构的任何改变都可能带来AI能力量级提升。非线性科学的机会来了。

[lsheng]

此帖转自 wass 在 STEM 的帖子：十年后的算力

算力：2年一代，快10倍

10年后，算力是现在的10万倍。

现在马斯克的10万卡，就需要一卡

数据增加为1.5？

什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实

全地球的电都不够用。

[wass]

好转载！

好久没见到这么SB的发言了，算力增加，需求不变？

讨论的是training foundation model，数据增加不了多少

别的ai应用越来越多，gpu销量还是会上升的

[newstart]

此帖转自 wass 在 STEM 的帖子：十年后的算力

算力：2年一代，快10倍

10年后，算力是现在的10万倍。

现在马斯克的10万卡，就需要一卡

数据增加为1.5？

什么概念呢？以后可以到处都是现在的马斯克的万卡超级计算机，live training成为现实

是，这些东西不好说，也许真的算力巨量提高但是耗电和大小反倒减少。未来的东西没法预测，都预测准了也就发财了。