新未名空间

2010年时候 cuda就很成气候了

你去看看当时的hpc 业界大会， cuda，nvda拿了很多奖

当时超算界基本都在学cuda，现在搞ai infra的都是当时搞超算的人。

根本不是贡献资源推广这种事情，他出现的非常及时，赶上时间点了。

GTC2009就有了，看看当时老黄怎么说的。 CUDA就是异构计算，说的非常明白。

GF烂导致了amd的cpu烂，导致了amd的gpu烂，这是非常明白的事情。

ATI和amd合并之前，还能和nvda打个来回，一合并立刻就走下坡路，直到amd彻底甩了gf 和tsmc合作，才算缓过来。

TSMC领先不领先是和intel比工艺 ...

什么叫cuda是因为送卡 阿
这不胡扯吗

早期用这些玩意都是超算群体，看看那时候很多超算都用nvda的tesla卡了， 我记得2010年很多超算就有这玩意了，我还摆弄过这卡呢。
当时amd有对应tesla卡的产品？ 没有把？
这个tesla卡就是针对超算市场的阿，什么线性代数库都是为这个市场准备的。
早期的cuda编程书 就是那个绿皮的，去翻翻。 那里面都是些什么应用
后来搭上ai 那属于无心插柳。

bradyzhu 写了： 2025年 1月 28日 02:22 外行就别胡扯了。
NVDA推CUDA的时候，AMD玩GPGPU，我在AMD做APU，现在在NVDA
我是看着CUDA到处送卡一点一点长大，AMD不舍得送卡，只发PPT，没屁用。

是ati先有的gpgpu好不好， 当时ati有自己计划中的api 来编程gpu。 后来跟amd合并了，amd把这个计划给取消了，转到opencl上来，等这个搞定，cuda都出来两年了吧。
再后来 用gf制程的gpu不行阿，被nvda的吊打。
所以阿，软件生态来晚了，工艺也不行。 那可不就是完蛋吗。

amd的gpu性能真上来 还得等tsmc代工后，但那都是啥时候了，早被cuda把市场占了

什么叫编故事阿？

cuda什么时候出现的？ 人家占尽那个领先优势，就没有后来者机会了。
那时候 就是他们amd和ati合并的时候了

amd后来也推自己 开源的那套东西阿，没人用阿。

异构计算是个大概念阿，很多种形式 cpu+fpga，cpu+dsp，cpu+gpu 都算异构计算
cuda就是异构计算的一种实现形式而已。

笑死 是先有的物理加速卡，那个好像叫phyix， 这个厂家被nvda买了，后来才有的cuda。cuda就是来自于那个物理加速卡的api。

最早的可编程gpu是通过图形api实现的，没有自己的api。

现在手机上的cpu都集成gpu，人家那也叫异构计算 ...

异构计算这个东西 很早就有了
intel之前的cpu集成显卡，他可以调用显卡来压缩视频 这玩意叫啥来的？ quicksync还是啥，我忘了，这个就可以算异构计算了

amd当时跟gf分手，把fab甩了出去，但是条件是必须要用gf代工，所以gf代工过amd的显卡。 但gf的工艺比较落后。

bradyzhu 写了： 2025年 1月 28日 01:59 AMD又没有限制，也是用台积电的代工，看看干了些啥。

amd或者早期叫ati，他们合并的时候，比较乱 应该错过了cuda这个机会，就是可编程gpu出现带来的机会。 按理说可编程gpu是ati先弄出来的，他们有优势。

amd当时买ati，可能是想cpu+gpu的异构计算，想法很对，但他们应是错过了这个大机会。 异构计算现在应该都是cuda的天下，cuda我记得没错的话来自于nvda收购的一个物理加速卡企业

当然我说的是可编程的gpu

更早期的gpu
估计都是类似asic那些玩意了， 能实现什么函数运算都是写死在电路里的
只能跑3d渲染的这个pipeline

（ヅ） 写了： 2025年 1月 28日 01:29 硬件低层其实就是乘加器(SM), 矩阵乘法器(tensor core)还有光追(不知道什么运算)

实现图形学的各种计算，shader着色，矢量图光栅化等等

应该有不少专利

gpu没有cpu那么多复杂的逻辑控制电路（什么管理虚拟内存，什么寄存器重命名阿，什么乱序执行阿，什么投机执行阿）， 逻辑控制电路非常简单，大部分空间都给了 浮点计算单元。 可以说gpu的一个处理单元（这个nvda好像叫warp）=286（应该就是286级别的逻辑控制电路）+几十个浮点执行单元

absdjk123 写了： 2025年 1月 27日 21:58 回国破处不贵，还能给狗耗找个高级货。

他要有那本事

还至于天天在这哀嚎吗

这世界还有比他更可怜可笑可悲的人吗

这些话都送给你自己吧

看把你逼得
都奔四了
没女人没房子没车

哈哈哈 十足老卢瑟

懂你麻痹

有病吃药

deepseek拿墙外资料训练的

然后在墙内能用，就是用意绕开墙 对中国老百姓展开舆论战

就是这个理儿

midlander 写了： 2025年 1月 27日 21:13 最震撼的就是r1
而且非常容易复现，非常便宜

以后开源的都会蒸馏自己的模型

闭源的也会用

这就是我说的吗

创新点就是用RL做post training

太假了

刚才Space讨论到美国什么时候“能迎头赶上”的问题，我做两个个人判断吧

1）DeepSeek V3这个模型应该没有公司有兴趣去复现，因为他是在算力限制下的结果，fp8量化一定会损失精度；而DeepSeek V3 本身其实和其他同规模的大语言模型差不多。

如果没有算力限制，也不缺钱，大厂没必要重走一遍自己走过的路：比如Llama

2）但是R1这个基于RL的训练思路会有人复现。只需要找任何一个Base Model，加上一些无监督的数学/代码数据，就可以借助GRPO实现推理能力的提升。

我相信在1-2周内，Meta、Google、Amazon甚至Nvidia等公司内部就会有结果 ...

谢老师每次出题都能把弃婴问的哑口无言