在ai软件届 是pytorch 跟重要还是cuda跟重要

[Dahuaidanyimei]

纯外行蠢问啊：cuda这个东西，话说amd没有么

[hci]

随特定硬件的，别人没法弄。simulate当然干不过native.

别的厂商，特别是中国的新厂商，应该猛推公开的工业标准，用开源社区来打女大。否则就是个死字。

纯外行蠢问啊：cuda这个东西，话说amd没有么

[YouHi]

随特定硬件的，别人没法弄。simulate当然干不过native.

别的厂商，特别是中国的新厂商，应该猛推公开的工业标准，用开源社区来打女大。否则就是个死字。

AMD没有类似cuda的东东吗？他们用什么API？

[money]

对不起，按摩店的高端gpu也禁了
现在玩OpenCL的还有哪家？

随特定硬件的，别人没法弄。simulate当然干不过native.

别的厂商，特别是中国的新厂商，应该猛推公开的工业标准，用开源社区来打女大。否则就是个死字。

[hci]

OpenCL，Intel, AMD都支持这个，女大也应该部分支持。

但很多高端的特性，OpenCL可能没有。

AMD没有类似cuda的东东吗？他们用什么API？

[ReticulumZeta]

你说的老中就算贾杨青把，项目好像被三哥吞并了

小贾 之前 仓皇逃离 粑粑 还历历在目

[uws]

其实应该不需要一年。这种等级的库，在Clojure生态环境里面都出现过几个了，都是单人不到一年搞定。这种库，底层的线性代数库都是Blas这些，无论用什么语言，都是一模一样的。而上层，真没有什么东西，就是NN的几个基本框架。

pytorch，真写码的，不就是单人么？据说是个老中猥琐男，后来被一个老中女夺了credit。这位老中女我认识，前同事，算半熟人，我不认为她能写码，她现在某AI公司当CEO.

作为程序员，对软件的难度，软件是如何写出来的，要有客观认识，不然“世人皆傻”教主又要说你们了。

这么说吧，一些如雷贯耳的软件，真写码的，往往是老中猥琐男，往往还是单人。比如Kafka，也是我老的前同事写的，现在发财了，很低调，还在写，就是比较扣，不肯投钱给我司。当然，如果我司成功了，也变得如雷贯耳了，这软件，也主要是我老一人写的，别的几十倍的人，其实都是给我打下手的。这其实是常态。

我老现在闲着没事，在写一个数据库软件，最终目的，是要有更好的人机工程（用Datalog），还要性能不要差于RDBMS。你这样的，听着可能要觉得是天方夜谭了。但是，整个软件行业，其实是在我这样的无所畏惧吭哧吭哧地写码的老头子的手在支撑着的。

好像有个老中回国了也在搞数据库软件

[newIdRobot]

你说的老中就算贾杨青把，项目好像被三哥吞并了

caffe？

[chuan_yu]

AMD没有类似cuda的东东吗？他们用什么API？

AMD 有自己的 ROCM, Hipify。但这些工具只能是追赶CUDA, 无法超越。个人看好OpenAI Triton，一个不依赖任何一家GPU硬件的开源平台。

[chuan_yu]

封闭的东西，早晚都会被开放的东西打败。cuda也不例外，现在只是缺一个有power的公司牵头做这事

属实。天下苦NV久矣。单从GPU性能上看，AMD不输NV。而是输在开发栈上。

了解一下OpenAI Triton, 一个开源的AI 开发平台，不依赖于任何一家GPU.

另外PyTorch2.0 已经可以在AMD MI300 上跑了。下面将是AMD与NV平分AI市场的时候了。

[ElonMusk]

一般来说，通用性做的好了，那么在某个特定硬件上就很难做到最优。不太了解Triton，不知道它怎么克服这些问题。除非硬件足够牛，软件的差别已经可以忽略了。

属实。天下苦NV久矣。单从GPU性能上看，AMD不输NV。而是输在开发栈上。

了解一下OpenAI Triton, 一个开源的AI 开发平台，不依赖于任何一家GPU.

另外PyTorch2.0 已经可以在AMD MI300 上跑了。下面将是AMD与NV平分AI市场的时候了。

[chuan_yu]

OpenCL，Intel, AMD都支持这个，女大也应该部分支持。

但很多高端的特性，OpenCL可能没有。

一句话来形容OpenCL: 理想很丰满，现实很骨感。初衷是用同一套源代码可以在任何硬件加速上跑。
而实际上则是每一家（甚至同一家）的GPU 参数都不一样，很难达到优化的理想效果。

其实这一点在CUDA上也有体现。去NV 的网站下载CUDA库，一定要看好了你的硬件和与之相配的库版本。

目前GPU 编程还无法做到像通用的C/C++/Java/Python 这样硬件独立的程度。

[chuan_yu]

一般来说，通用性做的好了，那么在某个特定硬件上就很难做到最优。不太了解Triton，不知道它怎么克服这些问题。除非硬件足够牛，软件的差别已经可以忽略了。

本质上就是把开发AI 模型的人/代码与GPU 优化的人/代码分开。假以时日，开源社区的高手们将会写出不输（很可能超过）CUDA 性能的栈 （即使都是用NV 的同一种GPU)。而搞AI模型的人只要专注于Python编程就可以了。

AMD的策略就是专注硬件，把软件开发交给开源社区。这样用不了多久，AMD就可以（至少）跟NV平分AI 市场了。

NV 得益于CUDA, 但最终也会栽于CUDA. 所谓成也萧何，败也萧何。

[atomlaser]

核心的东西，单人搞出来了，别的无穷多的人，往里加东西，这就是软件写作的常态。几乎所有成功的软件，都是这么写出来的吧，反例应该不多。

尼玛连操作系统都是这样写出来的。pytorch一个库，算个啥。

这些对你来说，是个新闻？

的确，单兵比一个团队效率高。核心算法主要是靠脑子，不是靠堆砌资源。

开一天组会还不如牛人脑子里几个神经电流转化的信息量多。

[toddj]

厉害

[newIdRobot]

本质上就是把开发AI 模型的人/代码与GPU 优化的人/代码分开。假以时日，开源社区的高手们将会写出不输（很可能超过）CUDA 性能的栈 （即使都是用NV 的同一种GPU)。而搞AI模型的人只要专注于Python编程就可以了。

AMD的策略就是专注硬件，把软件开发交给开源社区。这样用不了多久，AMD就可以（至少）跟NV平分AI 市场了。

NV 得益于CUDA, 但最终也会栽于CUDA. 所谓成也萧何，败也萧何。

让amd发工资养着这些人。到时候这些人还可以跳去其他公司，用这些开源代码。确实蛮好的

[fanqie]

AI基础的未来在于魔法击败魔法。 现在的软件工程师，有深厚的数值算法开发能力的极少，必须依赖CUDA来做优化。NVDA的硬件架构的缺陷很大，H100卡上最值钱的是DRAM。

Jim Keller现在一直在搞RSIC－V下的东西，理论上只要硬件谁能搞一个伸缩性（计算单元，存储单元）更好的硬件架构。3－5年内，AI可以完成一大半算法优化的问题。最近DeepMind搞出最快排序就是一个有效的尝试。这种方向本来就是中国人最擅长的。现在全世界最好的硬件架构师不少是中国人。

intel是阿三太多，已经成不了气候。

pyTorch这种上层库比cuda这种半吊子工具生命力要强大很多。