分页： 1 / 1
#1 什么水平 懂得来说说 PyTorch官宣：告别CUDA，GPU推理迎来Triton加速新时代
发表于 ： 2024年 9月 6日 20:27
由 fulvshou
用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。
最大球？
#2 Re: 什么水平 懂得来说说 PyTorch官宣：告别CUDA，GPU推理迎来Triton加速新时代
发表于 ： 2024年 9月 6日 21:55
由 biggestballs
fulvshou 写了： 2024年 9月 6日 20:27
用英伟达的GPU，但可以不用CUDA？PyTorch官宣，借助OpenAI开发的Triton语言编写内核来加速LLM推理，可以实现和CUDA类似甚至更佳的性能。
最大球？
查了一下，这个Triton三年前就发布了，就是一个开源的GPU编程语言，专门用来写神经网络代码的，直接以Python package的形式安装调用，对PyTorch程序员友好，用Triton写GPU程序是通过PyTorch自带package实现的
不用Triton，Python本身也有CUDA toolkit package可以直接调用，Triton专门用来写AI代码的，有相关DNN library，而且可以跟Python无缝衔接
相比之下，CUDA是女大闭源的GPU编程平台，对C/C++程序员友好，但其他程序语言也可以直接调用编译好的CUDA库
#3 Re: 什么水平 懂得来说说 PyTorch官宣：告别CUDA，GPU推理迎来Triton加速新时代
发表于 ： 2024年 9月 6日 22:34
由 fulvshou
biggestballs 写了： 2024年 9月 6日 21:55
查了一下，这个Triton三年前就发布了，就是一个开源的GPU编程语言，专门用来写神经网络代码的，直接以Python package的形式安装调用，对PyTorch程序员友好，用Triton写GPU程序是通过PyTorch自带package实现的
不用Triton，Python本身也有CUDA toolkit package可以直接调用，Triton专门用来写AI代码的，有相关DNN library，而且可以跟Python无缝衔接
相比之下，CUDA是女大闭源的GPU编程平台，对C/C++程序员友好，但其他程序语言也可以直接调用编译好的CUDA库
有没有一种偷梁换柱 一步一步把鸡屁油独家供应变成向西屁油一样的各种vendor竞争
#4 Re: 什么水平 懂得来说说 PyTorch官宣：告别CUDA，GPU推理迎来Triton加速新时代
发表于 ： 2024年 9月 6日 23:39
由 biggestballs
fulvshou 写了： 2024年 9月 6日 22:34
有没有一种偷梁换柱 一步一步把鸡屁油独家供应变成向西屁油一样的各种vendor竞争
硬件跟软件不一样，软件可以很轻松调用别人的，即使闭源（也有办法看得出来你是不是用的别家的内核），硬件只能实打实的用真东西
你听过汉芯事件吗，就是赤裸裸的偷梁换柱，但最后被抓包了，丢脸丢大发了
#5 Re: 什么水平 懂得来说说 PyTorch官宣：告别CUDA，GPU推理迎来Triton加速新时代
发表于 ： 2024年 9月 7日 00:23
由 azhuzjh
关键能在CPU上跑吗