新未名空间

xiaoju 写了： 2024年 10月 28日 02:36 1. 脱离代码的CS研究基本全是垃圾
2. C++在数学计算方面根本打不过python

所谓的python数学都是C++/c

xiaoju 写了： 2024年 10月 28日 02:36 1. 脱离代码的CS研究基本全是垃圾
2. C++在数学计算方面根本打不过python

脱离代码的CS研究基本全是垃圾

你对CS研究了解太片面了。Algorithms 是什么知道吧。算法在研究阶段就是各种discrete math/linear algebra的证明. 俗人应用的时候是写代码。但是这些算法的突破并不在于它们是什么代码写的，而是这些“法”本身以及它们optimality/complexity的证明。 CS 里最有名的，Dijkstra's algorithm 的paper里一行代码也没有

https://web.archive.org/web/20170718230 ... im1957.pdf

尼玛，计算机的本职工作不就是数学计算？

Ifloating 写了： 2024年 10月 28日 11:13 你是不是脑偏？ 长在屁股上了？
C++非要往数学上扯

算法的突破是有限度的，后来人类发现了NPC后，新的突破一般就被视为奇技淫巧了

现在有了深度学习后，不仅算法全公开，代码大部分公开，甚至数据基本都是公开的。保密的只是训练方法

图灵奖发了太多cheap的奖，所以目前含金量远低于诺贝尔科学奖

matt_lee 写了： 2024年 10月 28日 11:20 你对CS研究了解太片面了。Algorithms 是什么知道吧。算法在研究阶段就是各种discrete math/linear algebra的证明. 俗人应用的时候是写代码。但是这些算法的突破并不在于它们是什么代码写的，而是这些“法”本身以及它们optimality/complexity的证明。 CS 里最有名的，Dijkstra's algorithm 的paper里一行代码也没有

https://web.archive.org/web/20170718230 ... im1957.pdf

不属实

C/C++的浮点计算是体系结构相关的，结果不确定。所以numpy底层采用fortran的库确保结果一致可重复。

Caravel 写了： 2024年 10月 28日 11:15 所谓的python数学都是C++/c

Python是宇宙第一语言，你要做个web，得用django，你要搞个ai公司，得用Pytorch，其他的语言都是大厂码农买血汗的。

xiaoju 写了： 2024年 10月 28日 19:01 不属实

C/C++的浮点计算是体系结构相关的，结果不确定。所以numpy底层采用fortran的库确保结果一致可重复。

因为历史原因有一部分fortran库，大部分numpy底层都是C/C++.

我以前查过，底层是gfortran。

你用C++是写不出可移植且结果稳定的浮点代码的，这是硬伤

Caravel 写了： 2024年 10月 28日 19:25 因为历史原因有一部分fortran库，大部分numpy底层都是C/C++.

matt_lee 写了： 2024年 10月 28日 11:20 你对CS研究了解太片面了。Algorithms 是什么知道吧。算法在研究阶段就是各种discrete math/linear algebra的证明. 俗人应用的时候是写代码。但是这些算法的突破并不在于它们是什么代码写的，而是这些“法”本身以及它们optimality/complexity的证明。 CS 里最有名的，Dijkstra's algorithm 的paper里一行代码也没有

https://web.archive.org/web/20170718230 ... im1957.pdf

PDF里的文章应该是介绍prim'S ALGORTITHM的吧。这个算法应该是算最小生成树的。DIJKSTRA'S 是算图里的两点之间最短路径的。

xiaoju 写了： 2024年 10月 28日 19:27 我以前查过，底层是gfortran。

你用C++是写不出可移植且结果稳定的浮点代码的，这是硬伤

傻吊卖傻的姿势真是花样百出

俺会VBA, 业余时间在后院种菜的

xiaoju 写了： 2024年 10月 28日 19:27 我以前查过，底层是gfortran。

你用C++是写不出可移植且结果稳定的浮点代码的，这是硬伤

有是有，有多少比例？浮点数运算，又不需要bit to bit identical, 多大个事情。有些时候换个CPU结果都不完全一样。

xiaoju 写了： 2024年 10月 28日 18:56 算法的突破是有限度的，后来人类发现了NPC后，新的突破一般就被视为奇技淫巧了

现在有了深度学习后，不仅算法全公开，代码大部分公开，甚至数据基本都是公开的。保密的只是训练方法

图灵奖发了太多cheap的奖，所以目前含金量远低于诺贝尔科学奖

我的理解是这样的。
1）NPC是定义的，不是发现的。你说的发现，可能是指发现NPC的各种问题（E.G.,第一个NPC是SAT，１９７１年发现的）。
２）若干重要的计算问题跟ＮＰＣ没什么关系。比如矩阵乘法，大家都知道的高斯消去法时间复杂度的上限是问题本身的尺度的立方。矩阵乘法的算法这些年一直有进步，往平方那个方向推进。每一次小进步，都是大新闻。因为矩阵乘法太普遍，太重要了（包括神经网络里面的计算）。可以看看这个链接：https://en.wikipedia.org/wiki/Matrix_mu ... _algorithm
３）我没有仔细想过这件事。我猜如果两个矩阵可以在线性时间里相乘，Hinton之流３０年前应该就把神经网络带火了，根本不需要去等什么GPU。

狗子改不了打滚

huangchong 写了： 2024年 10月 28日 19:38 傻吊卖傻的姿势真是花样百出

码农不就是打字员？
为什么要有区别？

你不在乎有的是人在乎，差个几位飞机摔了谁负责？

Fortran之所以活到今天，就是因为有巨大的遗产浮点代码存在

Caravel 写了： 2024年 10月 28日 19:40 有是有，有多少比例？浮点数运算，又不需要bit to bit identical, 多大个事情。有些时候换个CPU结果都不完全一样。

我在10年前已经指出，

这些所谓的码工只是工人，不是工程师

NPC是被发现存在高度关联性的一类问题，在人类系统研究时间复杂度前并没有意识到

这个分类的重要性不需要重复，不然也不会列入千禧年问题

深度学习的瓶颈不只是计算量，哪怕计算速度无限大，直接用MLP做LLM，全世界的内存也不够用

TestCases 写了： 2024年 10月 28日 19:55 我的理解是这样的。
1）NPC是定义的，不是发现的。你说的发现，可能是指发现NPC的各种问题（E.G.,第一个NPC是SAT，１９７１年发现的）。
２）若干重要的计算问题跟ＮＰＣ没什么关系。比如矩阵乘法，大家都知道的高斯消去法时间复杂度的上限是问题本身的尺度的立方。矩阵乘法的算法这些年一直有进步，往平方那个方向推进。每一次小进步，都是大新闻。因为矩阵乘法太普遍，太重要了（包括神经网络里面的计算）。可以看看这个链接：https://en.wikipedia.org/wiki/Matrix_mu ... _algorithm
３）我没有仔细想过这件事。我猜如果两个矩阵可以在线性时间里相乘，Hinton之流３０年前应该就把神经网络带火了，根本不需要去等什么GPU。

xiaoju 写了： 2024年 10月 28日 19:59 你不在乎有的是人在乎，差个几位飞机摔了谁负责？

Fortran之所以活到今天，就是因为有巨大的遗产浮点代码存在

如果这个决定飞机摔了没有的code就取决于浮点数运算误差，这毫无疑问是trash code。

复查事故原因的时候，监管部门需要的是快速和机械核对，而不是每个地方都停下来听你解释，和你辩论

Caravel 写了： 2024年 10月 28日 20:05 如果这个决定飞机摔了没有的code就取决于浮点数运算误差，这毫无疑问是trash code。