分页: 1 / 1
#1 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 13日 12:23
由 wokao
比如dataframe用DuckDB
画图用Plotly
#2 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 13日 12:35
由 hci
但这样会有很多数据转换的额外负担呀。
#3 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 13日 12:37
由 YouHi
属实。
Unix的原则:do one thing and do it well.
#4 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 13日 16:36
由 hci
Unix一切都是文件,有个共同的抽象。”各种工具“的共同抽象是什么?
YouHi 写了: 2024年 5月 13日 12:37
属实。
Unix的原则:do one thing and do it well.
#5 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 13日 18:37
由 YouHi
hci 写了: 2024年 5月 13日 16:36
Unix一切都是文件,有个共同的抽象。”各种工具“的共同抽象是什么?
不晓得。stream?
#6 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 14日 10:22
由 wokao
hci 写了: 2024年 5月 13日 12:35
但这样会有很多数据转换的额外负担呀。
没多少
过去我是这么作的:读好几个CSV生成不同的dataframe,然后各种针对dataframe的计算,生成要回归和画图的dataframe。用R的时候需要data.table,用python的时候pandas,用julia的时候是充斥了 => 的dataframe。转换语言过一段时间再修改过去的代码就很麻烦了。
现在是:读好几个CSV生成duckdb的table, 然后运行SQL写的view进行计算,View存入duckdb,只有最终要回归和画图的才转换为dataframe,也只有这一步才跟程序语言有关。从头到尾都是SQL,怎么转换语言都没事。
画图也一样,Plotly是跨语言支持的,可以看着javasript的例子用Julia画图
#7 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 14日 10:26
由 gousheng
Pipe?
hci 写了: 2024年 5月 13日 16:36
Unix一切都是文件,有个共同的抽象。”各种工具“的共同抽象是什么?
#8 Re: 各种工具要尽量和特定编程语言分离
发表于 : 2024年 5月 14日 11:33
由 cangyoujiacuo
最终的抽象可能还是要归一到自己的data上来,即:自己要定义一套完整的属于自己的data format,其它外界的工具format,对自己的format来说,就是插件,该转换就转换,该Pipe就pipe,这样自己的系统就有了相当的独立性,不会因为外界工具或编程语言改变,自己的系统被动地做出巨大调整。