分页: 1 / 1

#1 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 13日 12:23
wokao
比如dataframe用DuckDB
画图用Plotly

#2 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 13日 12:35
hci
但这样会有很多数据转换的额外负担呀。

#3 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 13日 12:37
YouHi
属实。

Unix的原则:do one thing and do it well.

#4 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 13日 16:36
hci
Unix一切都是文件,有个共同的抽象。”各种工具“的共同抽象是什么?
YouHi 写了: 2024年 5月 13日 12:37 属实。

Unix的原则:do one thing and do it well.

#5 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 13日 18:37
YouHi
hci 写了: 2024年 5月 13日 16:36 Unix一切都是文件,有个共同的抽象。”各种工具“的共同抽象是什么?
不晓得。stream?

#6 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 14日 10:22
wokao
hci 写了: 2024年 5月 13日 12:35 但这样会有很多数据转换的额外负担呀。
没多少

过去我是这么作的:读好几个CSV生成不同的dataframe,然后各种针对dataframe的计算,生成要回归和画图的dataframe。用R的时候需要data.table,用python的时候pandas,用julia的时候是充斥了 => 的dataframe。转换语言过一段时间再修改过去的代码就很麻烦了。

现在是:读好几个CSV生成duckdb的table, 然后运行SQL写的view进行计算,View存入duckdb,只有最终要回归和画图的才转换为dataframe,也只有这一步才跟程序语言有关。从头到尾都是SQL,怎么转换语言都没事。

画图也一样,Plotly是跨语言支持的,可以看着javasript的例子用Julia画图

#7 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 14日 10:26
gousheng
Pipe?

hci 写了: 2024年 5月 13日 16:36 Unix一切都是文件,有个共同的抽象。”各种工具“的共同抽象是什么?

#8 Re: 各种工具要尽量和特定编程语言分离

发表于 : 2024年 5月 14日 11:33
cangyoujiacuo
最终的抽象可能还是要归一到自己的data上来,即:自己要定义一套完整的属于自己的data format,其它外界的工具format,对自己的format来说,就是插件,该转换就转换,该Pipe就pipe,这样自己的系统就有了相当的独立性,不会因为外界工具或编程语言改变,自己的系统被动地做出巨大调整。