各种工具要尽量和特定编程语言分离

[wokao]

比如dataframe用DuckDB
画图用Plotly

[hci]

但这样会有很多数据转换的额外负担呀。

[YouHi]

属实。

Unix的原则：do one thing and do it well.

[hci]

Unix一切都是文件，有个共同的抽象。”各种工具“的共同抽象是什么？

属实。

Unix的原则：do one thing and do it well.

[YouHi]

Unix一切都是文件，有个共同的抽象。”各种工具“的共同抽象是什么？

不晓得。stream?

[wokao]

但这样会有很多数据转换的额外负担呀。

没多少

过去我是这么作的：读好几个CSV生成不同的dataframe，然后各种针对dataframe的计算，生成要回归和画图的dataframe。用R的时候需要data.table，用python的时候pandas，用julia的时候是充斥了 => 的dataframe。转换语言过一段时间再修改过去的代码就很麻烦了。

现在是：读好几个CSV生成duckdb的table, 然后运行SQL写的view进行计算，View存入duckdb，只有最终要回归和画图的才转换为dataframe，也只有这一步才跟程序语言有关。从头到尾都是SQL，怎么转换语言都没事。

画图也一样，Plotly是跨语言支持的，可以看着javasript的例子用Julia画图

[gousheng]

Pipe?

Unix一切都是文件，有个共同的抽象。”各种工具“的共同抽象是什么？

[cangyoujiacuo]

最终的抽象可能还是要归一到自己的data上来，即：自己要定义一套完整的属于自己的data format，其它外界的工具format，对自己的format来说，就是插件，该转换就转换，该Pipe就pipe，这样自己的系统就有了相当的独立性，不会因为外界工具或编程语言改变，自己的系统被动地做出巨大调整。