新未名空间

我看到有网上朋友在准备train 他自己的LLM，这里有人有类似经验吗？估计要怎么作？我也想train一个自己的交易AI系统哈。

几百参数的小模型，用显卡就够了
但据说也要跑几周
网上都有开源的
自己DIY应该不难

看你的模型有多大了，你想想google openai为什么花几亿美元训练模型啊。里面的聪明人不计其数，要是几百块的显卡就能训练好，没人会花几亿美元的

直接把训练好的参数集拷过来不就得了，费这个劲

dealfinder10 写了： 2024年 12月 28日 09:28 看你的模型有多大了，你想想google openai为什么花几亿美元训练模型啊。里面的聪明人不计其数，要是几百块的显卡就能训练好，没人会花几亿美元的

给我10个包子，我告诉你

DollarMore 写了： 2024年 12月 28日 12:17 直接把训练好的参数集拷过来不就得了，费这个劲

大厂是通用模型。各应用还得customize一下。举例说训练一个模仿老牛发言的模型。

各家投行，对冲基金，都有自己设计的交易模型
没听说过他们在训练LLM模型AI交易
听着就不太靠谱

fingpt了解一下

牛河梁写了： 2024年 12月 28日 13:44 大厂是通用模型。各应用还得customize一下。举例说训练一个模仿老牛发言的模型。

这个太简单了

自己搞一般不都是微调吗？

qiangjin 写了： 2024年 12月 28日 18:49 自己搞一般不都是微调吗？

我最能做到的也就是微调fine turn

普通人搞微调，自己的机器可以；
普通公司弄个pre-train可以，结合一些其他的已经训好的模型。
彻底搞foundation model，估计世界上有这个资源的地方也不多吧。毕竟动辄成千上万的gpu，这些也都是钱堆出来的。一般公司也承受不起。

any tutorial?

ollama现成的自己按一个就完了，你train出来可能有人家train出来的好吗？

harvestt 写了： 2024年 12月 28日 22:56 any tutorial?

我找到这个：

dealfinder10 写了： 2024年 12月 28日 09:28 看你的模型有多大了，你想想google openai为什么花几亿美元训练模型啊。里面的聪明人不计其数，要是几百块的显卡就能训练好，没人会花几亿美元的

这些巨头光人工labeling整理数据就花billion级别的钱，更别说训练模型的支出了。

LLM只是个用公开数据pre-trained语言模型。我不觉得它知道各种炒股技巧。

cmrhm2008 写了： 2024年 12月 28日 02:06 我看到有网上朋友在准备train 他自己的LLM，这里有人有类似经验吗？估计要怎么作？我也想train一个自己的交易AI系统哈。

cmrhm2008 写了： 2024年 12月 29日 11:33 我找到这个：

谢谢。学习。

年纪大了，学习能力和效率减弱，已经落后时代了。。。

有人在train 自己的LLM 吗？