有人在train 自己的LLM 吗？

[cmrhm2008]

我看到有网上朋友在准备train 他自己的LLM，这里有人有类似经验吗？估计要怎么作？ 我也想train一个自己的交易AI系统哈。

[fyou]

几百参数的小模型，用显卡就够了
但据说也要跑几周
网上都有开源的
自己DIY应该不难

[dealfinder10]

看你的模型有多大了，你想想google openai为什么花几亿美元训练模型啊。里面的聪明人不计其数，要是几百块的显卡就能训练好，没人会花几亿美元的

[DollarMore]

直接把训练好的参数集 拷过来不就得了，费这个劲

看你的模型有多大了，你想想google openai为什么花几亿美元训练模型啊。里面的聪明人不计其数，要是几百块的显卡就能训练好，没人会花几亿美元的

[mmking]

给我10个包子，我告诉你

[牛河梁]

直接把训练好的参数集 拷过来不就得了，费这个劲

大厂是通用模型。各应用还得customize一下。举例说训练一个模仿老牛发言的模型。

[gambitnyc]

各家投行，对冲基金，都有自己设计的交易模型
没听说过他们在训练LLM模型AI交易
听着就不太靠谱

[wass]

fingpt了解一下

[wass]

大厂是通用模型。各应用还得customize一下。举例说训练一个模仿老牛发言的模型。

这个太简单了

[qiangjin]

自己搞一般不都是微调吗？

[cmrhm2008]

自己搞一般不都是微调吗？

我最能做到的也就是微调fine turn

[newstart]

普通人搞微调，自己的机器可以；
普通公司弄个pre-train可以，结合一些其他的已经训好的模型。
彻底搞foundation model，估计世界上有这个资源的地方也不多吧。毕竟动辄成千上万的gpu，这些也都是钱堆出来的。一般公司也承受不起。

[harvestt]

any tutorial?

[coolcat]

ollama现成的自己按一个就完了，你train出来可能有人家train出来的好吗？

[cmrhm2008]

any tutorial?

我找到这个：

[cmrhm2008]

[fantasist]

看你的模型有多大了，你想想google openai为什么花几亿美元训练模型啊。里面的聪明人不计其数，要是几百块的显卡就能训练好，没人会花几亿美元的

这些巨头光人工labeling整理数据就花billion级别的钱，更别说训练模型的支出了。

[harvestt]

[realmanman]

LLM只是个用公开数据pre-trained语言模型。我不觉得它知道各种炒股技巧 。

我看到有网上朋友在准备train 他自己的LLM，这里有人有类似经验吗？估计要怎么作？ 我也想train一个自己的交易AI系统哈。

[cboe]

我找到这个：

谢谢。学习。

年纪大了，学习能力和效率减弱，已经落后时代了。。。