现在说ai是骗子的都是骗子

[fantasist]

deepseek打积雪一样说的你可以self host

这句话哪里说错了吗？模型weights是开源的，推理框架也全都做好了，你只要有GPU，一行cmd line就能serve起来。

[heteroclinic]

认真搞post-train的没个千卡H100之类的都是在玩屁吃，pre-train更是万卡起步，硬件门槛太高。大部分人根本没机会接触真正的模型训练，很多phd也只能拿个8b llama训练刷benchmark。只能用别人装好的AI产品，或者调API做点prompt engineering，或者弄个langchain搭个RAG产品，发现不work无法调查为什么也没办法解决，然后开始说AI是骗局，实属情有可原。模型参数从几B到几十B到几百B，智能的差别是巨大的。kimi-k2搞了个超过1T的开源大模型，我们做ai infra的看了直吐血。T级别的模型能玩转的，世界上确实没多少人，所以小扎掏100米砸那些实力已经有证明的专家，我们公司没钱所以想招个懂的newgrad phd都费劲。

咱就说DEEPSEEK 72b TOKENS INFERENCE 那个例题,你跑过没有?你公司,你们组有等同项目请上GITHUB.

[heteroclinic]

咱就说DEEPSEEK 72b TOKENS INFERENCE 那个例题,你跑过没有?你公司,你们组有等同项目请上GITHUB.

deepseek自己做的plan说二百美刀的预算就能在云上跑下来.请上github plan

[wass]

这句话哪里说错了吗？模型weights是开源的，推理框架也全都做好了，你只要有GPU，一行cmd line就能serve起来。

它们内部的serving还是有优化的

[fantasist]

它们内部的serving还是有优化的

那肯定的，DS很多好东西没开源，尤其是training相关的。

[wass]

deepseek自己做的plan说二百美刀的预算就能在云上跑下来.请上github plan

那是说用DeepSeek蒸馏过的小模型7b，8b，12b，14b等等

买个带显卡的laptop就可以玩

[heteroclinic]

那是说用DeepSeek蒸馏过的小模型7b，8b，12b，14b等等

买个带显卡的laptop就可以玩

deepseek自己说的R3 INFERENCE 72b TOKENS可以在它给开的单子上跑
这东西象买股票一样,believer就hold

[heteroclinic]

不过很多人是自己不believe要别人别射,LOL

[heteroclinic]

吹了半天,一个也没inference 过

[heteroclinic]

结论 "吹了半天,一个也没inference 过" 小札和马斯科的婚纱照LOL
当然是preliminary.

[wass]

吹了半天,一个也没inference 过

自己玩或者公司内部用，用ollama就一行，有什么可以吹？

Hosting public service那个做很多工作，没有人会告诉你，激将法没有用

[heteroclinic]

自己玩或者公司内部用，用ollama就一行，有什么可以吹？

Hosting public service那个做很多工作，没有人会告诉你，激将法没有用

你要是老老实实说技术咱就上文献或者GitHub

想摆大牌咱就对着吹

为啥要强调token数量呢。你记得娃为憨仔爆料吧。就是娃为顺来的token 想自己intuitive一下结果没那么好玩。

我觉得就是加了自己的东西分层调比重这个难度大。

hosting public service 倒真不是很难。chathpt 我自己搞过一个上传图片识别手表铅笔和螺丝刀子，那真是几行拍松。
做过micro services这都不是事儿。

当然也不知道你弟媳咱也谦虚一下，你在云上跑GPU。说是几百块鸡血。你一泡，停不下来，寄来个两万账单。barbeque 了。这个你有云上GPUsolid hands on 。书不算跪求，跪怎么也的收益高点，就你应该提供几个实例

[heteroclinic]

我理解是人家72Btokens
的例题是人家调好了的,token就是16进制编码
给你你也看不出啥来。而且你随便加点检点就不工作了

乌丢乌丢就出来那么多大模型专家。讲讲把书认识也提高一下。

[heteroclinic]

这么地吧

我给打个折。本帖的标题是骗不骗的问题。有点不inclusive。具体有扯到ollama 只是各种buzz word之一。你LLM到底实例是什么呢，怎么inference的？

我给打个折，具化一下。如果你能实现就算书认证的大模型科学家AI不是骗局
具体就是把deep seek inference 那个例题在云上跑一遍
然后Steven Ambrose 有本书叫band of brothers的纪实小说
把这本书token 倒这72B里
然后问一个很出名的问题。在树林里，谁的大白屁股挨了一枪。我记得叫white Fanny.
评分标准是给出正确推到出来的人名头衔来在GitHub 上文档别人可以重复的步骤以及需要的开销

[magagop]

我覺得AI和LLM非常有用，也非常有錢途，你們這幫碼農書呆子，能給我推薦一個ELR狙擊鏡並寫出理由嗎？谷歌搜索都辦不到，ChatGPT就可以。

站内帖子：Re: 1000米以上遠距離射擊，推薦個鏡子？

[magagop]

这么地吧

我给打个折。本帖的标题是骗不骗的问题。有点不inclusive。具体有扯到ollama 只是各种buzz word之一。你LLM到底实例是什么呢，怎么inference的？

我给打个折，具化一下。如果你能实现就算书认证的大模型科学家AI不是骗局
具体就是把deep seek inference 那个例题在云上跑一遍
然后Steven Ambrose 有本书叫band of brothers的纪实小说
把这本书token 倒这72B里
然后问一个很出名的问题。在树林里，谁的大白屁股挨了一枪。我记得叫white Fanny.
评分标准是给出正确推到出来的人名头衔来在GitHub 上文档别人可以重复的步骤以及需要的开销

不需要什麼小說，就是ELR狙擊鏡，如果沒有ChatGPT，難道要小白自己一點一點看評測？

[heteroclinic]

我覺得AI和LLM非常有用，也非常有錢途，你們這幫碼農書呆子，能給我推薦一個ELR狙擊鏡並寫出理由嗎？谷歌搜索都辦不到，ChatGPT就可以。

站内帖子：Re: 1000米以上遠距離射擊，推薦個鏡子？

你这是胡搅蛮缠。和大模型没啥关系。
如果你打开推理细节。能作为司法鉴定报告么。否则的话只是巧合。这个桥梁涵洞设计计算书要求是一样的。不但要求结果正确。过程要正确— 设计施工监理验收四个环节

[magagop]

你这是胡搅蛮缠。和大模型没啥关系。
如果你打开推理细节。能作为司法鉴定报告么。否则的话只是巧合。这个桥梁涵洞设计计算书要求是一样的。不但要求结果正确。过程要正确— 设计施工监理验收四个环节

你才是抬槓，對於普通用戶和小白，買東西還要司法鑒定中心嗎？你的市場占比有多少？用ChatGPT總結比較和商品導購，起碼比網上的恰飯視頻和廣告部落格強多了，更強過搜索競價排名，這就是GOOG一直漲不上去的原因。

你覺得你這輩子做過幾次司法鑒定？設計過哪個橋樑涵洞？你這輩子買過多少普通東西，市場是不是大多了？專業需求不到整體市場的1%，很快就會被普通需求淹沒，否則就沒有那麼多自媒體，大家都去看CNN、Fox或者CCAV的農業頻道了⋯⋯

[heteroclinic]

你才是抬槓，對於普通用戶和小白，買東西還要司法鑒定中心嗎？你的市場占比有多少？用ChatGPT總結比較和商品導購，起碼比網上的恰飯視頻和廣告部落格強多了，更強過搜索競價排名，這就是GOOG一直漲不上去的原因。

你覺得你這輩子做過幾次司法鑒定？設計過哪個橋樑涵洞？你這輩子買過多少普通東西，市場是不是大多了？專業需求不到整體市場的1%，很快就會被普通需求淹沒，否則就沒有那麼多自媒體，大家都去看CNN、Fox或者CCAV的農業頻道了⋯⋯

"我覺得AI和LLM非常有用，也非常有錢途，你們這幫碼農書呆子，能給我推薦一個ELR狙擊鏡並寫出理由嗎？谷歌搜索都辦不到，ChatGPT就可以。"

你只举出一个例子,就断然"非常有用".你这进来就是一马甲来搅局的.看不出来你大蒜用什么科学方法来论证或批驳的企划.

[magagop]

"我覺得AI和LLM非常有用，也非常有錢途，你們這幫碼農書呆子，能給我推薦一個ELR狙擊鏡並寫出理由嗎？谷歌搜索都辦不到，ChatGPT就可以。"

你只举出一个例子,就断然"非常有用".你这进来就是一马甲来搅局的.看不出来你大蒜用什么科学方法来论证或批驳的企划.

我自己就是做GPU的，也天天深度使用LLM，這玩意真能解決普通人99％的日常問題，快速上手然後節省大量時間，ELR就是一個例子，因為普通人儲備知識很少，特別適合給你們碼農這類人作測試，比你說的小說管用多了。

你能舉出其他方案解決我提出的ELR狙擊鏡問題嗎？ChatGPT O3 + RAG + COT用來給小白科普大海撈針非常有用，易用性遠遠超過GOOG，未來至少會出現一個萬億美元AI公司。