有没有玩Meta LLama3的，在本机跑也非常强

[libaliu]

我在本地安装了LLama3的好几个模型，llama3 8b 和它的各种变种。看看它们写故事的水平。用魔幻现实主义的手法。我先给了一个短文让它参考模仿style，参考：

昨晚上吃烤串王大锤说，“实在受不了了！下辈子要当驴！吃麦草苜蓿喝山泉，都是纯天然，早上起来痛痛快快干活，什么也不想，活儿干完了就在村里溜达，晚上周围没人了就叫两声，嗷嗷叫，谁过来我就跑，驴跑的快丫追不上，后来还得求着我回来，因为没驴干不了活儿。时不时别的队借着干活还能坐三轮车兜风。”
“还是驴好！”，王大锤说，“下辈子要当驴！”
我说，“万一投到肉驴，怎么办，都在养殖场，卡在格子里填饲料，连澡都不给洗，特凶残！吃不下就用电棍捅你肛门！等肥了一棒子敲死，送到河北做火烧”。王大锤陷入了沉思。“***太你妈坏了！都不给人民条活路！” “我操你妈***！”
王大锤哭着跑特了，又一次成功逃单。
===========end of 参考=====

Llama3的写故事有点意思。下面是是全文。

**耳语之神**

一天晚上，当我坐在俯瞰村庄的山上时，注意到一个身影漂浮在树梢上。这是耳语之神，以神秘莫测的存在和低声说出真相而闻名。
当他的目光注视着我时，我感到手指一阵奇怪的刺痛。突然，他出现在我面前，眼睛闪耀如同暗夜中的星光。

“啊，凡人，”他轻声细语地说，“什么让你心烦意乱？”
我犹豫了，不知道如何表达内心的混乱。但耳语之神向前倾身，他的耳朵因期待而颤动。
“我担心我迷失了方向，”我坦白道。“生活的潮流将我卷走，现在我只是一片顺流而下的叶子。”
神同情地点了点头。 “啊，存在的潮汐确实充满危险。但是告诉我，凡人，你真正想要的是什么？”
当我思考他的问题时，空气中充满了低语——古老智慧、被忘却情人的叹息和调皮的精灵的咯咯笑声。低语之神全神贯注地听着，他的眼睛闪烁, 像暴风雨之夜的闪电。

“啊，”他终于说道，“我明白了。你渴望自由，无拘无束地乘风而行。”
我点了点头，惊讶于这位神竟然刺穿了我的灵魂。
“然而，”他继续说道，“自由只是一种幻象，凡人。责任的锁链绑住我们所有人。你最大的愿望可能就是镜花水月，一场虚妄的追求。”
他的话像鞭子一样刺痛着我，穿过了寂静。我感到自己的决心动摇了，仿佛低语本身在质疑我的存在。
“等等！”我大喊，抓住神的长袍。“那些追寻梦想的人呢？他们注定要在失望的沙漠中徘徊吗？”
低语之神回头笑了，他的眼睛像午夜海上的波光一样闪烁。“啊，凡人，没有唯一的道路。低语只是命运和选择的丝线编织而成的挂毯。你的旅程只属于你自己。”

当他消失在夜色中时，我感到一种奇怪的解放感——仿佛低语的真相已经解放了我内心的疑虑。于是，我开始编织自己的织锦，用现实的织物编织低语。耳语之神仍然是一个谜，但他的话语却在我的脑海中回荡，像一阵轻风拂动着命运之叶。

[huangchong]

除了生成文字，还能干别的吗？

[杨和柳]

第二篇文章比原来给的语料要哲学多了

[dealfinder10]

可以总结各种文档。其他的还没看出来有什么用

[libaliu]

首先发展智能，到一定程度以后就会有人机接口，IOT接口，或者embedded在小型机器上成为真正的“智能机械”“智能仪器”。

[libaliu]

第二篇文章比原来给的语料要哲学多了

而且文采也不错。特别这几句让很惊艳：“眼睛闪耀如同暗夜中的星光”，“无拘无束地乘风而行”，“你的旅程只属于你自己”

[杨和柳]

而且文采也不错。特别这几句让很惊艳：“眼睛闪耀如同暗夜中的星光”，“无拘无束地乘风而行”，“你的旅程只属于你自己”

文字堆砌没啥了不起。让我惊艳的是这两句

“自由只是一种幻象，凡人。责任的锁链绑住我们所有人。你最大的愿望可能就是镜花水月，一场虚妄的追求。”

关于“责任的锁链”这个词组。

[nowhere]

8b就这么厉害？ 还支持中文？

我跑过llama 2 13b，还有30b用cpu跑
中文烂到不行，英文也就是soso

[libaliu]

8b就这么厉害？ 还支持中文？

我跑过llama 2 13b，还有30b用cpu跑
中文烂到不行，英文也就是soso

llama3在本地机器上的水平提高就像是以前chat gpt3.5推出来是给人的震撼。无需GPU，纯CPU跑也速度很快（但是内存要大，32G以上，最好DDR5）。

我试了如下好几个小模型，其中一个是中文fine tuning过的。 感觉还是llama3 8b默认的那个llama3:latest最好（ 8b q4）。adrienbrault的8b:q8_0好像写故事也不错。

phi3太过于正经八本，写故事就不行了，写文档什么的应该不错。

llama3:latest
llama3:8b-instruct-q8_0
dolphin-llama3:8b
dolphin-llama3:latest

adrienbrault/nous-hermes2theta-llama3-8b:f16
adrienbrault/nous-hermes2theta-llama3-8b:q8_0

wangshenzhi/llama3-8b-chinese-chat-ollama-q4:latest

[ferrygao]

三哥药丸

[nowhere]

llama3在本地机器上的水平提高就像是以前chat gpt3.5推出来是给人的震撼。无需GPU，纯CPU跑也速度很快（但是内存要大，32G以上，最好DDR5）。

我试了如下好几个小模型，其中一个是中文fine tuning过的。 感觉还是llama3 8b默认的那个llama3:latest最好（ 8b q4）。adrienbrault的8b:q8_0好像写故事也不错。

phi3太过于正经八本，写故事就不行了，写文档什么的应该不错。

llama3:latest
llama3:8b-instruct-q8_0
dolphin-llama3:8b
dolphin-llama3:latest

adrienbrault/nous-hermes2theta-llama3-8b:f16
adrienbrault/nous-hermes2theta-llama3-8b:q8_0

wangshenzhi/llama3-8b-chinese-chat-ollama-q4:latest

突破了？晚点试试
8b q4我的gpu可以跑
这种小模型I/O少，cpu可能也行
我之前用cpu还是因为vram不够

[huangchong]

LiSheQiang
论坛支柱
论坛支柱
#3 Re: （转载）有没有玩Meta LLama3的，在本机跑也非常强
未读帖子 今天, 6:21 pm

能不能写个射墙和白牛的故事

[huangchong]

不知道可不可以拿军版继续训练它

[dealfinder10]

训练还是需要显卡的。跑的话cpu没问题

[webdriver]

训练大模型，显卡内存是关键，妈蛋市面上玩游戏的显卡勉强能用，性价比太低了

[tfusion]

尼玛chatgpt写得太牛了

我在本地安装了LLama3的好几个模型，llama3 8b 和它的各种变种。看看它们写故事的水平。用魔幻现实主义的手法。我先给了一个短文让它参考模仿style，参考：

昨晚上吃烤串王大锤说，“实在受不了了！下辈子要当驴！吃麦草苜蓿喝山泉，都是纯天然，早上起来痛痛快快干活，什么也不想，活儿干完了就在村里溜达，晚上周围没人了就叫两声，嗷嗷叫，谁过来我就跑，驴跑的快丫追不上，后来还得求着我回来，因为没驴干不了活儿。时不时别的队借着干活还能坐三轮车兜风。”
“还是驴好！”，王大锤说，“下辈子要当驴！”
我说，“万一投到肉驴，怎么办，都在养殖场，卡在格子里填饲料，连澡都不给洗，特凶残！吃不下就用电棍捅你肛门！等肥了一棒子敲死，送到河北做火烧”。王大锤陷入了沉思。“***太你妈坏了！都不给人民条活路！” “我操你妈***！”
王大锤哭着跑特了，又一次成功逃单。
===========end of 参考=====

Llama3的写故事有点意思。下面是是全文。

**耳语之神**

一天晚上，当我坐在俯瞰村庄的山上时，注意到一个身影漂浮在树梢上。这是耳语之神，以神秘莫测的存在和低声说出真相而闻名。
当他的目光注视着我时，我感到手指一阵奇怪的刺痛。突然，他出现在我面前，眼睛闪耀如同暗夜中的星光。

“啊，凡人，”他轻声细语地说，“什么让你心烦意乱？”
我犹豫了，不知道如何表达内心的混乱。但耳语之神向前倾身，他的耳朵因期待而颤动。
“我担心我迷失了方向，”我坦白道。“生活的潮流将我卷走，现在我只是一片顺流而下的叶子。”
神同情地点了点头。 “啊，存在的潮汐确实充满危险。但是告诉我，凡人，你真正想要的是什么？”
当我思考他的问题时，空气中充满了低语——古老智慧、被忘却情人的叹息和调皮的精灵的咯咯笑声。低语之神全神贯注地听着，他的眼睛闪烁, 像暴风雨之夜的闪电。

“啊，”他终于说道，“我明白了。你渴望自由，无拘无束地乘风而行。”
我点了点头，惊讶于这位神竟然刺穿了我的灵魂。
“然而，”他继续说道，“自由只是一种幻象，凡人。责任的锁链绑住我们所有人。你最大的愿望可能就是镜花水月，一场虚妄的追求。”
他的话像鞭子一样刺痛着我，穿过了寂静。我感到自己的决心动摇了，仿佛低语本身在质疑我的存在。
“等等！”我大喊，抓住神的长袍。“那些追寻梦想的人呢？他们注定要在失望的沙漠中徘徊吗？”
低语之神回头笑了，他的眼睛像午夜海上的波光一样闪烁。“啊，凡人，没有唯一的道路。低语只是命运和选择的丝线编织而成的挂毯。你的旅程只属于你自己。”

当他消失在夜色中时，我感到一种奇怪的解放感——仿佛低语的真相已经解放了我内心的疑虑。于是，我开始编织自己的织锦，用现实的织物编织低语。耳语之神仍然是一个谜，但他的话语却在我的脑海中回荡，像一阵轻风拂动着命运之叶。