林间小舍

读书,求索,幻想

从大语言模型的角度谈学习是怎么回事

Caravel
大语言模型就是一个高维条件概率分布

人脑虽然具体实现机理不一样 但是结果是一样的

也是条件概率

所谓学习,就是对齐条件概率

看到书上一个推导看不懂

说明你的条件概率根据条件得到了A,或者B,书上却是C

这时候很痛苦 怎么回事 不能理解

这时候 不用担心 继续念书

和念经一样

等你的条件概率跟书本对齐了

你就懂了

这就是醍醐灌顶顿悟了

此博文来自论坛版块:军事天地(Military)

共 12 条评论

  1. huangchong
    huangchong

    starbox 写了: 今天 16:32 人类进化出逻辑,用了几亿年的时间,从草履虫开始。

    大模型发展出逻辑,用了不到10年
    确实 很可怕
  2. starbox
    starbox

    huangchong 写了: 今天 13:08 还是不大一样 人的学习不需要把天下书都看尽了 人有种逻辑本能 会自己总结规律寻找逻辑自洽性

    llm这样学习出来的 就是那种打吊针上大学的刷题家
    人类进化出逻辑,用了几亿年的时间,从草履虫开始。

    大模型发展出逻辑,用了不到10年
  3. derry
    derry

    知道这个假设也无卵用。能指导你学习么?
  4. FGH
    FGH

    学习包括研究就是一个不断模式匹配的过程。
  5. da1gaku
    da1gaku

    用户168 写了: 今天 14:04 古人写书不用标点符号。他们认为只要读书人喝书同频了,自然把书读懂了。
    说话也没有标点符号,但是不影响理解。当然说话的停顿和语调可以帮助断句,但不总是如此。
  6. 用户168
    用户168

    古人写书不用标点符号。他们认为只要读书人喝书同频了,自然把书读懂了。
  7. da1gaku
    da1gaku

    很多学习都是间接的。对人和AI都是如此。

    比如你做一道题做不出来,于是接下来的几天每天看黄片,让大脑神经元连接发生改变,也有一定概率导致你会做题了。
  8. happens
    happens

    Caravel 写了: 今天 13:21 人脑还有些绝活大模型不会

    但是大方向就是这样
    大模型可能只是模拟了记忆是怎样记录的。
  9. Caravel
    Caravel

    huangchong 写了: 今天 13:08 还是不大一样 人的学习不需要把天下书都看尽了 人有种逻辑本能 会自己总结规律寻找逻辑自洽性

    llm这样学习出来的 就是那种打吊针上大学的刷题家
    人脑还有些绝活大模型不会

    但是大方向就是这样
  10. huangchong
    huangchong

    还是不大一样 人的学习不需要把天下书都看尽了 人有种逻辑本能 会自己总结规律寻找逻辑自洽性

    llm这样学习出来的 就是那种打吊针上大学的刷题家
  11. verdelite
    verdelite

    Caravel 写了: 今天 12:15 大语言模型就是一个高维条件概率分布

    人脑虽然具体实现机理不一样 但是结果是一样的

    也是条件概率

    所谓学习,就是对齐条件概率

    看到书上一个推导看不懂

    说明你的条件概率根据条件得到了A,或者B,书上却是C

    这时候很痛苦 怎么回事 不能理解

    这时候 不用担心 继续念书

    和念经一样

    等你的条件概率跟书本对齐了

    你就懂了

    这就是醍醐灌顶顿悟了
    你这是线性模型;真实世界里面,因为没有办法实现那么高维度的线性运算,需要进行化简。怎么化简就是个问题了,现在的人搞LLM瞎JB化简,其实化简的方法,进化论早就做进大脑里面了。
  12. pseudo
    pseudo

    Caravel 写了: 今天 12:15 所谓学习,就是对齐条件概率
    现在的大模型对齐,只是在检测了相对近的距离上的相关性。

    而人的大脑可以在变长周期,甚至无限长的区间上产生相关性的直觉。

评论

© 2024newmitbbs.com

Theme by Anders NorenUp ↑