Re: Diffusion Model 最近很火,谁谈谈?技术层面,哲学层面?
发表于 : 2022年 9月 13日 01:32
没那么简单,word组合一下马上数量就爆炸了,靠记忆行不通。自然文本生成,你那些简单model能拿出来跟大模型比一比么?我不是说现在这些大model是对的,或许大小可以缩小1百万倍,但是方向看上去是对的,就是用复杂解释复杂。hci 写了: 2022年 9月 12日 19:16 不要以为现在这些大模型就是对的。这些模型,都是sequence to sequence的mapping,其实是记忆机制。并没有理解在其中。其实用价值,和投入比起来,很微不足道。而且这些东西,都是一出来就很快被白菜化,不能成为商业上的抓手。
上面我都说了,现在的实用项目,都还是要以人类知识为主,因为里面有真正的理解,可以灵活使用。而人们以为是AI的东西,其实不能很好用,只能起辅助作用。这些大模型,目前主要有两个用处,一个是用来做传统建模的特征,二是用来做相似度搜索。这就是工业界的现实,我希望小朋友们不要被误导了,会影响找工作。不要上来就说“我对深学算法很有兴趣, blah blah“, 这会大大降低你的求职成功率,除非你是在NIPS发了很多文章的。但需要那样人的地方,其实很少。切记。
认为自然语言很复杂,其实也是错误的。自然语言的单个概念,都是很简单的,心理学里面所谓的mental model,都是很简单的模型,不用很多参数。很多场景叠加在一起,也不过是简单重复而已,并不增加什么复杂度。以前以为逻辑就够了,逻辑是不够,几何也许可以。概念之间的关系,也不是那么复杂。你看看任何知识图,里面的attribute,就那么多个,绝不会上billion级别。这就已经告诉我们,现在这些模型是很wasteful的。
这么说吧,如果Vannevar Bush还在世,他在上一个AI冬天干掉AI用的的理由,其实他现在可以照样再说一遍:"It is just clever programming", 也就是“滚,这儿哪有什么智能,不要来骗老子的钱”。哈哈。可惜,美帝衰落了,那样靠谱的管理者,现在已不存在。现在的管理者,是屁精交通部长这种。哈哈。