GPT4是8个2200亿的MoE模型

GPT42024-01-16 10:09:42702

今天的大新闻就是GPT4被爆料了它的模型大小，其实这个模型大小之前就是各种版本，当然说真的，现在连开源的羊驼模型的小型版都几十亿，好像上万亿是非常正常的，几十万亿也没什么超出预期的。真正让我们觉得惊奇的是8个MoE模型，也就是专家模型。

稍微解释一下，可能普通读者确实不清楚什么是专家模型，那么我们比较通俗的比喻一下，专家模型有些类似咱们去医院就诊，你会发现有内科，外科，甚至更细，比如心外科，脑外科。为什么分这么细，这个大家理解，不同的医生有专精啊，不分细了医生怕是学不过来啊。专家模型差不多是这么个意思，咱们普通人就简单的理解为分诊吧，分诊以后看病看的更好。

对于大模型，其实我们不清楚它也有这么一个需求，或者说它使用了MoE系统后会提示性能，说白了我们没有OpenAI这样的试错成本，所以确实不清楚，一度我们觉得可能是暴力扩大就是正途，当然现在也不着急下结论，我们且看后面什么情况的。

回过头来讲讲我们自己，我们的专利检索模型确实是一个MoE模型，当然不是从第一天就是，但是确实从疫情前就已经是了，而且效果确实好。可是普通人不明白的一个问题是，模型是需要维护的，新的数据进来是要重新进行调整的，那么这些都是成本，在具体的工程学，软件工程学上都是需要花力气下功夫的。所以我们也是考虑技术的发展一直在多条腿走路，这就是后来大家看到的检索魔方，魔方的底层应该讲是在首先调用了这个专家模型（MoE），其次它考虑了一个多模态的问题。这就是为什么魔方的检索效果其实目前是所有市面产品中最好的，但是实话实说，我们的产品本身也还是会受一个非常大的限制，就是成本！

就像这次GPT4的这个大爆料，很多人都会去想OpenAI的成本如何，我们也同理，其实多年前使用MoE的时候我们就考虑过，当时的算法就是兼顾了成本。时过境迁，现在我们也在考虑新的替代，但是真正的工程都是基于严谨的科学，所以我们要认真的比较效果与成本。不过好消息确实是，这是一个对于AI非常好的时代，每天的硬件成本都在下降，还有一群狂人在分享他们解决硬件算力的方法。

总结一下，有的时候想想也是真的应了那句话，叫英雄所见略同，AI正在进入一个最精彩的时间段，我们作为真从业者，此刻是非常兴奋与幸福的，我们每天都有太多想法要落地去检验了，说真的有点儿忙不过来了。但是还是会抽时间和大家分享一些能分享的内容，当然我们最核心的一直是希望知产人，对未来有思考的知产人们能搭上车，搭对车！

本文链接：http://lechangxia.cc/gpt4/336.html