先做个广告:如需代注册ChatGPT或充值 GPT4.0会员(plus),请添加站长微信:gptchongzhi
最近开始盛传OpenAI的GPT-5的参数规模是3~5T了。这是一个远超当前网络规模的参数量。如果AGI(通用人工智能)的门槛是50T,也就是50万亿参数规模。那么中国的AGI还有希望吗?
推荐使用GPT中文版,国内可直接访问:https://ai.gpt86.top
首先50T我认为是一个合理的数字,原因有二.
Ilya在从OpenAI离开时,提示说OpenAI一定会干到AGI。
ScalingLaw的节点就是 BERT 340M, ChatGPT 175B, GPT5 5T。如果有下一个节点,一定是 10倍以上的GPT5的参数,也就是几十T。
当今世界最有能力达到这个级别模型能力的组织,只有OpenAI。原因也很简单:
人是最棒的。尽管Ilya走了。但OpenAI的人依然是世界一流的团队。它的算法与工程团队在LLM这个领域,绝对是世界最好的之一,甚至两者的组合来比,甚至没有之一;
算力不缺。尽管缺钱,2024年可能亏个50亿美金以上,但是依然还有足够的算力;
数据是最好的。在LLM相关的,甚至是MMLM的数据这件事上,OpenAI一定是全球最早开始积累数据的团队。甚至是唯一一个拥有没有被AI污染过的“干净”的数据的唯一玩家。
但是中国有没有可能也顺利进入呢?
难!很难!非常难!
首先我们的算力是一个最大的问题。未来的发展趋势肯定是“变得更难”。GPU的禁售会导致我们建立最新的GB200 GPU服务器集群这事,变得更难。大概率是变得不可能。而国内的算力,A100的万卡集群是有的,但是用它来完成50T以上的超大模型的训练可能性不大,这个任务从时间长度上看就不太可能。这样,天然就有一个时间差的存在。二年甚至更高!
数据也是另一个问题。中文的语言数据天然就有自然分布意义上的缺失,我想大家能理解。但是这个数据对于AGI来讲,是不是一种致命的缺失?现在恐怕很难给出一个确定性的结果。无论如何,缺肯定比不缺要差是一个常识性的推断。
人反而并没有与美国有太大差异。毕竟中国这么大的教育基数,有足够的人才储备也是必然的。
所以,当50T甚至更大参数规模的模型被证明是AGI的路时,留给我们的解决方案是什么?这可能是个“大问题”!
本文链接:https://lechangxia.cc/gpt4/866.html
chatgpt4.0代充会封号吗chatgpt公司怎么盈利chatgpt4.0有手机版吗chatgpt4.0 mac安装chatgpt需要会员吗chatgpt普通版和会员版的区别GPT-4应用开发chatgpt账号可以注册几个chatgpt4是什么香港可以用chatgpt4.0吗