没有盼来GPT-4.5或者GPT-5，盼来了GPT-4 Turbo模型——gpt-4-turbo-2024-04-09

大家好，我是木易，一个持续关注AI领域的互联网技术产品经理，国内Top2本科，美国Top10 CS研究生，MBA。我坚信AI是普通人变强的“外挂”，所以创建了“AI信息Gap”这个公众号，专注于分享AI全维度知识，包括但不限于AI科普，AI工具测评，AI效率提升，AI行业洞察。关注我，AI之路不迷路，2024我们一起变强。

盼星星，盼月亮，没有盼来GPT-4.5或者GPT-5，盼来了GPT-4 Turbo模型——gpt-4-turbo-2024-04-09。

首先是OpenAI开发者账号于几天前的4月9日（北美时间）在国外社交媒体平台官宣了GPT-4 Turbo with Vision这一模型已经可以通过API使用，支持JSON mode以及函数调用。

随后，OpenAI官方账号转发了这个帖子并表示GPT-4 Turbo是"Majorly improved"有重大改进的，已可以通过API使用，并正在ChatGPT中推出。

按照OpenAI一贯的调性，一般这种比较重要的更新都是以灰度发布的形式逐步推出的。但没想到，2天后的4月11日晚，OpenAI就再次高调宣布，GPT-4 Turbo已面向ChatGPT用户开放使用，并且放了一张gpt-4-turbo-2024-04-09（这个是最新的GPT-4模型）与gpt-4-0125-preview的基准测试对比图。该帖发布后12小时不到阅读量已超过340万。

gpt-4-turbo-2024-04-09 VS gpt-4-0125-preview基准测试对比

首先给还不熟悉的小伙伴科普一些关于基准测试的背景介绍。

1. MMLU (Massive Multitask Language Understanding): MMLU 是一个用于评估人工智能在大规模多任务语言理解方面的能力的基准测试。它通常包含多种不同的语言任务，如文本分类、问答、摘要生成等，旨在全面考察模型在理解自然语言方面的广泛适用性和准确性。

2. MATH: MATH 数据集是一个专门设计来衡量人工智能解决数学问题能力的基准。它包含了各种数学问题，从基础算术到更高级的数学概念，用以测试模型是否能够正确理解数学问题并给出准确的解答。

3. GPQA (Grade School Physics Question Answering): GPQA 是一个研究生级别的Google验证问答基准测试，旨在评估模型对于生物学、物理学和化学等学科领域的深入理解。该数据集包含448个多项选择题，这些问题的难度极高，以至于即使是追求或持有博士学位的专家，其正确率也仅为65%，而非专家的准确率更是低至34%，即便他们可以无限制地使用网络资源。

4. DROP (Discrete Reasoning over Paragraphs): DROP 是一个阅读理解基准测试，要求模型对给定的段落进行离散推理。这种类型的任务通常涉及到理解文本中的逻辑关系、因果关系等，并需要模型在有限的信息中做出推断和决策。

5. MGSM (Multi-Language Grade School Math): MGSM 是一个多语言小学数学数据基准测试，旨在评估人工智能在处理不同语言背景下的小学数学问题方面的能力。这个基准测试强调了模型在跨语言数学问题解决和理解方面的性能。

6. HumanEval: HumanEval 是一种评估工具，专门用来评估在代码上训练的大型语言模型的性能。它通过模拟人类对模型生成的代码进行评估的过程，来衡量模型在编程任务上的有效性和实用性。

7. MMMU (Massive Multitask Multimodal Understanding): MMMU 是一个专家级别的人工智能评估基准，它涉及大规模、多学科、多模式的理解和推理任务。这个基准测试旨在全面考察模型在处理和理解多种类型数据（如文本、图像、声音等）方面的综合能力。

从官方公布的对比图片中可以看出，最新的0409版本的GPT-4 Turbo模型比上一代0125版本在GPQA和MATH上的表现有明显的提升。GPQA 是一个研究生级别的问答基准测试，旨在评估模型对于生物、物理和化学等学科领域的深入理解。MATH 基准测试则使用专门的数学数据集来衡量人工智能的数学问题解决能力。这表明最新的模型在处理高级问题解答和数学问题解决方面的能力有了显著进步。

关于GPT-4 Turbo模型

首先需要澄清的是，GPT-4 Turbo并不是一个单独的模型，而是一个统称。GPT-4 Turbo的身影最早出现在2023年11月6日OpenAI首届开发者大会，当时的Turbo模型是1106版本，知识库更新到了2023年4月。随后，OpenAI在2024年1月25日推出了新版本GPT-4 Turbo模型，0125版本，根据官方文档，此时的Turbo模型知识库就已更新到了2023年12月。接下来就是这次更新的最新版的0409版本，此时的知识库仍然为2023年12月，只是针对模型的性能进行了增强。以上三个版本统称为GPT-4 Turbo模型，每一个都可以被称作是GPT-4 Turbo模型，只不过前2个是preview预览模型，而最新的这个是正式版本。

所以，当国外网友晒出这样的截图时，那一定是ChatGPT出现了幻觉。再次强调，根据OpenAI官方文档，GPT-4 Turbo模型的知识库应该是2023年12月，而不是网上疯传的2024年4月。

gpt-4-turbo-2024-04-09重回LMSYS Leaderboard第一

大概一周前，我写过一篇文章介绍LMSYS Leaderboard，当时，Claude 3 Opus已超过GPT-4登顶第一名：Claude 3 Opus超越GPT-4登顶LMSYS Leaderboard排行榜！通义大模型榜上有名！

GPT-4 Turbo作为OpenAI的反击，颇具成效。目前，在最新的LMSYS Leaderboard排行榜上，头名交椅已重新回到了OpenAI的手中。但就综合分数来看，Claude 3 Opus与gpt-4-turbo-2024-04-09相差无几，分别是1256和1261。