GPT4限制被破解！ChatGPT实现超长文本处理的新方法

GPT42023-05-25 11:59:421168

基于GPT-4技术的人工智能机器人Auto-GPT在近期受到了广泛关注

ChatGPT已经成为了一款备受欢迎的工具，它可以帮助用户解答问题、写代码、翻译，甚至可以通过它学习更多行业的知识。然而，博主在使用ChatGPT时会发现它还不够智能，有时候不能够完全理解用户的意思，答非所问，下面是博主在使用中遇到的痛点

使用chat-gpt过程中有哪些痛点

1.无法理解人类情感和主观性

尽管ChatGPT可以根据上下文理解用户的输入，但它仍然无法真正了解用户的意图，ChatGPT只能根据输入数据和算法进行分析和回答，无法真正理解人类的情感和主观性。这种局限性可能导致一些误解和问题。

2.上下文丢失

与ChatGPT进行对话时，它能够记住上下文，并在后续回答中考虑之前的内容。但是，博主在使用过程中经常会出现ChatGPT忘记之前的对话，这可能是由于单次请求中Token数量的限制或是ChatGPT会话长度的限制所导致的。

3.约定被打断

如果在会话中如果有很多其他的问答，ChatGPT可能会在继续下一步时忘记之前的约定，需要再次约定才会保持下去

那如何去解决这个痛点

这几个痛点我想使用过gpt的小伙伴都深有体会，那如何去解决这些问题呢。其实openAI已经给出了答案。

在发布gpt4的时候，最大的变化除了新数据模型的发布，还有一个重要的技术点更新：上下文token默认为8K 最长32k(约50页文本) 这代表可以可以处理更长的对话以及更深层次的语义分析。这也是gpt4更智能好用的原因。

但如果把这个token提升到200万个，那又会发生什么，

tips:token简介 AI 模型使用的是非结构化文本，常用 Token 表示，以 GPT 模型为例，1000 个 Token 约等于 750 个英文单词

一篇在AI界热论的论文给出了答案，《Scaling Transformer to 1M tokens and beyond with RMT》它可以把Transformer 的 Token 上限扩展至 100 万，甚至更多。

— 3 —

Transformer（RMT）怎么去实现的

1.Transformer 模型

Transformer 是一种神经网络模型，是迄今为止最新和最强大的模型之一，常用于处理上下文学习语义含义。

我们来看看gpt4的上下文处理模型为什么只能达到8-32k，因为transformer 的可输入长度取决于内存大小，这意味着实现太长的token不现实，Transformer 存在一个关键问题，即其注意力操作的二次复杂度，这导致将大模型应用于处理较长序列变得越来越困难。然而，通过利用特殊的记忆 token 实现记忆机制的 Recurrent Memory Transformer（RMT）模型，有效上下文长度能够增长到百万级，这带来了新的发展前景。

2.RMT模型

RMT 全称Recurrent Memory Transformer（递归记忆Transformer）

RMT结构图：

递归记忆Transformer（RMT）是一种基于记忆机制的序列建模架构，用于存储和处理序列数据中的局部和全局信息，并通过递归传递信息来处理长序列中的段之间的依赖关系。

相较于标准Transformer模型的实施，RMT仅通过对输入和输出序列进行修改而无需修改底层模型架构。模型通过训练过程中的记忆操作和序列表示处理来掌控记忆机制的行为。

具体而言，RMT采用记忆token的方式将记忆信息添加到输入序列中，从而为模型提供额外的容量，以处理与输入序列中任意元素无直接关联的信息。为了应对长序列的挑战，RMT将序列分割为不同的段，并通过记忆传递机制将上一段的记忆状态传递到当前段。在训练过程中，梯度通过记忆传递的路径从当前段向前一段流动，从而实现信息的回传和更新记忆状态的目的。

这意味着扩展了token的数量，如果达到理想的200万，我们可以将整部小说甚至更多内容输入到GPT中，而无需依赖上下文来理解用户的信息。这种改进使得GPT能够更准确地处理输入，并提供更精准的回复。

现在，试想一下，如果我将整篇《红楼梦》输入到GPT中，是否可以让它帮我续写这个经典作品呢？