网站建设公司如何盈利,淘宝网网页版登录电脑版官网,微信小程序开发软件,网站icp备案号怎么查使用Transformers架构构建大型语言模型显著提高了自然语言任务的性能#xff0c;超过了之前的RNNs#xff0c;并导致了再生能力的爆炸。
Transformers架构的力量在于其学习句子中所有单词的相关性和上下文的能力。不仅仅是您在这里看到的#xff0c;与它的邻居每个词相邻超过了之前的RNNs并导致了再生能力的爆炸。
Transformers架构的力量在于其学习句子中所有单词的相关性和上下文的能力。不仅仅是您在这里看到的与它的邻居每个词相邻而是与句子中的每个其他词。将注意力权重应用于这些关系以便模型学习每个词与输入中的其他词的相关性无论它们在哪里。
这使得算法能够学习谁有这本书谁可能有这本书以及它是否与文档的更广泛的上下文相关。这些注意力权重在LLM训练期间学到您将在本周晚些时候了解更多。 这个图被称为注意力图可以用来说明每个词与每个其他词之间的注意力权重。在这个风格化的例子中您可以看到单词“book”与单词“teacher”和“student”强烈地连接或关注。
这被称为自注意力这种跨整个输入学习注意力的能力显著地提高了模型编码语言的能力。
现在您已经看到了Transformers架构的一个关键属性自注意力让我们从高层次看看模型是如何工作的。这是一个简化的Transformers架构图这样您可以从高层次关注这些过程发生的地方。Transformers架构分为两个不同的部分编码器和解码器。
这些组件相互协作并且它们有许多相似之处。此外请注意您在这里看到的图是从原始的“Attention is All You Need”论文中派生出来的。注意模型的输入是在底部输出是在顶部在可能的情况下我们将尝试在整个课程中保持这一点。
现在机器学习模型只是大型的统计计算器它们使用数字而不是单词。因此在将文本传递到模型进行处理之前您必须首先对单词进行标记。简单地说这将单词转换为数字每个数字代表模型可以使用的所有可能单词的字典中的位置。您可以选择多种标记化方法。
例如匹配两个完整单词的令牌ID
或使用令牌ID表示单词的部分。
正如您在这里看到的。重要的是一旦您选择了一个标记器来训练模型您在生成文本时必须使用相同的标记器。现在您的输入表示为数字您可以将其传递给嵌入层。这一层是一个可训练的向量嵌入空间一个高维空间其中每个令牌都表示为一个向量并在该空间内占据一个唯一的位置。
词汇表中的每个令牌ID都与一个多维向量匹配直觉是这些向量学会编码输入序列中单个令牌的含义和上下文。嵌入向量空间在自然语言处理中已经使用了一段时间像Word2vec这样的上一代语言算法使用了这个概念。如果您不熟悉这个不用担心。您将在整个课程中看到这方面的例子本周末的阅读练习中还有一些链接到其他资源。
回顾样本序列您可以看到在这个简单的情况下每个单词都与一个令牌ID匹配每个令牌都映射到一个向量。在原始的Transformers论文中向量的大小实际上是512所以比我们可以放到这个图像上的要大得多。
为了简单起见如果您想象一个向量大小只有三个您可以将单词绘制到一个三维空间中并看到这些单词之间的关系。您现在可以看到如何关联嵌入空间中彼此靠近的单词
以及如何计算单词之间的距离作为一个角度
这使得模型具有数学上理解语言的能力。当您将令牌向量添加到编码器或解码器的基础时您还添加了位置编码。
模型并行处理每个输入令牌。因此通过添加位置编码您保留了关于单词顺序的信息并且不会丢失单词在句子中的位置的相关性。一旦您将输入令牌和位置编码相加您就将结果向量传递给自注意力层。 在这里模型分析输入序列中的令牌之间的关系。正如您之前看到的这使得模型能够关注输入序列的不同部分以更好地捕获单词之间的上下文依赖关系。在训练期间学到并存储在这些层中的自注意力权重反映了输入序列中每个单词与序列中所有其他单词的重要性。 但这不仅仅发生一次Transformers架构实际上具有多头自注意力。这意味着多组自注意力权重或头部并行独立地学习。注意力层中包括的注意力头数因模型而异但范围在12-100之间是常见的。
直觉是每个自注意力头将学习语言的不同方面。例如一个头可能会看到我们句子中的人实体之间的关系。
而另一个头可能专注于句子的活动。
而另一个头可能专注于其他属性例如单词是否押韵。
重要的是要注意您不会提前指定注意力头将学习的语言方面。每个头的权重都是随机初始化的只要有足够的训练数据和时间每个头都会学习语言的不同方面。虽然一些注意力图很容易解释就像这里讨论的例子但其他的可能不是。
现在所有的注意力权重都已经应用到您的输入数据输出通过一个完全连接的前馈网络进行处理。
这一层的输出是与每个令牌在分词器字典中的概率得分成比例的logits向量。
然后您可以将这些logits传递给最终的softmax层其中它们被标准化为每个单词的概率得分。这个输出包括词汇表中每个单词的概率所以这里可能有成千上万的分数。
一个单一的令牌将有一个比其他所有令牌更高的分数。这是最有可能预测的令牌。但是正如您在课程后面将看到的您可以使用多种方法从这个概率向量中选择最终的选择。
参考
https://www.coursera.org/learn/generative-ai-with-llms/lecture/3AqWI/transformers-architecture
