目录

GPT

无监督预训练

有监督微调

 如何将模型应用于下游任务？

试验结果 

 GPT-2

摘要

Introduction

Approach

数据集&模型

 试验结果

GPT-3

核心点

名词解释

few-shot做法图示 

数据集

GPT

由无监督预训练+有监督微调组成

• 无监督预训练

• 有监督微调

•  如何将模型应用于下游任务？

做法是在Transformer输出层后增加线性层

• 试验结果 

 GPT-2

论文：Language Models are Unsupervised Multitask Learners

注：标题里的多任务学习是指模型同时在NLP中的多个任务上进行学习

• 摘要

用了 WebText，有百万级别的文本，最大的 GPT-2 模型有 1.5B 参数。

本文的主要卖点是 zero-shot。

• Introduction

之前主流任务都是在一个任务上收集一个数据集，然后来训练。这是因为，当前模型的泛化性都不是很好。Bert和GPT提出后，主流是在大的数据集上进行预训练，然后对子任务再 fine-tune。这仍然有两个问题：

• 在子任务上还是需要重新训练模型
• 需要针对子任务收集数据集，这导致，模型在扩展到新任务时开销是比较大的。

GPT-2 还是做语言模型，但是在扩展到下游任务时，会有 zero-shot 的设定，不需要再重新训练模型

• Approach

        GPT中，在微调的时候引入了开始符，间隔符等特殊符号，这些是模型在预训练时候没有见到过的（微调的时候会进行学习）。现在 GPT-2 要做的是 zero-shot，模型在做下游任务时不能进行微调，因此不能引入这些特殊符号，否则模型就会很困惑，输入的形式应该更像自然语言，和之前相似。

        这就引入了 prompt（McCann et al 2018年提出），用一些自然语言来充当一些符号的作用。

• 比如翻译任务，可以写成一个序列：translate to french, english text, french text。这里既有明显的起始，分隔，又是正常的自然语言
• 比如阅读理解任务，可以写成：answer the question, document, question, answer 。是同样的道理

为什么可以工作（可能）：

• 模型足够强大，能够理解提示符
• 在文本里面，这样的话可能也很常见

• 数据集&模型

数据：Common Crawl是一个网页抓取项目，抓取网页供大家下载。但是信噪比低，有些网页可能就是垃圾网页。因此最终使用了 Reddit（算是一些已经过滤好的网页），最后得到4500万个链接，最终的数据集有800w文本，40GB。

因为数据量很大了，因此可以设计更大的模型。一共设计了 4 个。

•  试验结果

和别的zero-shot方法比，性能是提升的

在NLP的一些任务上还不错，一些任务上差一些。但是随着模型大小的增加，性能还是呈上升的趋势。

GPT-3

论文：Language Models are Few-shot Leaners

• 核心点

• 采用few-shot
• 尽管few-shot会给少量带标签的样本，但GPT-3在预训练之后，不做任何的梯度更新or微调

• 名词解释

• meta-learning，元学习：作者取名不是很精确，作者大致意思是训练一个很大的模型，并且泛化性能还不错
• in-context learning，上下文学习：在推理的时候，即使给一些带标注的样本，也不对模型权重进行更新或者微调。

• few-shot做法图示 

图中的箭头叫做prompt（提示），告诉模型接下来该你输出了

• 数据集

Common Crawl数据集量很大，但是大部分文章质量都比较低，因此需要进行处理

1.训练一个二分类模型(逻辑回归)，redit数据集作为正例，Crawl数据集作为负例。训练好分类器之后对Common Crawl数据集做预测，如果预测偏正例的话就保留，如果预测偏负例的话就过滤掉。

2.去重，采用lsh算法判断两篇文章（两个集合）的相似性，去除相似度高的

3.增加已知的高质量数据集，比如BERT,GPT, GPT-2采用的所有数据集

 可以看到，虽然Common Crawl数据集tokens非常多，但在训练过程中的采用只占60%，即训练时不是平等对待每一个数据集的

InstructGPT

论文：Training language models to follow instructions with human feedback， 2022.03

训练主要是两大核心技术点

1. Instruct Tuning（指令微调）

2. 基于人工反馈的强化学习（Reinforcement learning from Human Feedback， RLHF)

ChatGPT

只有blog，没有官方论文，官方说和InstructGPT是兄弟模型

• 训练

基本上分成三大步骤（具体是四步）

 预训练的一个大作用：

在多种语言上做预训练后，只要教某一种语言的某一个任务，大模型会自动学习其他语言的相同任务

四个详细步骤

1.预训练，学习文字接龙

         在推理时候，每一次输出是不同的，因此GPT的直接输出是概率分布，然后从概率分布中进行采样，概率大的词更容易被采样到，但每次并不是取概率最大的词作为输出

2. 人类老师引导文字接龙的方向

        不需要穷举，即不需要标注太多的符合人类理解的语句，每种问题提供一些正确范例就行了，因为在第一阶段预训练大模型其实也已经部分学习到这些了。

 3. 模仿人类老师的喜好

        ChrtGPT 的API之前已经公开，openAI收集了很多人类问题，因为ChatGPT是具有随机性的，因此同一个问题会输出多种答案，然后雇佣人类对每个问题的不同答案进行评分（人类老师不需要提供正确答案，只需要评分）

        接下来训练一个教师模型，来自动对每个问题的每个答案进行评分，从而让教师模型模仿人类的偏好

 4. 用强化学习RL向模仿老师学习

        将问题和chatGPT的回答一起输入到教师模型中，将教师模型输出的分数作为强化学习中的reward，调整chatGPT的参数，从而使得教师模型得到最大的reward。

 模型大小与训练集总结