▶3.那么，怎么让这个自监督训练的大语言模型适配于特定任务呢？这里就要用到 RLHF（Reinforcement Learning with human feedback，即根据人类反馈的强化学习）机制。大概就是，我们可以构建一个较小的，针对特定任务的，拥有输入和对应最优答案的成对数据集（例如中英文翻译数据集，客服问答数据集等，可以收集也可以现做，需要人工参与）；再结合一个奖励网络，构建一个反馈机制对原有的大模型进行微调。即要求大模型在用户输入特定问题时，能够输出接近最优结果的答案，同时不脱离原大模型的概率分布约束，即及进行任务对齐（Alignment）。如此一来，我们就可以让自监督得到的高性能大模型，用较小的成本去适配各种下游任务。