什么是RLHF工作，以及如何获得报酬
· 1 分钟阅读 · work types, evaluation
本译文由机器生成，未经母语者校对。如有不清楚之处，以英文原版为准。如发现错误请告知我们，我们会更正。 Anglais
什么是RLHF，我如何获得报酬？
RLHF代表从人类反馈中进行强化学习。实际上，这意味着阅读模型生成的两个或多个答案，根据书面标准对它们进行排序，并以书面形式解释你的理由。书面理由是有价值的部分，因为它是教导模型的关键，而不仅仅是排序。
要点摘要
- RLHF工作意味着对模型输出进行排序，并以书面形式证明排序的合理性。
- 书面理由比排序本身更重要。
- 排序是根据在批次开始前冻结的评分标准进行的。
- 记录标注者之间的真实分歧，而不是抹去分歧。
- 在工作语言中强有力的书面推理是所需的主要技能。
日常工作是什么样的？
你会看到一个提示和模型生成的两个或多个响应。你决定哪个更好，并写下原因。有时你会对更长的列表进行排序。有时你会根据几个命名标准对单个响应进行评分，而不是比较。
这是阅读和写作的工作。适合对语言精确并且能够解释判断而不仅仅是做出判断的人。
为什么书面理由比排序更重要？
因为单独的排序几乎没有用。如果十个人更喜欢答案B，这对模型几乎没有帮助。如果十个人更喜欢答案B是因为它拒绝对药物剂量进行推测，那就是一个教训。
这也是为什么RLHF工作比普通标注支付更高。它不能快速或心不在焉地完成，而仅仅重述排序的理由会被拒绝。
标注者意见不一致时会发生什么？
在管理良好的对齐工作中，分歧被记录下来，而不是通过多数决解决。如果一半合格的标注者认为一个响应是可以接受的，而另一半则不认为，这种分歧本身就是发现，将其简化为单一标签会破坏批次中最有用的信息。
真实的分歧会被提交仲裁，并保留记录。你不应该因为正确论证的少数立场而受到惩罚。
常见问题
其他问题
RLHF代表什么？
从人类反馈中进行强化学习。这是利用人类判断来改进模型的过程，以确定其输出中哪个更好。
RLHF工作需要哪些技能？
仔细阅读和在工作语言中清晰的书面推理。你需要能够解释为什么一个答案比另一个更好，以便其他人可以核查，而不仅仅是选择一个。
RLHF工作比标注支付更高吗？
通常是的，因为它不能快速完成，书面理由是一项真正的工作。具体费率取决于领域、语言和客户，并在你预订前显示。