RLHFの仕事とは何か、そしてその報酬を得る方法

日々の仕事はどのようなものか？

プロンプトとモデルが生成した2つ以上の回答が表示されます。どちらが良いかを決め、その理由を文章で書きます。時には、より長いリストをランク付けすることもあります。時には、比較するのではなく、いくつかの指定された基準に対して単一の回答を評価します。

これは読み書きの仕事です。言語に対して正確で、判断を下すだけでなくその理由を説明することに慣れている人に向いています。

なぜ文章での理由付けがランク付けよりも重要なのか？

ランク付けだけではほとんど役に立たないからです。もし10人が回答Bを好んだとしても、それだけではモデルにはほとんど情報を与えません。しかし、10人が回答Bを好んだ理由が、医療用量について推測しなかったからであれば、それはモデルにとっての教訓です。

これがRLHFの仕事が単なるラベリングよりも高報酬である理由です。迅速に、または無意識に行うことはできず、ランク付けを繰り返すだけの理由付けは拒否されます。

アノテーターが意見を異にした場合はどうなるか？

適切に運営されているアライメント作業では、意見の相違は記録され、多数決で解決されません。資格のあるアノテーターの半数が回答を受け入れ可能と考え、半数がそうでないと考える場合、その分裂自体が発見であり、それを単一のラベルに平坦化することはバッチ内で最も有用な情報を破壊します。

本当の分裂は、記録を保持したまま審査に送られます。少数派の立場を正当に主張したことで罰せられることは決してありません。

RLHFは何の略か？

人間のフィードバックによる強化学習です。これは、モデルの出力のどちらが優れているかについての人間の判断を使用してモデルを改善するプロセスです。

RLHFの仕事に必要なスキルは？

作業言語での注意深い読解と明確な文章による理由付けです。単に選ぶのではなく、なぜ一つの回答が他よりも優れているのかを他の人が確認できるように説明する必要があります。

RLHFの仕事はアノテーションよりも高報酬か？

一般的にはそうです。迅速に行うことができず、文章での理由付けが実際の作業となるためです。正確な料金は、ドメイン、言語、クライアントによって異なり、予約前に表示されます。