Qu'est-ce que le travail RLHF et comment être payé pour le faire
· 2 min de lecture · work types, evaluation
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. 英语
RLHF signifie apprentissage par renforcement à partir de feedback humain. En pratique, cela signifie lire deux ou plusieurs réponses produites par un modèle, les classer selon un standard écrit, et expliquer votre raisonnement par écrit. La raison écrite est la partie précieuse, car c'est elle qui enseigne au modèle, pas seulement le classement.
En bref
- Le travail RLHF signifie classer les sorties d'un modèle et justifier le classement par écrit.
- Le raisonnement écrit compte plus que le classement lui-même.
- Les classements sont effectués selon une grille figée avant le début du lot.
- Les désaccords authentiques entre annotateurs sont enregistrés, non lissés.
- Un raisonnement écrit solide dans votre langue de travail est la compétence principale requise.
Envie de faire ce travail ?
Chaque candidature est lue par une personne et reçoit une réponse.
PostulerÀ quoi ressemble le travail au quotidien ?
On vous montre une invite et deux ou plusieurs réponses produites par un modèle. Vous décidez laquelle est meilleure et vous écrivez pourquoi. Parfois, vous classez une liste plus longue. Parfois, vous évaluez une seule réponse selon plusieurs critères nommés plutôt que de comparer.
C'est un travail de lecture et d'écriture. Il convient aux personnes précises avec le langage et à l'aise pour expliquer un jugement plutôt que simplement en faire un.
Pourquoi la raison écrite compte-t-elle plus que le classement ?
Parce qu'un classement seul est presque inutile. Si dix personnes préfèrent la réponse B, cela n'apprend pas grand-chose à un modèle. Si dix personnes préfèrent la réponse B parce qu'elle a refusé de spéculer sur une dose médicale, c'est une leçon.
C'est aussi pourquoi le travail RLHF est mieux rémunéré que le simple étiquetage. Il ne peut pas être fait rapidement ou distraitement, et un raisonnement qui ne fait que répéter le classement est rejeté.
Que se passe-t-il lorsque les annotateurs ne sont pas d'accord ?
Dans un travail d'alignement bien géré, le désaccord est enregistré plutôt que résolu par la majorité. Si la moitié des annotateurs qualifiés pensent qu'une réponse est acceptable et l'autre moitié non, cette division est elle-même le résultat, et la réduire à une seule étiquette détruit l'information la plus utile du lot.
Les divisions authentiques sont soumises à une adjudication avec la trace préservée. Vous ne devriez jamais être pénalisé pour une position minoritaire que vous avez correctement argumentée.
Autres questions
Que signifie RLHF ?
Apprentissage par renforcement à partir de feedback humain. C'est le processus d'amélioration d'un modèle en utilisant les jugements humains sur lesquels de ses résultats sont meilleurs.
Quelles compétences sont nécessaires pour le travail RLHF ?
Lecture attentive et raisonnement écrit clair dans votre langue de travail. Vous devez être capable d'expliquer pourquoi une réponse est meilleure qu'une autre d'une manière qu'une autre personne pourrait vérifier, plutôt que de simplement en choisir une.
Le travail RLHF est-il mieux payé que l'annotation ?
Généralement oui, car il ne peut pas être fait rapidement et le raisonnement écrit est un véritable travail. Les tarifs exacts dépendent du domaine, de la langue et du client, et sont affichés avant que vous ne réserviez.