Was ist RLHF-Arbeit und wie wird man dafür bezahlt
· 2 Min. Lesezeit · work types, evaluation
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. Angielski
RLHF steht für Reinforcement Learning from Human Feedback. In der Praxis bedeutet es, zwei oder mehr Antworten, die ein Modell erzeugt hat, zu lesen, sie anhand eines schriftlichen Standards zu bewerten und Ihre Begründung schriftlich zu erklären. Die schriftliche Begründung ist der wertvolle Teil, da sie das Modell lehrt, nicht nur die Bewertung allein.
Kurz gefasst
- RLHF-Arbeit bedeutet, Modelloutputs zu bewerten und die Bewertung schriftlich zu begründen.
- Die schriftliche Begründung ist wichtiger als die Bewertung selbst.
- Bewertungen werden anhand eines vor Beginn des Batches festgelegten Rubriks vorgenommen.
- Echte Meinungsverschiedenheiten zwischen Annotatoren werden aufgezeichnet und nicht geglättet.
- Starke schriftliche Begründungen in Ihrer Arbeitssprache sind die Hauptanforderung.
Möchten Sie diese Arbeit machen?
Jede Bewerbung wird von einem Menschen gelesen und beantwortet.
Jetzt bewerbenWie sieht die Arbeit im Alltag aus?
Sie sehen eine Eingabeaufforderung und zwei oder mehr Antworten, die ein Modell erzeugt hat. Sie entscheiden, welche besser ist, und schreiben, warum. Manchmal bewerten Sie eine längere Liste. Manchmal bewerten Sie eine einzelne Antwort anhand mehrerer benannter Kriterien, anstatt sie zu vergleichen.
Es ist Lese- und Schreibarbeit. Es eignet sich für Menschen, die präzise mit Sprache umgehen und es gewohnt sind, ein Urteil zu erklären, anstatt nur eines zu fällen.
Warum ist die schriftliche Begründung wichtiger als die Bewertung?
Weil eine Bewertung allein fast nutzlos ist. Wenn zehn Personen Antwort B bevorzugen, sagt das einem Modell sehr wenig. Wenn zehn Personen Antwort B bevorzugen, weil sie sich geweigert hat, über eine medizinische Dosis zu spekulieren, ist das eine Lektion.
Deshalb wird RLHF-Arbeit besser bezahlt als einfache Etikettierung. Sie kann nicht schnell oder unaufmerksam erledigt werden, und eine Begründung, die nur die Bewertung wiederholt, wird abgelehnt.
Was passiert, wenn Annotatoren uneinig sind?
Bei gut durchgeführter Alignment-Arbeit wird Uneinigkeit aufgezeichnet, anstatt durch Mehrheitsentscheidungen gelöst zu werden. Wenn die Hälfte der qualifizierten Annotatoren eine Antwort für akzeptabel hält und die andere Hälfte nicht, ist diese Spaltung selbst das Ergebnis, und sie in ein einziges Label zu glätten, zerstört die nützlichsten Informationen im Batch.
Echte Spaltungen gehen mit erhaltenem Verlauf in die Schlichtung. Sie sollten niemals für eine Minderheitsposition bestraft werden, die Sie ordnungsgemäß argumentiert haben.
Weitere Fragen
Wofür steht RLHF?
Reinforcement Learning from Human Feedback. Es ist der Prozess, ein Modell zu verbessern, indem menschliche Urteile darüber verwendet werden, welche seiner Outputs besser sind.
Welche Fähigkeiten benötigt man für RLHF-Arbeit?
Sorgfältiges Lesen und klare schriftliche Begründungen in Ihrer Arbeitssprache. Sie müssen in der Lage sein, zu erklären, warum eine Antwort besser ist als eine andere, auf eine Weise, die eine andere Person überprüfen könnte, anstatt nur eine auszuwählen.
Wird RLHF-Arbeit besser bezahlt als Annotation?
In der Regel ja, da sie nicht schnell erledigt werden kann und die schriftliche Begründung eine echte Arbeitsleistung darstellt. Die genauen Sätze hängen vom Bereich, der Sprache und dem Kunden ab und werden angezeigt, bevor Sie reservieren.