Wat is RLHF-werk en hoe word je ervoor betaald
· 2 min leestijd · work types, evaluation
Deze vertaling is machinaal gemaakt en niet gecontroleerd door een moedertaalspreker. Bij twijfel geldt de Engelse versie. Laat het ons weten als iets niet klopt, dan corrigeren wij het. Englisch
RLHF staat voor reinforcement learning from human feedback. In de praktijk betekent het dat je twee of meer antwoorden die een model heeft geproduceerd leest, ze beoordeelt aan de hand van een geschreven standaard en je redenering schriftelijk uitlegt. De geschreven reden is het waardevolle deel, omdat dit het model leert, niet alleen de rangschikking.
Kort samengevat
- RLHF-werk betekent het rangschikken van modeluitvoer en het rechtvaardigen van de rangschikking in schrift.
- De schriftelijke onderbouwing is belangrijker dan de rangschikking zelf.
- Rangschikkingen worden gemaakt aan de hand van een rubric die bevroren is voordat de batch begint.
- Echte meningsverschillen tussen annotators worden vastgelegd, niet gladgestreken.
- Sterke schriftelijke redenering in je werktaal is de belangrijkste vereiste vaardigheid.
Hoe ziet het werk er dagelijks uit?
Je krijgt een prompt te zien en twee of meer reacties die een model heeft geproduceerd. Je beslist welke beter is en je schrijft waarom. Soms rangschik je een langere lijst. Soms beoordeel je een enkele reactie aan de hand van verschillende benoemde criteria in plaats van te vergelijken.
Het is lees- en schrijfwerk. Het past bij mensen die precies zijn met taal en zich prettig voelen bij het uitleggen van een oordeel in plaats van er alleen maar een te vellen.
Waarom is de schriftelijke reden belangrijker dan de rangschikking?
Omdat een rangschikking op zichzelf bijna nutteloos is. Als tien mensen antwoord B verkiezen, zegt dat een model heel weinig. Als tien mensen antwoord B verkiezen omdat het weigerde te speculeren over een medische dosering, is dat een les.
Dit is ook de reden waarom RLHF-werk beter betaalt dan gewoon labelen. Het kan niet snel of gedachteloos worden gedaan, en een onderbouwing die alleen de rangschikking herhaalt, wordt afgewezen.
Wat gebeurt er als annotators het oneens zijn?
Bij goed uitgevoerd alignment-werk wordt onenigheid vastgelegd in plaats van opgelost door meerderheid. Als de helft van de gekwalificeerde annotators een reactie acceptabel vindt en de andere helft niet, is die splitsing op zich de bevinding, en het plat slaan ervan tot een enkel label vernietigt de meest bruikbare informatie in de batch.
Echte splitsingen gaan naar adjudicatie met de spoor bewaard. Wat je nooit zou moeten zijn, is gestraft worden voor een minderheidspositie die je goed hebt beargumenteerd.
Andere vragen
Waar staat RLHF voor?
Reinforcement learning from human feedback. Het is het proces van het verbeteren van een model met behulp van menselijke oordelen over welke van zijn uitvoer beter zijn.
Welke vaardigheden heb je nodig voor RLHF-werk?
Nauwkeurig lezen en duidelijke schriftelijke redenering in je werktaal. Je moet kunnen uitleggen waarom het ene antwoord beter is dan het andere op een manier die een ander persoon kan controleren, in plaats van er gewoon een te kiezen.
Betaalt RLHF-werk meer dan annotatie?
Over het algemeen wel, omdat het niet snel kan worden gedaan en de schriftelijke onderbouwing een echt stuk werk is. Exacte tarieven zijn afhankelijk van het domein, de taal en de klant, en worden getoond voordat je reserveert.