Che cos'è il lavoro RLHF e come si viene pagati per farlo
· 2 min di lettura · work types, evaluation
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. Inglés
RLHF sta per apprendimento per rinforzo dal feedback umano. In pratica significa leggere due o più risposte prodotte da un modello, classificarle secondo uno standard scritto e spiegare il proprio ragionamento per iscritto. La motivazione scritta è la parte preziosa, perché è ciò che insegna al modello, non solo la classificazione.
In breve
- Il lavoro RLHF significa classificare gli output del modello e giustificare la classificazione per iscritto.
- La motivazione scritta è più importante della classificazione stessa.
- Le classificazioni sono fatte secondo un criterio stabilito prima dell'inizio del lotto.
- Il disaccordo genuino tra gli annotatori viene registrato, non appianato.
- Un forte ragionamento scritto nella propria lingua di lavoro è la principale abilità richiesta.
Vuoi fare questo lavoro?
Ogni candidatura è letta da una persona e riceve sempre risposta.
Candidati oraCome si presenta il lavoro giorno per giorno?
Viene mostrato un prompt e due o più risposte prodotte da un modello. Si decide quale sia migliore e si scrive il perché. A volte si classifica una lista più lunga. A volte si valuta una singola risposta rispetto a diversi criteri nominati anziché confrontarla.
È un lavoro di lettura e scrittura. Si adatta a persone precise con il linguaggio e a proprio agio nel spiegare un giudizio piuttosto che semplicemente esprimerlo.
Perché la motivazione scritta è più importante della classificazione?
Perché una classificazione da sola è quasi inutile. Se dieci persone preferiscono la risposta B, questo dice poco a un modello. Se dieci persone preferiscono la risposta B perché ha rifiutato di speculare su un dosaggio medico, questo è un insegnamento.
Questo è anche il motivo per cui il lavoro RLHF paga più della semplice etichettatura. Non può essere fatto rapidamente o distrattamente, e una motivazione che si limita a ripetere la classificazione viene respinta.
Cosa succede quando gli annotatori non sono d'accordo?
In un lavoro di allineamento ben gestito, il disaccordo viene registrato piuttosto che risolto a maggioranza. Se metà degli annotatori qualificati ritiene che una risposta sia accettabile e l'altra metà no, quella divisione è essa stessa il risultato, e appiattirla in un'unica etichetta distrugge l'informazione più utile del lotto.
Le divisioni genuine vanno in giudizio con la traccia preservata. Non si dovrebbe mai essere penalizzati per una posizione di minoranza argomentata correttamente.
Altre domande
Cosa significa RLHF?
Apprendimento per rinforzo dal feedback umano. È il processo di miglioramento di un modello utilizzando i giudizi umani su quali dei suoi output siano migliori.
Quali competenze sono necessarie per il lavoro RLHF?
Lettura attenta e chiaro ragionamento scritto nella propria lingua di lavoro. È necessario essere in grado di spiegare perché una risposta è migliore di un'altra in modo che un'altra persona possa verificarlo, piuttosto che semplicemente sceglierne una.
Il lavoro RLHF paga più dell'annotazione?
Generalmente sì, perché non può essere fatto velocemente e la motivazione scritta è un vero e proprio lavoro. Le tariffe esatte dipendono dal dominio, dalla lingua e dal cliente, e vengono mostrate prima della prenotazione.