O que é o trabalho de RLHF e como ser pago para fazê-lo
· 2 min de leitura · work types, evaluation
Esta tradução foi produzida por máquina e não foi verificada por um falante nativo. Em caso de dúvida, a versão em inglês é a original. Diga-nos se algo estiver errado e corrigiremos. Anglais
RLHF significa aprendizagem por reforço a partir de feedback humano. Na prática, significa ler duas ou mais respostas produzidas por um modelo, classificá-las de acordo com um padrão escrito e explicar seu raciocínio por escrito. A razão escrita é a parte valiosa, pois é o que ensina o modelo, não apenas a classificação.
Em resumo
- O trabalho de RLHF significa classificar saídas de modelos e justificar a classificação por escrito.
- A justificativa escrita importa mais do que a própria classificação.
- As classificações são feitas com base em um critério fixado antes do início do lote.
- Desacordos genuínos entre anotadores são registrados, não suavizados.
- Raciocínio escrito forte na sua língua de trabalho é a principal habilidade necessária.
Como é o trabalho no dia a dia?
Você recebe um prompt e duas ou mais respostas produzidas por um modelo. Você decide qual é melhor e escreve o porquê. Às vezes, você classifica uma lista mais longa. Às vezes, você avalia uma única resposta com base em vários critérios nomeados em vez de comparar.
É um trabalho de leitura e escrita. É adequado para pessoas que são precisas com a linguagem e confortáveis em explicar um julgamento em vez de apenas fazê-lo.
Por que a razão escrita importa mais do que a classificação?
Porque uma classificação por si só é quase inútil. Se dez pessoas preferem a resposta B, isso diz muito pouco a um modelo. Se dez pessoas preferem a resposta B porque ela se recusou a especular sobre uma dose médica, isso é uma lição.
É também por isso que o trabalho de RLHF paga mais do que a rotulagem simples. Não pode ser feito rapidamente ou de forma desatenta, e uma justificativa que apenas repete a classificação é rejeitada.
O que acontece quando os anotadores discordam?
Em trabalhos de alinhamento bem conduzidos, o desacordo é registrado em vez de resolvido por maioria. Se metade dos anotadores qualificados acha uma resposta aceitável e a outra metade não, essa divisão é, por si só, a descoberta, e achatá-la em um único rótulo destrói a informação mais útil do lote.
Divisões genuínas vão para adjudicação com o histórico preservado. O que você nunca deve ser é penalizado por uma posição minoritária que argumentou corretamente.
Outras perguntas
O que significa RLHF?
Aprendizagem por reforço a partir de feedback humano. É o processo de melhorar um modelo usando julgamentos humanos sobre quais de suas saídas são melhores.
Quais habilidades são necessárias para o trabalho de RLHF?
Leitura cuidadosa e raciocínio escrito claro na sua língua de trabalho. Você precisa ser capaz de explicar por que uma resposta é melhor que outra de uma forma que outra pessoa possa verificar, em vez de apenas escolher uma.
O trabalho de RLHF paga mais do que a anotação?
Geralmente sim, porque não pode ser feito rapidamente e a justificativa escrita é um verdadeiro trabalho. As taxas exatas dependem do domínio, da língua e do cliente, e são mostradas antes de você reservar.