¿Qué es el trabajo de RLHF y cómo se paga por hacerlo?
· 2 min de lectura · work types, evaluation
Esta traducción fue generada por una máquina y no ha sido revisada por un hablante nativo. Ante cualquier duda, la versión en inglés es la original. Avísanos si algo está mal y lo corregiremos. 英语
RLHF significa aprendizaje por refuerzo a partir de retroalimentación humana. En la práctica, significa leer dos o más respuestas producidas por un modelo, clasificarlas según un estándar escrito y explicar tu razonamiento por escrito. La razón escrita es la parte valiosa, porque es lo que enseña al modelo, no solo la clasificación.
En resumen
- El trabajo de RLHF significa clasificar las salidas de modelos y justificar la clasificación por escrito.
- La justificación escrita importa más que la clasificación en sí.
- Las clasificaciones se realizan según una rúbrica fijada antes de que comience el lote.
- El desacuerdo genuino entre anotadores se registra, no se suaviza.
- La habilidad principal requerida es un razonamiento escrito sólido en tu idioma de trabajo.
¿Quieres hacer este trabajo?
Cada solicitud la lee una persona y siempre respondemos.
Solicitar unirse¿Cómo es el trabajo día a día?
Se te muestra un aviso y dos o más respuestas producidas por un modelo. Decides cuál es mejor y escribes por qué. A veces clasificas una lista más larga. A veces puntúas una sola respuesta contra varios criterios nombrados en lugar de comparar.
Es un trabajo de lectura y escritura. Es adecuado para personas que son precisas con el lenguaje y se sienten cómodas explicando un juicio en lugar de solo hacerlo.
¿Por qué la razón escrita importa más que la clasificación?
Porque una clasificación por sí sola es casi inútil. Si diez personas prefieren la respuesta B, eso le dice muy poco a un modelo. Si diez personas prefieren la respuesta B porque se negó a especular sobre una dosis médica, eso es una lección.
Esta es también la razón por la que el trabajo de RLHF paga más que el etiquetado simple. No se puede hacer rápidamente o de manera distraída, y una justificación que solo repite la clasificación es rechazada.
¿Qué sucede cuando los anotadores no están de acuerdo?
En un trabajo de alineación bien gestionado, el desacuerdo se registra en lugar de resolverse por mayoría. Si la mitad de los anotadores calificados piensa que una respuesta es aceptable y la otra mitad no, esa división es en sí misma el hallazgo, y reducirla a una sola etiqueta destruye la información más útil del lote.
Las divisiones genuinas van a adjudicación con el rastro preservado. Nunca deberías ser penalizado por una posición minoritaria que argumentaste adecuadamente.
También preguntan
¿Qué significa RLHF?
Aprendizaje por refuerzo a partir de retroalimentación humana. Es el proceso de mejorar un modelo utilizando juicios humanos sobre cuáles de sus salidas son mejores.
¿Qué habilidades necesitas para el trabajo de RLHF?
Lectura cuidadosa y razonamiento escrito claro en tu idioma de trabajo. Necesitas poder explicar por qué una respuesta es mejor que otra de una manera que otra persona pueda verificar, en lugar de solo elegir una.
¿El trabajo de RLHF paga más que la anotación?
Generalmente sí, porque no se puede hacer rápidamente y la justificación escrita es un verdadero trabajo. Las tarifas exactas dependen del dominio, el idioma y el cliente, y se muestran antes de que reserves.