RLHF 작업이란 무엇이며, 어떻게 보수를 받을 수 있나요
· 2 분 소요 · work types, evaluation
이 번역은 기계로 생성되었으며 원어민의 검수를 거치지 않았습니다. 불분명한 경우 영어 원문이 기준입니다. 잘못된 부분이 있으면 알려주시면 수정하겠습니다. English
RLHF는 인간 피드백을 통한 강화 학습을 의미합니다. 실제로는 모델이 생성한 두 개 이상의 답변을 읽고, 작성된 기준에 따라 순위를 매기고, 그 이유를 글로 설명하는 것을 의미합니다. 글로 작성된 이유가 가치 있는 부분입니다. 이는 순위 매기기 자체가 아니라 모델을 가르치는 부분이기 때문입니다.
요약
- RLHF 작업은 모델 출력의 순위를 매기고 그 순위를 글로 정당화하는 것을 의미합니다.
- 글로 작성된 근거가 순위 자체보다 더 중요합니다.
- 순위는 배치가 시작되기 전에 고정된 기준에 따라 매겨집니다.
- 주석자 간의 진정한 의견 차이는 기록되며, 무시되지 않습니다.
- 작업 언어에서 강력한 글쓰기 능력이 주요 요구 기술입니다.
일상적인 작업은 어떻게 보이나요?
프롬프트와 모델이 생성한 두 개 이상의 응답이 표시됩니다. 어느 것이 더 나은지 결정하고 그 이유를 작성합니다. 때로는 더 긴 목록을 순위 매기기도 합니다. 때로는 비교하는 대신 여러 명명된 기준에 따라 단일 응답을 점수 매기기도 합니다.
이것은 읽기와 쓰기 작업입니다. 언어에 대해 정확하고 판단을 내리는 것뿐만 아니라 설명하는 데 편안한 사람에게 적합합니다.
왜 글로 작성된 이유가 순위보다 더 중요한가요?
순위만으로는 거의 쓸모가 없기 때문입니다. 열 명이 답변 B를 선호한다고 해도 모델에게는 거의 정보를 주지 않습니다. 열 명이 답변 B를 선호하는 이유가 그것이 의료 용량에 대해 추측하지 않았기 때문이라면, 그것은 교훈입니다.
이것이 RLHF 작업이 단순 라벨링보다 높은 보수를 받는 이유이기도 합니다. 빠르게 또는 무심코 할 수 없으며, 순위를 단순히 반복하는 근거는 거부됩니다.
주석자들이 의견이 다를 때는 어떻게 되나요?
잘 운영되는 정렬 작업에서는 의견 차이가 다수결로 해결되지 않고 기록됩니다. 자격을 갖춘 주석자의 절반이 응답이 적절하다고 생각하고 나머지 절반이 그렇지 않다고 생각한다면, 그 분열 자체가 발견이며, 이를 단일 라벨로 평탄화하는 것은 배치에서 가장 유용한 정보를 파괴하는 것입니다.
진정한 분열은 기록이 보존된 상태로 심사에 회부됩니다. 소수 의견을 제대로 주장한 것에 대해 처벌받아서는 안 됩니다.
다른 질문
RLHF는 무엇의 약자인가요?
인간 피드백을 통한 강화 학습입니다. 이는 모델의 출력을 개선하기 위해 어떤 출력이 더 나은지에 대한 인간의 판단을 사용하는 과정입니다.
RLHF 작업에 필요한 기술은 무엇인가요?
작업 언어에서의 신중한 읽기와 명확한 글쓰기 능력입니다. 단순히 하나를 선택하는 것이 아니라, 다른 사람이 확인할 수 있는 방식으로 왜 한 답변이 다른 답변보다 나은지 설명할 수 있어야 합니다.
RLHF 작업은 주석 작업보다 더 많은 보수를 받나요?
일반적으로 그렇습니다. 빠르게 할 수 없고 글로 작성된 근거가 실제 작업이기 때문입니다. 정확한 요율은 도메인, 언어 및 클라이언트에 따라 다르며, 예약 전에 표시됩니다.