Công việc RLHF là gì và làm thế nào để được trả tiền cho nó
· 3 phút đọc · work types, evaluation
Bản dịch này do máy tạo ra và chưa được người bản ngữ kiểm tra. Khi có điểm chưa rõ, bản tiếng Anh là bản gốc. Hãy cho chúng tôi biết nếu có lỗi và chúng tôi sẽ sửa. الإنجليزية
RLHF là viết tắt của học tăng cường từ phản hồi của con người. Trong thực tế, nó có nghĩa là đọc hai hoặc nhiều câu trả lời mà một mô hình tạo ra, xếp hạng chúng theo một tiêu chuẩn viết sẵn, và giải thích lý do của bạn bằng văn bản. Lý do viết ra là phần có giá trị, vì nó là điều dạy cho mô hình, không chỉ là xếp hạng.
Tóm tắt
- Công việc RLHF có nghĩa là xếp hạng các đầu ra của mô hình và biện minh cho xếp hạng đó bằng văn bản.
- Lý do viết ra quan trọng hơn bản thân xếp hạng.
- Các xếp hạng được thực hiện theo một tiêu chuẩn đã được cố định trước khi bắt đầu lô.
- Sự bất đồng thực sự giữa các người chú thích được ghi nhận, không bị làm mờ đi.
- Lý luận viết mạnh mẽ trong ngôn ngữ làm việc của bạn là kỹ năng chính cần thiết.
Công việc hàng ngày trông như thế nào?
Bạn sẽ được hiển thị một lời nhắc và hai hoặc nhiều phản hồi mà mô hình tạo ra. Bạn quyết định cái nào tốt hơn và viết lý do tại sao. Đôi khi bạn xếp hạng một danh sách dài hơn. Đôi khi bạn chấm điểm một phản hồi duy nhất theo nhiều tiêu chí đã được đặt tên thay vì so sánh.
Đây là công việc đọc và viết. Nó phù hợp với những người chính xác về ngôn ngữ và thoải mái giải thích một phán đoán hơn là chỉ đưa ra một phán đoán.
Tại sao lý do viết ra lại quan trọng hơn xếp hạng?
Bởi vì một xếp hạng tự nó gần như vô dụng. Nếu mười người thích câu trả lời B, điều đó nói rất ít với mô hình. Nếu mười người thích câu trả lời B vì nó từ chối suy đoán về liều lượng y tế, đó là một bài học.
Đây cũng là lý do tại sao công việc RLHF được trả lương cao hơn so với gán nhãn thông thường. Nó không thể được thực hiện nhanh chóng hoặc một cách vô tâm, và một lý do chỉ lặp lại xếp hạng sẽ bị từ chối.
Điều gì xảy ra khi các người chú thích không đồng ý?
Trong công việc điều chỉnh tốt, sự bất đồng được ghi nhận thay vì giải quyết bằng đa số. Nếu một nửa số người chú thích có trình độ cho rằng một phản hồi là chấp nhận được và một nửa không, sự chia rẽ đó tự nó là kết quả, và làm phẳng nó thành một nhãn duy nhất sẽ phá hủy thông tin hữu ích nhất trong lô.
Các chia rẽ thực sự được đưa ra phân xử với dấu vết được bảo tồn. Bạn không bao giờ nên bị phạt vì một quan điểm thiểu số mà bạn đã lập luận đúng đắn.
Câu hỏi khác
RLHF là viết tắt của gì?
Học tăng cường từ phản hồi của con người. Đây là quá trình cải thiện một mô hình bằng cách sử dụng các đánh giá của con người về việc đầu ra nào của nó tốt hơn.
Bạn cần những kỹ năng gì cho công việc RLHF?
Đọc cẩn thận và lý luận viết rõ ràng trong ngôn ngữ làm việc của bạn. Bạn cần có khả năng giải thích tại sao một câu trả lời tốt hơn câu khác theo cách mà người khác có thể kiểm tra, thay vì chỉ chọn một câu.
Công việc RLHF có trả lương cao hơn so với gán nhãn không?
Thường là có, vì nó không thể được thực hiện nhanh chóng và lý do viết ra là một phần công việc thực sự. Mức lương cụ thể phụ thuộc vào lĩnh vực, ngôn ngữ và khách hàng, và được hiển thị trước khi bạn đặt chỗ.