RLHF işi nedir ve bu işten nasıl para kazanılır
· 2 dk okuma · work types, evaluation
Bu çeviri makine tarafından üretilmiştir ve ana dili konuşan biri tarafından kontrol edilmemiştir. Tereddüt halinde İngilizce sürüm esastır. Yanlış görünen bir şey varsa bize bildirin, düzeltelim. English
RLHF, insan geri bildiriminden güçlendirme öğrenmesi anlamına gelir. Pratikte, bir modelin ürettiği iki veya daha fazla yanıtı okumak, bunları yazılı bir standarda göre sıralamak ve gerekçenizi yazılı olarak açıklamak demektir. Yazılı gerekçe değerli kısımdır çünkü modeli öğreten şey sıralamanın kendisi değil, bu gerekçedir.
Kısaca
- RLHF işi, model çıktılarının sıralanması ve sıralamanın yazılı olarak gerekçelendirilmesi anlamına gelir.
- Yazılı gerekçe, sıralamanın kendisinden daha önemlidir.
- Sıralamalar, parti başlamadan önce dondurulmuş bir ölçüte göre yapılır.
- Annotatörler arasındaki gerçek anlaşmazlık kaydedilir, düzeltilmez.
- Çalışma dilinizde güçlü yazılı gerekçe ana gereksinimdir.
Günlük iş nasıl görünür?
Size bir istem ve modelin ürettiği iki veya daha fazla yanıt gösterilir. Hangisinin daha iyi olduğuna karar verirsiniz ve nedenini yazarsınız. Bazen daha uzun bir listeyi sıralarsınız. Bazen karşılaştırmak yerine belirli adlandırılmış kriterlere göre tek bir yanıtı puanlarsınız.
Bu okuma ve yazma işidir. Dile karşı titiz olan ve sadece bir yargı vermek yerine bir yargıyı açıklamakta rahat olan kişiler için uygundur.
Neden yazılı gerekçe sıralamadan daha önemlidir?
Çünkü tek başına bir sıralama neredeyse işe yaramaz. On kişi B yanıtını tercih ederse, bu model için çok az şey ifade eder. On kişi B yanıtını, bir tıbbi doz hakkında spekülasyon yapmaktan kaçındığı için tercih ederse, bu bir derstir.
Bu nedenle RLHF işi, basit etiketlemenin üzerinde ödeme yapar. Hızlı veya dikkatsizce yapılamaz ve sıralamayı sadece tekrar eden bir gerekçe reddedilir.
Annotatörler anlaşmazlığa düştüğünde ne olur?
İyi yönetilen hizalama çalışmalarında, anlaşmazlık çoğunlukla çözülmek yerine kaydedilir. Kalifiye annotatörlerin yarısı bir yanıtın kabul edilebilir olduğunu düşünüyorsa ve diğer yarısı düşünmüyorsa, bu ayrımın kendisi bulgudur ve bunu tek bir etikete indirgemek, partideki en yararlı bilgiyi yok eder.
Gerçek ayrılıklar, iz korunarak tahkime gider. Asla yapmamanız gereken şey, düzgün bir şekilde savunduğunuz bir azınlık pozisyonu için cezalandırılmaktır.
Diğer sorular
RLHF ne anlama gelir?
İnsan geri bildiriminden güçlendirme öğrenmesi. Bir modelin çıktılarının hangisinin daha iyi olduğuna dair insan yargılarını kullanarak modeli geliştirme sürecidir.
RLHF işi için hangi becerilere ihtiyacınız var?
Çalışma dilinizde dikkatli okuma ve net yazılı gerekçe. Bir yanıtın diğerinden neden daha iyi olduğunu, başka bir kişinin kontrol edebileceği şekilde açıklayabilmeniz gerekir, sadece birini seçmek yerine.
RLHF işi, etiketlemeden daha fazla mı kazandırır?
Genellikle evet, çünkü hızla yapılamaz ve yazılı gerekçe gerçek bir iştir. Kesin oranlar, alan, dil ve müşteri gibi faktörlere bağlıdır ve rezervasyon yapmadan önce gösterilir.