ما هو عمل RLHF وكيف تحصل على أجر مقابل القيام به
· 2 دقيقة قراءة · work types, evaluation
أُنتجت هذه الترجمة آلياً ولم يراجعها متحدث أصلي. عند الالتباس، النسخة الإنجليزية هي الأصل. أخبرنا إذا كان هناك خطأ وسنصححه. Engels
RLHF تعني التعلم المعزز من التغذية الراجعة البشرية. في الممارسة العملية، يعني ذلك قراءة إجابتين أو أكثر أنتجها النموذج، وترتيبها وفقًا لمعيار مكتوب، وشرح أسبابك كتابةً. السبب المكتوب هو الجزء القيم، لأنه هو ما يعلم النموذج، وليس الترتيب وحده.
باختصار
- عمل RLHF يعني ترتيب مخرجات النموذج وتبرير الترتيب كتابةً.
- التبرير المكتوب يهم أكثر من الترتيب نفسه.
- يتم إجراء الترتيبات وفقًا لمعيار محدد قبل بدء الدفعة.
- يتم تسجيل الخلاف الحقيقي بين المعلقين، وليس تجاوزه.
- القدرة على الكتابة القوية في لغتك العملية هي المهارة الرئيسية المطلوبة.
كيف يبدو العمل يومًا بعد يوم؟
يتم عرض موجه وإجابتين أو أكثر أنتجها النموذج. تقرر أيهما أفضل وتكتب السبب. أحيانًا تقوم بترتيب قائمة أطول. أحيانًا تقوم بتقييم استجابة واحدة وفقًا لعدة معايير محددة بدلاً من المقارنة.
إنه عمل قراءة وكتابة. يناسب الأشخاص الذين يهتمون بالدقة في اللغة ويشعرون بالراحة في شرح الحكم بدلاً من مجرد اتخاذه.
لماذا يهم السبب المكتوب أكثر من الترتيب؟
لأن الترتيب بمفرده يكاد يكون عديم الفائدة. إذا فضل عشرة أشخاص الإجابة ب، فإن ذلك لا يخبر النموذج بالكثير. إذا فضل عشرة أشخاص الإجابة ب لأنها رفضت التكهن بجرعة طبية، فذلك درس.
لهذا السبب أيضًا يدفع عمل RLHF أكثر من التصنيف العادي. لا يمكن القيام به بسرعة أو بغير انتباه، ويتم رفض التبرير الذي يعيد صياغة الترتيب فقط.
ماذا يحدث عندما يختلف المعلقون؟
في العمل الجيد للتوافق، يتم تسجيل الخلاف بدلاً من حله بالأغلبية. إذا اعتقد نصف المعلقين المؤهلين أن الاستجابة مقبولة والنصف الآخر لا يعتقد ذلك، فإن هذا الانقسام هو النتيجة بحد ذاتها، وتبسيطه إلى تصنيف واحد يدمر المعلومات الأكثر فائدة في الدفعة.
يتم إرسال الانقسامات الحقيقية إلى التحكيم مع الحفاظ على السجل. ما لا ينبغي أن يحدث أبدًا هو أن تُعاقب على موقف أقلية قمت بتبريره بشكل صحيح.
أسئلة أخرى
ماذا تعني RLHF؟
التعلم المعزز من التغذية الراجعة البشرية. إنها عملية تحسين النموذج باستخدام الأحكام البشرية حول أي من مخرجاته أفضل.
ما المهارات التي تحتاجها لعمل RLHF؟
القراءة الدقيقة والقدرة على كتابة تبرير واضح في لغتك العملية. يجب أن تكون قادرًا على شرح سبب كون إجابة واحدة أفضل من الأخرى بطريقة يمكن لشخص آخر التحقق منها، بدلاً من مجرد اختيار واحدة.
هل يدفع عمل RLHF أكثر من التصنيف؟
عادةً نعم، لأنه لا يمكن القيام به بسرعة والتبرير المكتوب هو عمل حقيقي. تعتمد الأسعار الدقيقة على المجال واللغة والعميل، وتُعرض قبل الحجز.