Was ist eine Rubrik und wie verhindert sie die Ablehnung Ihrer Arbeit?
· 3 Min. Lesezeit · quality, how it works
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. 英语
Eine Rubrik ist der schriftliche Standard, nach dem Ihre Arbeit beurteilt wird, mit im Voraus definierten spezifischen Kriterien. Bei Jwuma wird sie während der Einarbeitung gelehrt, eingefroren, wenn ein Batch beginnt, und als Referenz für jede Ablehnung verwendet. Das Einfrieren bedeutet, dass der Standard nicht abweichen kann und Sie nicht für etwas abgelehnt werden, das letzte Woche noch akzeptabel war.
Kurz gefasst
- Eine Rubrik definiert die Annahmekriterien schriftlich, bevor die Arbeit beginnt.
- Jwuma friert die Rubrik in dem Moment ein, in dem ein Batch beginnt.
- Jede Ablehnung bezieht sich auf die Rubrikversion, die sie verursacht hat.
- Eine Rubrik, die sich mitten im Batch ändert, ist ein Prozessfehler, nicht Ihr Fehler.
- Es ist immer besser, einen zweifelhaften Fall zu kennzeichnen, als zu raten.
Möchten Sie diese Arbeit machen?
Jede Bewerbung wird von einem Menschen gelesen und beantwortet.
Jetzt bewerbenWarum ist ein schriftlicher Standard so wichtig?
Weil ohne einen solchen die Annahme eine Frage der Meinung ist, und Meinungen sich ändern. Zwei Prüfer sind uneinig oder derselbe Prüfer ändert seine Meinung im Laufe eines langen Batches, und der Annotator hat keine Möglichkeit zu wissen, nach welcher Version er beurteilt wird.
Eine Rubrik macht daraus etwas Überprüfbares. Wenn Ihre Arbeit abgelehnt wurde, gibt es ein spezifisches Kriterium, das sie nicht erfüllt hat, und Sie können es gezeigt bekommen.
Was bedeutet das Einfrieren einer Rubrik?
Dass die Version, die in Kraft ist, wenn ein Batch beginnt, die Version ist, nach der dieser Batch beurteilt wird, selbst wenn die Rubrik später verbessert wird. Verbesserungen gelten für den nächsten Batch.
Das klingt wie eine Formalität und ist es nicht. Ohne dies könnte ein Kunde seine Definition mitten im Projekt verfeinern und jede Aufgabe, die Sie unter der alten Definition abgeschlossen haben, wird rückwirkend falsch. Sie würden bestraft, weil Sie korrekt einer Anweisung gefolgt sind, die nicht mehr existiert.
Wie nutzt man eine Rubrik richtig?
Lesen Sie sie vollständig, bevor Sie beginnen, nicht nach Ihrer ersten Ablehnung. Achten Sie besonders auf die Randfälle, die sie nennt, denn das sind die Fälle, die jemand bereits falsch gemacht hat.
Wenn Sie auf einen Fall stoßen, den die Rubrik nicht abdeckt, kennzeichnen Sie ihn. Versuchen Sie nicht, zwischen zwei plausiblen Interpretationen zu mitteln, und wählen Sie nicht stillschweigend eine aus. Ein nicht gekennzeichneter Rateversuch verunreinigt den Batch und ist die häufigste Ursache für die Ablehnung einer gesamten Einreichung.
- Lesen Sie sie vollständig vor Ihrer ersten Aufgabe
- Beachten Sie die explizit genannten Randfälle
- Kennzeichnen Sie alles, was sie nicht abdeckt
- Lösen Sie keine Mehrdeutigkeiten stillschweigend
Weitere Fragen
Was ist eine Rubrik in der Datenannotation?
Eine Rubrik ist der schriftliche Standard, der definiert, wie Arbeit beurteilt wird, mit im Voraus festgelegten spezifischen Kriterien. Sie wird während der Einarbeitung gelehrt und in jeder Ablehnung referenziert.
Kann sich die Rubrik ändern, während ich an einem Batch arbeite?
Bei Jwuma nein. Die Rubrik wird eingefroren, wenn ein Batch beginnt, sodass der Standard nicht mitten im Projekt abweichen kann. Verbesserungen gelten für den nächsten Batch, nicht rückwirkend für Ihren.
Was soll ich tun, wenn die Rubrik meinen Fall nicht abdeckt?
Kennzeichnen Sie ihn, anstatt zu raten. Ein nicht gekennzeichneter Rateversuch ist schlimmer als eine gekennzeichnete Lücke, weil er ein selbstsicheres falsches Label in den Datensatz einfügt, wo es niemand finden wird.