ルーブリックとは何か、そしてそれがどのようにしてあなたの作業が拒否されるのを防ぐか

書面による基準がなぜ重要なのか？

それがなければ、受け入れは意見の問題となり、意見は変動します。2人のレビュアーが意見を異にしたり、同じレビュアーが長いバッチの間に考えを変えたりすると、アノテーターはどのバージョンで評価されているのか知る手段がありません。

ルーブリックはそれをチェック可能なものに変えます。もしあなたの作業が拒否された場合、具体的な基準に不合格となったことが示されます。

ルーブリックを固定するとはどういう意味か？

バッチが開始されるときに有効なバージョンが、そのバッチの評価基準となります。たとえ後でルーブリックが改善されても、改善は次のバッチに適用されます。

これは技術的なことのように聞こえますが、そうではありません。これがなければ、クライアントは途中で定義を洗練し、古い定義に基づいて完了したすべてのタスクが遡及的に間違いとなります。存在しなくなった指示に正しく従ったことで罰せられることになります。

ルーブリックをうまく使うにはどうすればいいか？

最初の拒否の後ではなく、開始前に完全に読みましょう。特に名前が挙げられている境界ケースに注意を払いましょう。それらはすでに誰かが間違えたケースです。

ルーブリックがカバーしていないケースに出会ったら、フラグを立てましょう。2つのもっともらしい解釈の間を平均したり、黙って1つを選んだりしないでください。フラグを立てない推測はバッチを汚染し、提出全体が拒否される最も一般的な原因です。

• 最初のタスクの前に完全に読む
• 明示的に名前が挙げられている境界ケースに注意を払う
• カバーされていないものにはフラグを立てる
• 曖昧さを黙って解決しない

データアノテーションにおけるルーブリックとは何か？

ルーブリックは、作業がどのように評価されるかを定義する書面による基準であり、具体的な基準が事前に設定されています。オンボーディングで教えられ、拒否の際に参照されます。

バッチ作業中にルーブリックが変更されることはありますか？

Jwumaではありません。ルーブリックはバッチが始まるときに固定されるため、基準がプロジェクトの途中で変動することはありません。改善は次のバッチに適用され、あなたのバッチには遡及的に適用されません。

ルーブリックが私のケースをカバーしていない場合、どうすればよいですか？

推測するのではなく、フラグを立ててください。フラグを立てない推測は、フラグを立てたギャップよりも悪く、データセットに誰も見つけられない自信のある誤ったラベルを入れてしまいます。