品質スコアの仕組みと承認率を上げる方法
· 1 分で読めます · quality, how it works
この翻訳は機械によるもので、ネイティブスピーカーの確認は受けていません。不明な点がある場合は英語版が原文です。誤りがあればお知らせください。修正します。 Kiingereza
重要なのは3つの数値です。承認率は、承認された作業を承認された作業と拒否された作業の合計で割ったものです。信頼性は、完了した作業を予約した作業で割ったものです。平均処理時間も重要です。レビュアーもまた、覆された率で測定されているため、一貫して間違っているレビュアーは目に見え、修正可能です。
要点
- 承認率は、承認された作業を承認された作業と拒否された作業の合計で割ったものです。
- 信頼性は、完了した作業を予約した作業で割ったものです。
- 完了しなかった作業を予約すると、たとえ何も拒否されなくても信頼性が損なわれます。
- レビュアーも覆された率で測定されます。
- 曖昧なケースをフラグとして立てた場合、承認率には影響しません。
この3つの数値は実際に何を意味しますか？
承認率は、作業が基準を満たしているかどうかを測定します。信頼性は、始めた作業を完了するかどうかを測定します。これは全く別の問題です。完璧な承認率を持ちながら、できる以上の作業を予約することで信頼性が低下することもあります。処理時間は文脈であり、目標ではありません。承認率が下がるなら、速さには何の価値もありません。
信頼性は、気づかないうちに損なわれることが多いです。日曜日に大量の作業を予約し、月曜日にその半分を放棄すると、数件の拒否よりも大きなダメージを受けます。
実際に承認率を上げるにはどうすればいいですか？
最初のタスクの前にルーブリックを完全に読むこと。曖昧なケースは推測せずにフラグを立てること。新しいバッチの最初の10項目で、例に対する解釈を確認するためにゆっくり進めること。
最も効果的な習慣はフラグを立てることです。フラグを立てたケースはあなたに対してカウントされず、しばしばルーブリックが全員のために明確化されます。静かに推測すると、それはあなたに対してカウントされ、データセットを静かに損ないます。
- 開始前にルーブリック全体を読む
- 最初の10項目はゆっくり進める
- 推測せずにフラグを立てる
- 完了する分だけを予約する
- 拒否理由をきちんと読む
拒否が間違っていると思ったらどうすればいいですか？
そう伝えてください。レビュアーは覆された率で測定されているため、レビュアーの誤りが見えるようになっています。これは、意見の相違が提起されることで初めて機能します。
Jwumaでの拒否は、失敗したルーブリック基準を引用します。したがって、意見の相違は、レビュアーがあなたの作業を気に入ったかどうかではなく、特定の基準についての具体的な議論になります。
その他の質問
アノテーション作業における良い承認率とは何ですか？
タスクの種類や難易度によって異なります。単一の数値よりも重要なのは、傾向と、拒否があなたが対処できるルーブリック基準を引用しているかどうかです。
完了しないタスクを予約するとスコアに影響しますか？
はい。信頼性は完了した作業を予約した作業で割ったものなので、予約したタスクを放棄すると、提出したものが拒否されなくても信頼性が損なわれます。
レビュアーも基準に従って評価されますか？
はい。レビュアーは覆された率で測定されるため、決定が一貫して覆されるレビュアーは目に見え、修正可能です。