Ce qu'est une grille d'évaluation et comment elle empêche que votre travail soit rejeté
· 3 min de lecture · quality, how it works
Cette traduction a été produite par une machine et n'a pas été vérifiée par un locuteur natif. En cas de doute, la version anglaise fait foi. Signalez-nous toute erreur et nous la corrigerons. Inglese
Une grille d'évaluation est la norme écrite contre laquelle votre travail est jugé, avec des critères spécifiques définis à l'avance. Sur Jwuma, elle est enseignée lors de l'intégration, figée au début d'un lot, et utilisée comme référence pour tout rejet. La figer signifie que la norme ne peut pas évoluer et vous laisser rejeté pour quelque chose d'acceptable la semaine dernière.
En bref
- Une grille d'évaluation définit les critères d'acceptation par écrit avant le début du travail.
- Jwuma fige la grille d'évaluation au moment où un lot commence.
- Chaque rejet fait référence à la version de la grille d'évaluation qui l'a produit.
- Une grille d'évaluation qui change en cours de lot est un échec de processus, pas votre échec.
- Signaler un cas ambigu est toujours mieux que de deviner.
Envie de faire ce travail ?
Chaque candidature est lue par une personne et reçoit une réponse.
PostulerPourquoi une norme écrite est-elle si importante ?
Parce que sans elle, l'acceptation est une question d'opinion, et les opinions évoluent. Deux réviseurs peuvent être en désaccord, ou le même réviseur peut changer d'avis au cours d'un long lot, et l'annotateur n'a aucun moyen de savoir quelle version est utilisée pour le juger.
Une grille d'évaluation transforme cela en quelque chose de vérifiable. Si votre travail a été rejeté, il y a un critère spécifique qu'il n'a pas respecté et on peut vous le montrer.
Que signifie figer une grille d'évaluation ?
Que la version en vigueur lors de l'ouverture d'un lot est celle contre laquelle ce lot est jugé, même si la grille d'évaluation est améliorée par la suite. Les améliorations s'appliquent au lot suivant.
Cela peut sembler une technicité mais ce n'est pas le cas. Sans cela, un client peut affiner sa définition à mi-parcours et chaque tâche que vous avez complétée sous l'ancienne définition devient rétroactivement incorrecte. Vous seriez pénalisé pour avoir correctement suivi une instruction qui n'existe plus.
Comment bien utiliser une grille d'évaluation ?
Lisez-la entièrement avant de commencer, pas après votre premier rejet. Portez une attention particulière aux cas limites qu'elle nomme, car ce sont les cas que quelqu'un a déjà mal interprétés.
Lorsque vous rencontrez un cas que la grille d'évaluation ne couvre pas, signalez-le. Ne faites pas une moyenne entre deux interprétations plausibles et ne choisissez pas silencieusement. Une supposition non signalée pollue le lot et est la cause la plus courante de rejet d'une soumission entière.
- Lisez-la entièrement avant votre première tâche
- Notez les cas limites qu'elle nomme explicitement
- Signalez tout ce qu'elle ne couvre pas
- Ne résolvez jamais une ambiguïté silencieusement
Autres questions
Qu'est-ce qu'une grille d'évaluation dans l'annotation de données ?
Une grille d'évaluation est la norme écrite définissant comment le travail est jugé, avec des critères spécifiques établis à l'avance. Elle est enseignée lors de l'intégration et référencée dans tout rejet.
La grille d'évaluation peut-elle changer pendant que je travaille sur un lot ?
Sur Jwuma, non. La grille d'évaluation est figée lorsque le lot commence afin que la norme ne puisse pas évoluer en cours de projet. Les améliorations s'appliquent au lot suivant, pas rétroactivement au vôtre.
Que dois-je faire si la grille d'évaluation ne couvre pas mon cas ?
Signalez-le plutôt que de deviner. Une supposition non signalée est pire qu'une lacune signalée, car elle introduit une étiquette erronée dans le jeu de données où personne ne la trouvera.