Wat een rubric is en hoe het voorkomt dat uw werk wordt afgewezen
· 3 min leestijd · quality, how it works
Deze vertaling is machinaal gemaakt en niet gecontroleerd door een moedertaalspreker. Bij twijfel geldt de Engelse versie. Laat het ons weten als iets niet klopt, dan corrigeren wij het. Inglese
Een rubric is de geschreven standaard waartegen uw werk wordt beoordeeld, met de specifieke criteria vooraf gedefinieerd. Bij Jwuma wordt het geleerd tijdens de onboarding, bevroren wanneer een batch begint, en gebruikt als referentie voor elke afwijzing. Het bevriezen betekent dat de standaard niet kan verschuiven en u niet wordt afgewezen voor iets dat vorige week nog acceptabel was.
Kort samengevat
- Een rubric definieert de acceptatiecriteria schriftelijk voordat het werk begint.
- Jwuma bevriest de rubric op het moment dat een batch begint.
- Elke afwijzing verwijst naar de rubric-versie die het heeft veroorzaakt.
- Een rubric die halverwege een batch verandert, is een procesfout, niet uw fout.
- Een dubbelzinnig geval markeren is altijd beter dan ernaar raden.
Waarom is een geschreven standaard zo belangrijk?
Omdat zonder een standaard acceptatie een kwestie van mening is, en meningen veranderen. Twee beoordelaars zijn het oneens, of dezelfde beoordelaar verandert van mening gedurende een lange batch, en de annotator heeft geen manier om te weten tegen welke versie ze worden beoordeeld.
Een rubric maakt dat controleerbaar. Als uw werk is afgewezen, is er een specifiek criterium waarop het is mislukt en dat kan aan u worden getoond.
Wat betekent het bevriezen van een rubric?
Dat de versie die van kracht is wanneer een batch opent, de versie is waartegen die batch wordt beoordeeld, zelfs als de rubric later wordt verbeterd. Verbeteringen gelden voor de volgende batch.
Dit klinkt als een formaliteit en dat is het niet. Zonder dit kan een klant halverwege hun definitie verfijnen en wordt elke taak die u onder de oude definitie hebt voltooid met terugwerkende kracht fout. U zou worden gestraft voor het correct volgen van een instructie die niet meer bestaat.
Hoe gebruikt u een rubric goed?
Lees het volledig voordat u begint, niet na uw eerste afwijzing. Besteed bijzondere aandacht aan de randgevallen die het noemt, want dat zijn de gevallen die iemand al verkeerd heeft gedaan.
Wanneer u een geval tegenkomt dat de rubric niet dekt, markeer het dan. Gemiddeld niet tussen twee plausibele lezingen en kies er niet stilzwijgend een. Een ongemarkeerde gok vervuilt de batch en is de meest voorkomende oorzaak van een volledige afwijzing van een inzending.
- Lees het volledig voordat u uw eerste taak begint
- Noteer de randgevallen die het expliciet noemt
- Markeer alles wat het niet dekt
- Los dubbelzinnigheid nooit stilzwijgend op
Andere vragen
Wat is een rubric in data-annotatie?
Een rubric is de geschreven standaard die definieert hoe werk wordt beoordeeld, met specifieke criteria die vooraf zijn vastgesteld. Het wordt geleerd tijdens de onboarding en wordt genoemd bij elke afwijzing.
Kan de rubric veranderen terwijl ik aan een batch werk?
Bij Jwuma, nee. De rubric wordt bevroren wanneer een batch begint, zodat de standaard niet halverwege het project kan verschuiven. Verbeteringen gelden voor de volgende batch, niet met terugwerkende kracht voor de uwe.
Wat moet ik doen als de rubric mijn geval niet dekt?
Markeer het in plaats van te raden. Een ongemarkeerde gok is erger dan een gemarkeerde leemte, omdat het een zelfverzekerd verkeerd label in de dataset plaatst waar niemand het zal vinden.