Red teaming werk, betaald worden om te ontdekken waar een model faalt
· 2 min leestijd · work types, evaluation
Deze vertaling is machinaal gemaakt en niet gecontroleerd door een moedertaalspreker. Bij twijfel geldt de Engelse versie. Laat het ons weten als iets niet klopt, dan corrigeren wij het. Inglese
Red teaming betekent het opzettelijk onderzoeken van een AI-model op onveilig, bevooroordeeld of manipuleerbaar gedrag, en vervolgens documenteren wat je hebt gevonden zodat iemand anders het kan reproduceren. De waardevolle output is niet het feit dat het model faalde, maar een schriftelijk verslag dat precies genoeg is zodat een ingenieur dezelfde fout opzettelijk kan veroorzaken.
Kort samengevat
- Red teaming is het vijandig testen van het veiligheidsgedrag van een model.
- Een bevinding is alleen nuttig als een ander persoon deze kan reproduceren aan de hand van jouw verslag.
- Bevindingen worden beoordeeld op ernst in plaats van geteld.
- Meertalige en cultureel specifieke onderzoeken zijn aanzienlijk onderbemand.
- Het werk vereist het documenteren van de methode, niet alleen het resultaat.
Wat houdt red teaming eigenlijk in?
Proberen een model iets te laten doen wat het niet zou moeten doen, en dan precies opschrijven hoe je dat deed. Dat kan zijn het geven van onveilig advies, het onthullen van een vooroordeel, gemanipuleerd worden om zijn eigen richtlijnen te verlaten, of anders gedragen in de ene taal dan in de andere.
Het creatieve deel is het vinden van de invalshoek. Het deel dat betaalt is het zo precies documenteren dat iemand die jouw sessie nooit heeft gezien hetzelfde gedrag bij de eerste poging kan uitlokken.
Wat onderscheidt een goede bevinding van een nutteloze?
Voornamelijk reproduceerbaarheid. Een notitie dat het model ooit iets alarmerends zei is bijna waardeloos, omdat niemand erop kan reageren. Een verslag met de exacte promptvolgorde, de omstandigheden, wat je verwachtte en wat er gebeurde, is een echte bevinding.
Ernst is ook belangrijk, en het wordt beoordeeld in plaats van geclaimd. Bevindingen worden gesorteerd, dus een eerlijke beoordeling van de impact is nuttiger dan het overdrijven ervan.
- De exacte prompts, in volgorde
- De omstandigheden en eventuele context die vooraf is ingesteld
- Wat je verwachtte versus wat er gebeurde
- Of het reproduceert, en hoe betrouwbaar
- Een eerlijke ernstbeoordeling
Waarom is meertalig red teaming zo onderbemand?
Omdat het meeste red teaming in het Engels is gedaan, en het veiligheidsgedrag van een model vaak niet consistent is over verschillende talen. Een vangrail die in het Engels standhoudt kan volledig falen wanneer hetzelfde verzoek in Swahili of Urdu binnenkomt.
Cultureel specifiek onderzoek is nog schaarser. Weten welke benaderingen lokaal gevoelig zijn, of welke verzoeken anders begrepen zouden worden in een bepaalde regio, is kennis die niet uit een checklist kan worden verkregen.
Andere vragen
Wat is AI red teaming?
Het opzettelijk onderzoeken van een AI-model op onveilig, bevooroordeeld of manipuleerbaar gedrag, en het documenteren van de bevindingen zodat ze kunnen worden gereproduceerd en opgelost.
Heb ik een beveiligingsachtergrond nodig voor red teaming werk?
Nee. Wat nodig is, is creatieve volharding en gedisciplineerde documentatie. Domeinkennis of vloeiendheid in een onderbediende taal is vaak waardevoller dan een beveiligingsachtergrond.
Hoe wordt red teaming werk beoordeeld?
Op basis van of bevindingen reproduceerbaar zijn aan de hand van alleen jouw verslag, en op ernst zodra ze zijn gesorteerd. Een levendige bevinding die niemand anders kan reproduceren telt voor zeer weinig.