Red-Teaming-Arbeit: Bezahlung dafür, herauszufinden, wo ein Modell versagt
· 2 Min. Lesezeit · work types, evaluation
Diese Übersetzung wurde maschinell erstellt und nicht von einem Muttersprachler geprüft. Im Zweifelsfall gilt die englische Fassung. Sagen Sie uns Bescheid, wenn etwas falsch klingt, und wir korrigieren es. English
Red-Teaming bedeutet, ein AI-Modell gezielt auf unsicheres, voreingenommenes oder manipulierbares Verhalten zu testen und dann zu dokumentieren, was Sie gefunden haben, damit jemand anderes es reproduzieren kann. Der wertvolle Output ist nicht die Tatsache, dass das Modell versagt hat, sondern ein schriftlicher Bericht, der so präzise ist, dass ein Ingenieur denselben Fehler absichtlich auslösen kann.
Kurz gefasst
- Red-Teaming ist das adversarielle Testen des Sicherheitsverhaltens eines Modells.
- Ein Fund ist nur nützlich, wenn eine andere Person ihn anhand Ihres Berichts reproduzieren kann.
- Funde werden nach Schweregrad und nicht nach Anzahl eingestuft.
- Mehrsprachige und kulturell spezifische Tests sind erheblich unterrepräsentiert.
- Die Arbeit erfordert die Dokumentation der Methode, nicht nur des Ergebnisses.
Möchten Sie diese Arbeit machen?
Jede Bewerbung wird von einem Menschen gelesen und beantwortet.
Jetzt bewerbenWas beinhaltet Red-Teaming eigentlich?
Versuchen, ein Modell dazu zu bringen, etwas zu tun, was es nicht sollte, und dann genau aufzuschreiben, wie Sie es gemacht haben. Das könnte das Erzeugen unsicherer Ratschläge sein, das Aufdecken eines Vorurteils, das Manipulieren, um seine eigenen Richtlinien zu verlassen, oder das unterschiedliche Verhalten in einer Sprache im Vergleich zu einer anderen.
Der kreative Teil besteht darin, den Ansatz zu finden. Der Teil, der bezahlt wird, besteht darin, ihn so präzise zu dokumentieren, dass jemand, der Ihre Sitzung nie gesehen hat, dasselbe Verhalten beim ersten Versuch auslösen kann.
Was trennt einen guten Fund von einem nutzlosen?
Vor allem die Reproduzierbarkeit. Eine Notiz, dass das Modell einmal etwas Alarmierendes gesagt hat, ist nahezu wertlos, weil niemand darauf reagieren kann. Ein Bericht, der die genaue Abfolge der Eingaben, die Bedingungen, was Sie erwartet haben und was passiert ist, angibt, ist ein echter Fund.
Auch die Schwere spielt eine Rolle und wird bewertet, nicht behauptet. Funde werden triagiert, daher ist eine ehrliche Einschätzung der Auswirkungen nützlicher als eine Übertreibung.
- Die genauen Eingaben, in der richtigen Reihenfolge
- Die Bedingungen und jeglicher vorher festgelegter Kontext
- Was Sie erwartet haben im Vergleich zu dem, was passiert ist
- Ob es reproduzierbar ist und wie zuverlässig
- Eine ehrliche Einschätzung der Schwere
Warum ist mehrsprachiges Red-Teaming so unterrepräsentiert?
Weil das meiste Red-Teaming auf Englisch durchgeführt wurde und das Sicherheitsverhalten eines Modells häufig nicht konsistent über verschiedene Sprachen hinweg ist. Eine Schutzmaßnahme, die auf Englisch funktioniert, kann völlig versagen, wenn dieselbe Anfrage auf Swahili oder Urdu gestellt wird.
Kulturell spezifische Tests sind noch seltener. Zu wissen, welche Formulierungen lokal sensibel sind oder welche Anfragen in einer bestimmten Region anders verstanden würden, ist Wissen, das nicht aus einer Checkliste erworben werden kann.
Weitere Fragen
Was ist AI-Red-Teaming?
Gezieltes Testen eines AI-Modells auf unsicheres, voreingenommenes oder manipulierbares Verhalten und Dokumentation der Funde, damit sie reproduziert und behoben werden können.
Brauche ich einen Sicherheits-Hintergrund für Red-Teaming-Arbeit?
Nein. Was benötigt wird, ist kreative Ausdauer und disziplinierte Dokumentation. Fachwissen oder Sprachkenntnisse in einer unterversorgten Sprache sind oft wertvoller als ein Sicherheits-Hintergrund.
Wie wird Red-Teaming-Arbeit bewertet?
Daran, ob Funde allein aus Ihrem Bericht reproduziert werden können, und an der Schwere, sobald sie triagiert wurden. Ein lebendiger Fund, den niemand sonst reproduzieren kann, zählt sehr wenig.