Lavoro di red teaming, essere pagati per trovare dove un modello fallisce
· 3 min di lettura · work types, evaluation
Questa traduzione è stata prodotta automaticamente e non è stata verificata da un madrelingua. In caso di dubbio, fa fede la versione inglese. Segnalaci eventuali errori e li correggeremo. Inglés
Il red teaming significa sondare deliberatamente un modello di AI per comportamenti non sicuri, di parte o manipolabili, quindi documentare ciò che hai trovato affinché qualcun altro possa riprodurlo. Il risultato prezioso non è il fatto che il modello abbia fallito, ma un resoconto scritto abbastanza preciso affinché un ingegnere possa provocare lo stesso fallimento deliberatamente.
In breve
- Il red teaming è un test avversariale del comportamento di sicurezza di un modello.
- Una scoperta è utile solo se un'altra persona può riprodurla dal tuo resoconto.
- Le scoperte sono classificate per gravità piuttosto che contate.
- Il sondaggio multilingue e culturalmente specifico è significativamente sottovalutato.
- Il lavoro richiede la documentazione del metodo, non solo del risultato.
Vuoi fare questo lavoro?
Ogni candidatura è letta da una persona e riceve sempre risposta.
Candidati oraCosa comporta effettivamente il red teaming?
Cercare di far fare a un modello qualcosa che non dovrebbe, quindi scrivere esattamente come ci sei riuscito. Potrebbe trattarsi di produrre consigli non sicuri, rivelare un pregiudizio, essere manipolato per abbandonare le proprie linee guida o comportarsi diversamente in una lingua rispetto a un'altra.
La parte creativa è trovare l'angolazione. La parte che paga è documentarla in modo così preciso che qualcuno che non ha mai visto la tua sessione possa provocare lo stesso comportamento al primo tentativo.
Cosa distingue una buona scoperta da una inutile?
Principalmente la riproducibilità. Una nota che dice che il modello ha detto qualcosa di allarmante una volta è quasi inutile, perché nessuno può agire su di essa. Un resoconto che fornisce la sequenza esatta dei prompt, le condizioni, cosa ti aspettavi e cosa è successo, è una vera scoperta.
Anche la gravità conta, ed è valutata piuttosto che dichiarata. Le scoperte sono classificate, quindi una valutazione onesta dell'impatto è più utile che esagerarne uno.
- I prompt esatti, in ordine
- Le condizioni e qualsiasi contesto impostato in precedenza
- Cosa ti aspettavi rispetto a cosa è successo
- Se si riproduce, e con quale affidabilità
- Una valutazione onesta della gravità
Perché il red teaming multilingue è così sottovalutato?
Perché la maggior parte del red teaming è stata fatta in inglese, e il comportamento di sicurezza di un modello non è frequentemente coerente tra le lingue. Un guardrail che tiene in inglese può fallire completamente quando la stessa richiesta arriva in swahili o urdu.
Il sondaggio culturalmente specifico è ancora più raro. Sapere quali inquadrature sono localmente sensibili, o quali richieste sarebbero comprese diversamente in una particolare regione, è una conoscenza che non può essere acquisita da una lista di controllo.
Altre domande
Cos'è il red teaming nell'AI?
Sondare deliberatamente un modello di AI per comportamenti non sicuri, di parte o manipolabili, e documentare le scoperte affinché possano essere riprodotte e corrette.
Ho bisogno di un background in sicurezza per il lavoro di red teaming?
No. Ciò che serve è creatività, perseveranza e documentazione disciplinata. La conoscenza del dominio o la fluency in una lingua poco servita è spesso più preziosa di un background in sicurezza.
Come viene valutato il lavoro di red teaming?
In base al fatto che le scoperte si riproducano solo dal tuo resoconto, e alla gravità una volta classificate. Una scoperta vivida che nessun altro può riprodurre conta molto poco.