红队工作：通过发现模型漏洞获得报酬
· 1 分钟阅读 · work types, evaluation
本译文由机器生成，未经母语者校对。如有不清楚之处，以英文原版为准。如发现错误请告知我们，我们会更正。 英语
什么是AI红队工作，我该如何进入这个领域？
红队是故意测试AI模型的不安全、偏见或可操控行为，然后记录所发现的问题，以便他人可以重现。其有价值的输出不是模型失败的事实，而是足够精确的书面记录，使工程师可以故意触发相同的失败。
要点摘要
- 红队是对模型安全行为的对抗性测试。
- 只有他人可以根据你的记录重现的发现才有用。
- 发现按严重性而非数量进行分类。
- 多语言和文化特定的测试严重不足。
- 工作需要记录方法，而不仅仅是结果。
红队工作实际上涉及什么？
尝试让模型做一些不该做的事情，然后准确记录你是如何做到的。这可能包括提供不安全的建议、揭示偏见、被操控以放弃其自身的指导原则，或在不同语言中表现不同。
创造性部分是找到切入点。支付报酬的部分是如此精确地记录，以至于从未见过你会话的人可以在第一次尝试时触发相同的行为。
什么区分了好的发现和无用的发现？
主要是可重现性。仅仅说明模型曾经说过一些令人震惊的话几乎没有价值，因为没有人可以据此采取行动。提供确切的提示序列、条件、预期和实际发生的事情的记录才是真正的发现。
严重性也很重要，并且是经过评估而非声称的。发现会被分类，因此对影响的诚实评估比夸大更有用。
- 确切的提示，按顺序
- 预先设置的条件和任何背景
- 你的预期与实际发生的情况
- 是否可重现，以及可靠性如何
- 诚实的严重性评估
为什么多语言红队如此缺乏？
因为大多数红队工作都是用英语进行的，而模型的安全行为在不同语言中往往不一致。在英语中有效的防护措施在斯瓦希里语或乌尔都语中可能完全失效。
文化特定的测试更为稀缺。了解哪些框架在当地是敏感的，或哪些请求在特定地区会被不同理解，是无法从清单中获得的知识。
常见问题
其他问题
什么是AI红队？
故意测试AI模型的不安全、偏见或可操控行为，并记录发现以便可以重现和修复。
红队工作需要安全背景吗？
不需要。需要的是创造性的坚持和有纪律的记录。领域知识或不被重视语言的流利程度通常比安全背景更有价值。
如何评估红队工作？
评估标准是发现是否可以仅根据你的记录重现，以及在分类后的严重性。一个生动但无人能重现的发现几乎没有价值。