모델의 취약점을 찾는 레드 팀 작업, 보수를 받으며 일하기

레드 팀 작업은 실제로 무엇을 포함하나요?

모델이 하지 말아야 할 일을 하도록 유도한 후, 그 방법을 정확히 기록하는 것입니다. 이는 안전하지 않은 조언을 생성하거나, 편향을 드러내거나, 자신의 지침을 포기하도록 조작되거나, 언어에 따라 다르게 행동하는 것을 포함할 수 있습니다.

창의적인 부분은 각도를 찾는 것이고, 보수를 받는 부분은 누군가가 귀하의 세션을 본 적이 없어도 첫 시도에서 동일한 행동을 유발할 수 있을 만큼 정확하게 문서화하는 것입니다.

좋은 발견과 쓸모없는 발견을 구분하는 것은 무엇인가요?

주로 재현성입니다. 모델이 한 번 경고할 만한 말을 했다는 메모는 거의 가치가 없습니다. 아무도 그것을 바탕으로 조치를 취할 수 없기 때문입니다. 정확한 프롬프트 순서, 조건, 기대했던 것과 실제로 일어난 일을 제공하는 보고서는 실제 발견입니다.

심각성도 중요하며, 이는 주장보다는 평가됩니다. 발견은 분류되므로, 영향을 과장하는 것보다 정직한 평가가 더 유용합니다.

• 정확한 프롬프트 순서
• 사전에 설정된 조건 및 모든 컨텍스트
• 기대했던 것과 실제로 일어난 일
• 재현 여부 및 재현 가능성
• 정직한 심각성 평가

다국어 레드 팀 작업이 왜 그렇게 부족한가요?

대부분의 레드 팀 작업이 영어로 이루어졌기 때문입니다. 모델의 안전 행동은 언어에 따라 일관되지 않은 경우가 많습니다. 영어로는 유지되는 안전 장치가 스와힐리어나 우르두어로 동일한 요청이 들어올 때 완전히 실패할 수 있습니다.

문화적으로 특정한 탐색은 더욱 드뭅니다. 지역적으로 민감한 표현이나 특정 지역에서 다르게 이해될 요청을 아는 것은 체크리스트로 습득할 수 없는 지식입니다.

AI 레드 팀 작업이란 무엇인가요?

AI 모델의 안전하지 않거나 편향되거나 조작 가능한 행동을 의도적으로 탐색하고, 이를 재현하고 수정할 수 있도록 발견 내용을 문서화하는 것입니다.

레드 팀 작업을 위해 보안 배경이 필요한가요?

아니요. 필요한 것은 창의적인 끈기와 체계적인 문서화입니다. 도메인 지식이나 서비스가 부족한 언어에 대한 유창함이 보안 배경보다 더 가치 있는 경우가 많습니다.

레드 팀 작업은 어떻게 평가되나요?

발견이 귀하의 보고서만으로 재현되는지 여부와 분류 후 심각성에 따라 평가됩니다. 다른 사람이 재현할 수 없는 생생한 발견은 거의 가치가 없습니다.