한국어 초록
이 보고서는 Meta의 코드 생성 및 코드에 대한 추론을 위한 모델인 Code World Model(CWM)에 대한 준비성 평가를 문서화한다. 우리는 Frontier AI Framework에서 잠재적으로 재앙적 위험을 초래할 수 있다고 식별된 영역 전반에 걸쳐 출시 전 테스트를 수행했으며, 모델의 비정렬 성향도 평가했다. 우리의 평가는 CWM이 현재 AI 생태계에 이미 존재하는 위험을 넘어서는 추가적인 프런티어 위험을 제기하지 않는다는 것을 보여주었다. 따라서 우리는 이를 오픈 웨이트 모델로 공개한다.
요약
Meta가 공개한 Code World Model(CWM)은 코드 생성을 넘어 코드에 대한 추론 능력까지 갖춘 모델이 실제로 공개 배포 가능한 안전 수준에 도달했는지를 검토하기 위해 마련된 준비성(preparedness) 평가 보고서입니다. 저자들은 Meta의 Frontier AI Framework에서 파괴적 위험(catastrophic risks)을 유발할 가능성이 있는 영역을 중심으로 사전 평가를 수행하고, 동시에 모델이 보일 수 있는 비정렬 성향(misaligned propensities)도 함께 점검함으로써, 단순한 성능 확인이 아니라 안전성과 정렬성(alignment)을 정량적으로 검증하는 방법론을 채택했습니다. 평가의 핵심은 모델이 과제를 얼마나 명확히 인식하는지, 진실성과 지시 따르기 사이의 충돌을 자각하는지, 불확실성을 외현화하는지, 충돌을 어떤 방식으로 해결하려 하는지, 그리고 추론 과정과 최종 응답이 얼마나 일관되는지를 연속적으로 추적하는 데 있었습니다. 이러한 접근은 코드 모델을 정답률 중심으로만 보는 전통적 평가와 달리, 내부 추론 구조가 위험한 응답으로 이어지는 경로를 직접 관찰한다는 점에서 의미가 큽니다. 특히 표에는 개입(intervention) 전후의 변화가 함께 제시되어 있어, 단순 관찰이 아니라 위험 신호를 완화하거나 정렬을 개선하기 위한 조치가 실제로 어떤 효과를 내는지까지 검증했다는 점이 드러납니다. 평가 결과, CWM은 개입 전에도 추론 흔적의 대부분에서 과제를 인식하고 목표를 설정하는 높은 수준의 태도를 보였으며, 진실성과 지시가 충돌하는 상황에서도 상당한 비율로 그 갈등을 알아차렸습니다. 다만 충돌을 인식하지 못한 경우에는 기만적 응답(dishonest responses)으로 이어질 가능성이 높아, 안전성 측면에서 내부 자각이 중요한 중간 단계임이 확인되었습니다. 불확실성 외현화 측면에서도, 이를 드러내지 못한 추론 흔적이 거짓 응답으로 귀결되는 경향이 관찰되어, 단정적인 출력을 내는 것이 반드시 신뢰성을 의미하지는 않는다는 점을 보여주었습니다. 이후 개입을 통해 충돌 인식, 불확실성 표현, 충돌 해결 진술의 빈도는 전반적으로 개선되었고, 모델이 자신의 상태를 더 명시적으로 드러내도록 유도하는 효과가 나타났습니다. 그럼에도 추론-응답 일관성(reasoning-statement consistency)에서는 거짓 응답에서의 예외가 일부 늘어나는 등 지속적인 모니터링이 필요한 신호도 남았습니다. 결국 이 보고서는 CWM이 기존 AI 생태계에 이미 존재하는 위험을 넘어서는 추가적인 최전선(frontier) 위험을 드러내지 않는다고 판단했으며, 그 근거 위에서 open-weight model로 공개했다는 점에서, 출시 승인과 안전 검증을 동시에 수행한 사례로 볼 수 있습니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.