arXiv:2606.06533v1 cs.AI

입장서: 단순히 "사후에 수정"만 하지 마십시오: AI의 과학은 학습 역학을 연구해야 한다

Position: Don't Just "Fix it in Post": A Science of AI Must Study Training Dynamics

Stella Biderman, Mohammad Aflah Khan, Niloofar Mireshghallah, Catherine Arnett, Fazl Barez, Naomi Saphra

제출 2026-06-03

한국어 초록

AI에 대한 과학적 이해란 무엇을 의미하는가? 모델(model)은 정적인 객체가 아닙니다. 이는 데이터, 목표, 아키텍처, 최적화 역학에 의해 형성되는 시간에 따라 진화하는 과정의 스냅샷입니다. 그러나 많은 AI 연구는 모델을 고정된 인공물로 취급하며, 왜 그러한 행동이 나타나는지 묻기보다는 학습(training) 후 행동을 분석합니다. 본 입장서는 AI의 과학이 사후 수정(post-hoc fixes)을 넘어서 모델 행동을 생성하는 학습 역학을 연구해야 한다고 주장합니다. 이러한 과학은 점진적으로 더 강력한 형태의 이해를 지원해야 합니다. 즉, 초기 학습 신호로부터 결과를 예측하고, 궤적이 잘못되었을 때 개입하며, 궁극적으로 원하는 속성을 더 신뢰할 수 있게 생성하는 학습 절차를 설계하는 것입니다. 스케일링 법칙은 손실(loss)에 대한 예측을 일상적인 것으로 만들었지만, 도전 과제는 이 성공을 능력, 바이어스, 강건성, 안전성 관련 행동으로 확장하는 것입니다. 우리는 과학사와 과학철학에 기반하여 이러한 이론들의 요구사항을 명확히 하고, 기계적 해석가능성, 공정성, 암기, 단순성 바이어스(simplicity bias)의 진전을 살펴보며, 구체적인 미해결 문제들을 식별합니다.

원문 초록

What would it mean to have a scientific understanding of AI? Models are not static objects: they are snapshots of time-evolving processes shaped by data, objectives, architectures, and optimization dynamics. Yet much of AI research treats models as fixed artifacts, analyzing behaviors after training rather than asking why they emerge. This position paper argues that a science of AI must move beyond post-hoc fixes and study the training dynamics that produce model behavior. Such a science should support progressively stronger forms of understanding: predicting outcomes from early training signals, intervening when trajectories go wrong, and ultimately designing training procedures that more reliably produce desired properties. Scaling laws have made prediction routine for loss; the challenge is extending this success to capabilities, biases, robustness, and safety-relevant behaviors. We articulate requirements for such theories grounded in the history and philosophy of science, examine progress in mechanistic interpretability, fairness, memorization, and simplicity bias, and identify concrete open problems.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06533v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01243v1cs.CV공통 태그 Fairness, Position

판사가 행동할 때: 문화적 맥락의 프롬프트에서 VLM 기반 이미지 선택 감사하기

When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts

비전-언어 모델(VLM)이 생성된 여러 이미지 중 최선의 이미지를 선택하는 판사(judge) 역할을 수행하는 경우가 점차 늘어나면서, 이들의 선택이 사용자가 보게 되는 결과를 결정짓고 있습니다. 이러한 판사는 대개 자신이 반환하는 이미지가 아니라 인간의 평가 점수와의 일치도를 바탕으로 검증됩니다. 본 연구에서는 의사결정자로서의 VLM 판사를 감사(audit)합니다. 문화적 맥락이 담긴 300개의 프롬프트를 대상으로, 판사가 반환한 이미지를 판사가 사전에 보지 않은 인간 평가 및 동일한 후보군에서의 무작위 선택과 비교하고, 후보의 순서를 바꾸어 모든 결정을 반복 평가합니다. 40억(4B) 매개변수 판사는 무작위 선택을 겨우 넘어서는 수준에 그치며 CLIP 유사도 기준선에 미치지 못합니다. 이 판사는 호출의 49%에서 첫 번째로 제시된 이미지를 선택하며(무작위 확률: 28%), 순서를 변경할 경우 60%의 프롬프트에서 선택이 바뀝니다. 이 판사의 경우 순서 간의 일치 여부가 유의미한 정보를 제공합니다. 순서 재배치에도 유지되는 결정은 무작위보다 훨씬 우수한 반면, 더 성능이 낮은 두 번째 판사와의 일치도를 기준으로 삼으면 잘못된 결정이 그대로 남게 됩니다. 80억(8B) 판사는 위치 바이어스가 거의 나타나지 않으며 CLIP을 능가하지만, 이 판사에서는 동일한 필터를 적용할 경우 오히려 좋은 결정을 대부분 버리게 됩니다. 일치도는 판사의 실패 모드를 정확히 겨냥할 때만 도움이 되므로, 판사가 변경될 때마다 필터를 다시 감사해야 합니다. 4B 판사에서 소폭 증가했던 고정관념 평가는 여러 순서에 걸쳐 집계하거나 더 큰 판사와 결합한 후에는 더 이상 감지되지 않습니다.

arXiv:2607.23050v1cs.LG공통 태그 Inductive Bias, scaling laws

Transformer의 엔트로픽 경계: 정적 rank가 실패하는 이유와 어텐션 고유 rank의 회복

The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers

신경 스케일링 법칙은 모델, 데이터, 연산량이 증가함에 따라 손실이 어떻게 감소하는지를 설명하지만, 그보다 선행하는 질문에는 답하지 못한다: 고정된 과제에 대해 이를 해결하는 데 필요한 최소 모델 용량은 얼마인가? 우리는 Transformer에 대한 과제 고유 용량의 스펙트럴 개념인 엔트로픽 경계(Entropic Bound)를 통해 이를 연구한다. 먼저 선형 어텐션 대리 모델에서 토큰 혼합 연산자의 고유 rank $r^*$가 tight 하한이라는 것을 증명한다: rank가 부족한 모든 모델은 피할 수 없는 과잉 위험(excess risk)을 초래하며, 이 경계는 $r^*$에서 달성 가능하다. 또한 표준적인 저rank 암시적 바이어스 가정 하에서 경사하강법이 이 rank를 회복함을 보이고, 세 가지 성질 모두를 실험적으로 확인하며, $r^*$가 학습 전에 데이터로부터 회복 가능함을 보인다. 그런 다음 이것이 실제 어텐션으로 이전되는지 묻는다. 단순한 이전은 실패하며, 통제된 보간 사다리(interpolation ladder)가 원인을 정확히 국한한다: 소프트맥스도 아니고 rank 제약도 아니라, 정적 가중치 커널이 요약할 수 없는 어텐션 혼합 연산자의 입력 조건부(input-conditioned) 특성이다. 이에 영감을 받아 어텐션 고유 rank(attention-native intrinsic rank)—어텐션 클래스 내에서 과제를 실현하는 최소 query-key 커널 rank—를 도입하고, 이 정의 하에서 선형 및 소프트맥스 어텐션 모두에 대해 엔트로픽 경계의 전체 구조(결함, 달성 가능성, 회복)가 복원됨을 보이며, 에너지 유효 rank(energy effective rank)가 소프트맥스 왜곡에 강건한 추정량임을 보인다. 마지막으로 데이터만으로 예측 가능한 영역의 경계를 매핑한다: $r^*$는 대규모에서 value map 없이도 선형 QK 어텐션에 대해 정확히 회복 가능한 반면, 소프트맥스 어텐션은 비선형 역변환과 커널-값 식별 가능성(identifiability) 효과로 인해 부분적인 사전학습 회복만 허용한다. 우리의 결과는 엔트로픽 경계를 사후 기술자(post-hoc descriptor)에서 예측 가능성 경계가 정밀하게 특성화된 어텐션 고유 용량 측정치로 재구성한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.