Neural networks are known to be susceptible to over-reliance on spurious correlations. However, the precise mechanism by which models exploit shortcut features is not fully understood, and algorithms to mitigate this behavior rely on as yet unjustified assumptions about the learned representations. In this work, we provide the first end-to-end theoretical characterization of spurious feature learning for two-layer ReLU neural networks trained by online minibatch SGD on the logistic loss. We consider data drawn from the high-dimensional Boolean hypercube with a quadratic signal function (namely XOR) and a linear spurious correlation. We show that SGD learns the spurious feature first, and exponentially fast. Moreover, the optimization dynamics couple the spurious and signal features, with a stronger spurious component inhibiting signal feature learning. Our analysis reveals precise phase transitions in the learning dynamics. In the first phase, alignment between the signs of the spurious feature and second-layer weight drives rapid growth of the spurious feature. In the second phase, large majority group margin slows learning and the signal feature remains suppressed. When the spurious correlation is maximally strong, we show theoretically that the spurious feature dominates even at the sample complexity threshold where XOR would be learned in isolation (i.e., if the spurious feature was absent). In contrast, when the correlation strength is constant, we provide preliminary evidence that the model can eventually learn the XOR signal, although the spurious feature is not forgotten.
지리공간 파운데이션 모델(Geospatial foundation model)은 재난 피해 평가를 지원할 수 있지만, 익숙한 재난에서 높은 정확도를 보이는 것은 지름길 학습(shortcut learning), 즉 새로운 재난으로 전이되는 증거보다는 사건이나 장면의 특성에 기반한 예측을 숨기고 있을 수 있습니다. 본 연구에서는 다중 재난 데이터셋인 xView2와 BRIGHT를 대상으로 TerraMind, Prithvi-EO-2.0, DOFA, DINOv3의 임베딩(embedding)을 조사합니다. 이미지 타일을 무작위로 분할하는 대신 전체 재난 하나를 홀드아웃(hold-out)할 경우, 평균 균형 정확도(mean balanced accuracy)가 xView2에서는 0.807에서 0.638로, BRIGHT에서는 0.818에서 0.568로 감소합니다. 네 가지 일련의 테스트를 통해 어떤 정보가 예측을 뒷받침하는지 살펴봅니다: 사건 및 획득 컨텍스트, 전/후 이미지 입력, 건물 수, 올바른 이미지 페어링입니다. 재난 발생 전 이미지만으로도 여전히 예측력이 유지되며, 주석이 달린 건물 수만 제공된 분류기도 0.629 및 0.653의 균형 정확도에 도달합니다. 전/후 특징(feature)을 결합하는 방식은 xView2에서는 평균적으로 가장 우수한 성능을 보이지만, BRIGHT에서는 재난 전 전용 특징에 비해 개선되지 않습니다. 동일한 재난 및 피해 등급 내에서 이미지 쌍을 셔플링(shuffling)해도 미미한 손실만 발생합니다. 이러한 발견에 착안하여, 학습(training) 재난에서만 학습된 특징 변환이 보지 못한 재난에 대한 일반화를 개선하는지 테스트합니다. 이러한 변환은 성능을 향상시키며, xView2에서는 지도 대조 학습(supervised contrastive learning)이, BRIGHT에서는 PCA가 가장 우수한 성능을 보였습니다. 본 연구 결과는 모델(model) 강건성을 평가하기 위해 보지 못한 도메인에서의 평가가 지니는 중요성을 강조하며, 단순한 특징 수준의 변환만으로도 일반화 성능을 향상시킬 수 있음을 보여줍니다. 코드와 실험은 https://github.com/alishibli97/gfm-shortcut-learning 에서 확인할 수 있습니다.
지름길 학습(shortcut learning)은 로봇 학습에서 널리 발생하는 문제입니다. 로봇 시연(demonstration) 데이터셋의 제한된 다양성은 정책이 시점이나 배경과 같은 무관한 특징과 작업 간의 가짜 상관관계(spurious correlation)를 악용하도록 오도할 수 있습니다. 충분히 다양한 로봇 시연을 수집하는 것은 비용이 많이 들고 비효율적이므로, 알고리즘적 대안이 요구됩니다. 본 연구에서는 비전-언어-행동(vision-language-action, VLA) 모델에 초점을 맞추어, 서로 다른 비전-언어 모델 백본이 시각적 지름길 학습에 대해 실질적으로 서로 다른 취약성 수준을 보임을 발견했습니다. 또한 모델의 행동이 정책 롤아웃(rollout)을 필요로 하지 않는 제안된 표현 수준 지표인 액션 마진(action margin)과 상관관계가 있음을 밝혔습니다. 시각적 지름길은 일관되게 초기 계층에서 행동 표현에 진입하며, 이후 계층에서 언어 정보를 통합하여 이를 수정하는 정도는 모델마다 달랐습니다. 모델의 언어에 대한 어텐션을 높이기 위해, 본 논문에서는 모델이 시각적 지름길을 사용할 가능도를 줄이고 VLA의 일반화를 향상시키는 새로운 도메인 적대적 학습 방법인 태스크 스크러빙(task scrubbing)을 도입합니다. 여러 VLA 및 시각적 단서에 대해 시뮬레이션과 실제 환경 모두에서 수행된 실험은 태스크 스크러빙이 분포 외(out-of-distribution) 강건성을 개선하고 종종 시각적 지름길 학습을 제거함을 보여줍니다.
비전-언어 모델(VLM)은 시각 작업에서 뛰어난 성능을 입증해 왔으나, 시각적 인과 추론 능력에 대해서는 여전히 신뢰할 수 있는 평가가 부족합니다. 기존 평가는 모델이 시각적 증거에 기반해 인과 추론을 수행하는지, 아니면 지름길 학습(shortcut learning)을 위한 통계적 상관관계에 의존하는지 구분하기 어려워 실제 능력을 과대평가할 가능성이 있습니다. 본 논문에서는 단일 이미지 물리적 시나리오를 위한 제약 기반 시각 인과 추론 벤치마크인 CCRV-Bench를 제안합니다. 인과 관계 발견, 상태 예측, 인과적 진단, 개입-결과 예측의 네 가지 인과 작업 차원을 평가하는 직교 프레임워크를 구축합니다. 또한 작업에 필요한 물리적 상식을 보존하면서 지름길 단서를 줄이기 위해 개체 기호화, 공간적 그라운딩(spatial grounding), 사실적 적대적 제약 및 미니멀리스트 출력 제약을 도입합니다. 14개 멀티모달 모델에 대한 실험 결과, 제약 민감도는 작업 및 모델에 따라 다른 것으로 나타났습니다. 4가지 인과 작업 중 개입-결과 예측이 가장 큰 평균 유효 성능 저하를 보였고, 공간적 그라운딩이 평균적으로 가장 치명적인 제약이었으며, 사실적 적대적 제약은 평가된 모든 모델의 DCR을 향상시켰습니다. 이러한 결과는 제약이 없는 상태의 성능이 제약 조건 하에서의 강건성을 결정하지 않으며, 단일 종합 점수가 인과 식별, 공간적 그라운딩, 제약 준수 표현에서의 뚜렷한 실패를 가릴 수 있음을 보여줍니다. CCRV-Bench는 통제된 제약 조건에서 이미지 기반 인과 추론을 진단하기 위한 표준화된 프레임워크를 제공합니다. 코드는 https://github.com/0815linyuan/CCRVBench 에서 확인할 수 있습니다.
멀티모달 대규모 언어 모델(Multimodal LLM)은 언어적 사전 확률과 왜곡된 정답 분포를 활용하여 이미지를 보지 않고도 시각 중심 벤치마크의 많은 질문에 답할 수 있습니다. 블라인드 평가(Blind evaluation)는 모델이 이미 이러한 방식으로 답하는 내용을 보여주지만, 테스트 세트 자체의 규칙성으로부터 모델이 무엇을 학습할 수 있는지는 보여주지 못합니다. 부분 입력 감사(예: 자연어 추론의 가설 전용 베이스라인)를 확장하여, 본 연구는 벤치마크 설계자가 악용 가능한 패턴을 파악하기 위해 공개하는 결과물을 탐색하는 "테스트 세트로 학습"을 수행해야 한다고 주장합니다. 본 논문의 테스트 세트 스트레스 테스트(Test-set Stress-Test, TsT)는 테스트 세트의 질문과 선택지를 바탕으로 텍스트 전용 Qwen2-7B를 교차 검증하여, 벤치마크 수준의 점수와 질문별 바이어스 점수 s(x)를 도출하며, 수작업으로 설계된 특징 기반의 랜덤 포레스트를 통해 빠르고 해석 가능한 감사를 추가합니다. 템플릿 기반의 VSI-Bench 및 CV-Bench에서 홀드아웃(held-out) 점수는 모델 자체의 제로샷(zero-shot) 점수보다 각각 17.9점, 13.1점 높았습니다. 반면 MMMU에서는 GPT-4o가 이미지 없이 객관식 질문의 52.3%를 정확히 맞힘에도 불구하고 학습되는 내용이 거의 없었는데, 이는 해당 벤치마크의 블라인드 성공이 학습 가능한 테스트 세트 패턴보다는 사전학습된 지식을 반영하기 때문입니다. 반복적 바이어스 가지치기(Iterative Bias Pruning, IBP)는 s(x)가 가장 높은 질문을 제거하고 재진단하는 방식으로, VSI-Bench에서 동일한 비율의 무작위 제거에 비해 파인튜닝(fine-tuning)된 모델의 시각 블라인드 격차를 더 크게 벌립니다. 또한 본 논문은 파인튜닝된 모델의 블라인드 점수를 44.7에서 32.0으로 낮추면서 시각 점수는 57.1에서 48.7로만 하락시키는 VSI-Bench-Debiased를 공개합니다.
최근 몇 년 동안 AI 생성 비디오의 시각적 품질이 비약적으로 향상되면서, 인간이 실제 미디어와 합성 미디어를 구별하기가 점점 더 어려워지고 있습니다. 본 연구에서는 최첨단(state-of-the-art) 움직임 기반 AI 생성 비디오 탐지기 4종의 견고성(robustness)과 적용 가능성을 평가합니다. 우리는 4가지 방법 중 3가지에서 중대한 전처리 및 샘플링 바이어스를 식별하고, 이것이 보고된 성능의 상당 부분을 차지함을 입증합니다. 나아가 이러한 탐지기들이 평가 데이터셋에 특화된 움직임 패턴에 매우 민감하며, 해당 데이터셋에서는 AI 생성 비디오가 실제 비디오보다 프레임 간 움직임이 대체로 적게 나타난다는 점을 밝혀냅니다. 또한 이러한 움직임 바이어스가 없는 데이터셋에서 평가할 경우 모든 탐지기의 성능이 무작위 추측에 가까운 수준으로 급락함을 보입니다. 아울러 데이터셋 재균형(rebalancing)과 단순한 공간 증강(spatial augmentations) 적용을 통해, 평가된 모든 모델에서 심각한 성능 저하가 발생함을 관찰했습니다. 반면, 기존의 주파수 기반 탐지기는 평가된 모든 데이터셋에서 우수한 성능을 유지함을 확인하였으며, 이는 주파수 기반 접근법이 AI 생성 비디오 탐지에서 더 일반화 가능한 방향성을 제시할 수 있음을 시사합니다. 본 연구가 이러한 취약점에 대한 경각심을 높이고, 더욱 대표성 있고 편향되지 않은 데이터셋과 견고한 평가 프로토콜 개발을 촉진하기를 기대합니다.
신경망은 학습된 특징이 학습(training) 세트에는 잘 일반화되지만 분포 내(ID) 또는 분포 외(OOD) 테스트 세트에는 잘 일반화되지 않는 지름길 학습(shortcut learning) 문제를 겪습니다. 기존 연구들은 모두 형태 기반(shape-driven)인 소수의 표준 벤치마크(benchmark)에 기반을 두고 있습니다. 그러나 수많은 응용 분야는 텍스처 기반(texture-driven)입니다. 본 연구에서는 텍스처 기반 도메인에 대한 지름길 학습 분석을 제시하고 이를 표준 벤치마크의 분석과 비교합니다. 우리는 텍스처 기반 도메인이 저주파 지름길(low-frequency shortcuts) 문제를 겪는다는 것을 보여줍니다. 더 높은 주파수 성분(HFC)이 더 높은 예측력을 가짐에도 불구하고, 모델은 왜곡된 스펙트럼 동작을 보이는 소수의 저주파 성분(LFC)에 기반하여 대부분의 결정을 내립니다. 학습 및 테스트 세트에서 LFC를 가지치기(pruning)하면 지름길 현상이 완화되고 더 균형 잡힌 스펙트럼 동작을 제공하여, 알고리즘 및 실제 환경의 도메인 변화(domain shift) 하에서 ID 정확도를 최대 10%, OOD 정확도를 최대 40% 향상시킵니다. 우리는 범용 및 도메인 특화 파운데이션 모델 또한 저주파 지름길 문제를 겪을 수 있음을 보여줍니다. 거대 모델은 이러한 지름길을 완화할 수 있지만, 높은 연산 비용을 초래하며 지름길을 가지치기하여 처음부터 학습된 소형 모델보다 정확도가 현저히 낮을 수 있습니다. 또한 이미지 해상도가 감소하면 지름길의 정도가 증폭되고, 주파수 변환 블록 크기가 클수록 작은 블록 크기보다 저주파 지름길을 더 잘 포착하며, 저주파 지름길은 서로 다른 색 공간 전반에서도 지속됨을 보여줍니다. 우리의 발견은 새로운 미연구 도메인을 다루는 실무자들에게 유용하기를 바라는 귀중한 통찰을 제공합니다.
비디오 벤치마크는 측정하고자 하는 역량에 보상을 부여해야 하지만, 모델은 정답 선택지, 질문 텍스트, 또는 일부 시각적 증거만을 악용할 수 있습니다. 본 연구에서는 각 항목에 대한 접근 수준이 점진적으로 증가하는 5단계의 지름길 공격(shortcut attack)인 공격 피라미드(attack pyramid)를 도입하고, 이를 통해 115개의 비디오 벤치마크를 감사합니다. 35개 벤치마크에서는 프레임을 전혀 보지 않는 공격자도 전체 비디오를 본 정확도에 근접했습니다. 시간에 따른 탐침(temporal probe)이 있는 51개 벤치마크의 경우, 프레임 순서를 섞어도 전체 비디오 정확도의 중앙값 96%를 유지했습니다. 또한 63개 벤치마크에서는 거의 중복된 질문이 전체 항목의 최소 절반을 차지했습니다. 저자들은 이 중 112개 벤치마크에서 505,518개의 질문-답변 쌍을 선별하여 검증된 풀을 구축했습니다. 에이전트가 평가 요청을 명세로 변환하고, 레드팀 게이트(red-team gate)가 포함된 결정론적 선택기가 재현 가능한 벤치마크를 구성합니다. 우리는 이러한 공격 하에서 4개의 역량 그룹별로 가장 어려운 검증된 210개 항목, 즉 76개 출처에서 총 840개 항목으로 구성된 Video-Index를 공개합니다. 동일하게 고정된 입력을 사용할 때 Claude Opus 5는 모든 오픈소스 모델보다 37%p 이상 높은 점수를 기록했으며 에이전트 도구를 통해 약 20%p가 추가되었으나, 모든 시스템은 여전히 효율성과 정확도를 개선할 여지를 남겨두고 있습니다. 블로그: https://www.enxinsong.com/blog/video-index/ GitHub: https://github.com/Espere-1119-Song/Video-Index Hugging Face: https://huggingface.co/datasets/Video-Index/Video-Index
흉부 방사선 사진에 대한 질문에 답하는 비전-언어(vision-language) 모델은 방사선 판독 보고서에서 추출한 레이블에 대한 정확도로 평가됩니다. 높은 벤치마크 정확도는 종종 모델이 이미지를 사용한다는 증거로 해석됩니다. 하지만 질문에 언급된 소견만을 바탕으로 답하는 모델도 방사선 사진을 사용하는 모델만큼 높은 점수를 받을 수 있습니다. 본 연구에서는 질문을 고정한 채 동일하거나 반대 레이블을 가진 다른 환자의 방사선 사진으로 교체하거나, 영상의학과 전문의가 표시한 영역 또는 다른 위치의 동일한 크기 영역을 가리거나, 방사선 사진을 제거하거나 노이즈 또는 일반 사진으로 대체하는 방식으로 8개의 오픈 가중치(open-weight) 시스템을 검증합니다. MIMIC-CXR의 2,548개 예/아니오 질문에 대해, 한 멀티모달 모델은 이미지와 무관하게 '예'라고 답했고, 또 다른 멀티모달 모델은 레이블을 따르지 않은 채 답변을 바꾸었으며, 4개 시스템은 이미지를 사용하지만 반대 레이블의 방사선 사진으로 교체했을 때도 정답의 약 절반을 유지했습니다. 질문 텍스트만 입력받는 의료 모델은 전체 취합된 질문에서 55.3%를 기록하여 두 개의 멀티모달 시스템보다 높은 점수를 얻었습니다. 이 모델은 모든 소견이 존재하는 경우 91.8%를 기록했으며, 모든 질문에 '예'로 답할 경우 해당 조건에서 100%를 기록합니다. 이미지가 반드시 필요한 조건에서 최고 성능의 멀티모달 시스템은 균형 정확도(balanced accuracy)에서 이 모델을 10.4% 앞섭니다. 이러한 범주는 CheXpert에서도 변함없이 유지됩니다. 정답이 표시된 영역에 의존하는 경우에도 신뢰도(confidence)는 더 높아지지 않았습니다. 세 명의 영상의학과 전문의가 참여한 판독자 연구에서 200건의 균형 데이터셋을 판독한 두 명의 전문의는 각각 86.0%와 82.0%를 기록한 반면, 시스템들은 50.0%에서 73.0%를 기록했습니다. 정확도가 이미지의 활용 여부를 입증하지는 못하지만, 이미지에 대한 개입(intervention)을 통해 이를 검증할 수 있습니다.
공동 오디오-비디오(AV) 생성기는 \emph{사건이 어떻게 보이는지}와 \emph{어떻게 들리는지}가 허위로 상관된 데이터로 학습된다. 우리는 그로 인한 실패 양상에 대한 \emph{통제된 인과 연구}를 제시한다. 오디오가 구조적으로 비디오의 방해(nuisance) 외관과 독립인 AV 구조 인과 모델에서, 크로스 어텐션이나 공유 잠재를 통해 오디오가 비디오를 직접 읽도록 허용하는 모델은 \emph{시각적 지름길}을 학습한다: 인과적 사건이 아니라 외관으로부터 소리를 예측하며, 테스트 시 외관-사건 상관이 깨지면 잘못된 사건의 소리를 합성한다. 중요하게도, 두 모달리티를 \emph{공유 공통-원인 잠재}로 라우팅하는 널리 쓰이는 처방은 이를 \emph{고치지 못한다}—병목, 비지도 공유/사적 분해, 충실한 공유 사전 모델 모두 외관 대리(proxy)를 붙잡아 직접 연결 모델처럼 실패한다. 지름길을 차단하려면 대신 방해 요인에 대한 \emph{개입}이 필요하다: 명시된 가정 하에서 반사실 불변성이 인과 예측자를 식별하기 위해 필요충분함을 증명하고, 특징 벡터 SCM에서 절차적 픽셀 비디오, 스펙트로그램 오디오가 붙은 실제 이미지, 움직이는 실제 숫자, 조건부 생성기에 이르기까지 메커니즘을 검증한다. \emph{실제 사전학습} V2A 생성기(MMAudio)에서 입력-개입 테스트는 모델이 소리와 무관한 편집에 대해 불변에 훨씬 못 미침을 보여 주지만, 일반 노이즈 대조는 색상 지름길에 특화되기보다 입력에 전반적으로 취약함을 드러낸다—지름길의 깨끗한 분리는 우리의 합성 연구가 제공하는 통제된 교란(confound)이 필요하다. 지름길이 \emph{언제} 발생하는지 특성화하고, 목적 함수를 지도 반사실 증강과 비교하며, 개입을 적용할 수 없는 \emph{미지의 방해 요인} 영역을 핵심 미해결 문제로 격리한다.
ISOT/Kaggle "Fake and Real News" 코퍼스로 학습한 텍스트 분류기는 정확도와 F1이 0.98을 넘는다고 일상적으로 보고되는데, 이는 진위 여부를 판단하는 일의 어려움을 생각하면 어색한 수준의 성능이다. 우리는 투명한 TF-IDF 및 선형 분류기 파이프라인을 측정 도구로 사용하여, 세 가지 누수 경로와 두 가지 분포 변화 프로토콜에 따라 이 코퍼스를 감사하고, 모든 코드와 도출된 수치를 공개한다. 첫째, 이 벤치마크는 부분적으로 퇴화되어 있다. 기사 본문을 버리고 subject 메타데이터 필드만 입력받은 분류기가 F1 = 1.000을 달성하는데, 이는 두 클래스가 서로 겹치지 않는 subject를 갖기 때문이다. 둘째, 세 가지 누수 경로인 메타데이터, 실제 기사의 99.2%에 존재하는 뉴스통신사 출처 태그, 그리고 단순하게 나눈 테스트 분할의 19.4%를 오염시키는 6,251개의 중복 문서를 모두 제거해도 F1은 1.21포인트(0.9935에서 0.9814로)만 낮아진다. 남은 신호는 몇 개의 결정적인 토큰이 아니라 확산된 편집 문체이며, 가중치가 가장 높은 유니그램 1,000개를 삭제하더라도 F1은 여전히 0.926이다. 셋째, 이러한 문체 신호는 전이되지 않는다. 주제가 서로 겹치지 않는(topic-disjoint) 프로토콜에서는 평균 정밀도(average precision)가 0.9995에서 0.9475로, 실제 배포 시점의 F1이 0.9905에서 0.8067로 하락하며, 사전확률을 맞춘(prior-matched) 분석은 판별력이 실제로 5.2포인트 감소했음을 확인해 준다. 반면 시간적 전이는 거의 손실이 없다. 파인튜닝한 DistilBERT는 분포 내에서는 더 강하지만(F1 = 0.9993) 주제 변화에서는 훨씬 더 크게 저하되어, 선형 모델의 5.2포인트에 비해 평균 정밀도가 12.9포인트 감소한다. 독립적인 LIAR 벤치마크로 전이하면 세 모델 모두 무작위에 가까운 순위 성능(ROC-AUC 0.54-0.57)으로 떨어지며, 어느 것도 다수 클래스 기준선(majority-class baseline)을 넘지 못한다. 우리는 이 코퍼스 내부의 점수가 진위 여부가 아니라 출처와 주제의 분리 가능성을 정량화하며, 모델 용량을 늘리면 숏컷을 피하기보다 오히려 이용하게 된다고 결론짓고, 향후 연구를 위한 저비용 진단 수단으로 메타데이터 전용, 소규모 표본, 주제 비중첩 기준선을 사용할 것을 권고한다.
우리는 허위 상관관계 하에서의 강건한 일반화를 연구한다. 이는 단축키 특징(shortcut feature)이 학습 시 실제 레이블과 상관되지만, 적대적 홀드아웃 분할에서는 반상관되는 태스크다. 허위 비율 $r$(단축키 = 실제 레이블인 학습 예제의 비율)과 모델 용량을 변화시키면서, 우리는 직관에 반하는 결과를 발견했다: 데이터 불균형은 충분히 유능한 모델에서 일반화를 촉진한다. 실제 레이블이 정수 시퀀스의 합 패리티이고 단축키가 최댓값 원소의 패리티인 합성 태스크에서, 2층 2헤드 트랜스포머는 $r{=}0.50$일 때 0%의 시드에서 일반화(적대적 정확도 $100\%$ 달성)했지만, $r{=}0.90$일 때는 77%의 시드에서 일반화했다. 이 효과는 1층 모델에서는 나타나지 않으며, 불균형이 오히려 모델을 단축키에 고착시킨다. 그래디언트 충돌 동역학, 회로 진화, QK/OV 회로 절제 분석 등 기계론적 분석을 통해, 우리는 불균형이 일반화를 촉진하는 것과 일관된 기계론적 경로를 규명한다.
현행 법적 판결 예측(LJP)은 사후 사법 자료에 대한 의존으로 인해, 모델이 실제 예측보다 소급적 분류를 수행할 가능성(likelihood)이 높다는 제약이 있다. 본 논문은 영국 고용심판소(UKET) 결정에서의 청구 수준 결과 예측을 연구함으로써 이러한 맥락에서 지름길 학습(shortcut learning)을 실증적으로 조사한다. 33,158건의 개별 청구 코퍼스를 사용하여, 청구 텍스트와 LLM이 추출한 사건 요약으로부터 결과를 예측하며, 해석 가능한 TF-IDF 기반 분류기(classifier)부터 블랙박스 대규모 언어 모델(LLM)까지 다양한 모델을 평가한다. 표면적인 예측 성능 수치는 높게 나타나지만, 사후 사법 텍스트로 학습된 LJP 시스템의 이러한 성능이 원천 자료의 소급적 특성에 의해 좌우될 수 있음을 실증한다. 테스트 데이터를 누수(leakage)에 대한 인간의 판단에 따라 층화하면, 결과를 암시하는 단서가 서술에 내재된 경우 성능이 향상됨을 확인할 수 있다. 더욱이, 누수로 식별된 특징의 불과 4%만으로 학습된 모델이 인간 전문가를 능가하는 높은 성능을 달성한다. 이러한 결과는 LJP 성능이 언어적 아티팩트(linguistic artefacts)에 의해 과장될 수 있다는 우려를 실증적으로 뒷받침한다. 그러나 이 취약점이 연구 의제 자체를 무력화하지는 않는다. 오히려 사후 판결문은 잠재적으로 오염된 텍스트로 취급하여 적극적인 감사(auditing)가 필요한 대상으로 다루어야 한다. 누수 특징을 마스킹한 후 모델을 재학습하면 Macro-F1의 감소가 미미한 수준에 그친다. 따라서 모델은 지름길이 존재할 경우 이를 기회주의적으로 활용하지만, 해당 아티팩트가 제거된 후에도 유용한 예측 신호를 추출하는 능력은 유지된다.
연관성 언러닝(association unlearning) 평가 시 출력 지표나 표현 탐침만으로는 숏컷이 원래 분류기에서 여전히 기능적으로 활용 가능한지 판단할 수 없다는 문제를 해결하기 위해, 클래스 조건부 연관성 방향을 추정하고 잔여 성분을 증폭해 원래 분류기 헤드로 평가하는 사후 진단 도구인 Association Restoration Test(ART)를 제안한다. Waterbirds, CelebA, SpuCoDogs 등의 벤치마크에서 출력 강건성, 표현 가독성, 기능적 복원 가능성이 서로 다른 측면을 측정함을 실증하며, 숏컷 완화 방법에 복원 인식 평가가 필요함을 보인다.
제로샷 합성 행동 인식(ZS-CAR)에서 모델이 시간적 증거 대신 객체 레이블에 의존하는 단축키 학습 문제를 진단 지표(FSP/FCP)로 분석하고, 공기 사전 정규화(CPR)와 시간 순서 정규화(TORC)로 구성된 RCORE 프레임워크를 제안한다. Sth-com과 EK100-com 벤치마크에서 RCORE는 객체 기반 단축키 의존도를 줄이고 미관찰 동사-객체 합성에 대한 일반화 성능을 향상시켰다.
대본 기반 발화 대 자발적 발화 탐지는 면접 가드레일(interview guardrails)에 유용하지만, 벤치마크 성능은 발화 스타일 자체보다는 말뭉치 식별 정보, 채널 조건, 녹음 인공물(recording artifacts)과 연결된 지름길(shortcuts)에 의해 과대평가될 수 있습니다. 본 논문에서는 균일한 전처리, 지름길 인지 샘플링(seam-aware sampling), 비음성 증강, 그리고 소형 DistilHuBERT 백본을 결합한 실시간 대본 기반 발화 탐지를 위한 지름길 인지 프레임워크인 SEAM을 제시합니다. 8초 윈도우를 사용하여 해당 모델은 외부 면접 도메인 평가 셋에서 0.971 +- 0.004 ROC-AUC를 달성했습니다. 지름길 방지 구성 요소를 제거하면 내부 검증 지표는 향상되지만 외부 성능은 급격히 저하되어, 이는 지름길 학습(shortcut learning)이 있었음을 시사합니다. 사후 학습(post-training) 양자화(quantization)를 통해 모델 크기는 41.8MB로 축소되었으며, 외부 성능 손실은 미미했습니다. 결과는 강건한 실시간 대본 기반 발화 탐지가 백본뿐만 아니라 지름길 인지 데이터 설계 및 평가에 의존함을 보여줍니다. 코드와 모델 체크포인트를 공개합니다.
목적. EEG 파운데이션 모델(FMs)은 임상 휴식 상태 EEG에서 강력한 정확도를 보고합니다. 그러나 피험자 분리 교차 검증(subject-disjoint cross-validation) 하에서의 높은 정확도는 여전히 모호합니다: 이는 진정한 임상 바이오마커를 반영할 수도 있고, 라벨과 상관관계가 있는 피험자 정체성 특성을 반영할 수도 있습니다. 우리는 이를 정체성 함정(Identity Trap)이라 명명하고, 미세조정(fine-tuning) 전 표현 수준에서 이를 진단할 수 있는지 묻습니다. 접근법. 우리는 FMScope를 제안합니다. 이는 분산 분해(variance decomposition), 피험자 축 소거(subject-axis erasure), 비주기적 1/f 소거(aperiodic 1/f ablation), 층별 라벨 프로빙(layer-wise label probing), 피험자 내 방향 일관성(within-subject direction consistency)의 다섯 가지 진단 방법을 포함하는 고정 표현 프로토콜입니다. 우리는 이를 2x2 레이아웃(라벨의 피험자 관계 x 합의된 피험자 간 EEG 마커의 존재)으로 구성된 4개 데이터셋에 걸쳐 사전 학습된 3개의 FM(LaBraM, CBraMod, REVE)에 적용합니다. 주요 결과. (i) 정체성 함정은 보편적입니다: 고정된 피험자 분산(frozen subject-variance)은 12쌍 중 12쌍에서 무작위 널(null) 대비 13-89배이며, 미세조정 시 12쌍 모두에서 증가합니다(+10에서 +63 pp). 이러한 지배성은 제거 가능한 선형 축입니다: 이를 소거하면 라벨이 피험자 내에서 변하는 경우 라벨 디코딩이 향상됩니다(주요 셀에서 +6에서 +12 pp; 외부 코호트 전체에서 +4에서 +27 pp). (ii) 비주기적 1/f는 하나의 피험자 운반체입니다: 이를 제거하면 LaBraM과 CBraMod에서 피험자 프로브가 9-19 pp 감소합니다. REVE는 측정 가능한 비주기적 의존성 없이 피험자 정체성을 포화시킵니다. (iii) 미세조정은 문헌에 확립된 피험자 간 마커가 있는 셀에서만 라벨 분산을 증폭시킵니다. 의의. 정체성 함정은 물리적으로 근거한 지름길 학습(shortcut learning)의 사례입니다: 선호된 단서(cue)는 측정 가능한 생리학적 구성 요소를 가지며, 피험자 분리 분할만으로는 이를 배제할 수 없습니다. FMScope는 생물학적 마커를 반영하는 이득과 피험자 정체성을 반영하는 이득을 분리합니다.