PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.04655v2cs.CV

악용 가능한 비시각적 지름길을 드러내기 위해 벤치마크 설계자는 "테스트 세트로 학습"해야 한다

Benchmark Designers Should "Train on the Test Set" to Expose Exploitable Non-Visual Shortcuts

멀티모달 대규모 언어 모델(Multimodal LLM)은 언어적 사전 확률과 왜곡된 정답 분포를 활용하여 이미지를 보지 않고도 시각 중심 벤치마크의 많은 질문에 답할 수 있습니다. 블라인드 평가(Blind evaluation)는 모델이 이미 이러한 방식으로 답하는 내용을 보여주지만, 테스트 세트 자체의 규칙성으로부터 모델이 무엇을 학습할 수 있는지는 보여주지 못합니다. 부분 입력 감사(예: 자연어 추론의 가설 전용 베이스라인)를 확장하여, 본 연구는 벤치마크 설계자가 악용 가능한 패턴을 파악하기 위해 공개하는 결과물을 탐색하는 "테스트 세트로 학습"을 수행해야 한다고 주장합니다. 본 논문의 테스트 세트 스트레스 테스트(Test-set Stress-Test, TsT)는 테스트 세트의 질문과 선택지를 바탕으로 텍스트 전용 Qwen2-7B를 교차 검증하여, 벤치마크 수준의 점수와 질문별 바이어스 점수 s(x)를 도출하며, 수작업으로 설계된 특징 기반의 랜덤 포레스트를 통해 빠르고 해석 가능한 감사를 추가합니다. 템플릿 기반의 VSI-Bench 및 CV-Bench에서 홀드아웃(held-out) 점수는 모델 자체의 제로샷(zero-shot) 점수보다 각각 17.9점, 13.1점 높았습니다. 반면 MMMU에서는 GPT-4o가 이미지 없이 객관식 질문의 52.3%를 정확히 맞힘에도 불구하고 학습되는 내용이 거의 없었는데, 이는 해당 벤치마크의 블라인드 성공이 학습 가능한 테스트 세트 패턴보다는 사전학습된 지식을 반영하기 때문입니다. 반복적 바이어스 가지치기(Iterative Bias Pruning, IBP)는 s(x)가 가장 높은 질문을 제거하고 재진단하는 방식으로, VSI-Bench에서 동일한 비율의 무작위 제거에 비해 파인튜닝(fine-tuning)된 모델의 시각 블라인드 격차를 더 크게 벌립니다. 또한 본 논문은 파인튜닝된 모델의 블라인드 점수를 44.7에서 32.0으로 낮추면서 시각 점수는 57.1에서 48.7로만 하락시키는 VSI-Bench-Debiased를 공개합니다.

arXiv:2609.14449v2cs.LG

환상 전이(Phantom Transfer)를 유발하는 데이터셋 바이어스 식별을 위하여

Towards Identifying the Dataset Biases Causing Phantom Transfer

최근 연구에 따르면, 교사 모델(teacher model)은 해당 바이어스에 대한 모든 명시적 언급이 제거된 데이터셋을 통해서도 학생 모델에 바이어스를 전이시킬 수 있으며, 테스트된 데이터 수준 방어 기법 중 어느 것도 방어자가 무엇을 찾아야 하는지 알고 있는 경우에도 이러한 바이어스를 안정적으로 제거하거나 탐지하지 못하는 것으로 나타났다. 이러한 바이어스가 남기는 은밀한 흔적을 밝히기 위해, 우리는 데이터셋의 완성문(completions)을 Sentence-BERT로 임베딩한 뒤, 클린(clean) 참조 완성문의 임베딩을 빼고, 그 결과를 후보 주제들로 이루어진 개방형 어휘(open vocabulary)와 비교한다. 이 단순한 시그니처(signature)는 공격자의 교사 모델이 알려진 경우 매튜스 상관계수(Matthews correlation coefficient) 0.83으로, 알려지지 않은 경우 0.46으로 바이어스의 주제를 식별한다. 또한 서로 다른 교사 모델들이 동일한 바이어스를 서로 다른 어휘를 통해 표현하는 것으로 관찰되었다.