PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.14994v2cs.CL

번역을 통한 데이터 오염 은폐: 아랍어 코퍼스에서의 증거

Obscuring Data Contamination Through Translation: Evidence from Arabic Corpora

데이터 오염(data contamination)은 모델이 진정한 일반화가 아니라 암기된 평가 내용으로부터 이득을 얻을 때 벤치마크 평가를 무효화할 수 있다. 그러나 노출된 콘텐츠가 평가 벤치마크와 언어가 다를 경우 오염을 감사하기는 어렵다. 우리는 네 개의 오픈 가중치(open-weight) 인스트럭션 튜닝 LLM을 MMLU와 XQuAD 평가 항목의 아랍어 번역본에 점차 증가하는 노출 수준으로 의도적으로 노출시킨 다음, 원래의 영어 과제에서 이를 평가함으로써 이러한 실패 양상을 연구한다. 이 통제된 설정은 실제 사전학습(pre-training) 유출을 재구성한 것이 아니라 오염에 대한 대리(proxy) 지표이다. 우리는 먼저 영어 중심의 사후(post-hoc) 프로브인 TS-Guessing과 Min-K%++ 두 가지를 테스트하여, 번역된 노출 상황에서 이들의 신호가 대부분 사라진다는 것을 발견했다: TS-Guessing은 MMLU에서의 모델별 위치 재현율(recall)을 제외하고는 약하게 유지되며, Min-K%++는 우연 수준(chance) 이하 또는 그 수준에 머문다. 동시에, 영어 MMLU 성능은 아랍어 노출과 함께 증가하여, 영어 오염 신호의 부재가 노출 효과의 부재를 의미하지 않음을 보여준다. 이어서 우리는 언어 간 예측 일관성(cross-lingual prediction consistency)과 선택지 재정렬(choice reordering)에 기반한, 학습 데이터가 필요 없는 진단 기법인 번역 인지 오염 탐지(Translation-Aware Contamination Detection, TACD)를 제안한다. 언어 간 일관성은 독립성 기준선(baseline)보다 상당히 높으며, 일반적으로 깨끗한(clean) 조건에 비해 증가하지만, 그 정도는 모델에 따라 다르고 엄격하게 단조적이지는 않다. 이러한 결과는 번역이 영어 전용 프로브로부터 오염 관련 효과를 숨길 수 있음을 보여주며, 확정적인 멤버십 테스트가 아니라 오염과 일치하는 행동의 증거로 명확히 규정된 다국어 진단 기법의 필요성을 시사한다.

arXiv:2508.08833v4cs.CL

대규모 언어 모델(LLM)의 수학적 추론 강건성에 대한 조사: 고급 수학 문제의 수학적으로 동등한 변환을 이용한 벤치마킹

An Investigation of Robustness of LLMs in Mathematical Reasoning: Benchmarking with Mathematically-Equivalent Transformation of Advanced Mathematical Problems

최첨단 대규모 언어 모델(LLM)은 이제 표준 수학적 추론 벤치마크에서 거의 최고 수준의 정확도에 도달했으며, 국제수학올림피아드(IMO)에서 금메달 수준의 성능을 보이고 있다. 이러한 벤치마크가 포화 상태에 이르고 그 문제들이 학습 데이터로 유출됨에 따라, 높은 점수는 더 이상 모델이 강건하게 추론하는지, 또는 추론의 어떤 구성 요소에서 실패하는지를 보여주지 못한다. 결과의 정보성과 실패의 진단 가능성을 유지하면서 추론을 평가하기 위해, 우리는 GAP(Generalisation-and-Perturbation)을 제안한다. 이는 두 가지 서로 분리되고 해석 가능한 변환을 사용하여 기존 수학 문제의 수학적으로 동등한 변형을 대규모로 자동 생성하는 방법론이다: (1) 표면적 이름 변경(surface rename)으로, 식별자와 잠재 변수 역할 간의 결합을 탐색하고, (2) 커널 재작성(kernel rewrite)으로, 상위 수준의 증명 계획이 수학적 설정의 변화 속에서도 유지되는지를 탐색한다. 기존 벤치마크와 비교했을 때, GAP은 두 가지 핵심적인 이점을 가진다: (1) 새롭고 모델이 접하지 않았을 가능성이 높은 변형들이 데이터 유출을 완화하며, (2) 변환 유형별 성능을 통해 실패를 진단할 수 있는데, 각 변환은 실패 원인에 대한 하나의 가설을 검증한다. 우리는 1938년부터 2024년까지의 William Lowell Putnam Competition 문제 전체 1,051개에 GAP을 적용하고, 이전에 접한 적 없는 변형 5,255개를 추가하여 PutnamGAP을 구성했다. PutnamGAP은 6,306개 문항으로 이루어진 대회 수준의 수학 코퍼스이며, Putnam 전체 아카이브에서 최초로 공개된 기계 판독 가능한 데이터셋이다. PutnamGAP을 사용하여 우리는 다양한 규모와 제공사에 걸친 상업용 및 오픈소스 모델 18개를 평가했다. 정확도는 모든 모델과 변형 유형에서 하락했으며, 커널 재작성에서 가장 심각하게 하락했다. 이러한 격차는 모델의 성능이 강해져도 좁혀지지 않으며, 이는 가장 강력한 모델들조차 주된 약점이 표면적 변화를 처리하는 것이 아니라 변경된 수학적 설정으로 증명 계획을 전이하는 데 있음을 시사한다. 추가 분석은 더 세밀한 실패 진단과 LLM 추론을 개선하는 데 유용할 수 있는 통찰을 제공한다.

arXiv:2605.16358v2cs.LG

LEAF: 사건 증강 예측을 위한 생동형 벤치마크

LEAF: A Living Benchmark for Event-Augmented Forecasting

대규모 언어 모델(LLM)이 실제 예측 작업에 점점 더 많이 적용되고 있지만, 사전학습(pre-training) 데이터 오염과 자동화된 검색 과정에서의 미래 정보 누출(look-ahead leakage)로 인해 모델의 진정한 예측 능력을 평가하는 데 여전히 한계가 있습니다. 기존 벤치마크는 정적 컨텍스트에 의존하거나, 좁은 환경으로 평가를 제한하거나, 보조 텍스트 사건에서 발생하는 미래 정보 누출을 감사(audit)하지 못합니다. 엄격한 평가 패러다임을 확립하기 위해, 본 논문에서는 트렌드, 사건, 시계열 예측을 포함하는 사건 증강 예측 작업을 위한 최초의 생동형 벤치마크(living benchmark)인 LEAF를 제안합니다. LEAF는 재귀적 검색 에이전트(agent) 시스템과 이중 에이전트 교차 검증을 결합하여 포괄적이고 관련성이 높으며 시간적으로 정렬된 보조 컨텍스트를 수집합니다. 47명의 도메인 전문가가 500개 작업에 걸쳐 수행한 종합적인 감사 결과, 제안하는 파이프라인이 미래 정보 누출을 8.6%에서 1.6%로 억제함을 보여줍니다. 16개의 프론티어 독점 모델 및 공개 가중치(open-weight) 모델을 대상으로 본 벤치마크에서 광범위한 평가를 수행한 결과, LLM이 검증된 사건으로부터 신호를 효과적으로 추출하여 트렌드 및 사건 예측 성능을 향상시킴을 입증합니다.

arXiv:2609.27510v1cs.CL

Uncheatable Eval: 압축 기반의 동적 언어 모델 평가

Uncheatable Eval: Dynamic Compression-Based Evaluation of Language Models

최신 대규모 언어 모델(LLM)은 방대한 데이터셋으로 사전학습되기 때문에, 벤치마크 데이터가 학습 세트에 포함되는 것을 막기 어렵고 이로 인해 평가 결과의 신뢰성이 훼손됩니다. 특히 베이스 모델은 인스트럭션 수행 능력이 제한적이어서 태스크 기반 평가가 복잡해지므로, 신뢰할 수 있는 평가가 더욱 어렵습니다. 본 논문에서는 새로 공개된 텍스트를 정기적으로 수집하여 베이스 언어 모델을 평가하고 데이터 오염(data contamination) 위험을 줄이는 동적 벤치마크인 Uncheatable Eval을 소개합니다. 모델의 예측 능력과 데이터를 무손실로 압축하는 능력 사이의 관계에 착안하여, 모델이 새로운 텍스트를 얼마나 잘 예측하는지를 압축률(compression rate)로 평가합니다. 14개 텍스트 카테고리에 걸쳐 80개 모델을 평가하고, 컨텍스트 길이에 따라 압축 성능이 어떻게 변하는지 분석하며, 압축률과 제로샷 MMLU 정확도 간의 상관관계를 살펴봅니다. 그 결과 세 가지 주요 발견을 얻었습니다. (1) 압축 성능은 모델 크기에 따라 일관된 스케일링 경향을 따릅니다. (2) 어텐션 기반 모델, 하이브리드 모델, 순환 모델은 더 많은 컨텍스트가 주어질 때 압축 성능이 변화하는 양상이 서로 다릅니다. (3) 압축률이 낮을수록 제로샷 MMLU 정확도가 높은 경향이 강하게 나타납니다. 코드는 https://github.com/Jellyfish042/uncheatable_eval 에서 확인할 수 있습니다.

arXiv:2609.27891v1cs.SE

슈뢰딩거의 코드 저장소: LLM은 SWE-bench를 학습했는가, 아니면 암기했는가?

Schr\"odinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?

저장소 수준 코딩 벤치마크는 코딩 에이전트 평가의 표준이 되었지만, 학습에 반복적으로 사용된 인기 오픈소스 저장소 위에 구축되기 때문에 본질적으로 데이터 유출 문제를 겪는다. 결과적으로, 높은 성능은 견고한 저장소 추론이라기보다 정형화된 저장소 단서의 암기를 반영할 수 있다. 우리는 동적으로 인스턴스화된 저장소 표현 하에서 코딩 에이전트를 시험하기 위한 평가 프레임워크인 SchrodingerRepo(슈뢰딩거의 저장소)를 제안한다. 테스트 저장소의 정적 표현을 반복적으로 사용하는 대신, SchrodingerRepo는 테스트 저장소를 에이전트가 평가 환경에 진입할 때에만 동적으로 인스턴스화되는 평가 시점 잠재 변수로 취급한다. 인스턴스화된 저장소는 네 가지 변환 수준—문제 진술 재구성, 네임스페이스 재매핑, 파일 내 레이아웃 재정렬, 기능 보존 코드 재작성—을 통해 명명 규칙, 파일 레이아웃, 구현 패턴과 같은 친숙한 단서를 훼손하면서 원래의 실행 가능한 동작을 보존한다. 우리는 SWE-bench Verified와 SWE-QA에서 인기 LLM을 평가한다. 결과는 친숙한 저장소 단서를 제거하면 모델 전반에 걸쳐 에이전트 성능이 일관되게 저하되고 상호작용 비용이 실질적으로 증가함을 보여준다. 추가 분석에 따르면, 추가 비용은 주로 저장소 탐험과 위치 특정(localization)의 난이도 증가에서 기인한다. 이러한 결과는 현재 코딩 에이전트가 저장소 측 암기된 단서에 부분적으로 의존할 수 있음을 시사하며, 동적으로 인스턴스화된 저장소 표현 하에서의 평가 필요성을 부각한다.

arXiv:2609.23201v1cs.AI

벤치마크를 신뢰하지 말 것: 일반 LLM 순위의 한계와 과업별 평가의 필요성

Do Not Trust the Benchmark: Limitations of General LLM Rankings and a Case for Task-Specific Evaluation

벤치마크 점수는 대규모 언어 모델(LLM)의 개발, 마케팅, 선정에 점점 더 큰 영향을 미친다. 그러나 종합 점수는 평가 대상 시스템, 포함된 문항, 평가 조건과의 관계에서만 해석할 수 있다. 본 관점 논문은 일반 LLM 순위의 다섯 가지 연관된 한계를 검토한다: 평가 대상과 공개 가용 시스템 간의 차이, 외부 평가에서의 상업적 인센티브와 의존관계, 벤치마크 포화·결함 있는 테스트·데이터 오염(data contamination), 채점 절차를 악용하는 모델, 그리고 일반 점수가 사용자 업무와 관련 있는 정도의 제한. 문서화된 사례들은 이러한 문제들이 서로 다른 대응을 요구하는 이유를 보여 준다. 나는 평가 대상 구성을 공개하고, 문항과 과업의 성공적 완료를 검증하며, 성능을 비용·실행 시간과 함께 보고하고, 일반화 범위를 명시하는 평가 절차를 주장한다. 이어서 기여 문항과 반복 평가의 실용적 사례로 크라우드소싱 벤치마킹 플랫폼 \textbf{Isotanta}를 논의한다. 더 큰 문항 풀은 과업 커버리지를 개선할 수 있고, 반복 표본 추출은 그 풀에 대한 추정치의 안정성을 개선할 수 있다; 둘 다 타당성이나 개인 맞춤화를 보장하지는 않는다. 논문은 플랫폼의 현재 공유 순위와 제안된 과업별·사용자 제공 평가를 구분한다. 핵심 논지는 모델 선정이 일반 리더보드에서의 높은 순위가 아니라, 의도된 업무에서의 성능에 대한 근거를 요구한다는 것이다.

arXiv:2606.26101v2cs.CL

Know2Guess: 대규모 언어 모델의 지식 경계 평가를 위한 오염 인지 다중 영역 벤치마크

Know2Guess: A Contamination-Aware Multi-Zone Benchmark for Knowledge-Boundary Evaluation in Large Language Models

대규모 언어 모델(LLM)의 지식 경계를 평가하기 위해 Know2Guess는 데이터 오염·기권·거부를 분리하는 오염 인지 다중 영역 벤치마크로, 다섯 도메인 1,200문항과 빌드 시점 고정 라벨·이중 파서로 FLAN-T5, Qwen2.5-Instruct, Llama-3-Instruct를 평가한다. Qwen2.5-3B-Instruct가 전반적 신뢰성에서 최고이나 답변이 예상되는 영역과 보정(calibration)은 여전히 어렵고, 무해한 항목에 대한 거부가 남아 있어 답변 가능성·기권·거부·오염을 구분 감사할 재현 가능 프로토콜을 제공한다.

arXiv:2607.23440v1cs.CL

추론인가 암기인가: LLM은 중국어 쉬에허우(歇后语) 수수께끼를 이해하고 생성할 수 있는가?

Reasoning or Memorization: Can LLMs Understand and Generate Chinese Xiehouyu Riddles?

본 논문에서는 데이터 오염(data contamination)을 피하기 위해 언어학자가 이전에 존재하지 않았던 새로운 쉬에허우를 만들어, 중국어 언어 게임인 쉬에허우에서 LLM을 테스트함으로써 LLM 추론의 한계를 넓혀 검증한다. 객관식 문제(MCQ), 자유 형식 설명 생성, 새로운 쉬에허우 창작을 통해 LLM이 쉬에허우를 이해하고 창작하는 능력을 평가한다. MCQ에서는 기존이지만 저빈도 쉬에허우와 새로운 쉬에허우 간 정확도 차이($Δ_{acc}$)를 암기 지표로 사용한다. 원어민의 $Δ_{acc}$는 매우 낮아, 유사한 처리 메커니즘을 시사한다. 그러나 우리는 선단 중국어 모델의 평균 $Δ_{acc}$가 23.6%인 반면, 테스트한 영어 중심 모델의 평균 $Δ_{acc}$는 5.1%임을 발견했으며, 이는 선단 중국어 모델이 훨씬 더 많은 중국어 데이터로 학습되어 저빈도 쉬에허우를 더 많이 암기했을 가능성을 시사한다. 새로운 쉬에허우에 대해 Gemini 3.1 Pro는 정확도 92.6의 뛰어난 능력을 보였으며, 이는 인간 정확도보다 24% 높다. 쉬에허우 창작에서는 LLM이 만든 것이 인간이 만든 것보다 훨씬 낮은 평가를 받았다. 이 결과는 데이터 오염 문제를 고려할 때 LLM의 추론 능력에 관한 주장을 신중히 재검토할 필요가 있음을, 또한 언어 관련 과제에서 LLM의 창의성은 적어도 중국어 쉬에허우에서는 여전히 인간 전문가에 뒤처질 수 있음을 시사한다.

arXiv:2607.01813v1cs.CV

MMBench-Live: 멀티모달 모델을 위한 지속적으로 진화하는 벤치마크

MMBench-Live: A Continuously Evolving Benchmark for Multimodal Models

정적 멀티모달 벤치마크의 시간적 노후화, 데이터 오염, 높은 유지보수 비용 문제를 해결하기 위해, 다중 에이전트 기반 자동화 파이프라인으로 구축된 지속 진화형 벤치마크 MMBench-Live를 제안한다. 원본 MMBench의 태스크 관련 시각적 패턴을 추출해 분포 일관성을 유지하면서 실시간 데이터를 수집·검증하는 방식으로, 약 30달러·1~2시간의 비용으로 5,900개의 새 평가 인스턴스를 생성하며 안정적인 모델 순위와 낮은 오염 신호를 달성했다.

arXiv:2602.16065v2cs.LG

생성형 인공지능은 데이터 오염을 견딜 수 있는가? 오염된 재귀적 학습 하에서의 이론적 보장

Can Generative Artificial Intelligence Survive Data Contamination? Theoretical Guarantees under Contaminated Recursive Training

인공지능(AI)이 생성한 콘텐츠가 확산되면서, 모델은 점점 더 자기 출력 위에서 학습되어 점진적 퇴화나 붕괴의 위험에 처한다. 본 논문에서는, 우리의 지식 범위 내에서 최초로, 모델 불문(model-agnostic)의 완화된 조건 하에서 모델이 참 데이터 생성 분포로 수렴함을 보이는 긍정적이고 엄밀한 이론적 결과를 제시한다. 수렴 속도는 모델의 내재적 속도와 각 학습 반복에서의 실데이터 비율 중 최솟값이며, 데이터 제한(data-limited) 체제와 모델 제한(model-limited) 체제 사이의 상전이(phase transition)를 드러낸다. 또한 편향된 실데이터에 대해 바이어스를 보정하면 학습 반복에 걸쳐 초기 바이어스가 지속되고 증폭되는 것을 방지함을 보인다. 시뮬레이션, 실제 이미지 및 텍스트에 걸친 광범위한 실험은 우리의 이론적 프레임워크를 검증하며, 오염된 환경에서의 장기 AI 안정성을 위한 정량적 조건을 확립한다.

arXiv:2601.11061v2cs.LG

허위 보상 패러독스: RLVR이 LLM에서 암기 단축키를 활성화하는 방식에 대한 메커니즘적 이해

Spurious Rewards Paradox: Mechanistically Understanding How RLVR Activates Memorization Shortcuts in LLMs

허위·잘못된 보상 하에서도 RLVR로 성능이 오르는 현상을 퍼플렉시티 패러독스로 설명하고, 답변 토큰 퍼플렉시티는 낮아지지만 프롬프트 일관성은 떨어져 모델이 추론 대신 암기 단축 경로를 택함을 보였다. Path Patching·Logit Lens·JSD·신경 미분 방정식 분석으로 중간 레이어(L18–20)의 Functional Anchor와 후반 레이어(L21+)의 Structural Adapter로 이루어진 Anchor-Adapter 회로를 규명했으며, 해당 MLP 키 스케일링으로 오염 기반 성능을 인과적으로 증폭·억제할 수 있음을 입증해 RLVR 튜닝 모델의 데이터 오염 식별·완화 로드맵을 제시한다.