PyTorchKR Papers

최신 논문

총 12편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.10240v1cs.CV

단답형 VQA 점수는 실제로 무엇을 측정하는가? 멀티모달 단답형 벤치마크에서 평가기 의존적 불안정성

What Does Your Short-Answer VQA Score Actually Measure? Evaluator-Dependent Instability in Multimodal Short-Answer Benchmarks

단답형 VQA 벤치마크는 두 가지 서로 다른 측정값을 혼동한다: 모델의 답변이 의미적으로 정확한지 여부와, 그 답변이 자동 평가기가 기대하는 표면 형태와 일치하는지 여부이다. 우리는 이 혼동을 여섯 개의 비전-언어(vision-language) 모델과 여섯 개의 벤치마크에 걸쳐 연구하며, 인간 검증 의미 판별기(정밀도 97.6%)를 사용하여 37,000개 이상의 공식 오류를 감사한다. 두 번째 텍스트 전용 판별기도 동일한 벤치마크 수준의 거짓 음성(false-negative) 패턴을 재현하여, 이 효과가 단일 감사 모델의 인공물이 아님을 보여준다. 텍스트 풍부 벤치마크에서는 이러한 오류의 최대 절반이 표면 형태 불일치만을 이유로 패널티를 받은 의미적으로 허용 가능한 답변이다. 이 불안정성은 답변 유형에 따라 구조화되어 있는데, 추출형 및 다중 범위(multi-span) 답변은 스칼라 답변보다 평가기에 훨씬 더 민감하다. 무해한 프롬프트 및 컨텍스트 재작성은 공식 결과를 더욱 불안정하게 만들어, 기저 과제를 변경하지 않고도 항목 수준의 정확성을 상당한 비율로 뒤집는다. 결정론적 CPU 전용 계약 수정(contract repair)은 이 과소 집계가 부분적으로 복구 가능함을 확인한다. 이러한 발견은 공식 단답형 VQA 점수가 해석 가능성을 유지하기 위해 의미적 감사 및 답변 유형 진단을 함께 제시해야 함을 시사한다.

arXiv:2607.09091v1cs.CV

시간적 편이를 넘어: 생성형 오디오-비주얼 모델을 위한 참조 없는 평가자로서의 Omni-LLM 적용

Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models

오디오-비주얼 생성 모델이 세계 시뮬레이터로 발전함에 따라, 교차 모달 동기화(cross-modal synchronization)는 생성된 콘텐츠의 세계 역학과 인과성의 일관성을 평가하기 위한 핵심 대리 지표로 부상하고 있다. 그러나 기존 평가 지표들은 구조적 정확성을 전제로 하여 동기화를 단순한 시간적 정렬로 축소시킨다. 결과적으로, 이러한 지표들은 특히 구조적 환각(hallucination)과 비대칭적 교차 모달 관계를 보이는 생성 출력물에서 실패하며, 현재 동기화 평가를 위해 **전문 인간 주석이 필수적으로 요구**된다. 이 의존성은 핵심적인 역설을 야기한다: 인간 평가자는 상대적이고 참조 의존적인 비교에 의존하는 반면, 자동화된 지표는 참조 없는(reference-free) 절대적 스칼라 값을 필요로 한다. 우리는 상대적인 인간 인식을 연속적이고 전역적으로 일관된 지표로 증류하는 프레임워크를 제안하여 이 역설을 해결한다. 첫째, 쌍별 인간 주석을 통해 순위가 매겨진 생성 실패 사례들의 데이터셋인 SynthSync를 소개한다. 둘째, 연속적인 잠재 공간 투영을 갖춘 Omni-LLM을 적용하여 상대적인 인간 순위를 연속적인 절대 값으로 변환한다. 셋째, 리스트 단위 점수 분포를 통해 동기화의 전역적 인과 구조를 내면화하기 위한 실수값 그룹 상대 정책 최적화(Real-Valued Group Relative Policy Optimization, $\mathbb{R}$-GRPO)를 제안한다. 실험적으로, 우리의 지표는 최첨단 인간 선호도 정렬(alignment)을 달성한다. 우리는 이 추정기를 활용하여 표준화된 벤치마크를 구축하고, AV-Gen 평가를 저수준 신호 상관관계에서 시각적으로 기반한 인과성으로 발전시킨다.

arXiv:2607.08317v1cs.AI

Blind-Spots-Bench: 멀티모달 모델의 맹점 평가

Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models

인간에게는 쉽지만 최신 AI 모델은 실패하는 과제들을 체계적으로 평가하기 위해, AI 강좌 학생들이 제안한 235개 문제를 정제·분류한 벤치마크 `blind-spots-bench`를 소개한다. 38개 모델을 대상으로 한 평가에서 클로즈드 소스 프런티어 모델이 오픈 가중치 모델보다 약 10% 높은 정확도를 보였으며, 이미지 내 객체 계수(counting)와 같은 세밀한 시각 인식 작업은 모든 모델에서 여전히 어렵게 남아 있음이 드러났다.

arXiv:2607.02575v1cs.CV

기준 조건부 문맥 내 학습: 비전-언어 모델의 기준 변화 적응 평가

Criterion-Conditional In-Context Learning: Evaluating Criterion-Shift Adaptation in Vision-Language Models

비전-언어 모델은 매개변수 업데이트 없이 문맥 내 학습(ICL)을 통해 새로운 작업을 수행할 수 있으며, 그 핵심 메커니즘은 작업 유도를 위한 서포트 셋 활용이다. 표준 ICL 설정에서는 작업이 유도되면 그 결정 기준이 고정된다. 그러나 실제 응용에서는 많은 작업이 안정적인 고수준 의도를 유지하면서도 특정 요구 사항에 따라 결정 기준이 달라지는 경우가 많다. 이에 우리는 기준 조건부 문맥 내 학습(CC-ICL)이라는 새로운 설정을 도입한다. 이 설정에서 모델은 고정된 작업 의미 하에 문맥으로부터 잠재 기준을 추론하고 그에 맞게 예측을 조정해야 한다. 이 능력을 평가하기 위해 우리는 기준 불변성(Criterion Invariance)과 기준 민감성(Criterion Sensitivity)이라는 두 가지 상호 보완적 지표를 제안하여, 기준 변화 하에서 모델의 강건성과 적응성을 측정한다. 또한 CC-ICL 설정에서의 평가를 지원하는 다중 도메인 벤치마크인 CC-Bench를 구축한다. CC-Bench는 이중 수준 데이터 계층 구조를 채택함으로써, 작업이 고정된 상태에서도 활성 기준에 따라 정당한 정답 변화를 가능하게 한다. CC-Bench에서의 실험 결과, 대부분의 모델이 경직된 경계 바이어스를 보이며 잠재 기준에 맞게 결정을 조정하는 데 어려움을 겪는 것으로 나타났다. 또한 단순한 다중 기준 학습 전략만으로도 이 바이어스를 크게 줄여 기준 민감성을 향상시킬 수 있으며, 7B 규모 모델이 일반적인 멀티모달 성능을 저하시키지 않고 독점 모델을 능가할 수 있음을 발견하였다.

arXiv:2607.02007v1cs.CL

EduArt: An educational-level benchmark for evaluating art history knowledge in large language models

EduArt는 이탈리아 고등학교 문제와 미국 AP 미술사 시험에서 수집한 871개의 인간 저작 문항으로 구성된 멀티모달 대규모 언어 모델(LLM) 평가용 미술사 벤치마크로, 다중 선택부터 오류 식별까지 7가지 문제 형식을 포함한다. 일부 모델이 다중 선택에서 94% 이상의 정확도를 보인 반면, 개방형 완성 문항에서는 23.9%(Claude Opus 4.6), 오류 식별 문항에서는 6.2%(Claude Sonnet 4.6)로 급락하여, 단일 형식 벤치마크가 모델의 실제 역량을 과대평가함을 입증했다.

arXiv:2606.29672v2cs.CL

LLM이 창의성을 바라보는 방식: 해석 가능한 추론을 통한 시각적 창의성의 제로샷 채점

How LLMs See Creativity: Zero-Shot Scoring of Visual Creativity with Interpretable Reasoning

멀티모달 LLM 6종(Gemini 3 Flash, GPT-5.4 Mini 등)을 대상으로 추가 학습 없이 제로샷 방식으로 시각적 창의성을 평가할 수 있는지 검증한 결과, AI 생성 이미지와 손그림 스케치 모두에서 인간 평가와 상당한 상관(r = .29–.68)을 보였다. 또한 단계적 추론(chain-of-thought)이 평가 과정을 해석 가능하게 만들어 주지만, 인간 평가와의 일치도 자체를 향상시키지는 않음을 확인했다.

arXiv:2606.28406v1cs.LG

AI는 과학을 그릴 수 있는가? 텍스트-이미지 및 멀티모달 모델의 과학적 그림 생성 평가를 위한 벤치마크

Can AI Draw Science? A Benchmark for Evaluating Scientific Figure Generation by Text-to-Image and Multimodal Models

텍스트-이미지 및 멀티모달 생성 모델은 메커니즘 다이어그램, 실험 설계 개략도, 개념적 프레임워크, 그래픽 초록과 같은 과학적 그림을 생성하는 데 점점 더 많이 활용되고 있다. 그러나 기존의 이미지 생성 벤치마크(예: GenEval, T2I-CompBench, DPG-Bench)는 자연 이미지를 평가하며 구성성(compositionality), 객체 수 세기, 또는 사진 사실성(photorealism)을 측정한다. 이러한 벤치마크 중 어느 것도 생성된 과학적 그림이 실용적이기 위해 필요한 요소, 즉 정확하고 가독성 있는 텍스트 레이블, 개체 및 그 관계의 충실한 묘사, 일관된 다이어그램 구조, 그리고 해당 분야의 드로잉 관행 준수를 측정하지 않는다. 우리는 SciDraw-Bench를 소개한다. 이는 8가지 그림 유형과 10개 학문 분야에 걸쳐 32개의 구조화된 과학적 그림 생성 태스크로 구성된 벤치마크로, 각 태스크는 자연어 프롬프트와 필수 레이블, 관계, 구성 요소, 관행, 부정적 제약 조건에 대한 기계 검증 가능한 명세를 쌍으로 구성한다. 우리는 텍스트 충실도(OCR 기반 레이블 재현율 및 문자 오류율), 의미적 정확성(명세에 대한 비전-언어 모델 판정), 구조적 품질, 관행 준수의 4차원 평가 프로토콜을 제안하며, 메타 평가 프로토콜 및 예비 심사자 간 신뢰도 분석(인간 평가 검증은 진행 중)도 함께 제시한다. 우리는 도메인 특화 시스템인 SciDraw AI를 대표적인 범용 텍스트-이미지 모델과 비교 평가하며, 계획된 확장으로서 코드-투-피겨 기준선을 개략적으로 설명한다. 8가지 그림 유형 전반에 걸친 파일럿 연구에서, 도메인 특화 시스템은 모든 차원과 그림 유형에서 범용 기준선을 크게 능가하며, 의미적 정확성과 관행 준수에서 가장 큰 격차를 보였다. 텍스트 충실도는 모든 시스템에서 가장 어려운 차원으로 남아 있다.

arXiv:2606.29689v1cs.CL

MLLM은 인간처럼 비평할 수 있는가? 멀티모달 대규모 언어 모델의 개방형 미적 추론 평가

Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models

개방형 미적 비평은 멀티모달 대규모 언어 모델(MLLM)에 있어 도전적인 과제다: 객관식 미적 벤치마크와 달리 단일한 정답이 존재하지 않으며, 대부분의 미적 평가는 사람들이 실제로 작성하는 비평문이 아닌 수치 점수를 기준으로 모델을 측정해 왔다. 우리는 MLLM의 비평을 순위가 매겨진 인간 참조 비평과 비교 평가하며, 이것이 인간의 비평에 얼마나 근접한지를 묻는다. Reddit Photo Critique Dataset을 사용하여, 페르소나 프레이밍, 측면 힌팅, 길이 제어, 단일 대 다중 패스 생성을 분리하는 여섯 가지 프롬프트 조건 하에서 사진당 여러 개의 순위가 매겨진 인간 비평을 기준으로 참조 기반 유사도 지표를 통해 다섯 개의 오픈 가중치 MLLM을 평가하고, 각 모델에 잘못된 사진을 제공하는 이미지 그라운딩(grounding) 제어를 추가한다. 우리는 참조 기반 유사도가 오해를 불러일으키는 결과를 제공한다는 것을 발견한다. 더 엄격한 어휘적(lexical) 및 학습된(learned) 지표는 인간 비평과의 약한 정렬(alignment)만을 보이는 반면, 거친 임베딩 코사인은 광범위한 주제적 중복을 보고하는데, 이는 그라운딩 제어를 통해 이미지 특정 관찰이 아닌 안정적인 고유 문체(house style)에서 비롯된 것임이 밝혀진다. 행동적으로, 모델들은 점수가 드러내지 못하는 일관된 방식으로 인간과 괴리된다: 길이 제한 하에서도 인간보다 두세 배 더 많이 작성하고, 인간이 선택적으로 다루는 거의 모든 미적 측면을 망라하며, 각 측면을 더 균일하게 그리고 더 깊은 수준으로 다루고, 인간이 다양하게 변화시키는 동일 사진의 비평에서 반복적인 내용을 보인다. 우리는 참조 기반 유사도가 인간 비평의 선택성과 구체성보다는 유창하고 포괄적인 비평 스타일에 보상을 준다고 주장하며, 개방형 멀티모달 생성의 평가 및 학습에 대한 시사점을 논의한다.

arXiv:2606.16682v3cs.LG

멀티모달 평가자 선호 붕괴: 자기 진화 에이전트의 교차 모달 결합

Multimodal Evaluator Preference Collapse: Cross-Modal Coupling in Self-Evolving Agents

AI 에이전트가 언어 모델을 사용하여 피드백 루프에서 자신의 출력을 평가할 때, 체계적인 편향이 발생한다. 우리는 Evaluator Preference Collapse(EPC)가 멀티모달 설정에서 극적으로 증폭된다는 것을 보여준다. GPT-4o를 사용하여 텍스트 및 시각 작업에서 DeepSeek-chat을 평가한 결과, 단일 전략(step_by_step)이 전체 가중치의 48.4%를 흡수하는 것을 발견했다 — 이는 텍스트 전용 자기 평가에서 관찰된 붕괴의 3.2배에 해당한다 — 반면 세 가지 시각 도메인 전략은 합산하여 9.1%의 가중치만 받는다. 그러고 나서 우리는 교차 모달 결합(cross-modal coupling)이라고 명명하는 새로운 현상을 입증한다: 한 모달리티에서 획득한 평가자 선호가 다른 모달리티로 전이되어 전략 선택을 손상시킨다. 4단계 격리 학습 패러다임을 통해 결합 계수를 측정하고 전략 역전(strategy inversion)을 문서화한다 — 모달리티에 대한 최적 전략이 교차 모달 노출 후에 역전된다. 텍스트 프록시 및 실제 이미지 시각 작업을 모두 포함한 5개 평가자 구성에 대한 Phase 3 통계 검증(N=80 총 독립 반복, ~35,000 API 호출) 결과는 다음과 같다: 교차 모델 평가가 강한 결합을 생성한다(JSD~0.19-0.34), 실제 이미지 입력이 가장 방향적으로 일관된 신호를 제공한다(mean gamma_{T->V}=1.145, gamma_{V->T}=0.937, 70% T->V, Cohen's d=0.56), 자기 평가는 거의 완전한 면역성을 제공한다 — 97%의 실행(N=30)이 제로 결합을 산출한다(JSD=0.003, d=0.07). 세 가지 방법론적 ablation 및 다중 실행자 검증을 통해 이 효과가 구조적 인공물이 아님을 확인한다. 평가자 식별자로 인덱싱된 결합 행렬을 도입하고, MM-EPC 프레임워크를 공개하며, 교차 모델 평가자 아키텍처가 선호 드리프트의 주요 위험 요인임을 확인한다. 코드 및 데이터: https://github.com/aidless/mm-epc.

arXiv:2606.28322v1cs.CV

PerceptionRubrics: 인간 지각에 맞춘 다중모달 평가 보정

PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

본 논문은 PerceptionRubrics를 소개한다. 이는 루브릭(rubric) 기반 평가 프레임워크로, 포화된 벤치마크 점수와 실세계 취약성(brittleness) 사이의 격차를 해소한다. 평가를 전체적인 의미적 매칭에서 엄격한 원자적(atomic) 감사(auditing)로 전환하여, PerceptionRubrics는 1,038개의 정보 밀도가 높은 이미지를 12,000개 이상의 인스턴스별 루브릭과 짝짓는다. 이러한 기준은 새로운 순환 동료 검토(Circular Peer-Review) 합의 파이프라인을 통해 구축된 golden caption에서 파생되며, Must-Right(필수 사실)와 Easy-Wrong(세밀한 세부사항) 루브릭의 이중 스트림(dual-stream) 시스템으로 정제된다. 핵심적으로 PerceptionRubrics는 Gated Scoring 메커니즘을 구현한다. 선형 평균과 달리, 필수 시각적 사실에 대한 실패는 급격한 이진(binary) 페널티를 유발한다. 광범위한 평가는 중요한 통찰을 산출한다. (1) 신뢰성 격차(Reliability Gap): 모델은 종종 분절된 요소는 올바르게 검증하지만 엄격한 연접(conjunctive) 제약에는 실패하여, 밀집(dense) 도메인에서의 취약성을 드러낸다. (2) 오픈-폐쇄 계층화(Open-Closed Stratification): 추론(reasoning) 트렌드와 달리, 오픈소스와 독점(proprietary) 프론티어 모델 사이에 지속적인 8%의 지각(perception) 결손(deficit)이 있음을 밝힌다. (3) 인간 정렬 엄격성(Human-Aligned Rigor): 우리의 gated 지표는 기존 벤치마크보다 실질적으로 더 잘 정렬(out-align)되며, 엄격한 지각적 충실도(perceptual fidelity)가 신뢰할 수 있는 생성의 전제조건임을 검증한다.

arXiv:2606.26348v1cs.AI

멀티모달 LLM 평가에서 무엇을 놓치고 있는가?

What We are Missing in Multimodal LLM Evaluation?

멀티모달 LLM(MLLM)의 능력은 빠르게 발전했지만 평가는 고립된 작업 중심 벤치마크에 머물러 모달리티 간 정보 통합 여부를 거의 드러내지 못한다. 현재 평가 수단과 벤치마크 분류를 검토해 시간-공간적 일관성, 물리 세계 이해, 멀티모달 일관성, 선택적 어텐션 등의 공백을 식별하며, 이러한 공백을 메우는 것이 멀티모달 지능의 실질적 진전과 능력 경계 측정에 필수적임을 강조한다.

arXiv:2606.19338v1cs.CV

현재 관찰을 넘어서: 제어 가능한 비마르코프 게임에서의 멀티모달 대규모 언어 모델 평가

Beyond the Current Observation: Evaluating Multimodal Large Language Models in Controllable Non-Markov Games

멀티모달 파운데이션 모델을 폐루프 정책으로 배포하는 것은 점점 더 이상 보이지 않는 관찰에 기반하여 행동을 조건화하는 것을 요구합니다. 그러나 기존 벤치마크는 전체 상태를 노출하거나, 은닉 상태 재구성을 다른 에이전트 기술과 혼동하거나, 에피소드가 종료된 후에만 재현율을 테스트합니다. 우리는 RNG-Bench(재구성 비마르코프 게임)를 소개합니다. 이는 기본 모델이 과거 관찰을 재구성하고 다단계 상호작용 중에 이를 바탕으로 행동하는 능력을 분리하여 평가하도록 설계된 벤치마크 스위트입니다. RNG-Bench는 특정 위치에서 짧게 드러난 카드 식별자를 나중에 재현해야 하는 Matching Pairs와, 자기 중심적 뷰를 공간 맵으로 통합해야 하는 3D Maze라는 두 가지 상호 보완적인 게임을 포함합니다. 두 게임 모두 그리드 크기, 시각적 패턴, 관찰 모달리티의 세 가지 제어 가능한 난이도 축을 가진 통합 하니스 하에서 평가됩니다. 이 벤치마크는 인스턴스 수준의 분산을 제어하기 위한 일대일 대결 프로토콜과, 망각과 잘못된 행동 선택을 분리하는 메모리 갭(Memory Gap) 메트릭을 추가로 도입합니다. 가장 어려운 설정은 에피소드당 약 128K 토큰과 350개의 이미지 입력을 요구하며, 최첨단 MLLM에 의해서도 포화되지 않은 상태로 남아 있습니다. 메모리 갭 분석 결과, 대부분의 잔차 오류는 최적이 아닌 의사결정보다는 이전 관찰의 망각에서 기인하는 것으로 나타났습니다. 마지막으로, 최적 정책 롤아웃과 필터링된 모델 데모에 대해 Qwen3.5-9B를 미세조정하면 RNG-Bench에서의 성능이 향상되고 일반적인 멀티모달 능력을 저하시키지 않으면서 기존 벤치마크로 전이됩니다.