PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01670v1cs.CV

MLLM 판별 모델은 편집 자체를 평가하는가? 검증된 품질 보존을 통한 이미지 편집 평가의 바이어스 감사

Do MLLM Judges Judge the Edit? Auditing Bias in Image Editing Evaluation with Verified Quality Preservation

멀티모달 대규모 언어 모델(MLLM)은 지시 기반 이미지 편집의 자동화된 판별 모델 및 모델 학습(training)을 위한 보상(reward) 신호로 점점 더 널리 사용되고 있습니다. 그러나 시각적 개입 자체가 평가 대상인 품질을 변화시킬 수 있기 때문에, 이러한 판별 모델들이 편집 품질과 무관한 단서에 영향을 받는지 체계적으로 감사하는 것은 어렵습니다. 따라서 판별의 변화는 개입이 근본적인 편집 품질을 보존하는 것으로 검증된 경우에만 바이어스(bias)에 기인한 것으로 볼 수 있습니다. 이러한 문제를 해결하기 위해, 검증된 품질 보존 기능을 갖춘 반사실적 벤치마크(benchmark)인 EditJudgeBias를 제안합니다. 이 벤치마크는 1,196개의 실제 편집 샘플과 4개의 평가 영역에 걸쳐 주입된 13개의 단서로 구성됩니다. 보정된 멀티모달 검증기, 대조군 및 인간 검수를 통해 요청된 편집에 대한 품질 보존을 검증합니다. 그런 다음 품질 보존 단서에 대한 불변성, 인간 판별과의 일치도, 쌍별 선호도의 안정성이라는 세 가지 상호보완적 차원에 걸쳐 5개의 MLLM 판별 모델을 감사합니다. 중요한 점은, 관찰된 변화를 0이 아닌 각 판별 모델 자체의 제로 도즈(zero-dose) 및 재질의 노이즈 플로어(noise floor)를 기준으로 평가한다는 것입니다. 실험 결과, 품질을 보존하는 단서가 모든 판별 모델을 자체 노이즈 수준 이상으로 변화시키는 것으로 나타났습니다. 조작된 다수 의견은 평가 점수를 높이고, 무관한 시각적 요소는 전체 이미지 조작보다 더 큰 변화를 유발하며, 후보 순서를 바꾸면 쌍별 결정의 최대 60.9%가 뒤바뀝니다. 또한 편집 영역 단서는 인간과의 일치도를 낮추는 경향이 있습니다. 이 세 가지 척도는 판별 모델의 특성을 서로 다르게 나타내며, 견고성이 단일 지표만으로는 포착될 수 없음을 보여줍니다.

arXiv:2606.29228v2cs.CL

확산 대규모 언어 모델의 평가 착시 현상 이해

Understanding Evaluation Illusion in Diffusion Large Language Models

확산 대규모 언어 모델(dLLM)의 디코딩 방법 평가에서 프롬프트 템플릿 선택에 따라 방법 간 순위가 크게 달라지는 '평가 착시(evaluation illusion)' 현상을 규명하고, 현재 병렬 디코딩 방법들이 단일 토큰 디코딩 기준선을 지속적으로 하회하며 속도-품질 트레이드오프를 극복하지 못함을 포괄적인 실험으로 입증한다. 이를 바탕으로 신뢰할 수 있는 dLLM 디코딩 평가를 위한 실용적인 가이드라인을 제안한다.

arXiv:2604.23178v2cs.AI

Judging the Judges: A Systematic Evaluation of Bias Mitigation Strategies in LLM-as-a-Judge Pipelines

LLM-as-a-Judge has become the dominant paradigm for evaluating language model outputs, yet LLM judges exhibit systematic biases that compromise evaluation reliability. We present a comprehensive empirical study comparing nine debiasing strategies across five judge models from four provider families (Google, Anthropic, OpenAI, Meta), three benchmarks (MT-Bench n=400, LLMBar n=200, custom n=375), and four bias types. Our headline practical finding is that a mid-tier model with the right debiasing can outperform frontier judges at a fraction of the cost: Gemini 2.5 Flash with the Combined Budget strategy reaches the highest agreement of any configuration we tested (71.0%, kappa=0.549) at ~$0.001 per evaluation, about 15x cheaper than the best frontier setup (Claude Sonnet 4, 69.5%, ~$0.015). Other key findings: (1) Style bias is the dominant bias (0.10-0.76 across models, favoring markdown over plain prose), far exceeding position bias (<=0.04), yet is rarely studied. (2) Verbosity bias is heterogeneous when measured length-aware: Pro, Flash, and Llama prefer longer answers (+0.24 to +0.44), Claude prefers concise (-0.12), and GPT-4o is neutral (-0.04); on truncation controls all models correctly prefer the complete response (0.88-1.00 accuracy). (3) Debiasing helps multiple models: Claude S8 (+11.5 pp), Flash S8 (+7.5 pp), and Claude S5 (+7.3 pp) survive Holm-Bonferroni correction, with Flash S1 (+4.7 pp) and Llama S8 (+4.5 pp) also significant. We release our evaluation framework, the 375-pair controlled dataset, and per-instance cached results for all nine strategies.

arXiv:2606.12250v1cs.CL

폴란드 의료 시험에서 고성능 대규모 언어 모델(LLM) 재평가: 진정한 역량인가 바이어스 기반 성능인가

Reassessing High-Performing LLMs on Polish Medical Exams: True Competence or Bias-Driven Performance?

의학 분야의 대규모 언어 모델(LLM)은 주로 객관식 질의응답(MCQA)을 사용하여 평가되는데, 이는 추측 전략과 답변 바이어스로 인해 실제 임상 능력을 과대평가할 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 폴란드 의료 시험을 기반으로 확장되고 더 어려운 벤치마크를 소개합니다. 여기에는 15,000개 이상의 질문, 두 개의 새로운 도메인, 그리고 MCQA 특정 아티팩트를 줄이고 추론 능력을 더 잘 테스트하는 4가지 구조적 수정이 포함됩니다. 우리는 21개의 대규모 언어 모델(LLM)을 평가하여 평가 설계가 결과에 강력한 영향을 미친다는 것을 보여줍니다. 우리의 더 어려운 설정에서, 최고의 모델(Qwen3.5-122B)은 각각 영어 및 폴란드어 시험에서 28.4 및 31pp 하락했습니다. 데이터 오염의 증거가 적음에도 불구하고, 표준 MCQA 점수는 진정한 의학 역량을 신뢰할 수 있게 반영하지 못합니다. 추가 연구를 돕기 위해 벤치마크를 공개합니다.