PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15938v1cs.AI

사각지대의 해부학: LLM 판사에게 무엇을, 얼마나 보여주어야 하는가

The Anatomy of a Blind Spot: What an LLM Judge Must Be Shown, and How Much

대규모 언어 모델(LLM)이 생성한 텍스트에 대한 평가(evaluation)는 판사 역할을 하는 LLM에게 점점 더 많이 위임되고 있으나, 이러한 판사에게 무엇을 보여주어야 하는지는 여전히 해결되지 않은 문제로 남아 있습니다. 본 연구에서는 보고서가 실제로 반영되는 판사를 사이버네틱스(cybernetics) 관점의 조절기(regulator)로 취급하며, 판사에게 무엇을, 얼마나, 어떤 형태로 보여주어야 하는지, 그리고 판사의 보고서가 무엇을 정확히 짚어내야 하는지 질문을 던집니다. 7개의 공개 벤치마크(benchmark)에서 판사에게 보여주는 내용만을 다르게 구성하여 실험을 진행했습니다. 비용 차이가 10배에서 17배에 달하는 세 종류의 판사를 비교했을 때, 어떤 판사를 사용하느냐보다 판사에게 무엇을 보여주느냐가 더 중요했습니다. 준수해야 할 자료를 보지 못한 판사의 피드백을 바탕으로 시스템이 답변을 수정했을 때, 인스트럭션 준수(instruction following) 및 질의응답(question answering) 성능은 시작 지점보다 더 낮아졌습니다. 인스트럭션 준수의 경우 라운드가 거듭될수록 손실이 증가했으며, 판사가 제약 조건은 보지 못한 채 사용자의 요청만 보았을 때나 두 번째 판사 모델군을 사용했을 때도 이러한 현상이 지속되었습니다. 뉴스 요약 과업에서는 원문과 함께 올바른 참조 요약(reference summary)을 제공했을 때 원문이 기여하는 바가 대부분 상쇄되었으나, 단일 답변 질문에서는 참조가 도움이 되었습니다. 원문의 약 10분의 1 수준만으로도 거의 전체 역할을 수행했으며, 소규모 함의 그래프(entailment graph)는 그라운딩(grounding)된 텍스트에서 오류를 찾아내는 데 있어 LLM 판사와 대등한 성능을 보였습니다. 실험 실행 전 83개의 검증 가능한 조항을 사전에 확정했으며, 실행된 81개 중 32개가 기준을 충족했고 50개는 예측된 방향으로 전개되었으나, 이론 기반의 정량적 예측은 대부분 빗나갔습니다. 본 논문에서는 모든 미흡한 점을 빠짐없이 보고하고 측정된 효과에 기반한 설계 규칙을 도출합니다.

arXiv:2610.00529v1cs.AI

온톨로지 기반 맥락적 AI 평가(OB-CAIE) 방법론

Ontology-Based Contextual AI Evaluations (OB-CAIE) Methodology

온톨로지 기반 맥락적 AI 평가(OB-CAIE, Ontology-Based Contextual AI Evaluation) 방법론은 불명확한 테스트 범위에서 비롯되는 과학적 엄밀성 부족 문제를 해결하고, 인간의 전문성과 자동화 간의 균형을 맞추며, AI 평가 테스트 환경의 재현성 부족 문제를 해결하기 위해 개발되었습니다. OB-CAIE는 무엇을 테스트할지 명확하게 정의함으로써 과학적 방법의 첫 단계를 다루어 현재의 AI 평가 상태를 강화합니다. OB-CAIE 방법론에서는 두 가지 온톨로지가 다루기 쉬운 문제 공간(tractable problem space)을 표현합니다. 바로 도메인 특화 온톨로지(DSO, Domain-Specific Ontology)와 평가 프로세스 온톨로지(EPO, Evaluation Process Ontology)입니다. DSO는 '무엇(what)'에 해당하며, EPO는 '어떻게(how)'에 해당합니다. 하나의 OB-CAIE 문제 공간은 단일 또는 다수의 AI 평가에 사용될 수 있습니다. OB-CAIE 방법론은 인간의 피드백이 진정으로 축약될 수 없거나 기계로 대체 불가능한 복잡한 주제 영역에서, 과학적으로 근거 있는 방식으로 특정 시점에 인간의 판단을 개입시킬 수 있도록 합니다. OB-CAIE 방법론의 주요 장점은 표준적인 OB-CAIE 방법론 문제 공간 내에서 실패 지점을 추적, 시각화 및 분석할 수 있다는 점입니다.

arXiv:2609.27787v1cs.AI

어느 것인지 묻고, 얼마나 좋은지는 묻지 말 것: LLM 채점 벤치마크의 표본 크기

Ask Which, Not How Good: Sizing Benchmarks Scored by an LLM

LLM 심사자(judge)가 채점하는 벤치마크는 흔히 0.1점 차이를 가리지만, 그 벤치마크의 분辨력(resolution)은 측정된 적이 없다. 기존 표본 복잡도(sample-complexity) 연구는 정확도 벤치마크를 다루며, 심사 기반 경우는 열어 두었다. 측정 대상을 시스템으로 두고, 일반화가능성 이론(generalizability theory)을 사용해 373,019건의 판정을 시스템, 문항(item), 심사자, 상호작용 성분으로 분해한다. 핵심 결과는 구조적이다: 단일 심사자 하에서 일반화가능성은 문항 수와 관계없이 σ²_s/(σ²_s+σ²_sj)에 점근하며, 이는 시스템×심사자 항에 n_i가 없기 때문이다. 문항은 포화(saturate)하지만 심사자는 그렇지 않다. 목표가 그 상한에 가까워질수록 목표 달성에 필요한 문항 비용은 발산한다. 그 상한은 LLM 심사가 아니라 점수制 루브릭 채점(pointwise rubric scoring)의 속성이다. 양쪽 제시 순서 모두에서 쌍wise 선호(pairwise preference)로 실행하면 σ²_sj는 σ²_s보다 두 자릿수 작아지고 상한은 0.986으로 올라가며(bootstrap [0.934, 1.000], 11개 시스템), 따라서 심사자 한 명으로 충분하다. 쌍wise 방식은 다른 문제를 산다: 먼저 제시된 시스템이 동일 시스템이 나중에 제시될 때보다 8.6 percentage points 더 자주 승리하며, 이 바이어스는 우리가 수집한 53개 공개 win-rate 비교에서 주장된 중앙 개선의 1.23배이다. 프로토콜 설계가 패널 크기를 지배한다. 측정된 바닥(floor)은 기본 문항 수에서 0–5 척도상 0.41–1.24점이며, 보고된 중앙 개선 0.28점과 대비된다; 정확히 대응 비교가 가능할 만큼 자주 반복되는 유일한 벤치마크에서, 수집한 17개 MT-Bench 개선은 모두 MT-Bench 자체 바닥 아래이고, win-rate 주장의 70%는 쌍wise 바닥 아래이다. 628편의 arXiv 논문 감사(두 독립 모델의 이중 코딩, 블라인드 인간 코딩 대비 검증 kappa=0.73) 결과, 4편 중 1편 미만만 평가를 한 번 이상 실행했는지 명시하며, 46–67%만 어떤 형태로든 불확실성을 보고한다.

arXiv:2607.07769v1cs.LG

심층 강화학습 평가 및 설계 패러다임의 원칙적 분석

Principled Analysis of Deep Reinforcement Learning Evaluation and Design Paradigms

심층 강화학습(deep RL)의 표준 평가·설계 패러다임이 데이터 희소 구간과 점근적 구간 간 성능 순위가 단조롭다는 암묵적 가정에 의존함을 이론적·실험적으로 밝히며, Arcade Learning Environment 100K 벤치마크 기반 연구들이 이 가정으로 인해 체계적 편향과 잘못된 결론에 도달했음을 대규모 실험으로 입증한다.