PyTorchKR Papers

최신 논문

총 35편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13375v1cs.CL

구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선

From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics

루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.

arXiv:2610.11069v1cs.CL

임상의의 언어 모델 활용 방식과 모델 평가 방식 간의 괴리

Clinician use of language models diverges from how the models are evaluated

대규모 언어 모델(LLM) 어시스턴트가 여러 의료 시스템 전반에서 임상의들에게 배포되고 있으며, 이러한 모델의 준비도에 대한 판단은 대부분 시험 문제나 선별된 사례에서 도출된 벤치마크 점수에 크게 의존하고 있습니다. 벤치마크는 그 평가 항목이 실제 사용 환경과 유사한 수준에서만 배포 시의 성능을 예측할 수 있지만, 벤치마크가 이들 시스템이 실제로 처리하는 업무를 얼마나 잘 반영하는지는 거의 측정된 바 없습니다. 본 연구에서는 8개월간의 배포 과정 동안 35개 전문 분야의 의사, 상급 실무 제공자, 간호사 등 6,342명이 기관용 어시스턴트에 전송한 127,833개의 쿼리를 분석합니다. 임상 질의 및 LLM 평가 분류 체계에 기반하고 임상의의 검증을 거친 프레임워크인 RCQ-Map을 통해 각 쿼리를 특성화하여 태스크, 의도, 답변 가능성, 누락된 정보, 잠재적 위해성을 기록합니다. 문서화 및 행정 업무(36.2%)와 지식 검색(28.9%)이 전체 사용의 3분의 2 가까이를 차지한 반면, 진단은 3.7%에 불과했으며, 쿼리의 3분의 1 이상은 제시된 형태 그대로는 적절한 답변이 불가능했습니다. 주요 평가 스위트와 프론티어 모델 보고서에서 추출하여 Clinical AI Benchmark Atlas로 구성한 58개의 공개 벤치마크에 RCQ-Map을 적용한 결과, 중간값 기준 벤치마크에는 문서화 요청이 전혀 포함되어 있지 않았으며, 실제 사용의 태스크 구성과 일치하는 비율은 태스크 카테고리 전반에 균등하게 분산되었을 때보다도 낮은 31%에 그쳤습니다. 임상 진료 환경을 반영하도록 설계된 스위트에 포함된 벤치마크들도 개별적으로 볼 때 프론티어 모델 보고서에 사용된 벤치마크보다 실제 사용에 더 가깝지 않았습니다. 따라서 벤치마크 점수는 임상 AI가 실제로 부여받는 대부분의 업무에서 어떻게 동작하는지에 대해 거의 알려주지 못하며, 평가는 실제 임상적 활용에 부합하도록 이루어져야 합니다.

arXiv:2610.10633v1cs.SE

소프트웨어 공학 체계적 문헌고찰에서 LLM의 스크리닝 성능은 정체되었는가?

Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?

체계적 문헌고찰(SR)에서의 스크리닝(선별) 작업은 수작업으로 이루어지며 많은 시간이 소요됩니다. 이전 연구들에서는 이 단계를 자동화하기 위해 대규모 언어 모델(LLM)을 활용하는 방안을 탐색했으나, LLM이 빠르게 발전하고 있어 초기 성능에 대한 주장이 현재의 스크리닝 성능을 더 이상 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 기존의 소프트웨어 공학 SR 스크리닝 벤치마크(SESR-Eval)를 데이터로 사용했습니다. 또한 더 낮은 비용으로 평가를 수행할 수 있도록 검정력 표본추출(power-sampled)을 적용한 더 작은 신규 데이터셋(SESR-Eval-Mini)을 구축했습니다. 이 데이터를 활용해 8개의 최신 LLM을 대상으로 스크리닝 성능을 평가했습니다. 아울러 다양한 프롬프트를 테스트하고, 스크리닝 결정 및 기준에 대한 LLM 간 일치도를 분석했으며, 포함 및 제외 기준의 세분화가 스크리닝 성능에 미치는 영향을 조사했습니다. 8개의 최신 LLM은 기존 7개 모델에 비해 미미하게 향상된 성능을 보였습니다(2차 연구 전반의 평균 MCC는 0.347에서 0.365로 상승). 2차 연구 간의 성능 차이는 여전히 LLM 간의 차이보다 컸습니다. 개별 기준 수준의 결정으로부터 전반적인 스크리닝 결정을 도출하는 방식은 스크리닝 성능을 아주 약간만 저하시켰습니다. LLM들은 해당하는 스크리닝 결정에서 전반적으로 서로 높은 일치도를 보였으나(평균 Gwet의 AC1 = 0.830), 특정 포함 및 제외 기준에서는 상대적으로 더 큰 불일치를 나타냈습니다. 포함 및 제외 기준을 구체화하자 재현율(recall)이 소폭 향상되고 일부 LLM의 결정이 더 용이해졌지만, 기준 세분화의 전반적인 영향은 크지 않았습니다. LLM은 아직 논문 스크리닝에서 인간을 대체할 준비가 되지 않았으며, 더 많은 비용이 드는 최신 모델이 가져다주는 이점 또한 매우 제한적인 것으로 보입니다. 에이전트 기반 접근법, 프롬프트 엔지니어링, 그리고 추가적인 기준 세분화가 잠재적인 세 가지 향후 연구 방향입니다.

arXiv:2610.10622v1cs.GR

WorldBench: Three.js 복셀 월드 생성에서의 대규모 언어 모델(LLM) 평가

WorldBench: Evaluating LLMs on Three.js Voxel World Generation

대규모 언어 모델(LLM)은 이제 완전하고 상호작용 가능한 3D 월드를 코드로 작성할 수 있지만, 이러한 월드를 자동으로 채점하는 것은 신뢰하기 어렵습니다. 기존의 평가자들은 출력물에 대해 단일 관점만 취합니다. 즉, 비전-언어(vision-language) 모델이 렌더링된 몇 개의 스냅샷을 점수 매기거나, 언어 모델이 소스 코드를 읽는 방식입니다. 5개의 프론티어 모델이 작성한 월드를 대상으로 분석한 결과, 두 관점은 요구된 항목의 32%에서 의견이 일치하지 않았으며(대부분 어떤 프레임에도 표시되지 않는 코드 때문임), 고정된 시점은 크기가 작은 근접 콘텐츠를 놓친다는 점을 발견했습니다. 본 논문에서는 LLM이 생성한 개방형 Three.js 월드를 위한 벤치마크이자 평가자인 WorldBench를 제시합니다. 10개의 바이옴, 물리 엔진, 낮/밤 및 계절 주기를 갖춘 떠 있는 복셀 섬을 설명하는 단 하나의 프롬프트로부터, 평가자는 실행 중인 월드를 탐색하여 시계를 제어하고, 주위를 공전하며, 네비게이터 에이전트를 파견해 각 바이옴을 화면에 담고, 보이는 내용에 대해 코드를 읽어 들입니다. 두 채널 중 어느 것도 단독으로는 신뢰하지 않습니다. 코드 인용은 소스에 실제로 포함된 텍스트인 경우에만 인정되며, 시각적 주장은 해당 속성이 측정 가능한 경우 측정된 픽셀을 기준으로 교차 검증됩니다. 의도적으로 기능을 제거하는 변이 테스트(mutation test) 결과, 코드 전용 평가는 코드가 파일에 남아 있다는 이유로 제거된 5개 기능 중 4개에 만점을 부여하는 것으로 나타났습니다. 저희 평가자는 제거된 기능에 부여되던 점수를 3분의 1가량 삭감하며(7.11점 중 5.44점에서 3.55점), 여전히 인정되는 부분은 대부분 존재하지만 전혀 실행되지 않는 코드 때문입니다. 저희는 5개의 프론티어 모델(Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7, Gemini 3.1 Pro)을 평가합니다. 코드, 프롬프트, 테스트 및 평가자 설정은 https://github.com/KrishBakshi/worldbench 에서 확인할 수 있습니다.

arXiv:2605.30018v3cs.CL

대규모 언어 모델의 잠재 성능 프로파일링

Latent Performance Profiling of Large Language Models

대규모 언어 모델(LLM)은 표준화된 벤치마크에서 종종 인상적인 점수를 기록하지만, 정확도만으로는 모델의 능력을 온전히 파악하기 어렵다. 리더보드에서 오픈소스 LLM을 평가하는 방식은 데이터 오염, 협소한 태스크 범위, 실제 환경의 신뢰성과의 낮은 정렬(alignment) 같은 고질적인 문제에 직면해 있다. MMLU-Pro, BBH, IFEval과 같은 벤치마크 기반 평가는 고정된 테스트 세트에서 모델이 무엇을 출력하는지를 주로 포착할 뿐, 모델이 정보를 어떻게 처리하고 불확실성을 어떻게 보정(calibrate)하며 내부 지식을 어떻게 구조화하는지는 보여주지 못한다. 본 논문에서는 벤치마크 중심 평가에서 벗어나 이를 보완하는 LLM의 '상태 중심 내재적 평가(state-centered intrinsic assessment)'로의 전환을 제안한다. 이를 위해 은닉 활성화(hidden activations)와 출력 분포로부터 태스크에 구애받지 않는 진단을 도출하는 프레임워크인 잠재 성능 프로파일링(Latent Performance Profiling, LPP)을 소개한다. LPP는 모델의 잠재 표현(latent representation)과 동역학에 대한 일련의 스칼라 지표를 정의하여, 해석 가능한 비교를 가능하게 하고 숨겨진 취약점을 드러내는 특성을 규명한다. 정적인 정확도 점수와 달리 LPP는 비슷한 크기의 모델 전반에서 안정적이고 아키텍처에 민감한 시그니처를 제공한다. 0.5B부터 14B 크기에 이르는 8개 LLM을 대상으로 한 광범위한 실증 분석을 통해, 벤치마크 점수가 유사한 모델이라도 엔트로피나 압축률의 차이와 같이 대조적인 잠재 프로파일을 보일 수 있음을 입증한다. 이러한 통찰을 바탕으로, 리더보드 바이어스와 분리되면서도 내재적 지표와 정렬되는 불확실성 및 기호 추론용 합성 프로브(synthetic probe)를 설계한다. 모델 행동에 대한 더 깊고 해석 가능한 이해를 제공하여 표면적인 정확도를 넘어 더욱 신뢰할 수 있는 모델 선택, 안전성 평가 및 다각적 평가를 가능하게 하도록 벤치마크와 함께 LPP를 보고할 것을 권장한다.

arXiv:2603.11413v4cs.HC

소비자용 헬스케어 AI 평가에서 측정된 중증도 분류 실패의 원인은 모델 역량이 아닌 평가 형식이다

Evaluation format, not model capability, drives measured triage failure in the assessment of consumer health AI

최근 한 Nature Medicine 연구는 ChatGPT Health가 응급 상황의 51.6%를 과소분류(under-triage)한다고 보고하며, 소비자 대면 AI의 중증도 분류(triage)가 안전성(safety) 위험을 초래한다고 결론지었다. 그러나 해당 프로토콜은 소비자가 건강 챗봇을 사용하는 방식과 달리 시험 스타일의 스캐폴드(강제 A/B/C/D 출력, 지식 억제, 추가 질문 없음)였다. 본 연구에서는 주요 오류율이 모델의 고유 특성인지 혹은 측정 방식의 특성인지 질문을 던진다. 첫 번째 기전 연구에서 17개 시나리오 뱅크를 대상으로 5개의 프론티어 대규모 언어 모델(LLM)을 평가한 결과, 제약된 스캐폴드 조건보다 자연스러운 환자 스타일 메시지 조건에서 6.4점 더 높은 점수를 기록했으며(p=0.015), 특정 시나리오에서는 3개 모델이 강제 선택 시 0~24%에서 자유 텍스트 작성 시 100%로 상승했다. 두 번째 충실한 재현 연구에서는 임상의의 재작성 검증과 LLM 판정자에 대한 맹검 임상의 감사를 거쳐, 저자들이 공개한 60개 시나리오를 4가지 일치된 형식으로 6개 프론티어 모델에 실행했다. 여기서는 방향이 반전되어 자유 텍스트 재작성은 정확한 구조화 프롬프트보다 약간 낮은 점수를 기록했고(78.7% 대 81.8%, p=0.020), 답변 스캐폴드만 제거한 경우는 거의 변화가 없었으며(80.6% 대 81.4%, p=0.81), 강제 범주형 답변을 요구하는 자연스러운 입력 방식은 정확한 프롬프트(84.4%, p=0.023)와 자유 텍스트(p=0.0001)를 모두 능가했다. 원래 응급 분류율을 정의한 4개 시나리오에서 과소분류율은 정확한 스캐폴드에서 17%, 자유 텍스트에서 50%, 동일한 메시지에 강제 문자 답변을 요구했을 때 21%였다. 자유 텍스트 '과소분류' 사례는 모두 D가 아닌 C로 채점된 당일 진료 권고였으며, 60%는 환자에게 확인하도록 요청한 정보에 따라 상급 병원 이송을 조건부로 제시하는 행동을 보였으나 단일 턴(single-turn) 벤치마크에서는 이를 채점할 수 없다. 따라서 주요 오류율은 대체로 출력 형식 및 산문형 응답을 4점 척도에 매핑하는 과정에서 비롯된 특성이다. 벤치마크 스캐폴드는 행동적으로 개입하는 도구이며, 안전성 주장은 입력 문구, 출력 형식 및 판정 방식에 대한 민감도를 함께 보고해야 한다.

arXiv:2606.22826v2cs.AI

MINCE: 소수 모델 몬테카를로 캘리브레이션을 통한 LLM 평가 데이터셋 축소

MINCE: Shrinking LLM Evaluation Datasets via Few-Model Monte Carlo Calibration

양자화(quantization), 파인튜닝(fine-tuning), 또는 배포 환경에 맞춘 모델 등 다양한 모델 변형 전반에서 대규모 언어 모델(LLM)을 평가(evaluation)하려면 대규모 벤치마크(benchmark)를 반복적으로 실행해야 하며, 이는 NPU와 같은 에지 하드웨어에서 모델당 수십 시간이 걸릴 수 있는 과정입니다. 기존의 서브셋 선택 방법들은 이러한 비용을 줄여주지만 대규모 캘리브레이션 풀이나 학습된 예측 층(layer)에 의존합니다. 본 논문에서는 소수의 캘리브레이션 모델에서 얻은 항목별 로그를 바탕으로 몬테카를로 시뮬레이션을 사용하여 정확도 드리프트(accuracy drift)를 제한하는 최소 서브셋 크기를 찾은 뒤, 별도의 예측 층 없이 해당 크기로 무작위 샘플링된 서브셋을 고정하는 MINCE(Monte Carlo Informed N-sizing for Compact Evaluation)를 소개합니다. MINCE는 BF16 캘리브레이션 모델에서 최대 드리프트 $\leq$2.62\,pp 수준을 유지하며 IFEVAL을 54\%, MMLU를 89\%, GSM8K를 70\%, MMLU-Pro를 88\% 축소합니다. 이렇게 고정된 서브셋은 평가에서 제외되었던(held-out) GPU 모델에 대해 평균 드리프트 $\leq$1.40\,pp, INT4 NPU 모델에 대해 평균 드리프트 0.77--3.59\,pp로 일반화되는 동시에, GPU 모델에서는 최대 8.1$\times$, NPU 모델에서는 1.7--3.4$\times$의 평가 속도 향상을 제공합니다. 이 방법은 캘리브레이션 풀 크기 변화에 강건(robust)하며, tinyBenchmarks 대비 42$\times$ 더 적은 캘리브레이션 모델을 사용하면서도 더 낮은 드리프트(MMLU에서 12$\times$ 더 낮음, GSM8K에서 3.3$\times$ 더 낮음)를 달성합니다.

arXiv:2603.00059v4cs.CY

확률적 앵무새인가 조화로운 합창인가? 합성 데이터를 통한 인간 설문 조사 재현 능력에 대한 5개 주요 대규모 언어 모델(LLM) 테스트

Stochastic Parrots or Singing in Harmony? Testing Five Leading LLMs for their Ability to Replicate a Human Survey with Synthetic Data

인공지능(AI) 기반 합성 연구 데이터는 인간 참여자의 응답을 얼마나 잘 재현할 수 있을까? 최근 문헌들은 조직 연구 관행에 중대한 시사점을 던지는 이 질문을 다루기 시작했다. 본 논문은 실리콘밸리 코더 및 개발자 420명을 대상으로 한 인간 응답자 설문 조사와 실제 설문 응답자를 시뮬레이션하도록 설계된 5개 주요 생성형 AI 대규모 언어 모델(LLM)(ChatGPT Thinking 5 Pro, Claude Sonnet 4.5 Pro plus Claude CoWork 1.123, Gemini Advanced 2.5 Pro, Incredible 1.0, DeepSeek 3.2)이 생성한 합성 설문 데이터를 비교 제시한다. 연구 결과, AI 에이전트(agent)는 예상보다 재현성과 조화에 치우친 기술적으로 그럴듯한 결과를 생성했으나, 그 어떤 모델도 인간 대상 설문 조사를 가치 있게 만들었던 직관에 반하는 통찰을 포착하지 못했다. 더욱이 모든 모델의 편차는 서로 유사하게 군집화되어 실제 데이터가 이상치(outlier)로 남게 되었다. 본 연구의 핵심 발견은 주요 LLM이 연구에서 인간의 설문 응답을 확장, 재현 및 대체하는 데 점점 더 많이 사용되고 있지만, 이러한 발전은 새로운 발견을 드러내기보다는 서로 조화를 이루며 통념을 흉내 내는(parrot) 능력이 증가했음을 보여줄 뿐이라는 점이다. 향후 연구에서 합성 응답자를 활용하려면 합성 설문 데이터를 책임감 있게 사용할 수 있는 시기와 장소에 대해 재현 가능한 검증 프로토콜과 보고 표준이 더 많이 필요하며, 본 논문이 이러한 공백을 메운다. 본 연구 결과는 합성 설문 응답이 특히 이전에 문서화된 증거가 부족한 맥락에서 조직 내 실제 인간의 사회적 신념을 유의미하게 모델링할 수 없음을 시사한다. 결론적으로 우리는 합성 설문 기반 연구가 엄밀한 설문 조사 방법론의 대체재가 아니라, 연구 대상 집단에 대한 사회적 가정, 통념 및 기타 기대치를 식별하기 위한 현장 조사 전후의 신뢰할 수 있는 도구로 자리매김해야 한다고 제언한다.

arXiv:2609.26489v1cs.CL

LLM 평가에서 일급 기준으로서의 캘리브레이션

Calibration as a First-Class Criterion in LLM Evaluation

언어 모델의 캘리브레이션(calibration, 표현되거나 내재된 확신도와 실증적 정확도 간의 일치)은 자연어 처리(NLP) 분야 내에서 잘 연구되어 온 하위 분야입니다. 이를 측정하는 방법은 이미 존재합니다. 문제는 도입(adoption)에 있습니다. 이 하위 분야를 벗어난 NLP 연구에서는 모델의 확신도 점수가 유의미한지 확인하지 않은 채 정기적으로 새로운 모델, 데이터셋, 벤치마크를 도입하고 있습니다. 우리는 이러한 도입 격차가 신뢰할 수 있는 대규모 언어 모델(LLM) 평가의 주된 장애물이라고 주장합니다. 잘못된 캘리브레이션(miscalibration)은 두 가지 뚜렷한 영역에서 문제를 일으킵니다. 첫째는 과도하게 확신하는 실수가 실제 피해를 초래하는 배포 단계이며, 둘째는 LLM-as-a-judge, 합성 데이터 생성, 능동 학습(active learning)과 같은 방법들이 이를 검증하지 않은 채 캘리브레이션된 확신도에 의존하는 연구 파이프라인 내부입니다. 표준 캘리브레이션 지표는 예제당 확신도 점수와 정확도 판단이라는 두 가지 입력만을 필요로 합니다. 오늘날 널리 사용되는 대부분의 벤치마크는 이미 이 둘을 모두 제공하므로, 캘리브레이션을 즉시 보고할 수 있습니다. 그러나 개방형 생성(open-ended generation)의 경우, 이 두 입력을 정의하는 것은 여전히 미해결 과제입니다. 우리는 각 NLP 하위 분야가 주요 성능 지표와 캘리브레이션 점수를 결합해야 한다고 주장하며, 캘리브레이션을 지엽적인 주제가 아닌 모든 모델의 필수적인 속성으로 다룰 것을 촉구합니다.

arXiv:2606.28335v3cs.CY

LLM-이데오플라스티시티: 컨텍스트 조건부 분포로서 LLM의 정치적 행동에서 이념적 가소성 측정

LLM-Ideoplasticity: Measuring Ideological Plasticity in the Political Behavior of LLMs as a Context-Conditioned Distribution

우리는 체계적인 실증적 증거를 통해, 대규모 언어 모델(LLM)의 정치적 이념이 고정된 점이 아니라 실제 정치 공간에서의 조건부 분포 $\mathbb{P}(\text{position}\mid\text{context})$임을 주장한다. VAA-CHES 투영 모델에 기반한 통합 측정 프레임워크를 사용하여 현재 LLM 9개를 평가하였으며, 이 프레임워크는 6개의 맥락 축에 걸쳐 검증된 세 가지 차원(lrgen, lrecon, galtan)으로 응답을 매핑한다. 우리의 연구 결과는 맥락에 대한 높은 민감성을 드러낸다: 설득적 프레이밍과 저빈도 언어는 각각 최대 0.57 및 0.52단위의 좌표 변위를 유발하며, 사고의 연쇄(chain-of-thought) 추론은 패러프레이즈 불안정성을 감쇠시키기보다 오히려 증폭시키는 경우가 많다. 이러한 국소적 가소성에도 불구하고, 모델 집단은 전체적으로 매우 좁은 오버턴 범위를 차지하며, 이는 주요 유럽 정당들의 분포 범위 중 약 3분의 1에 해당한다. 다특성 다방법(MTMM) 분석을 기반으로, 단일 점으로는 LLM의 정치적 행동을 요약할 수 없으며 형태로 특성화되어야 함을 결론짓는다. 코드와 데이터는 https://github.com/sakhadib/LLM-Ideoplasticity에서 공개적으로 이용 가능하다.

arXiv:2607.14480v3cs.CL

LLM 평가자는 언어 간 바이어스를 보인다

Lower-Resource, Higher Scores: Language Bias in LLM Evaluators

LLM 평가자(학습된 보상 모델 및 프롬프트 기반 LLM-as-a-Judge)는 일반적으로 쌍별 정확도(pairwise accuracy)를 통해 검증된다. 다국어 환경에서는 높은 쌍별 정확도가 신뢰할 수 있고 언어 중립적인 채점을 의미한다는 전제 하에 작동한다. 우리는 이 가정이 성립하지 않음을 보인다. 23개 언어에 걸쳐 의미적으로 동일한 지시-응답 쌍으로 실험을 수행한 결과, 다국어 평가자가 평가 언어에 따라 현저히 다른 점수를 부여함을 발견했다. 바이어스는 통계적으로 유의하며, 서로 다른 아키텍처와 학습 패러다임을 가진 8개의 오픈 가중치 평가자 전반에서 일관되며, 최첨단 judge에서도 지속되고, 언어 자원 수준과 강한 상관관계를 보인다: 저자원 언어가 더 관대하게 채점된다. 한편 이러한 바이어스는 쌍별 정확도로는 드러나지 않는다. 평가자는 90% 이상의 쌍별 정확도를 달성하지만, 전역 결정 임계값 하에서 언어 간 수용률에 최대 43%의 차이가 있으며, 이는 예를 들어 저자원 언어의 유해 콘텐츠가 안전성 필터를 통과할 가능성이 더 높다는 것을 의미한다. 언어별 임계값은 언어 식별을 필요로 하며, 이는 코드 스위칭(code-switched) 프롬프트로 우회될 수 있다. 그다음 저자원 언어가 더 낮은 점수가 아니라 더 높은 점수를 받는 이유를 조사했으며, 모델 불확실성이 이 효과와 연관됨을 발견했다. 모델은 음의 로그-가능도(negative log-likelihood)와 토큰-자유(token-free) 불확실성 측정 모두에서 덜 확신할 때 더 높은 점수를 부여하는 경향이 있다. 그러나 불확실성을 통제한 후에도 언어 정체성은 여전히 유의미한 예측 변수로 남으며, 바이어스는 콘텐츠 난이도만으로는 설명되지 않고 구조적, 언어 수준의 정렬(alignment) 오류이다.

arXiv:2607.21340v2cs.CL

자본시장 LLM 신뢰성 점수(CM-LRS): 그럴듯함에서 실무 수용 가능성까지

Capital Markets LLM Reliability Score (CM-LRS): From Plausible to Bankable

자본시장 워크플로에서 핵심 질문은 대규모 언어 모델(LLM)이 유창한 초안을 만들 수 있는지가 아니라, 그 초안이 bankable한지—상대방이나 규제 당국 앞에서 손에 든 문서와 함께 방어할 수 있는지—입니다. 기존 방법들은 그 격차의 일부만 다룹니다. 개방형 QA 벤치마크는 표면적 정확도에 보상을 부여하고, 금융 벤치마크(FinanceBench, FinQA, ConvFinQA)는 문서 기반 및 수치 QA를 발전시키지만, 실무자들이 방어해야 하는 워크플로 출력물이 아닌 질문-답변 층에서 평가합니다. 우리는 CM-LRS(Capital Markets LLM Reliability Score, 자본시장 LLM 신뢰성 점수)를 도입하여, 사실 정확성, 증거 추적 가능성, 수치 일관성, 워크플로 완전성, 출처 규율, 의사결정 유용성, 검토 가능성/감사 가능성의 7개 차원에서 워크플로 출력 층의 출력물을 평가합니다. 각 차원은 규제 환경의 검토자들이 사용하는 신호에 기반한 루브릭에 따라 0–5점으로 채점되며, 종합 점수는 워크플로에 맞게 조정 가능합니다. 공개 SEC EDGAR 제출 서류, 공개 영국 인수 공시, 가상의 합성 보충 자료를 사용하여 5개 워크플로(DCM 거래 조건 추출, 선례 검색, 발행사 프로파일링, M&A 거래 비교 추론, ECM 거래 조건 추출)에서 CM-LRS를 시연하고, 3개 모델 패밀리에 걸친 4개의 독립 LLM 심사관으로 4개 모델을 채점했습니다. 세 가지 발견. 첫째, 최신 폐쇄형 소스 모델들은 4명 심사관 평균 CM-LRS에서 0.22점 이내로 밀집합니다(Sonnet 4.6 = 4.31, Opus 4.7 = 4.30, GPT-5.5 = 4.09); 4명의 심사관 모두 오픈 가중치 기준선(Llama 3.3 70B = 3.15)을 최하위로 평가합니다. 둘째, 그 격차는 추출(0.84)이 아니라 검색(2.23)과 합성(2.15)에 집중됩니다. 셋째, 의사결정 유용성(Decision Usefulness)은 모든 차원 중 교차 모델 분산이 가장 넓으며(발행사 프로파일링에서 4.0점), 심사관 간 일치도가 최상위입니다(평균 r = 0.52). 그럴듯함은 값싸다. 실무 수용 가능성이 기준이다.

arXiv:2607.22218v1cs.CL

창의성 평가에서 대규모 언어 모델과 인간이 수렴하고 발산하는 이유

Why Large Language Models and Humans Converge and Diverge in Evaluating Creativity

창의성 평가자로서 대규모 언어 모델(LLM)의 사용이 늘어나고 있음에도, 인간 평가와의 정렬(alignment)에 대한 증거는 여전히 엇갈리며, 이는 그들의 판단이 인간의 판단과 언제, 왜 수렴하거나 발산하는지에 대한 질문을 제기한다. 세 가지 연구와 널리 사용되는 6개의 LLM을 대상으로, LLM의 창의성 평가를 뒷받침하는 기준을 식별하고 그 하류적 함의를 조사함으로써 이 공백을 메웠다. 연구 1은 LLM이 일반적으로 인간의 창의성 평가 기준 중 더 좁은 부분집합에 의존함을 보여주었다. 인간 기준과의 수렴은 신규성(novelty) 차원에서 가장 강했고, 반면 사회적·시장·평판 정보를 포착하는 맥락적(contextual) 차원에서 발산이 가장 뚜렷했다. 게다가 각 LLM은 폭에서 상당히 달랐던, 모델 고유의 뚜렷한 기준을 보였다. 이러한 평가 기준의 차이는 실제 창의성 판단에 반영되었다. 연구 2(N = 1,103개 아이디어)는 LLM 평가가 인간 평가와 중간 정도로 상관관계가 있었으며, 더 넓은 기준을 가진 개별 LLM이 인간이 더 창의적이라고 판단한 아이디어와 그렇지 않은 아이디어를 더 잘 구분함을 보여주었다. 연구 3(N = 1,195)는 LLM이 맥락 정보에 덜 민감함을 보여주었다. 이러한 정보는 인간의 창의성 평가를 유의미하게 바꿨지만 LLM 평가는 대체로 변하지 않았다. 종합하면, 본 연구 결과는 LLM-인간 정렬에 대한 엇갈리는 증거를 설명하는 데 도움이 되며, 정렬이 판단이 요구하는 증거와 각 모델이 적용하는 기준에 달려 있음을 보여준다. LLM은 평가가 신규성과 같은 내재적 특성을 강조할 때 인간과 유사할 수 있지만, 판단에 맥락 정보가 필요할 때는 발산할 수 있다. 따라서 LLM 평가자를 선택하는 것은 중대한 결정이다. 서로 다른 기준을 적용하는 모델들은 서로 다른 아이디어를 창의적이라고 인식한다.

arXiv:2607.05554v2cs.CL

프롬프트 강건성은 태스크에 따라 다르다: LLM 평가에서 객관적 질문과 신념형 질문 비교

Prompt Robustness Is Task-Dependent: Comparing Objective and Belief-Style Questions in LLM Evaluation

LLM 평가에서 프롬프트 표현 방식의 변화(paraphrase, 선택지 순서, 형식 등)가 모델 응답에 미치는 영향을 객관적 질문(MMLU, ARC, CulturalBench)과 주관적 가치·의견 질문(Political Compass Test, ValueBench, World Values Survey)을 비교해 분석한 결과, 주관적 질문의 일관성(0.787)이 객관적 질문(0.849)보다 낮았으며, 특히 선택지 순서 변경이 가장 큰 불안정 요인으로 나타났다. 프롬프트 강건성(prompt robustness)은 질문 유형, 프롬프트 변경 방식, 모델 모두에 따라 달라지므로, LLM의 가치관이나 신념을 단일 프롬프트로 측정하는 설문 방식 평가에 주의가 필요하다는 점을 통계적으로 입증했다.

arXiv:2503.19877v3cs.CL

추론 모델을 평가자로 활용한 평가 시점 연산 스케일링

Scaling Evaluation-time Compute with Reasoning Models as Evaluators

언어 모델(LM)의 출력이 점점 더 자연스러워지면서, 그 품질을 평가하기는 그 어느 때보다 어려워지고 있다. 동시에, 테스트 시점 연산(test-time compute) 스케일링을 통해 언어 모델의 "사고" 시간을 늘리는 것은 수학과 코드 같은 영역의 도전적인 문제를 풀기 위한 효과적인 기법임이 입증되어 왔다. 여기서 자연스러운 질문이 제기된다: 테스트 시점 연산에 더 많은 자원을 투입하면 언어 모델의 평가 역량 또한 개선할 수 있는가? 이에 답하기 위해, 우리는 추론 모델—원래 긴 사고의 연쇄(Chain-of-Thought) 추론을 생성하는 언어 모델—을 평가자로 활용하는 방안을 조사한다. 구체적으로, 우리는 (1) 추론 모델을 사용하고, (2) 이러한 모델에 응답 전체(즉, 결과 평가)뿐만 아니라 응답의 각 단계를 개별적으로 평가(즉, 과정 평가)하도록 프롬프트를 주는 방식으로 더 많은 테스트 시점 연산을 활용하는 방법을 검토한다. 실험에서, 평가자의 성능은 더 많은 추론 토큰을 생성할수록 단조적으로 개선되는 것을 확인했으며, 이는 언어 모델 기반 생성에서 관찰된 추세와 유사하다. 또한, 이러한 더 정확한 평가자를 사용해 여러 생성 결과를 재순위화하고, 평가 시점에 더 많은 연산을 투입하는 것이 언어 모델의 문제 해결 역량을 개선하는 데 생성 시점에 더 많은 연산을 사용하는 것만큼 효과적일 수 있음을 보인다.

arXiv:2607.10380v1cs.CL

CAFE: 복합 AI 요인 평가 프레임워크

CAFE: A Compound-AI Factorial Evaluation Framework

우리는 복합 AI 시스템(CAIS) 평가에 실험 설계(design of experiments) 방법론을 도입하는 오픈소스 플랫폼인 CAFE(Compound-AI Factorial Evaluation)를 소개한다. 이러한 시스템은 검색기(retriever), 모델, 프롬프트 등 다양한 교체 가능한 선택지를 노출하지만, 실무자들은 그 중 어떤 요소가 답변 품질에 가장 큰 영향을 미치는지 파악하기 어렵다. CAFE를 사용하면 실무자는 파이프라인의 각 교체 가능한 구성 요소를 요인(factor)으로 등록하여 선택한 요인들에 대한 요인 설계(factorial design)를 구성하고, 생성된 설정들을 실행한 뒤, 설정 가능한 LLM 판정자(judge)와 인간 평가자를 함께 활용해 공통 채점 기준(rubric)으로 답변을 평가할 수 있다. 이 평가 결과를 바탕으로 혼합 효과 모델(mixed-effects model)을 사용하여 답변 품질 분산을 구성 요소 및 구성 요소 간 상호작용에 귀속시키고, 효과 크기(effect size), 유의성, 최적 설정, 비용 및 지연 시간 트레이드오프, 판정자-인간 신뢰도를 보고한다. 기존 도구들이 대부분 좋은 설정을 탐색하거나 출력을 독립적으로 평가하는 데 그치는 반면, CAFE는 어떤 구성 요소가 품질을 주도하는지, 그리고 관찰된 차이가 유의미한지를 함께 설명한다. 우리는 HotpotQA 벤치마크 데이터셋 기반의 검색-증강 생성(RAG) 질의응답(QA) 파이프라인에서 CAFE를 검증하였으며, 이 과정에서 CAFE는 사전에 심어놓은 요인 효과를 복원하고 순열 귀무 분포(permutation null) 하에서도 올바른 보정(calibration)을 유지함을 확인하였다. CAFE는 Python 패키지 및 웹 애플리케이션으로 공개된다.

arXiv:2607.11141v1cs.AI

NextFund: 에이전트 기반 포트폴리오 관리를 위한 통합 성과 추적 플랫폼

NextFund: A Unified Performance Tracking Platform for Agentic Portfolio Management

대규모 언어 모델(LLM) 기반 에이전트가 포트폴리오 구성 및 시장 분석에 참여하기 시작하고 있으며, 이 영역에서는 진화하는 정보와 리스크 제약 하에 의사결정의 근거를 제시해야 한다. 그러나 현행 평가 관행은 이러한 환경과 잘 맞지 않는다. 많은 연구들이 정적인 검토에 의존하거나 최종 포트폴리오 수익률만을 보고하는 반면, 그 수익률을 산출한 중간 근거, 애널리스트 판단, 실행 단계는 대부분 불투명한 채로 남아 있다. 우리는 실시간 시장 조건 하에서 금융 에이전트의 행동을 관측 가능하게 만드는 평가 플랫폼 NextFund를 소개한다. 이 플랫폼은 시간 일관성 있는 시장 접근, 조율된 멀티 에이전트 분석, 그리고 관측에서 거래까지 전체 의사결정 경로의 지속적 로깅을 결합한다. 인터랙티브 Trading Arena를 통해 사용자는 여러 시장에 걸쳐 모델을 비교하고, 자산 곡선을 검토하며, 리더보드 결과에서 개별 근거까지 세부적으로 탐색할 수 있다. 우리는 홍콩, 미국, 중국 A주 주식시장을 대상으로 NextFund를 시연하며, 검사 가능한 의사결정 이력이 어떻게 더 공정한 벤치마킹과 실질적인 진단을 가능하게 하는지 보여준다. 데모는 https://paradoox.cn/nextfund/ 에서 확인할 수 있다.

arXiv:2508.11847v4stat.ML

소수의 선호도 데이터 제거만으로 상위 대규모 언어 모델 순위가 바뀔 수 있다

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

Chatbot Arena와 같은 주요 대규모 언어 모델(LLM) 순위 플랫폼이 Bradley–Terry 모델 기반 랭킹 시스템에서 극소량의 선호도 데이터 제거에 얼마나 취약한지를 평가하는 효율적인 방법(AMIP 기반)을 제안하며, 실험 결과 전체 데이터의 단 0.003%만 제거해도 Chatbot Arena 최상위 모델이 바뀔 수 있음을 보였다. 전문 어노테이터를 활용한 MT-bench 기반 순위는 크라우드소싱 방식 대비 현저히 견고하며, 인간 평가와 LLM-as-a-judge 평가 간 체계적인 민감도 차이는 관찰되지 않았다.

arXiv:2607.05638v1cs.SE

EvalLoop: 비즈니스 AI 시스템의 평가 중심 반복 개선을 위한 방법론

EvalLoop: A Methodology for Evaluation-Driven Iterative Improvement of Business AI Systems

EvalLoop는 대규모 언어 모델(LLM) 배포 시 평가를 정적 모델 선택이 아닌 반복적 시스템 개선을 위한 피드백 루프로 재정의하는 방법론으로, 차원별 지표 그룹화, 실패 모드 분류, 구조화된 반복 워크플로의 세 가지 메커니즘으로 구성된다. 영업 인텔리전스 브리핑 생성 사례 연구에서 환각(hallucination) 실패의 69%가 프롬프트 유발 해석 오류임을 진단하여 표적 수정을 통해 최고 모델 성능을 82.6%에서 94.6%로 향상시켰다.

arXiv:2601.18253v2cs.CL

BoRP: 확장 가능하고 인간 정렬된 LLM 평가를 위한 부트스트랩 회귀 프로빙

BoRP: Bootstrapped Regression Probing for Scalable and Human-Aligned LLM Evaluation

사용자 만족도의 정확한 평가는 대화형 AI의 반복적 개발에 있어 매우 중요하다. 그러나 개방형 어시스턴트의 경우, 전통적인 A/B 테스팅은 신뢰할 수 있는 지표가 부족하다: 명시적 피드백은 희소하고, 암묵적 지표는 모호하다. 이러한 간극을 해소하기 위해, 우리는 고충실도 만족도 평가를 위한 확장 가능한 프레임워크인 BoRP(Bootstrapped Regression Probing)를 소개한다. 생성적 접근 방식과 달리, BoRP는 대규모 언어 모델(LLM) 잠재 공간의 기하학적 특성을 활용한다. 이는 루브릭 생성을 자동화하기 위한 편극 지수(polarization-index) 기반 부트스트래핑 메커니즘을 채택하고, 은닉 상태를 연속적 점수로 매핑하기 위해 편최소제곱법(Partial Least Squares, PLS)을 활용한다. 산업용 데이터셋에 대한 실험 결과, BoRP(Qwen3-8B/14B)는 인간 판단과의 정렬 측면에서 생성적 기준선(Qwen3-Max 포함)을 크게 능가하는 것으로 나타났다. 나아가, BoRP는 추론 비용을 수십 배에서 수백 배까지 절감하여, CUPED를 통한 전규모 모니터링과 고민감도 A/B 테스팅을 가능하게 한다.