PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.09843v4cs.HC

LLM 네이티브 심리측정 도구로 밝혀낸 25개 모델의 자기보고와 행동 간 괴리

An LLM-Native Psychometric Instrument Reveals a Self-Report--Behavior Gap Across 25 Models

대규모 언어 모델(LLM)의 자기보고 설문 응답은 실제 행동 방식을 예측할 수 있을까요? 선행 연구에서는 그렇지 않다고 보았으나, 이는 인간 성격 검사를 차용한 것이어서 이러한 괴리가 LLM 자기보고 자체보다는 인간용 구성개념을 빌려 쓴 데서 비롯되었을 가능성이 있습니다. 본 연구에서는 상향식(bottom-up)으로 구조를 도출하고 LLM 고유의 행동(예: 과도한 거부, 요청되지 않은 면책 조항)으로 구축된 자기보고 도구를 통해 이를 검증합니다. 17개 개발사의 25개 LLM에 300개 문항을 30회 실시한 결과, 재현 가능하고 신뢰할 수 있는 5개 요인(Tucker $φ\geq .957$, $α\geq .930$)을 도출했습니다. 이후 이러한 자기보고 결과를 151명의 인간 평가자와 LLM 판사 앙상블이 평가한 2,500개의 개방형 행동 샘플과 비교했습니다. 인간과 LLM 판사는 모델 행동에 대해 일치된 평가를 보였으나($\bar{r} = .51$), 자기보고는 인간의 평가($\bar{r} = .09$, 95% CI $[-.07, .18]$)나 평가자 무관 텍스트 측정값을 거의 따라가지 못했으며, 준거 비신뢰도를 보정하더라도 5개 요인 중 4개는 0에 가까웠습니다. 장황성(Verbosity)만이 부분적인 예외였습니다($r = .40$, 신뢰도 상한의 71%). 응답성(Responsiveness)의 경우, 자기보고는 인간보다 LLM 판사를 더 잘 따랐으며($r = .53$ 대 $.18$; Steiger $p = .04$), 길이와 형식을 통제하더라도 이러한 경향은 사라지지 않았습니다. 즉, LLM 판사와 LLM 자기보고 간의 일치는 둘 중 어느 쪽이 인간의 판단을 추적하고 있는지에 대한 증거로는 빈약합니다.

arXiv:2605.24661v4cs.AI

대규모 언어 모델의 추론 품질 측정: 다차원 행동 기반 프레임워크

Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework

대규모 언어 모델(LLM)의 추론 품질을 최종 답변 정확도 하나로만 평가하는 한계를 극복하고자, 인지과학에 기반한 정확성(CQ), 일관성(CS), 강건성(RS), 국소 논리적 일관성(LS), 효율성(ES), 안정성(SS) 등 6가지 차원의 통합 행동 평가 프레임워크를 제안한다. 7개 LLM과 4개 벤치마크 실험에서 단일 지표 평가로는 드러나지 않는 배포 맥락별 모델 순위 역전 현상과 차원 간 독립성을 실증적으로 확인하였다.

arXiv:2607.00368v1cs.CL

Beyond Perplexity: A Behavioral Evaluation Framework for Deployment-Memory Claims in LLM Test-Time Training

테스트 타임 트레이닝(TTT) 연구가 퍼플렉서티(perplexity) 등 로컬 프록시 지표로 평가되지만, 이는 배포된 어시스턴트의 메모리·개인화·사후학습 주장을 뒷받침하기에 불충분하다는 문제를 지적하며, 주장 수준에 따라 증거를 계층화하는 행동 평가 프레임워크를 제안한다. Qwen3/LoRA 진단 실험에서 프록시 손실 감소와 정답 NLL 개선이 나타나더라도 자유 형식 재현(free-form recall)은 0을 기록해 프록시 지표와 실제 배포 행동 간의 측정 가능한 격차를 실증했다.