PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09665v1cs.AI

형식 민감도 지수: LLM 벤치마킹에서 토큰 제어 기반 프롬프트 래퍼 강건성과 스키마 준수

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

프롬프트 래퍼는 형식만 다른 경우에도 모델 점수를 충분히 변화시켜 리더보드 결론을 뒤집을 수 있다. 본 연구는 토큰 제어 프로토콜 하에서 이 분산을 분석하고, 두 가지 보완적 지표를 제안한다: 래퍼 선택에 의해 유발되는 정확도 범위인 형식 민감도 지수(FSI)와, 이에 대응하는 정답 파싱 가능성 범위인 파싱 가능성 민감도 지수(PSI)이다. 7개의 QA 태스크, 5개의 래퍼 패밀리, 7B에서 72B 파라미터에 이르는 4개의 인스트럭션 튜닝 모델에 걸쳐 생성된 140,000건의 OpenRouter 출력을 분석한 결과, 평균 FSI는 모델 간 30배 이상 차이를 보이며, 이는 대부분 준수 실패(compliance failures)로 설명된다. 고정 효과 회귀 분석을 통해, 태스크·모델·래퍼를 통제한 이후에도 파싱 가능성이 정확도의 강력한 예측 변수임을 확인한다. 본 연구는 래퍼 분산 및 준수 여부 없이 정확도만 보고하는 것은 통계적으로 취약하다고 주장하며, 벤치마킹 및 구조화된 출력 배포 모두에 대한 실용적 권고안을 제시한다.

arXiv:2604.22027v2cs.CL

Shared Lexical Task Representations Explain Behavioral Variability In LLMs

대규모 언어 모델(LLM)의 프롬프트 민감성을 설명하기 위해, 어텐션 헤드의 출력을 어휘 공간에 투영했을 때 태스크 자체를 어휘적으로 기술하는 특수한 헤드(lexical task heads)를 발견하였다. 이 헤드들은 인스트럭션 기반 및 퓨샷 예시 기반 프롬프트 방식에 걸쳐 공유되며, 이 헤드의 활성화 강도 차이가 프롬프트 간 성능 변동을 설명하고 실패 사례는 경쟁 태스크 표현이 목표 신호를 희석시키는 것에 기인함을 인과 실험으로 입증하였다.