PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09665v1cs.AI

형식 민감도 지수: LLM 벤치마킹에서 토큰 제어 기반 프롬프트 래퍼 강건성과 스키마 준수

Format Sensitivity Index: Token-Controlled Prompt Wrapper Robustness and Schema Compliance in LLM Benchmarking

프롬프트 래퍼는 형식만 다른 경우에도 모델 점수를 충분히 변화시켜 리더보드 결론을 뒤집을 수 있다. 본 연구는 토큰 제어 프로토콜 하에서 이 분산을 분석하고, 두 가지 보완적 지표를 제안한다: 래퍼 선택에 의해 유발되는 정확도 범위인 형식 민감도 지수(FSI)와, 이에 대응하는 정답 파싱 가능성 범위인 파싱 가능성 민감도 지수(PSI)이다. 7개의 QA 태스크, 5개의 래퍼 패밀리, 7B에서 72B 파라미터에 이르는 4개의 인스트럭션 튜닝 모델에 걸쳐 생성된 140,000건의 OpenRouter 출력을 분석한 결과, 평균 FSI는 모델 간 30배 이상 차이를 보이며, 이는 대부분 준수 실패(compliance failures)로 설명된다. 고정 효과 회귀 분석을 통해, 태스크·모델·래퍼를 통제한 이후에도 파싱 가능성이 정확도의 강력한 예측 변수임을 확인한다. 본 연구는 래퍼 분산 및 준수 여부 없이 정확도만 보고하는 것은 통계적으로 취약하다고 주장하며, 벤치마킹 및 구조화된 출력 배포 모두에 대한 실용적 권고안을 제시한다.

arXiv:2606.11643v1cs.CL

다중 형식 학습을 통한 언어 모델의 형식 간 견고성 향상

Improving Cross-Format Robustness in Language Models with Multi-Format Training

대규모 언어 모델은 종종 답변 형식에 민감합니다: 한 형식에서는 올바르게 해결된 질문이 의미적으로 동등한 다른 형식에서는 실패할 수 있습니다. 이러한 격차를 연구하기 위해, 우리는 형식 간 견고성을 모델이 형식 전반에 걸쳐 동일한 근본적인 질문에 얼마나 일관되게 답변하는지로 정의합니다. 그 후 우리는 무작위 또는 타겟팅된 선택을 사용하여 학습 항목의 일부만을 여러 동등한 형식으로 확장하는 FormatMix와 전체 형식 학습을 비교합니다. GLM4와 Llama-3.1에 걸쳐, 다중 형식 지도는 과제 성능과 형식 간 견고성을 모두 일관되게 향상시키는 반면, 객관식 질문(MCQ) 전용 지도만으로는 거의 이득이 없으며 견고성을 오히려 저하시킬 수도 있습니다. 또한 우리는 학습 세트의 약 30%만을 다중 형식으로 확장해도 전체 형식 학습의 이득 대부분을 회복할 수 있음을 발견했으며, 이 효과는 우리가 연구한 모델 계열과 크기 전반에 걸쳐 나타납니다. 이러한 결과는 추가적인 지도 그 자체보다는 형식의 다양성이 견고성의 핵심 요인임을 시사합니다. 즉, 가벼운 다중 형식 증강은 기본 모델을 변경하지 않고도 LLM이 답변 형식에 덜 민감하게 만드는 실용적인 방법입니다.