PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11436v2cs.AI

멀티모달 포커스의 밀물과 썰물: 근거 기반 VLM 추론을 위한 시각적 릴레이 윈도우 스케줄링

The Ebb and Flow of Multimodal Focus: Scheduling Visual Relay Windows for Grounded VLM Reasoning

비전-언어 모델(VLM)은 멀티모달 추론 벤치마크에서 점차 높은 성능을 보이지만, 시각적 증거가 언어 스택에 진입하면 불안정해지는 경우가 많아 근거 기반 추론이 약화된다. 이러한 취약성을 이해하기 위해, 우리는 메커니즘적 관점에서 VLM의 내부 동역학을 분석하고, 깊이(depth)에 따른 멀티모달 어텐션 포커스의 안정적인 3단계 재분배를 발견하였다: 초기 질문 조건부 구성 단계, 핵심적인 중간 시각 지배적 릴레이 단계, 그리고 후기 답변 형성으로의 복귀 단계. 우리는 중간 단계를 시각적 릴레이 윈도우(Visual Relay Window, VRW)로 정의하고, 이 윈도우의 기하학적 특성이 작업 요구에 따라 달라지며, 근거 기반 생성과 인과적으로 연결되어 있고, 근거 없는 답변과 보다 강력한 추론 궤적을 구별함을 보인다. 이러한 내부 리듬에 기반하여, 우리는 경량화된 학습 모듈을 갖춘 작업 적응형 추론 시간 제어 프레임워크인 TRACE를 제안한다. TRACE는 프리필(prefill) 단계에서 릴레이 할당을 재구성하고, 디코딩 중 핸드오프 이후 조합된 시각적 지원을 보존한다. 4개의 오픈 가중치 VLM 백본과 7개의 벤치마크에 걸쳐, TRACE는 그라운딩 민감 설정에서 평균 4.33점, 최대 6.6점의 큰 성능 향상을 달성하며, 추론 집약적 작업에서도 개선을 보인다. 이러한 결과는 깊이에 따른 멀티모달 포커스를 명시적으로 제어하는 것이 근거 기반 멀티모달 추론을 강화하는 통합적이고 효과적인 메커니즘임을 보여준다.

arXiv:2607.09172v2cs.SE

세부 사항에 대한 어텐션: vLLM 설정 간 에너지, 성능, 정확도 트레이드오프 평가

Attention to Detail: Evaluating Energy, Performance, and Accuracy Trade-offs Across vLLM Configurations

대규모 언어 모델(LLM)은 소프트웨어가 개발되고 유지되는 방식을 재편하고 있다. LLM은 일반적으로 vLLM과 같은 추론 엔진을 통해 프로덕션 환경에 배포되며, 이러한 엔진은 사전학습된 고도로 설정 가능한 모델을 효율적으로 서빙할 수 있다. 기존 연구는 모델 아키텍처와 하드웨어 가속에 초점을 맞춰왔지만, 추론 엔진 설정이 에너지 소비, 성능, 출력 품질에 미치는 영향은 아직 충분히 이해되지 않은 상태이다. 본 논문에서는 세 가지 선택된 vLLM 설정 옵션인 어텐션 커널 유형, 접두 문맥 캐싱(prefix caching), 청크 단위 프리필(chunked prefill)에 대한 대규모 통제 연구를 제시한다. 5개의 오픈 가중치 LLM과 5가지 다양한 추론 태스크에 걸쳐 이러한 설정의 모든 조합을 평가하였으며, 총 9,000회 실행과 93,600건의 측정값을 수집하였다. 에너지 소비, 지연 시간, 정확도를 분석하고, 설정 옵션과 태스크 간의 주효과 및 상호작용 효과를 모두 검토하였다. 결과에 따르면, 연구된 설정 옵션은 에너지와 성능에 유의미한 영향을 미치며, 이는 주로 어텐션 유형과 접두 문맥 캐싱에 의해 주도된다. 반면 청크 단위 프리필은 기본 vLLM 서빙 설정 및 평가된 워크로드 하에서 제한적인 효과를 보인다. 이러한 효과는 모델 및 워크로드에 따라 크게 달라지며, 보편적으로 최적인 설정은 존재하지 않는다. 또한 모델 선택이 전반적인 트레이드오프를 지배하는 반면, 설정 튜닝은 파레토 프런티어를 따라 국소적 개선을 제공함을 보인다. 예상치 못하게도, 추론 옵션이 모델 정확도에도 영향을 미칠 수 있음을 확인하였다.

arXiv:2607.08423v2cs.AI

OmniFood-Bench: 영양소 추론 및 개인화 건강 조언을 위한 VLM 평가

OmniFood-Bench: Evaluating VLMs for Nutrient Reasoning and Personalized Health Advice

OmniFood-Bench는 음식 이미지에서 영양소 추론과 개인화 건강 조언까지 비전-언어 모델(VLM)을 평가하는 종합 벤치마크로, 기초 지각·정량적 추정·안전-임계적 조언의 세 단계 평가 체계를 MM-Food-100K 데이터셋 기반으로 구성한다. gpt-5.1, gemini-3-flash 등 6개 최신 VLM 평가 결과, 음식 명칭 인식은 인간 수준에 근접하지만 질량 추정에서 심각한 오류를 보이고 고위험 당뇨 환자 프로파일에 대해 잘못된 조언을 환각하는 '의미-물리적 간극(Semantic-Physical Gap)'이 뚜렷하게 드러났다.

arXiv:2606.30182v2cs.AI

MirrorCode: AI는 동작만으로 전체 프로그램을 재구현할 수 있다

MirrorCode: AI can rebuild entire programs from behavior alone

AI 모델은 벤치마크 진전과 AI가 C 컴파일러를 구현하는 것과 같은 단발성 시연에서 볼 수 있듯이, 자율 코딩 능력이 빠르게 향상되고 있다. 그러나 기존 코딩 벤치마크는 짧은 태스크에 집중하는 경향이 있으며, 단발성 시연은 종종 일부 인간의 안내를 포함하고 모델 간에 표준화되거나 반복되지 않아 체계적으로 비교하기 어렵다. 이러한 과제를 해결하기 위해, 우리는 전체 소프트웨어 프로젝트를 재구현하는 것에 기반한 장기(long-horizon) 코딩 벤치마크인 MirrorCode를 소개한다. MirrorCode에서 AI 에이전트는 소스 코드에 접근하지 않고 기존 프로그램의 기능을 복제해야 한다. AI 솔루션은 홀드아웃 테스트를 포함한 엔드투엔드 테스트에서 원본 프로그램의 출력과 정확히 일치해야 한다. MirrorCode의 25개 대상 프로그램은 Unix 유틸리티, 데이터 직렬화 및 쿼리 도구, 생물정보학, 인터프리터, 정적 분석, 암호학, 압축 등 컴퓨팅의 다양한 영역에 걸쳐 있다. 기존 AI 모델은 이미 복잡한 소프트웨어를 재구현할 수 있으며, 가장 강력한 모델은 벤치마크 전반에서 56%의 점수를 기록했다. 예를 들어, AI는 16,000줄 규모의 생물정보학 툴킷인 gotree를 재구현할 수 있는데, 이는 인간 엔지니어라면 수 주가 걸릴 것으로 생각되는 태스크이다. 그러나 성능의 최전선을 연구하려면 일반적인 벤치마크보다 더 큰 추론 예산이 필요한데, 예를 들어 대규모 태스크에 대한 단일 시도에 19일에 걸쳐 $2,600이 소요된다. 우리는 AI 에이전트가 이미 장기 소프트웨어 엔지니어링 태스크를 완료할 수 있음을 보여주며, 특히 요구사항이 정확하게 명시될 때 더욱 그러하다. 더 넓게 보면, 우리의 연구는 자율 에이전트가 계속 발전함에 따라 AI가 소프트웨어 엔지니어링에 변혁적인 영향을 미칠 것임을 시사한다.

arXiv:2606.26614v2cs.HC

HiLSVA: 과학 시각화를 위한 Human-in-the-Loop 에이전트 시스템의 설계 및 평가

HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization

과학 시각화(SciVis)에서 자율성 중심 LLM 에이전트의 투명성·감독 한계를 보완하기 위해 HiLSVA는 계획 우선 다중 에이전트, 단계별 출처 추적, 샌드박스 실행, 사용자 피드백 기반 테스트 시점 학습을 결합한 human-in-the-loop 혼합 주도형 시스템을 제안한다. 12명 대상 사용자 연구에서 혼합 주도형 상호작용이 과제 완료·통제·워크플로 투명성을 개선했으나, 실행 효율성과 인간 감독 사이 트레이드오프가 확인되었다.

arXiv:2607.15178v2cs.CL

T^2MLR: 시간적 중간층 순환 트랜스포머

T^2MLR: Transformer with Temporal Middle-Layer Recurrence

트랜스포머의 추론은 자기회귀(autoregressive) 디코딩에 의해 제한되며, 이는 풍부한 은닉 계산을 토큰 공간을 통해 반복적으로 압축하여 중간 추론 상태가 시간에 걸쳐 지속되기 어렵게 만든다. 우리는 이전 토큰의 캐시된 중간층 표현을 현재 토큰 위치의 더 앞쪽 층에 직접 융합하여, 추상적인 중간 계산이 디코딩 단계마다 적은 추론 오버헤드로 지속될 수 있게 하는 잠재 추론(latent reasoning) 아키텍처인 시간적 중간층 순환(T2MLR) 트랜스포머를 제안한다. 자연어 사전학습과 다중 홉(multi-hop) 추론 파인튜닝 전반에 걸쳐, T2MLR은 데이터 및 매개변수가 동일한 트랜스포머 기준선(baseline)을 일관되게 능가한다. 게다가, 국소화된 중간층 블록(네트워크의 20%에 불과할 수 있음)에만 순환(recurrence)을 적용하는 것이 종종 전체 층 순환보다 더 나은 성능을 낸다. 중요하게도, T2MLR은 처음부터의 사전학습을 요구하지 않는다: 기존 사전학습된 1.7B 트랜스포머에 순환 경로를 개조(retrofitting)하고 짧게 파인튜닝하면 수학 추론이 상당히 개선되어 실용적 도입의 장벽을 낮춘다. 이 결과는 트랜스포머에서 효과적인 잠재 추론이 이전 연구들처럼 모든 층을 반복(loop)할 필요가 없으며, 대신 표적화된 중간층 순환에서 더 강하게 창발(emergent)할 수 있음을 시사한다.

arXiv:2607.15095v2cs.CL

Digital Pantheon: LLM 에이전트를 이용한 연립 형성 시뮬레이션 및 감사

Digital Pantheon: Simulating and Auditing Coalition Formation with LLM Agents

정치 연립의 형성은 구체적인 정책 목표와 깊이 뿌리내린 이념적 신념 모두에 의해 추진되는 복잡한 협상이다. 대규모 언어 모델(LLM)은 계산 정치학(computational political science)에 새로운 가능성을 열어 주지만, 인간 피드백 강화학습(RLHF)을 통해 내재된 중립성 및 유용성 편향은 일관된 당파적 행동을 지속하는 것을 막는다. 우리는 지도 미세조정(SFT), 직접 선호 최적화(DPO), 검색-증강 생성(RAG)을 결합하여 사실적 그라운딩(grounding)과 이념적 정렬(alignment)을 조화시키는 다중 에이전트 프레임워크를 제안한다. DPO는 공격적인 당별 페르소나를 주입하고, 당별 RAG 파이프라인은 각 에이전트를 공식 정강에 제한한다. 우리는 2019년 플랑드르 선거에 이 프레임워크를 적용하고, 당파적 에이전트를 formateur가 중재하는 허브-앤-스poke 협상에 배치한다. 창발적(emergent) 협상을 해석 가능하게 하기 위해, 우리는 최종 합의의 모든 조항을 정강 출처까지 추적하고 다섯 가지 출처 상태로 분류하는 다층 정보 계보 토폴로지(Multi-Layered Information Lineage Topology, MILT)를 도입하고, 합의를 형성한 당을 식별하기 위해 추적 가능한 기여를 집계하는 연립 영향력 점수(Coalition Influence Score, CIS)를 제안하며, 각 시뮬레이션 조항을 역사적으로 채택된 연립 합의와 대조하여 벤치마킹하는 실세계 그라운딩 패스를 수행한다. 세 번의 독립 시뮬레이션에서 프레임워크는 안정적인 승자와 순위(N-VA가 CD&V와 Open Vld보다 앞서는)를 산출하며, 정강에 기반한 계보는 실세계 구현을 신뢰성 있게 예측하는 반면 환각(hallucination)된 내용은 그렇지 않다. 그 결과는 당 호환성과 formateur 중재 타협의 사전(ex-ante) 탐험을 위한 투명하고 확장 가능한 테스트베드가 된다.

arXiv:2607.13162v3cs.CL

모델이 무엇을 표현하고, 억제하며, 저항하는가: 페르소나 벡터를 이용한 가중치 공개 LLM 감사

What Models Express, Suppress, and Resist: Auditing Open-Weight LLMs with Persona Vectors

언어 모델이 하거나 하지 않을 행동은 대부분 사후 학습에서 정해지지만, 어떤 행동을 표현하고, 숨기며, 저항하는지는 프롬프트만으로는 드러나지 않는다. 활성화 공간에서의 행동 방향인 페르소나 벡터(persona vectors)는 이러한 조직을 탐색할 수 있지만, 선행 연구는 소수의 특성만 다룬다. 본 연구는 이 규모에서 페르소나 벡터를 체계적으로 최초 적용하여, 행동적으로 구별되는 네 도메인에 걸친 53개 특성 목록을 작성하고, 두 가중치 공개 모델의 모든 특성을 자연(기준선에서 표현됨), 조향 가능한 잠재이지만 증폭 가능, 또는 다루기 어려움(표준 추출에 저항)으로 분류한다. 두 모델 모두 기본적으로 도움이 되고 과제 지향적인 행동을 한다. 아홉 가지 에이전트적(agentic) 특성은 모두 자연적이며, 기본 임상의(clinician) 행동은 17개 특성 중 16개에서 전문심리사의 독립적인 바람직성 판단과 일치한다. 조향(steering)은 이러한 기본값이 배제하는 특성—과장, 환각, 아첨—에서 가장 큰 이득을 낸다. 동일한 비대칭은 171개 일반-특성 쌍 전반에 걸쳐 성립한다. 두 조향 가능 특성은 구성(composition)을 붕괴시킬 수 있지만, 기본값을 포함하는 쌍은 그렇지 않다. "evil"과 같은 특성에서 표준 추출이 실패하는 경우, 파인튜닝된 변형에서 전이된 벡터가 여전히 이를 회복하며, 잔여 거부는 모델의 사고의 연쇄(Chain-of-Thought) 내부에 나타난다. 페르소나 벡터는 제어 수단의 집합이라기보다 행동 조직을 탐색하는 프로브로서 가장 유익하다.

arXiv:2607.10310v3cs.CL

PolyInterview: 종합적인 멀티모달 평가를 갖춘 몰입형 모의 면접 연습을 위한 LLM 기반 플랫폼

PolyInterview: An LLM-based Platform for Immersive Mock Interview Practice with Comprehensive Multimodal Assessment

취업 면접 준비는 원하는 직위를 얻기 위해 중요하지만, 현실적인 연습 기회를 얻기는 여전히 어렵다. 실제 면접은 드물고, 전문가의 모의 면접 코칭은 비용이 많이 들며, 자기 연습만으로는 적응형 대화나 구조화된 평가를 기대하기 어렵다. 기존 시스템들은 대개 고정된 질문 순서, 제한된 커뮤니케이션 채널, 또는 근거가 부족한 피드백을 통해 이러한 필요의 일부만을 해결한다. 우리는 종합적인 멀티모달 평가를 갖춘 몰입형 모의 면접 연습을 위한 LLM 기반 플랫폼인 PolyInterview를 제시한다. PolyInterview는 목표 직무 기술서와 이력서를 활용하여 직무와 지원자에 맞춤화된 질문을 생성하고, 입술 움직임이 동기화된 디지털 휴먼 면접관과 함께 멀티턴 음성 면접을 진행하며 답변 내용을 인식한 후속 질문을 제시하고, 응답 내용·발화 전달 방식·비언어적 행동을 평가한다. 4개의 병렬 평가자가 13가지 행동 수준 특징을 산출하고, 이는 10개의 평가 측면과 두 개의 역량 트랙으로 집계된다. KSA 및 STAR 프레임워크를 기반으로 보고서는 각 점수를 행동적 근거 및 실행 가능한 권고 사항과 연결한다. PolyInterview는 공개적으로 접근 가능하며, 현재 전체 계정 스냅샷에는 101개의 계정, 1,564개의 면접 세션, 7,665개의 생성된 질문, 그리고 1,422개의 5단계 질문 세트가 포함되어 있다. 생성된 질문은 93.7%의 세션에서 다른 직무 기술서보다 해당 직무 기술서와 더 높은 일치도를 보인다. 10명의 전문가에 의한 평가에서 우수한 질문 계획과 실행 가능한 피드백이 확인되었다.

arXiv:2606.10931v3cs.CL

단 하나로 모든 바이어스를 유발하다: 원샷 GRPO를 통한 정렬 파괴

It Takes One to Bias Them All: Breaking Bad with One-Shot GRPO

경고: 이 논문에는 몇 가지 유독성 및 공격적인 진술이 포함되어 있습니다. 현대의 대규모 언어 모델(LLM)은 공정하고 신뢰할 수 있는 동작을 보장하기 위해 일반적으로 대규모 사후 학습(post-training)을 통해 정렬됩니다. 본 연구에서는 그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)에 의해 이러한 안전장치가 얼마나 쉽게 무력화될 수 있는지 조사합니다. 우리는 단 하나의 바이어스된 예제에 대한 원샷 GRPO 학습만으로도 체계적인 바이어스를 유발하기에 충분하며, 고정관념 기반 추론이 속성, 카테고리 및 벤치마크 전반에 걸쳐 일반화됨을 보여줍니다. 또한, 모델은 바이어스된 출력을 생성할 초기 가능도(likelihood)에 따라 취약성이 다르다는 것을 발견했습니다. 우리의 결과는 사후 학습(post-training)의 치명적인 취약점을 보여줍니다: 정렬이 단 하나의 예제에 의해 무효화될 수 있습니다.

arXiv:2604.12069v4cs.CL

기업 NLP 시스템에서 사용자 신뢰를 위한 견고한 설명

Robust Explanations for User Trust in Enterprise NLP Systems

기업 NLP에서 사용자 신뢰를 위해 견고한 설명이 점점 더 요구되고 있지만, 표현 기반 설명기가 불가능한 블랙박스 배포(API 전용 접근)라는 일반적인 경우에는 사전 배포 검증이 어렵고, 기존 연구는 설명이 실제 사용자 노이즈 하에서 안정적으로 유지되는지에 대해 제한적인 지침만 제공하며, 특히 조직이 인코더 분류기에서 디코더 LLM으로 전환할 때 그렇다. 이 간극을 메우기 위해, 우리는 leave-one-out occlusion 기반의 토큰 수준 설명을 위한 통합 블랙박스 견고성 평가 프레임워크를 제안하고, 여러 심각도 수준에서의 현실적인 교란(교환, 삭제, 셔플, 역번역) 하에서 상위 토큰 flip rate로 설명 견고성을 구체화한다. 이 프로토콜을 사용하여, 세 개의 벤치마크 데이터셋과 인코더 및 디코더 계열에 걸친 여섯 개 모델(BERT, RoBERTa, Qwen 7B/14B, Llama 8B/70B; 64,800건)에 대해 체계적인 교차 아키텍처 비교를 수행한다. 우리는 디코더 LLM이 인코더 베이스라인보다 상당히 더 안정적인 설명을 생성함을(평균 73% 낮은 flip rate) 발견했으며, 안정성이 모델 스케일에 따라 향상됨을(7B에서 70B로 44% 향상) 발견한다. 마지막으로, 견고성 향상을 추론 비용과 연관 지으며, 규정 준수가 중요한 애플리케이션에서 배포 전 모델 및 설명 선택을 지원하는 실용적인 비용-견고성 트레이드오프 곡선을 도출한다.

arXiv:2406.01514v5cs.CL

견고한 플러그 앤 플레이 적응을 위한 분리형 정렬

Decoupled Alignment for Robust Plug-and-Play Adaptation

우리는 지도 미세조정이나 인간 피드백 강화학습(RLHF) 없이 대규모 언어 모델(LLM)을 정렬하기 위한 무학습 안전성 향상 방법을 제안한다. 핵심 아이디어는 모델이 하류 작업에 적응될 때 섀도우 정렬(shadow alignment)을 방지하기 위한 견고한 플러그 앤 플레이 접근법을 제공하는 것이다. 구체적으로, 지식 증류를 활용해 잘 정렬된 LLM으로부터 정렬 신호를 추출하고, 모델 융합(model fusion)을 통해 섀도우 정렬 모델에 주입하여 플러그 앤 플레이 방식의 정렬 교정을 가능하게 한다. 우리 방법론에서는 델타 디버깅(delta debugging)을 사용해 효과적인 증류에 필요한 지식의 핵심 구성 요소를 식별한다. 유해 질문 데이터셋(harmful question dataset)에서 우리 방법은 17개의 영향을 받은 LLM 전반에 걸쳐 평균 방어 성공률을 약 14.42% 향상시켜 최대 51.39%에 이르며, 성능을 저하시키지 않는다. 코드는 https://github.com/NWULIST/DAPA 에서 확인할 수 있다.

arXiv:2604.23904v3stat.ME

인과 추론을 위한 생성적 합성 데이터: 함정, 해결책, 그리고 기회

Generative Synthetic Data for Causal Inference: Pitfalls, Remedies, and Opportunities

표 형식 합성 데이터는 종종 분포 유사성, 프라이버시 거리, 또는 합성 데이터로 학습하고 실제 데이터로 테스트하는(train-on-synthetic-test-on-real) 예측 성능으로 평가되지만, 이러한 기준은 인과 추론에 대한 타당성을 보장하지 않는다. 우리는 생성적 적대 신경망(GAN) 및 대규모 언어 모델(LLM) 기반 모델을 포함한 완전 생성적 표 형식 합성기가 예측 유용성은 유지하면서도 평균 처치 효과(ATE) 추정을 왜곡할 수 있음을 보인다. 이 실패는 구조적인 것이다: ATE 보존에는 현실적인 공변량 분포와 정확한 처치 효과 대비가 모두 필요한 반면, 예측 손실은 처치 효과 오류에 대해 중첩(overlap) 가중 항을 통해서만 패널티를 부과한다. 따라서 불균형이나 제한된 중첩 하에서 생성기는 개입과 관련된 대비를 과소학습하면서 지배적인 관측 결과를 재현할 수 있다. 우리는 민감도 및 손실 분해 결과를 통해 이러한 불일치를 형식화한다. 이 인과 분석과 직관에 기초하여, 우리는 공변량을 생성하면서 처치 및 결과 메커니즘을 별도로 모델링하는 인과 추론을 위한 하이브리드 합성 데이터 프레임워크를 제안한다. 우리는 세 가지 설정에서 이 프레임워크를 평가한다: 완전 생성적 합성 대 하이브리드 합성 하에서의 ATE 보존, 실용적 양성(positivity) 문제에 대한 증강(augmentation), 그리고 실제 데이터 분석 전 OR, IPW, AIPW, TMLE을 비교하기 위한 진단 시뮬레이션 엔진. 또한 중첩, 공변량 차원, 시드 샘플 크기, 처치 효과 복잡성을 변화시키는 설정—로지스틱 결과 모델 오지정(misspecification) 검증을 포함하여—전반에 걸쳐 하이브리드 구성을 스트레스 테스트한다. 통제된 시뮬레이션 실험 전반에 걸쳐, 하이브리드 합성은 완전 생성적 기준선 대비 인과 충실도를 개선한다; ACTG 적용은 예측 충실도가 개선되었고 유한 표본 추정량 벤치마킹의 잠재력을 보여준다. 인과 충실도를 평가할 수 있는 설정에서 LLM 기반 하이브리드 합성은 종종 CTGAN보다 더 충실하다.

arXiv:2607.14630v1cs.NE

대규모 언어 모델의 극저비트 양자화를 위한 층 간 오차 보상 및 유한 표본 특징 통계 매칭

Cross-Layer Error Compensation and Finite-Sample Feature-Statistics Matching for Extreme Low-Bit Quantization of Large Language Models

층별 사후 학습 양자화는 각 층의 재구성 오차를 독립적으로 최소화하므로, 양자화 오차가 깊이에 걸쳐 누적되어 극저비트 영역에서 심각한 성능 저하를 초래한다. 우리는 양자화를 모든 층의 이산 코드와 스케일에 대한 공동 최적화로 공식화하며, 두 가지 메커니즘으로 구동한다: (i) 층 간 오차 보상으로, 층의 입력 미분에서 유도된 전파 연산자 A_l과 교사 특징에서 평가된 국소 양자화 잔차 q_l을 통해 재귀 e_{l+1} = A_l e_l + q_l로 네트워크 수준의 누적 오차를 유지한다; (ii) 유한 표본 특징 통계 매칭으로, 상대 정규화 하에서 전체 정밀도 네트워크와 양자화 네트워크 간의 평균, 투영 공분산, 중심화된 경험적 커널을 정렬한다. 양자화 네트워크의 유한 차분으로 전파 연산자를 구현하면 임의의 비선형 층에 대해 재귀가 정확해짐을 증명하며, 이를 통해 효율적인 순방향 차분 구현이 가능하다. 이진 가중치는 역온도 annealing과 그룹별 log 스케일을 갖춘 미러 하강 매개변화 u = tanh(beta*z)를 통해 최적화한다. Qwen2.5-1.5B에서 1.125-bit 그룹 이진 가중치로, 오차 보상만으로 FP16 교사 대비 perplexity 비율 9.56 +/- 0.15에 도달하며, 로짓 증류(14.09 +/- 0.53; 상대 32%, 3개 시드에서 8 시그마 이상)와 층-국소 재구성보다 두 차수만큼 우수하다. 동일한 목적 함수는 변경 없이 4-bit 양자화에도 전이되며(층-국소 대비 1.060 vs. 1.088). 도메인 외 평가(C4, CNN/DailyMail)에서 오차 보상의 이점은 도메인 외에서 더 커지는 반면, 통계 매칭은 도메인 외에서도 특징 통계 불일치를 낮게 유지한다(해당 없을 때 1.41-2.99 대비 0.42-0.88), 두 메커니즘 간 상호 보완적 역할 분담을 보여준다.

arXiv:2607.15232v1cs.CL

사전학습 LLM의 제자리 토크나이저 확장

In-Place Tokenizer Expansion for Pre-trained LLMs

사전학습 시작 시점에 고정된 토크나이저는 사전학습 말뭉치에 비례하여 어휘를 할당하며, 당시의 배포 우선순위를 반영한다. 그러한 우선순위가 바뀌면, 이후에 추가된 언어는 단어당 훨씬 더 많은 토큰으로 분할되어, 해당 언어 사용자의 지연 시간, 연산량, 에너지 소비를 증가시킬 수 있다. 클라우드 모델은 임베딩과 LM-head 행렬이 매개변수의 작은 부분을 차지하기 때문에 넓은 어휘를 수용할 수 있다. 소형 모델에서는 이러한 행렬이 토큰당 디코딩 대역폭의 상당한 비중을 차지하므로, 온디바이스 모델은 작은 어휘를 탑재하고 고정된 언어 집합 밖의 분할을 감수한다. 우리는 토크나이저 확장을 제시한다. 이는 모델 제작자가 토크나이저 설계를 통제할 때 사전학습된 모델의 토크나이저를 업그레이드하기 위한 제자리 방식이다. 우리는 다국어 말뭉치에서 기존 토크나이저의 BPE 병합을 이어가므로, 대부분의 소스 토큰은 단일 토큰으로 변경 없이 유지되고 모든 새 토큰은 소스 토큰들로의 정확한 분해를 갖는다. 유지된 임베딩 행은 변경 없이 복사하고, 새 행은 해당 소스 서브토큰 임베딩의 평균으로 초기화한다. 2단계 적응—임베딩만 학습한 뒤 전체 모델 지속 사전학습—을 통해 소스 체크포인트 품질을 회복한다. 우리는 이 방식을 8B 매개변수 전문가 혼합(MoE) 모델인 LFM2-8B-A1B의 지속 사전학습 체크포인트에 적용하여 128K 토크나이저를 갖는 LFM2.5-8B-A1B를 만드는 데 기여했다. 확장된 토크나이저는 힌디어와 베트남어를 소스 대비 약 $2.4\times$ 및 $2.6\times$ 더 적은 토큰으로 인코딩한다(태국어에서는 최대 $4.0\times$). 이러한 감소와 더 큰 어휘의 측정된 토큰당 비용을 결합하여, 참조 기기 전반에서 해당 언어에 대해 문자당 $2.2$-$3.7\times$ 디코딩 속도 향상을 추정한다. 우리는 모델 가중치와 확장된 토크나이저를 공개하고, 이 방식을 형성한 부정적 발견을 보고한다.

arXiv:2607.15200v1cs.CL

디퓨전 언어 모델을 위한 마스크 인식 정책 그래디언트

Mask-Aware Policy Gradients for Diffusion Language Models

강화학습은 대규모 언어 모델의 추론 개선에 효과적임이 입증되었지만, 마스크 디퓨전 언어 모델(Masked Diffusion Language Models, MDLM)로 이를 확장하는 것은 로그 가능도 추정의 난해함(intractability) 때문에 여전히 어렵다. 기존 접근법은 토큰 예측만을 모델링하여 이 로그 가능도를 근사하며, 생성 과정에서 위치가 언마스크되는 순서는 무시한다. MDLM 생성은 각 단계에서 두 가지 결정을 수반한다는 것을 관찰했다: 각 마스크된 위치에 어떤 토큰을 배치할지, 그리고 어떤 위치를 재마스크할지. 이를 2단계 행동 MDP로 형식화하고, 정책 그래디언트가 자연스럽게 토큰 항과 마스킹 항으로 분해됨을 보인다. 두 항의 최적화를 결합하면 수학적 추론 및 코딩 벤치마크에서 최첨단(state-of-the-art) 결과를 달성하며, GSM8K에서 87.1%, MBPP에서 53.4%의 점수를 기록한다.

arXiv:2607.15175v1cs.CL

신경 언어 모델에서 문법성의 선형 표현

Linear representations of grammaticality in neural language models

신경 언어 모델(NLM)이 문법성에 따라 문자열을 구별할 수 있는지 여부는 계산언어학 문헌에서 여전히 논쟁적인 주제이다. 기존 증거는 대부분 확률 기반 측정에 의존해 왔으며, 모델이 문법적인 문자열보다 비문법적인 문자열에 더 높은 확률을 부여하는지를 검증했다. 그러나 확률 비교는 문법성이 본질적으로 가능도와 얽혀 있다는 가정에 근거해 문법 지식의 측정 방법으로 비판받아 왔다. 모델이 부여하는 확률은 어휘 빈도, 타당성, 세계 지식 등 여러 관련 문장 속성의 함수이다. 본 연구에서는 확률 기반 평가를 넘어 문법성이 NLM의 내부 표현에 인코딩되는지 조사한다. mass-mean probing을 사용해 문법적 문장과 비문법적 문장이 표현 공간에서 체계적으로 분리되는지 검증한다. 또한 이러한 표현이 문법성과 상관관계가 있는 문장 속성으로부터 얼마나 독립적인지, 그리고 다양한 문법 현상과 언어에 걸쳰 일반화되는 정도를 추가로 조사한다. 결과는 문법성이 다양한 사전학습 NLM의 문장 표현에 견고하게 인코딩되어 있으며, 대안적인 문장 수준 요인만으로는 완전히 설명할 수 없는 문법성 차원에서의 명확한 표현적 분리를 산출한다는 증거를 제공한다. 게다가 이 인코딩은 광범위한 문법 현상에 걸쳐 일반화되며, 어느 정도는 언어 간에도 일반화되어, 문법성이 현대 NLM에서 일관된 표현 차원을 구성함을 시사한다. 이러한 발견은 언어 모델에서 구문 지식의 본질에 관한 논쟁에 새로운 증거를 제공하며, 문자열 확률에만 의존하지 않는 문법 능력 평가를 위한 보완적 프레임워크를 제시한다.

arXiv:2607.15146v1cs.CL

Grokipedia vs Wikipedia: 이념 차원에 따른 정치적 중립성에 대한 LLM 기반 감사

Grokipedia vs Wikipedia: An LLM-Based Audit of Political Neutrality along Ideologies

온라인 백과사전은 정치적 여론을, 그리고 이를 통해 민주주의적 담론을 형성한다. 2025년 말, LLM Grok이 전적으로 집필한 백과사전 Grokipedia가 출시되었다. 이 프로젝트의 동기 중 하나는 "좌파" 및 "자유주의" 바이어스 혐의를 받아온 Wikipedia에 대한 편향 없는 대안을 제공하는 것이었다. 그러나 LLM이 작성한 백과사전이 더 큰 중립성을 제공하는 것인가, 아니면 단순히 다른 이념을 내재하는 것인가? 우리는 Grokipedia와 Wikipedia에 대한 대규모 정치적 바이어스 연구를 수행하여, 정부 구성원을 설명하는 1,394개의 기사 쌍을 Grok, Claude, Mistral, DeepSeek의 네 LLM 심사관(judge)을 사용해 전문가가 코딩한 9개 이념 차원에서 중립성을 분석한다. LLM 자체가 바이어스를 가질 수 있으므로, 우리는 그들의 판정 패턴도 조사한다. Grok을 포함한 모든 LLM 심사관이 Grokipedia를 Wikipedia보다 덜 중립적으로 평가하는 것으로 나타났다. 두 백과사전 모두 전반적으로 정치인을 우호적으로 묘사하는 것으로 평가되지만, 서로 다른 이념 집단에 대해 그러하다. Grokipedia는 특히 경제적으로 우파인 정치인을 선호하고 사회적으로 자유주의적인 정치인을 불리하게 평가하는 반면, Wikipedia는 후자에 대해 우호적 바이어스가 있는 것으로 평가된다.

arXiv:2607.15092v1cs.CL

Rubrics on Trial: 합성 순쌍 증거를 통한 단일 쿼리 기반 루브릭 진화

Rubrics on Trial: Evolving Rubrics from a Single Query via Synthetic Pairwise Evidence

루브릭은 대규모 언어 모델(LLM)의 학습과 평가를 위한 구조화된 세밀한 신호를 제공한다. 그러나 신뢰할 수 있는 쿼리별 루브릭을 구축하기는 어렵다. 기존 접근법은 종종 사람이 작성한 루브릭, 선호도 데이터, 또는 샘플링된 응답에서 지도 신호를 도출한다. 직접적인 쿼리-대-루브릭 생성은 이러한 자원을 피하지만, 그럴듯한 루브릭이 유용한지에 대한 명시적 검증을 제공하지 않는다. 이러한 루브릭은 답변 품질을 구분하지 못하거나, 선택적 스타일을 보상하거나, 유효한 대안 전략에 페널티를 줄 수 있다. 우리는 Rubrics on Trial을 제안한다. 이는 외부 주석이나 모델 학습 없이 빈 집합에서 루브릭 집합을 진화시키는 쿼리 전용 프레임워크이다. 이는 합성 루브릭 조건부 응답 쌍에서만 지도 신호를 도출하고, 각 제안된 루브릭을 추가하기 전에 검증하여, 비판별적·과도하게 구체적·스타일 전용 후보 루브릭을 걸러낸다. 다섯 개의 선호도 벤치마크 스위트에 걸친 실험은 Rubrics on Trial의 효과를 보여주며, 최고 평균 정확도를 달성하고 7개 평가 세트 중 6개에서 1위를 기록한다.

arXiv:2607.14989v1cs.CL

OmniaBench: 다양한 시나리오에 걸친 범용 AI 에이전트 벤치마킹

OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios

대규모 언어 모델(LLM)은 점차 텍스트 생성기에서 사용자 요청을 이해하고, 외부 도구를 호출하며, 상호작용을 통해 복잡한 작업을 완수할 수 있는 범용 에이전트로 진화하고 있다. 그러나 기존 에이전트 벤치마크는 종종 제한된 시나리오, 도구 생태계, 또는 상호작용 형식에 초점을 맞추어, 이질적인 응용 설정 전반에 걸친 모델 역량을 체계적으로 특성화하기 어렵다. 우리는 명시적 상태 공간을 갖는 다양한 시나리오 전반에 걸쳐 범용 에이전트를 평가하기 위한 벤치마크인 OmniaBench를 제안한다. 앱 스토어, 제품 문서, 산업 자료, 웹 검색, 인간의 정제로부터 응용 지향적 시나리오 지식을 도출하여, ToC, ToB, ToE를 아우르는 계층적 분류체계를 구성하였으며, 이는 1급 도메인 90개와 2급 도메인 354개를 포함한다. 이 분류체계를 바탕으로 실행 가능한 환경을 구축하고, 방향성 비순환 그래프(DAG), DAG-S, Solver, Program의 네 가지 상보적 경로를 통해 단일 턴 및 다중 턴 과제를 합성한다. OmniaBench는 또한 세밀한 평가와 분석을 지원하기 위해 10차원 역량 분류체계와 8개의 구성적 원자 난이도 요인을 도입한다. 결과적으로 생성된 데이터셋은 1,431개의 과제를 포함하며, 공개 배포 이후 전체 집합의 잠재적 오염을 완화하고 평가 비용을 줄이기 위해 설계된 644개의 과제로 구성된 도전적인 부분집합도 함께 제공한다. 이 벤치마크는 현재 최첨단 모델에게 상당한 도전을 제시하며, Claude-Sonnet-5와 GPT-5.6-Sol조차 각각 Overall Pass@1 점수 58.54와 57.14에 그친다. 추가 분석은 도메인과 역량 간 뚜렷한 차이, 그리고 계획, 제약 유지, 적응적 수정에서 지속적인 한계를 드러낸다. OmniaBench는 범용 에이전트의 역량 경계를 특성화하기 위한 광범위하고 진단적 벤치마크를 제공한다.