PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2503.19877v3cs.CL

추론 모델을 평가자로 활용한 평가 시점 연산 스케일링

Scaling Evaluation-time Compute with Reasoning Models as Evaluators

언어 모델(LM)의 출력이 점점 더 자연스러워지면서, 그 품질을 평가하기는 그 어느 때보다 어려워지고 있다. 동시에, 테스트 시점 연산(test-time compute) 스케일링을 통해 언어 모델의 "사고" 시간을 늘리는 것은 수학과 코드 같은 영역의 도전적인 문제를 풀기 위한 효과적인 기법임이 입증되어 왔다. 여기서 자연스러운 질문이 제기된다: 테스트 시점 연산에 더 많은 자원을 투입하면 언어 모델의 평가 역량 또한 개선할 수 있는가? 이에 답하기 위해, 우리는 추론 모델—원래 긴 사고의 연쇄(Chain-of-Thought) 추론을 생성하는 언어 모델—을 평가자로 활용하는 방안을 조사한다. 구체적으로, 우리는 (1) 추론 모델을 사용하고, (2) 이러한 모델에 응답 전체(즉, 결과 평가)뿐만 아니라 응답의 각 단계를 개별적으로 평가(즉, 과정 평가)하도록 프롬프트를 주는 방식으로 더 많은 테스트 시점 연산을 활용하는 방법을 검토한다. 실험에서, 평가자의 성능은 더 많은 추론 토큰을 생성할수록 단조적으로 개선되는 것을 확인했으며, 이는 언어 모델 기반 생성에서 관찰된 추세와 유사하다. 또한, 이러한 더 정확한 평가자를 사용해 여러 생성 결과를 재순위화하고, 평가 시점에 더 많은 연산을 투입하는 것이 언어 모델의 문제 해결 역량을 개선하는 데 생성 시점에 더 많은 연산을 사용하는 것만큼 효과적일 수 있음을 보인다.

arXiv:2410.15267v3cs.CR

머신 언러닝이 검색-증강 생성(RAG)을 만날 때: 비밀을 지킬 것인가, 지식을 잊을 것인가?

When Machine Unlearning Meets Retrieval-Augmented Generation (RAG): Keep Secret or Forget Knowledge?

ChatGPT와 Gemini 같은 대규모 언어 모델(LLM)의 배치는 강력한 자연어 생성 능력을 보여주었다. 그러나 이러한 모델은 학습 과정에서 민감한 정보와 유해 콘텐츠를 의도치 않게 학습하고 보유할 수 있어, 심각한 윤리적·법적 우려를 낳는다. 이러한 문제를 해결하기 위해 머신 언러닝(machine unlearning)이 잠재적 해결책으로 도입되었다. 기존 언러닝 방법은 LLM의 특수한 특성을 고려하지만, 높은 계산 요구, 제한된 적용 가능성, 또는 치명적 망각(catastrophic forgetting)의 위험으로 인해 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 검색-증강 생성(RAG) 기술에 기반한 경량 행동적 언러닝 프레임워크를 제안한다. RAG의 외부 지식 베이스를 수정함으로써, 언러닝된 LLM과 직접 상호작용하지 않고도 망각의 효과를 시뮬레이션한다. 우리는 언러닝된 지식의 구축을 제약 최적화(constrained optimization) 문제로 접근하여, RAG 기반 언러닝의 효과를 뒷받침하는 두 가지 핵심 구성요소를 도출한다. 이 RAG 기반 접근법은 기존 언러닝 방법이 종종 실패하는 폐쇄형 LLM에 특히 효과적이다. 우리는 ChatGPT, Gemini, Llama-2-7b-chat, PaLM 2를 포함한 오픈소스 및 폐쇄형 모델에 대한 광범위한 실험을 통해 프레임워크를 평가한다. 결과는 우리 접근법이 효과성(effectiveness), 보편성(universality), 무해성(harmlessness), 단순성(simplicity), 견고성(robustness)이라는 다섯 가지 핵심 언러닝 기준을 충족함을 보여준다. 한편, 이 접근법은 멀티모달 대규모 언어 모델 및 LLM 기반 에이전트(agent)로 확장될 수 있다.

arXiv:2409.01754v4cs.CY

대규모 언어 모델이 인간의 구어 의사소통에 미치는 영향에 대한 실증적 증거

Empirical evidence of Large Language Model's influence on human spoken communication

인쇄술에서 소셜 미디어에 이르기까지, 의사소통 기술의 혁신은 인간 문화에서 아이디어가 확산되는 방식을 반복적으로 재편해 왔다. 생성형 인공지능을 구동하는 챗봇은 새로운 매체를 구성하며, 신경 표현에 문화적 패턴을 인코딩하고 수억 명의 사람들과의 대화를 통해 이를 전파한다. 이러한 패턴이 인간의 언어로 전달되고, 궁극적으로 인간 문화를 형성하는지는 근본적인 질문이다. ChatGPT와 같은 챗봇이 인간 문화에 미치는 인과적 영향을 완전히 정량화하는 것은 어렵지만, 인간의 구어 의사소통에서 나타나는 어휘적 변화는 초기 지표를 제공할 수 있다. 여기서 우리는 delve, showcase, boast, intricacies, meticulous와 같이 ChatGPT가 선호적으로 생성하는 단어들이 자발적인 인간 발화에서 급격히 증가했음을 보여준다. 824,634개의 팟캐스트 에피소드에서 수집한 737,083시간의 대화(즉흥 발화로 선별)에 대한 합성 대조 분석은 이러한 변화를 ChatGPT의 출시와 인과적으로 연결한다. 자발적 발화에 대한 측정 가능한 영향은 인간이 대규모 언어 모델(LLM)의 어휘 선택을 내재화한다는 것을 시사한다. 사전 등록된 실험(N = 496)은 이를 확인하며, 짧은 챗봇 상호작용이 참가자들로 하여금 해당 단어를 자신의 것으로 채택하게 했고, 이는 방해 과제 이후에도 지속되었으며 강제 어휘 선택에서도 확인되어, 능동 어휘의 정착을 나타낸다. 이러한 결과는 인간 데이터로 학습된 기계가 이제 자신의 특성을 인간의 언어에 되돌려 전달하며, LLM을 문화 진화의 진행 중인 과정에 통합하고 있음을 보여준다. 이러한 결합은 언어적 동질화와 소수의 주요 AI 제공업체가 대규모로 잠재적 문화적 영향을 행사할 수 있는 역량에 대한 우려를 제기한다.

arXiv:2201.04868v3cs.HC공식 코드 · Papers with Code

흥미로움을 넘어서: 시각적 데이터 분석을 위한 의미·맥락 인식 자연어 쿼리 추천

Beyond Interestingness: Semantic and Context-Aware Natural Language Query Recommendations for Visual Data Analysis

최근 대규모 언어 모델(LLM)의 발전으로 자연어 인터페이스(NLI)가 데이터 탐험에 널리 접근 가능해졌지만, 광범위한 분석 목표를 가진 분석가들은 특히 낯선 다중 테이블 관계형 데이터베이스에서 이를 효과적인 단계별 쿼리로 분해하는 데 여전히 어려움을 겪는다. 고수준 분석 의제를 생성하는 대신, 관계형 데이터베이스 탐험을 위한 분석적 보조 구조로 작동하는 의미·맥락 인식 다음 단계 쿼리 추천으로 NLI를 보강하는 방법을 조사한다. 본 접근법은 의미적 관련성, 데이터 흥미로움, 맥락 일관성을 공동으로 통합하여 탐험을 일관되고 주제 중심적인 분석 및 잠재적으로 통찰력 있는 부분집합으로 이끄는 방식으로 흥미로움만을 사용하는 방법을 넘어선다. NL2SQL 벤치마킹, LLM 강화 설명 검증, 흥미로움만 사용하는 기준선 및 LLM 기반 프롬프팅 기준선에 대한 에이전틱 비교, 12명 참가자 사용자 연구로 QRec-NLI를 평가한다. 에이전틱 비교에서 QRec-NLI는 두 기준선 모두보다 주제적으로 더 관련성 있고 국소적으로 더 일관된 쿼리 시퀀스를 생성한다. 흥미로움만 사용하는 기준선과의 사용자 연구에서, 통찰 생성 지원 및 의사결정 지원에 대해 더 높은 평가를 받는다.

arXiv:2607.15161v1cs.LG

온-정책 델타 증류

On-Policy Delta Distillation

온-정책 증류(on-policy distillation)는 강화학습(RL)에서 보상 모델이 부과하는 제약을 완화하는 대안적인 사후 학습 방법으로, 교사 모델로부터 토큰 수준의 지도를 제공한다. 온-정책 증류는 다양한 설정에서 연구되고 적용되어 왔지만, 그 근본적인 설계는 여전히 충분히 탐구되지 않았다. 본 논문에서는 교사 모델의 출력 분포를 직접 모방하는 대신 델타 신호(delta signal)라고 부르는 새로운 증류 보상을 제안한다. 델타 신호는 추론 능력을 위한 지시 미세조정 이전의 기본 모델과 교사 모델 간의 차이로 정의되며, 따라서 추론 튜닝에 의해 유발된 변화를 포착하고 추론 능력 전이를 위한 보다 직접적인 신호를 제공한다. 광범위한 실증적 증거를 통해 델타 신호가 온-정책 증류를 크게 개선함을 보이며, 이 새로운 증류 방법을 온-정책 델타 증류(On-Policy Delta Distillation, OPD$^2$)라고 명명한다. 수학, 과학, 코드 추론 벤치마크에 걸친 실험에서 OPD$^2$는 기존 온-정책 증류를 일관되게 능가하며, 짧은 사후 학습 기간만으로도 추론 대규모 언어 모델(LLM)이 강력한 성능을 달성할 수 있게 한다. 코드는 https://github.com/naver-ai/opd2 에서 제공될 예정이다.

arXiv:2607.14952v1cs.LG

LongStraw: 고정 GPU 예산 하에서 200만 토큰을 넘는 장문맥 강화학습(RL)

LongStraw: Long-Context RL Beyond 2M Tokens under a Fixed GPU Budget

추론의 컨텍스트 길이와 RL 사후 학습 사이에는 점점 커지는 격차가 있다. 추론 시스템은 백만 토큰 규모의 컨텍스트에 접근하고 있는 반면, 사후 학습 워크로드는 종종 256K 토큰 이하에 머물며 배포 시 길이 일반화(length generalization)에 의존한다. 이 격차는 관측, 도구 출력, 문서, 이전 결정이 긴 궤적에 걸쳐 누적되는 AI 에이전트에게 특히 중요하다. LongStraw은 고정 GPU 예산 하에서 백만 토큰 규모 RL 사후 학습을 위한 아키텍처 인식 실행 스택으로, Group Relative Policy Optimization(GRPO)으로 구체화된다. 이는 공유 프롬프트를 자동 미분 없이 평가하고, 이후 토큰에 필요한 모델별 상태만 보존하며, 짧은 응답 분기를 하나씩 재실행하여 추가 재실행 시간이라는 대가로 활성 학습 그래프를 줄인다. 하이브리드 순환형 및 full-attention Qwen3.6-27B와 compressed-attention 전문가 혼합(MoE) GLM-5.2에 이를 구현한다. 8개의 H20 GPU에서 LongStraw은 그룹 크기 2와 8에 대해 210만 위치에서 그룹화된 Qwen 스코어링 및 응답 역전파를 완료한다. 그룹 크기를 늘려도 피크 할당 메모리는 0.21GB만 증가하며, 별도의 스트레스 테스트에서는 446만 위치에 도달한다. 32개의 H20 GPU에서 GLM-5.2의 78개 레이어 전체에 걸쳐 210만 토큰 프롬프트에 대한 end-to-end LongStraw 실행 경로를 검증한다. 이 실험들은 캡처된 프롬프트 상태가 분리(detached)되어 있고 일부 분산 순전파 및 그래디언트 합성 경로가 아직 완성되지 않았기 때문에, 완전한 학습 정확성보다는 실행 용량을 입증한다.

arXiv:2607.14888v1cs.LG

무해해 보이는 데이터, 잠재적 이데올로기: 파인튜닝된 LLM에서의 이데올로기적 일반화

Innocuous-Seeming Data, Latent Ideology: Ideological Generalisation in Finetuned LLMs

언어 모델을 소규모의 큐레이션된 데이터셋으로 파인튜닝하는 것은 특정 정책이나 도메인에 맞게 모델을 조정하는 표준 관행이다. 우리는 사실적으로 방어 가능하고 조율 기준을 통과하는 좁은 데이터에 대한 파인튜닝이 일반 역량은 유지하면서도 관련 없는 도메인 전반에 걸쳐 광범위한 이데올로기적 변화를 일으킬 수 있음을 보인다. 우파 또는 좌파 성향의 경제학 Q&A로 GPT-4.1을 학습(training)시키면 형사 사법, 환경, 문화적 취향 같은 주제에서도 대응되는 이데올로기적 변화가 나타난다. 동일한 효과는 직장 HR 정책과 실용 금융 질의처럼 실제로 배포 가능한(plausibly-deployed) 데이터셋에서도 나타나며, 과학-사이비과학 축에서는 식품 안전 파인튜닝이 거짓 건강 신념을 표현하는 사용자에게 아첨하는 동의를 증가시킨다. 우리는 이 현상을 이데올로기적 일반화(ideological generalisation)라 부르고, 두 가지 속성을 측정하는 방법론을 제안한다: breadth(폭)—학습에 없는 주제 전반으로 변화가 얼마나 멀리 미치는지—, amplification(증폭)—동일 예시에 대한 퓨샷(few-shot) 프롬프팅 대비 파인튜닝이 변화를 얼마나 강화하는지. 우리는 퓨샷 프롬프팅이 일반화 방향을 가리키지만 파인튜닝은 모델(model)을 더 극단으로 밀어내며, 인종-IQ 연관성 옹호와 정치적 폭력 같은 분포 밖(out-of-distribution) 출력까지 이르게 함을 보인다. 이 효과는 Gemma-3에서도 재현되고, 판정자 없는 평가와 외부 벤치마크에서도 유지되며, 일반 데이터와 혼합해도 사라지지 않고, GSM8K 정확도는 기준선(baseline) 대비 $\pm 1$pp 이내로 유지된다.

arXiv:2607.14770v1cs.LG

ChronoQG: 시간적으로 표현력 있고 hop 제한형 시간 지식 그래프 질문 생성 벤치마크를 향하여

ChronoQG: Towards a Temporally Expressive and Hop-Bounded Benchmark for Temporal Knowledge Graph Question Generation

지식 그래프 질문 생성(KGQG)은 구조화된 그래프 증거로부터 자연어 질문을 생성하는 것을 목표로 한다. 그러나 기존 KGQG 벤치마크는 대부분 정적 지식 그래프 위에 구축되어 있으며 그래프 사실의 시간 범위를 인코딩하지 않는다. 결과적으로, 생성된 질문이 시간적 유효성, 사건 순서, 답을 결정하는 시간 제약을 충실히 보존하는지 평가할 수 없다. 본 논문에서는 생성된 질문이 지원 서브그래프와 목표 답을 식별하는 데 필요한 시간 제약 모두에 충실해야 하는 시간 지식 그래프 질문 생성(TKGQG)을 연구한다. 우리는 TKGQG를 위한 최초의 시간적으로 표현력 있고 hop 제한형 벤치마크 구축 프레임워크인 ChronoQG를 제안한다. ChronoQG는 포괄적인 시간 제약 분류체계, 토폴로지-시간 서브그래프 샘플링, 추적(trace) 기반 질문 생성을 통합하여 시간적으로 충실한 질문을 구축한다. 이 프레임워크는 이질적인 시간 지식 그래프로부터 총 16,011개의 검증된 질문을 포함하는 네 개의 벤치마크 데이터셋을 생성한다. 우리는 시간 제약 개수, 토폴로지 템플릿, 시간 제약 유형을 포함한 다양한 TKGQG 설정에서 대표적인 LLM 기반 KGQG 방법과 프롬프팅(prompting) 베이스라인을 평가한다. 결과는 기존 방법들이 특히 다중 제약 설정과 더 어려운 시간 제약 유형에서 시간 제약을 보존하는 데 어려움을 겪음을 보여준다. 이러한 발견은 정적 KGQG와 TKGQG 사이의 뚜렷한 격차를 드러내며, ChronoQG를 시간적으로 충실한 질문 생성을 위한 도전적인 테스트베드(testbed)로 확립한다.

arXiv:2607.14618v1cs.LG

PolyQ: 확장 가능한 엣지 CPU LLM 추론을 위한 엔드투엔드 양자화 프레임워크 공동 설계

PolyQ: Codesigning End-to-End Quantization Framework for Scalable Edge CPU LLM Inference

CPU는 온디바이스 LLM 추론을 위한 가장 보편적인 대상이지만, 기존 저비트 양자화 방법은 거친 동작 지점을 제공하거나 CPU에서 효율적으로 실행하기 어려운 세밀한 혼합 정밀도를 제공한다. 우리는 사용자 지정 평균 비트 예산 하에서 활성화 인지(activation-aware) 채널별 비트 할당을 위한 CPU 지향 컴파일러/양자화 공동 설계인 PolyQ를 제안한다. PolyQ는 채널별로 $\{2,3,4,8,16\}$의 비트 폭을 할당한 뒤, 컴파일 타임 모델 컴파일러를 사용해 채널을 비트 동질(homogeneous) 블록으로 치환(permute) 및 클러스터링하고, SIMD 및 LUT 호환 커널을 생성하며, 연산자 간 호환 가능한 치환을 병합하여 레이아웃 정규화를 런타임 경로 밖으로 유지한다. 이를 통해 세밀한 예산 맞춤을 CPU 전용 추론을 위한 실용적인 분수 비트(fractional-bit) 배포 방법으로 전환한다. WikiText-2에서 Falcon-H1-3B, Llama2-13B, Qwen3-32B에 대해 PolyQ는 3--6\,b에서 안정적인 품질 스케일링을 제공하며, 3\,b 목표에서 기존 방법 대비 perplexity를 2.4--32.1\% 개선한다. 워크스테이션, 노트북, 모바일의 세 가지 대표 CPU에 대한 엔드투엔드 측정 결과, 컴파일러 레이아웃 정규화는 활성화 재정렬 트래픽을 최대 70.8\% 줄이고, prefill 지연과 decode 처리량은 구성된 비트 예산에 거의 비례하여 스케일링되며, 에너지/토큰 오버헤드는 최적화된 LUT 기반 백엔드 대비 2\% 미만으로 유지된다. 이러한 결과는 분수 비트 CPU 배포가 다양한 엣지 대상에서 실용적이고 예측 가능하며 에너지 효율적임을 보여준다.

arXiv:2607.14604v1cs.LG

반사실 추정을 통한 A/B 테스트 가속화: 정책 겹침을 통한 분산 감소

Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap

온라인 통제 실험은 온라인 플랫폼에서 가설 검정의 황금 표준이다. 보편적으로 사용됨에도 불구하고 실행 비용이 매우 높으며, 분산 문제가 처치 효과(treatment effect) 평가의 통계적 검정력을 저해한다. 표준 분산 감소 기법은 모델 기반 통제 변량(control variates)을 활용해 결과 노이즈를 줄이지만, 경쟁 정책 간 잠재적 구조적 관계에는 무관하다. 본 연구에서는 표준 A/B 테스트 프로토콜의 중요한 비효율을 확인한다: 처치 정책과 대조 정책이 동일한 행동(action)에 동의할 때, 그 결과는 처치 효과에 관한 신호 없이 노이즈만 기여하여—불필요하게 신뢰 구간을 팽창시킨다. 우리는 이러한 정책 겹침(policy overlap)을 활용해 실험을 가속화하는 새로운 실험 프로토콜을 제안한다. 핵심 통찰은 무작위 처치 배정 메커니즘을 메타-정책(meta-policy)으로 구성하고, $Δ$-Off-Policy Estimation 방법을 활용해 평균 처치 효과에 대한 편향 없는(unbiased) 추정치를 얻는 것이다. 우리는 해석적으로 본 접근법이 일반적인 경우 표준 A/B 테스트 관행을 복원함을 증명하며, 그 분산은 원시 결과 분산이 아니라 정책 간 발산(divergence)에 비례함을 보인다. 따라서 정책이 공통 지지(common support)를 가질 때 표준 평균 차(Difference-in-Means) 추정량을 지배(d dominate)하며, 겹침 영역이 0이 아닌 잔차 분산(residual variance)을 기여할 때 개선은 엄격(strict)하다. 실증 결과는 이러한 이론적 통찰을 뒷받침하며—추천 시스템, 정보 검색(information retrieval) 파이프라인, 대규모 언어 모델 인터페이스의 실세계 평가에 상당한 영향을 미칠 가능성을 보여준다.

arXiv:2607.14571v1cs.LG

Gate-Zero Growth: 함수 보존 지속 학습을 위한 기하학적 프레임워크

Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning

우리는 영(zero) 초기화된 게이트를 통해 새로운 잔차 블록을 추가하는, 지속 학습(continual learning)을 위한 함수 보존(function-preserving, FP) 연산자인 \emph{gate-zero growth}를 제안한다. 횡단(transversality) 조건 하에서 gate-zero growth는 함수적 야코비안(functional Jacobian)에서 \emph{rank separation}을 유도한다. 기존 방향은 변하지 않고, 새 가중치 방향은 성장 지점에서 정확히 평평(flat)하며, 새 게이트 방향만이 새로운 함수적 변화의 1차 소스이다. 지속 학습 중 게이트가 열리면 함수 drift는 $O(\|\boldsymbolα\|^2)$이고 야코비안 누출(leakage)은 $O(\|\boldsymbolα\|_\infty)$이 되어 FP locus로부터의 통제된 이탈을 제공한다. WikiText-103에서 BookCorpus로 적응된 $300\mathrm{M}\to857\mathrm{M}$ 트랜스포머에서 gate-zero growth는 정확 보존(Isolation)과 공동 프론티어(Freeze-Nothing) 운영점 모두에서 거의 0에 가까운 구 도메인 망각($Δ_A < 0.1$)에 도달하는 반면, 비-FP 대조군($G_{\text{stack}}$)은 동일한 설정에서 한 자릿수(order-of-magnitude) 더 큰 망각을 겪는다. 동일한 기하학적 분석은 LoRA, ReZero, 영 초기화 어댑터 구성까지 포괄하며, gate-zero growth를 CL에서 안전한 용량(capacity) 활성화를 지배하는 공유 국소 기하학의 표준(canonical) 사례로 확립한다.

arXiv:2607.14522v1cs.LG

이산 확산 모델 미세조정을 위한 연속 시간 강화학습 프레임워크

A Continuous-Time Reinforcement Learning Framework for Fine-Tuning Discrete Diffusion Models

우리는 확률적 제어(stochastic control) 접근법을 통해 이산 상태 공간과 잠재적으로 임의의 행동 공간을 갖는 연속 시간 강화학습(RL)을 공식화하며, 상태 역학(state dynamics)은 제어된 연속 시간 마르코프 연쇄(CTMC)로 모델링한다. 정책 최적화 문제를 고려하고 해당 정책 그래디언트 방법을 유도하여, 연속 시간 근접 정책 최적화(PPO) 및 그룹 상대 정책 최적화(GRPO) 변형에 이른다. 주요 응용으로, 점수 기반(score-based) 이산 확산 모델의 미세조정을 위한 완전한 연속 시간 RL 프레임워크를 개발한다. 제안된 프레임워크는 보상 신호에 대한 미분 가능성(differentiability)을 요구하지 않고 보상 기반 최적화를 가능하게 한다. 기존 GRPO 기반 접근법이 종단 보상(terminal reward)만에 의존하는 것과 대조적으로, 우리의 공식화는 노이즈 제거 궤적(denoising trajectory) 전반에 걸쳐 중간 보상 또는 advantage 신호를 통합할 수 있다. 중요하게도, 마스크 확산 모델(MDM)에 특화될 때, 우리 프레임워크는 어휘 단체(vocabulary simplex) 위에서 해석적으로 다룰 수 있는 확률 비(probability ratios)를 갖는 풍부한 정책 매개변수화 클래스를 포괄하며, MDM에서의 탐험(exploration)과 정책 최적화에 대한 통합적 관점을 제공한다. 마스크 확산 대규모 언어 모델(dLLM)에 대해서는 계산상 prohibitive한 궤적 우도(trajectory likelihood)를 효율적으로 추정하고 위치별 확률 비 계산의 계산 비용을 줄이기 위한 궤적 부분표본(trajectory subsampling) 기법을 추가로 제안한다. 저차원 엔트로피 정규화 최적화 문제와 수학적 추론 및 코딩 과제에서 dLLM의 RL 사후 학습(post-training) 모두에서 우리 방법의 효과를 입증한다.

arXiv:2607.14506v1cs.LG

검증 가능 보상 강화학습을 위한 비공허 일반화 상한

Non-vacuous Generalization Bounds for Reinforcement Learning with Verifiable Rewards

검증 가능 보상 강화학습(RLVR)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 데 널리 사용되지만, 그렇게 얻어진 모델의 일반화 가능성은 여전히 잘 이해되지 않고 있다. 본 연구에서는 수십억 매개변수 규모에서 매개변수 효율적 RLVR 미세조정에 대한 최초의 비공허 일반화 상한을 제시한다. 우리의 접근법은 PAC-Bayes 압축 상한을 이 설정에 맞게 조정하고, Gumbel-max 재매개변수화(reparameterization) 트릭을 적용하여 토큰 생성의 고유한 확률성을 다룬다. 이 상한을 실용화하기 위해 RLVR을 온-정책 지식 증류, TinyLoRA, 모델 양자화와 통합하는 Progressive RLVR 프레임워크를 제안한다. Progressive RLVR은 경험적으로 표준 LoRA 미세조정 성능의 84–97%를 유지하면서 14,796배 더 압축 가능한 모델을 생성한다. 우리는 이 프레임워크가 수학 문제 풀이, 프로그래밍, 일반 지식 추론, Text-to-SQL 네 영역에서 비공허 일반화 상한을 제공함을 보인다. 우리의 상한은 기본 모델의 정확도를 9–51% 초과하며, 미세조정된 모델의 정확도와 6–11% 이내의 차이에 있다.

arXiv:2607.14371v1cs.LG

지도 미세조정 vs. 문맥 내 학습: 혼잡 하에서 LLM 개인화의 균형 분석

Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

대규모 언어 모델(LLM)은 AI 서비스를 혁신했지만, 중요한 긴장이 발생한다. 개인화는 모델 성능을 향상시키지만, 사용자들이 공유해야 하는 희소한 계산 자원을 소비한다. 사용자는 언제 값비싼 지도 미세조정(SFT)에 투자해야 하고, 언제 경량적인 문맥 내 학습(ICL)을 선택해야 하는가? 다른 사용자들의 개인화 선택으로 인한 혼잡이 이러한 인센티브를 어떻게 재편하는가? 그리고 플랫폼이 여러 개인화 알고리즘을 제공할 때 어떤 전략을 채택해야 하는가? 우리는 사용자가 직면하는 통계-경제적 트레이드오프를 포착하는 LLM 서빙을 위한 다루기 쉬운 프레임워크를 개발한다. 우리의 분석은 여러 놀라운 통찰을 제공한다. 첫째, ICL과 SFT는 사전학습(pre-training) 커버리지와 데이터 신호 대 잡음비(signal-to-noise ratio) 간의 상호작용에 의해 결정되는 서로 다른 영역에서 각각 우세함을 보임을 보인다. 그러나 혼잡은 이러한 순위를 뒤바꿀 수 있다. 둘째, 균형 상태에서의 자원 소비는 뚜렷한 비단조성(non-monotonicity)을 보인다. 사전학습 정밀도를 높이면 혼잡이 감소하지만, 더 넓은 사전학습 커버리지와 더 어려운 태스크는 때때로 혼잡을 증가시킨다. 셋째, 계산 부하를 잠재적으로 증가시킬 수 있음에도 불구하고, 두 개인화 방법을 모두 제공하는 것이 플랫폼의 최대 수익을 절대로 해치지 않음을 증명한다. 선형 회귀 태스크에서 GPT-2를 사용한 실험은 알고리즘 성능에 대한 우리의 이론적 예측을 검증한다. 이 결과를 보완하여, 21개 주요 AI 플랫폼의 문서를 검토한 결과, SFT와 ICL을 모두 제공하는 비율이 2021년 9.5%에서 2025년 71.4%로 증가했으며, 이는 우리의 플랫폼 설계 시사점과 일치한다.

arXiv:2607.14367v1cs.LG

Dysco: 연합 학습에서 LoRA 간섭을 완화하기 위한 동적 부분공간 부스팅

Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning

대규모 사전학습 모델의 연합 미세조정은 통신 및 연산을 줄이기 위해 Low-Rank Adaptation(LoRA)에 점점 더 많이 의존하고 있지만, 이질적인 클라이언트는 어댑터 집계를 불안정하게 만들 수 있다. 우리는 데이터-매개변수 간섭을 이러한 불안정성의 기하학적 원인으로 규명한다. 이 간섭은 LoRA 업데이트 부분공간과 클라이언트 활성화(activation) 사이의 정렬(alignment)에 의해 제어되며, 연합 LoRA 집계는 매개변수 평균화뿐 아니라 부분공간 할당(subspace allocation)으로도 바라봐야 함을 시사한다. 우리는 Dynamic Subspace Boosting(Dysco)을 제안하는데, 이는 연합적이고 동적인 방식으로 클라이언트별 LoRA 부분공간을 할당하는 플러그인 방식이다. 각 라운드에서 클라이언트는 로컬 표현(representation)으로부터 활성화-비민감(activation-insensitive) 부분공간을 계산하고 결과 기저(basis)만 전송하며, 서버는 다른 클라이언트의 비민감 방향과의 호환성을 최대화하는 폐형(closed-form) 해법을 통해 클라이언트별 병합 부분공간을 구성한다. 표현 드리프트(representation drift)를 처리하기 위해 Dysco는 미래 표현에 적응하면서 과거 업데이트 방향을 보존하도록 다중 라운드 부분공간 부스팅을 수행한다. 우리는 데이터-매개변수 간섭을 표준 연합 최적화(optimization) 상계(bound)에 집계 오류(aggregation-error) 항으로 내재하는 수렴 분석을 제공하고, Dysco의 서버-고정 병합 부분공간이 이 오류에 대한 더 타이트한 상계를 제공함을 증명한다. 통제된 합성 연합 작업 및 Llama-3.2-1B을 사용한 MIMIC-IV 임상 노트 분류 실험은 Dysco가 간섭을 상당히 줄이고, 이론이 식별하는 직교 부분공간 분할 하에서 베이스라인 대비 최종 라운드 합성 학습 손실을 최대 9배까지 줄이며, MIMIC에서 테스트한 다섯 가지 FL 알고리즘 모두를 최대 4.3%까지 개선하고, 최근 연합 LoRA 방법들을 능가하며, 벽시계(wall-clock) 오버헤드는 0.9%만 추가함을 보여준다. 코드는 https://github.com/illidanlab/Dysco 에서 제공한다.

arXiv:2607.14314v1cs.LG

NeuroGRIP: 지식 기반 EEG 발작 진단을 위한 검색-증강 그래프 정제

NeuroGRIP: Retrieval-Augmented Graph Refinement for Knowledge-Grounded EEG Seizure Diagnosis

EEG 신호를 이용한 발작 진단은 복잡한 신경 역학과 채널 간 모델링에서의 허위 연결로 인해 중요하면서도 지속적으로 어려운 과제이다. 공간-시간 그래프 신경망(spatial-temporal graph neural networks, STGNN)은 EEG 뇌 네트워크 표현 학습(representation learning)을 발전시켰지만, 순전히 데이터 기반 특성으로 인해 결과 그래프 구조는 임상적 타당성이 낮고 해석 가능성(interpretability)이 제한적이다. 이를 위해 우리는 외부 의학 지식을 통합하여 노이즈가 있는 EEG 그래프를 보정하는 검색-증강 그래프 정제(retrieval-augmented graph refinement) 프레임워크인 NeuroGRIP을 제안한다. 먼저 권위 있는 임상 가이드라인에서 파생된 대규모 도메인 특화 지식 베이스(knowledge base)를 구축한다. 대규모 언어 모델(LLM)을 활용하여 구조화된 생의학적 개체와 관계를 추출해 텍스트 지식 그래프(KG)를 형성하며, 이는 임상적 사전(prior)의 외부 지식 원천으로 작용한다. 본 프레임워크는 STGNN이 생성한 EEG 노드 임베딩(embedding)을 KG의 의미 공간(semantic space)으로 투영함으로써 정렬 인식(alignment-aware) 쿼리 구성을 수행한다. 의미적 쿼리는 FAISS 기반 유사도 검색(similarity search)을 통해 지식 삼원조(triplets) 위에서 실행되어 관계 증거(relation evidence)를 검색한다. 각 예측 엣지(edge)에는 검색된 유사도, 관계 유형, 출처 신뢰도(source reliability)에 기반한 신뢰도 점수(confidence score)가 부여되어, 원래 예측 그래프에서 의학적으로 타당하지 않은 엣지를 제거(prune)할 수 있다. TUSZ와 CHB-MIT에 대한 광범위한 실험은 NeuroGRIP이 발작 검출 정확도를 향상시킬 뿐만 아니라, 각 예측을 임상적으로 검증된 지식에 그라운딩(grounding)함으로써 해석 가능성을 높인다는 것을 보여준다. 본 연구는 검색-증강 추론(retrieval-augmented reasoning)을 통해 뇌 역학과 외부 의학 전문 지식을 긴밀히 결합한 최초의 통합 프레임워크를 제공하며, 지식 강화형 설명 가능한 임상 진단의 길을 연다. 코드는 https://github.com/LincanLi-X/NeuroGRIP 에서 이용할 수 있다.

arXiv:2607.14185v1cs.LG

폐루프 지식 역학: 포화와 탈출을 위한 운용 프레임워크

Closed-Loop Knowledge Dynamics: An Operational Framework for Saturation and Escape

피드백 주도 루프는 대규모 언어 모델(LLM), 강화학습, 자율 발견에서 반복적 개선을 지원하지만, 반복된 내부 피드백 하에서는 그 이득이 종종 감소한다. 우리는 폐루프 지식 시스템이 왜 포화되는지, 그리고 어떤 외부 정보가 이를 현재 attractor를 넘어서게 할 수 있는지 연구한다. 우리는 지식 상태 $x_t$가 구조적 매개변수 $θ$로 색인된 전이 커널 $K_θ$를 통해 진화하는 3단계 운용 프레임워크를 제안한다. 지배 구조는 이러한 커널들에 의해 유도된 $θ$의 관측적 동치류로 정의되며, attractor와 basin은 고정-$θ$ 역학의 성질이다. 구조적 개입은 $θ$를 변경하고 사전 지정된 프로브 상태에서 검출 가능한 커널 불일치를 만들어, 구조적 변화를 반증 가능하게 한다. Lyapunov drift 조건을 사용하여, 안정적인 내부 역학이 지수적으로 감쇠하는 과도 현상과 잡음이 제어하는 잔차 하한을 갖고 유계 안정성 영역에 접근함을 보인다. 탈출을 개입 유도 attractor 변위에 대한 계량 조건과 탈출 확률 증가를 위한 기준선 대비 KL 하한으로 특성화한다. 이 분석은 또한 조건부 상호 정보만으로는 탈출을 보증할 수 없는 이유를 설명한다: 그것은 개입-조건 업데이트들 간의 변이를 측정할 뿐, 무개입 법칙으로부터의 이탈을 측정하지 않기 때문이다. LLM 코드 수리, 희소 보상 강화학습, 베이지안 최적화의 사례 연구는 매칭된 continuation 제어를 사용하여 피드백 강도와 정렬(alignment)이 품질 개선 탈출에 어떻게 영향을 미치는지 보여준다. 우리의 기여는 안정성 도구, 측정 가능한 개입 효과, 도메인 간 진단 사이의 운용적 연결이다.

arXiv:2607.14181v1cs.SE

자신 있게 양자화할 수 있을까? 코드 생성을 위한 양자화의 실증 연구

Quantize with Confidence? An Empirical Study of Quantization for Code Generation

Ollama와 같은 로컬 추론 프레임워크의 확산으로, 개발자들이 노트북 등 자원 제약이 있는 하드웨어에서 대규모 코드 모델을 실행하는 경우가 점점 더 흔해지고 있다. 이러한 환경에서 사후 학습 양자화는 메모리 사용량을 줄이고 실용적인 배포를 가능하게 하는 데 필수적이지만, 생성된 코드에 미치는 영향은 아직 충분히 이해되지 않았다. 본 연구는 Python과 Java를 위한 다국어 McEval 및 CoderEval 벤치마크를 사용하여, Qwen2.5-Coder와 CodeLlama라는 두 가지 대표적인 대규모 코드 모델 계열에 대해 6가지 최신 양자화 방법(GPTQ, AWQ, QuIP#, AQLM, BitsAndBytes, GGUF)을 실증적으로 평가한다. 기능적 정확성(pass@1)과 함께 유지보수성, 신뢰성, 보안, 구조적 복잡성을 평가한다. 또한 Shannon 엔트로피와 토큰 길이로 특성화된 다양한 프롬프트 복잡도에 따른 견고성에 대한 새로운 분석을 도입한다. 결과에 따르면 양자화 기법은 정확성과 코드 품질에 미치는 영향에서 의미 있는 차이를 보인다. AQLM은 일관되게 전체 정밀도 기준선과 동등하거나 이를 초과하는 반면, QuIP#는 특히 복잡한 프롬프트에서 가장 큰 정확성 저하를 보인다. 보안 속성은 모델, 벤치마크, 프로그래밍 언어 전반에 걸쳐 안정적으로 유지되는 반면, 프롬프트 복잡도에 대한 견고성은 기법마다 다르게 나타난다. 이러한 결과는 자원 제약이 있는 하드웨어에 대규모 코드 모델을 배포할 때 양자화 전략을 선택하는 데 실용적인 지침을 제공하며, 기능적 정확성을 넘어 양자화된 모델을 평가하는 것의 중요성을 강조한다.

arXiv:2607.14171v1cs.LG

분기 정책 최적화: 샌드박스 네이티브 언어 에이전트 강화학습

Branching Policy Optimization: Sandbox-Native Language Agent Reinforcement Learning

강화학습은 실행 가능한 샌드박스와 상호작용하는 대규모 언어 모델(LLM) 에이전트를 학습하기 위한 지배적인 패러다임으로 부상했다. PPO, RLOO, GRPO와 같은 최첨단 알고리즘은 RLHF로부터 롤아웃 토폴로지를 물려받는다. 각 프롬프트에 대해 초기 상태에서 N개의 독립 궤적이 샘플링되고, 그룹 기준선을 빼서 어드밴티지를 계산한다. 이 설계는 에이전트 샌드박스의 정의적 특성을 무시한다. 샌드박스는 결정적이며 스냅샷 가능하고, 임의의 중간 상태에서 재개할 수 있다. 우리는 이 특성이 근본적으로 다른 롤아웃 토폴로지를 가능하게 한다고 주장한다. 깊이 T인 N개의 독립 트리 대신, 형제가 접두 문맥을 공유하고 따라서 분산을 공유하는 N개의 잎을 가진 단일 트리를 구성할 수 있다. 우리는 이 아이디어를 Branching Policy Optimization(BPO)으로 구체화한다. BPO는 (i) 백본 궤적을 따라 고엔트로피 의사결정 지점에서 샌드박스를 적응적으로 스냅샷하고, (ii) 각 분기점에서 K개의 대안 행동을 분기하여 각각 종료까지 롤아웃하며, (iii) 독립적인 프롬프트가 아니라 형제 반환으로부터 단계별 어드밴티지를 계산하는 샌드박스 네이티브 RL 알고리즘이다. 우리는 이 추정량이 불편(unbiased)이며 궤적 수준 기준선보다 엄격히 더 낮은 분산을 갖는다는 것을 증명하며, 그 감소량은 반환 분산 중 접두 문맥으로 설명되는 부분과 같다. WebShop, ALFWorld, SWE-bench Verified에서 Qwen2.5-7B와 Llama-3.1-8B 백본을 사용할 때, BPO는 동일한 연산량에서 GRPO와 RLOO 대비 성공률을 절대 3.6–6.1퍼센트포인트 향상시키고, 그래디언트 노름 분산을 절반으로 줄이며, 정책 업데이트를 38% 더 적게 사용하여 최고 기준선과 동등한 성능을 달성한다.

arXiv:2607.14165v1cs.SE

신뢰할 수 있는 AI 지원 아날로그 설계를 향하여: SAR ADC 생성을 위한 템플릿 제약 LLM 에이전트

Towards Reliable AI-Assisted Analog Design: Template-Constrained LLM Agents for SAR ADC Generation

대규모 언어 모델(LLM)은 소프트웨어 코드 생성에서 상당한 역량을 입증했지만, 아날로그 전자 설계 자동화(EDA)에의 적용은 병목에 직면해 있다. 회로 토폴로지에 대한 이해와 데이터가 제한적이기 때문에, LLM과 멀티모달 모델에 직접 프롬프트를 주면 환각이 발생하고 엄격한 SPICE 시뮬레이션을 통과할 수 있는 회로도를 생성하지 못하는데, 이는 본 연구에서 보여준다. 대신, 우리는 end-to-end 다단계 LLM 에이전트 프레임워크 ATLAS를 제안한다. 이는 기능적인 Successive Approximation Register(SAR) 아날로그-디지털 변환기(ADC)를 생성하여 시뮬레이션 검증을 성공적으로 통과할 수 있다. 아날로그 설계의 엄격한 제약을 준수하기 위해, 계획, 선택, 매개변수화, 반복적 수정 단계에서 전문 지식을 활용하여 LLM을 그라운딩한다. ATLAS의 일부로, 우리는 Template-Constrained Generation을 도입한다. 이는 다른 템플릿 기반 연구와 달리 보다 일반화된 SAR ADC 생성 흐름을 구축한다. 기술 노드와 입력 사양 전반에 걸쳐 SAR ADC를 개발함으로써, 우리 프레임워크의 강력한 개념 증명을 입증한다. 전반적으로, 전문 지식에 기반한 다단계 에이전트 ATLAS는 LLM을 신뢰할 수 있는 아날로그 설계 방법론에 통합하기 위한 실용적 기반을 마련한다.