PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.23174v1stat.ME

코딩 에이전트 사용 이후의 통계적 추론

Inference after coding agents

AI 코딩 에이전트가 코드 작성부터 데이터 처리까지 실증 연구의 모든 단계에서 점점 더 능숙해지면서 연구 방식이 빠르게 바뀌고 있다. 코딩 에이전트가 과학 연구에 기여할 잠재력은 크다. 다만 에이전트로 가설을 검정하면 분석을 선택한 뒤 그 결과로 추론하는 선택적 추론이 크게 확대돼 고전적 추론의 타당성을 위협한다고 주장한다. 특히 코딩 에이전트로 실증 연구를 하면 새로운 형태의 선택 후 추론이 생긴다. 에이전트는 사람이 하듯 명시적으로 정하지 않은 추정량 공간을 개방적으로 탐색하면서도, 선택과 추정 과정을 프로그램으로 재실행할 수 있다. 실제 효과가 0인 모의 데이터에서 설득력 있는 발견을 제시하라고 요청하자, 최첨단 에이전트 네 종은 전체 시도의 54~98%에서 유의한 p값을 보고했다. 이러한 왜곡을 감지하고 보정하는 간단한 절차를 제안한다. 에이전트가 분석을 마치면 상태를 초기화하고 데이터의 부분 표본에서 재실행한다. 해당 분석이 통계적으로 유리해 보일 때 에이전트가 그 분석을 선택할 상대 확률을 이를 바탕으로 추정한다. 선택 행태가 안정적인 에이전트에서는 보정한 검정이 선택에 조건부로 점근적 타당성과 일관성을 갖는다. 보정은 에이전트의 탐색 방식을 모델링하는 대신 블랙박스 에이전트가 실제로 내린 선택에서 학습한다. 따라서 AI 기술이 계속 빠르게 발전해도 타당성을 유지한다. 시뮬레이션에서 보정은 높은 오기각률을 명목 수준인 5%에 가깝게 일관되게 낮췄다. 발표된 논문 두 편의 응용 사례를 통해 이 방법을 설명한다.

arXiv:2611.23161v1cs.CV

디코더를 통한 기여도 산정: 구조화된 출력의 예측 공간 설명

Attribution Through the Decoder: Prediction-Space Explanations for Structured Outputs

각도, 시선 방향, 회전을 예측하는 신경망은 원시 좌표를 출력하고, 정규화 같은 고정 디코더가 이를 최종 예측값으로 변환한다. 기여도 산정 방법을 원시 좌표에 적용하는 경우가 많아, 디코더에서 사라지는 변화에도 입력의 기여를 부여할 수 있다. 예를 들어 벡터의 방향만 중요할 때 크기를 바꾸는 변화가 이에 해당한다. 그 결과 예측에 영향이 없는 입력이 중요한 것처럼 표시될 수 있다. 우리는 디코더의 미분을 거쳐 기여도를 산정한다. 정규화 디코더에서는 이 미분이 스케일을 곱한 접공간 투영으로 단순화된다. 출력의 스케일을 바꿔도 결과가 유지되는 조건을 분석하고, 구면의 모든 고정된 매끄러운 스칼라 목표 함수에는 접선 방향 민감도가 0인 점이 있음을 보인다. 종점에 투영하는 통합 그래디언트 변형은 크기에만 영향을 주는 입력에 기여도를 부여할 수 있는 반면, 각도에 직접 적용하는 통합 그래디언트는 그렇지 않음을 보인다. 관련성을 해석적으로 알 수 있는 합성 과제에서 주변 공간의 기여도 산정은 전체 기여도의 최대 72%를 관련 없는 영역에 할당했다. MPIIGaze 검증 데이터에서 픽셀 10%를 삭제했을 때 접공간 Grad-CAM은 예측값을 44% 더 크게 이동시켰다. 6차원 회전 디코더를 사용하는 PASCAL3D+에서는 전체 미분을 적용했을 때 픽셀 삭제에 따른 평균 이동량이 주변 공간의 좌표 합보다 14.1도, 디코더에 대해 불변인 스칼라보다 13.8도 커졌다. 두 극성을 사용하는 접공간 LayerCAM 변형의 결과는 과제에 따라 달랐다. 원형 회귀에서는 주변 공간의 합을 쓰는 LayerCAM보다 앞섰으나, 쿼터니언 자세 추정에서는 차이가 검출되지 않았다. 이 결과는 반지름 방향 성분의 혼입과 스칼라화에 따른 정보 손실이라는 두 실패 원인을 구별한다. 이 접근법은 기존 기여도 산정 방법에 디코더를 고려한 목표를 적용한다. 일부 변형에서는 기여도 집계 방식도 바꿔야 한다. 불변성을 갖춘 기여도 산정도 예측을 움직이는 입력을 놓칠 수 있으므로 불변성과 삭제 평가 성능을 각각 확인해야 한다.

arXiv:2611.23154v1cs.LG

추론 시점 목적함수를 위한 층화 정책 학습

Learning Stratified Policies for Inference-Time Objectives

추론 시점 스케일링은 여러 응답을 샘플링하고 그 응답 집합의 효용을 평가해 대규모 언어 모델의 성능을 높인다. 그러나 기존 접근법 중 다수는 단일 정책에서 반복적으로 샘플링한다. 이 연구에서는 추론 시점의 샘플 예산을 여러 정책에 나누어 배정할 수 있는지 살펴본다. 학습한 정책 $k$개가 각각 응답 하나를 제공해 $k$개 샘플을 사용하는 추론 시점 목적함수를 평가하는 층화 정책을 제안한다. 공유 언어 모델 백본에 별도의 LoRA 어댑터를 달아 정책 집합을 구현하고 pass@$k$에 맞춰 최적화한다. 선형 설정을 분석해 이 접근법의 이론적 근거를 제시한다. 단일 LoRA는 각각 예측 오차가 0보다 크더라도 LoRA를 여러 개 사용하면 best-of-$k$ 근사 오차가 0이 될 수 있다. 여러 추론 과제의 실험에서 층화 정책은 단일 정책 기준선보다 pass@$k$를 일관되게 높였다. 이 결과는 추론 시점에 단일 정책에서 독립적이고 동일한 분포로 반복 샘플링하는 것보다 상호 보완적인 정책에 샘플을 분배하는 편이 샘플 예산을 더 효과적으로 활용할 수 있음을 보여 준다.

arXiv:2611.23142v1cs.SE

문서의 빈틈을 찾다: 문서 유지보수를 위해 배포한 다중 에이전트 시스템

Mind the Gap: A Deployed Multi-Agent System for Documentation Maintenance

‘AI 혁명’으로 기술 업계의 팀들은 전례 없는 속도로 소프트웨어 기능을 제공할 수 있게 됐다. 코드는 이전보다 빠르게 바뀌지만 고객용 문서는 변경 사항을 제때 반영하기 어려운 경우가 많다. 문서를 주된 인터페이스로 활용하는 LLM 기반 에이전트에 사용자가 점점 더 의존하면서, 오래된 정보가 전파되고 권위 있는 답변처럼 받아들여지는 문제가 커졌다. 문서가 뒤처진 부분을 찾을 단서는 이미 많다. 해결된 지원 문의에서 문서에 빠진 내용이 드러나는 명시적 단서와, 자동화된 반복 과정에서 코드와 문서의 불일치를 발견하는 암묵적 단서가 있다. 이 단서를 계속 수집해 문서와 실제 동작 간의 차이를 수정하는 다중 에이전트 시스템을 배포했다. 핵심 구성 요소는 지원 문의를 분류하는 에이전트 TriAgent다. 실제 응답을 보내지 않는 섀도 모드로 43일간 운영한 결과, 시스템은 지원 문의 499건을 분류해 문서의 빈틈 92곳을 찾았다. 서로 독립적인 모델 계열에서 뽑은 LLM 평가자 세 명의 다수결에서, 엔지니어의 답변으로 사실 여부를 확인할 수 있는 TriAgent의 주장 302개 중 245개(81.1%)가 정확했다. 길이가 비슷한 응답 쌍에서는 70.5%에서 TriAgent의 답변을, 23.2%에서 엔지니어의 답변을 선호했다. 나머지는 다수 의견이 없었다. 에이전트와 사람이 작성한 답변은 서로 보완하는 경향이 있었다. 사람은 기존 문서에서 찾기 어렵거나 전혀 다루지 않은 내용을 자주 짚었다. 시스템은 이런 내용을 각각 문서의 빈틈으로 기록하고, 사람의 검토를 거쳐 수정한다. 문서를 고친 뒤 에이전트가 같은 문의에 다시 답했을 때 답변 품질이 개선됐다. 수정 전후를 모르는 평가자들은 35건 중 71.4%에서 수정 후 답변을 선호했다. 전후 정보를 가린 사람의 검토에서도 에이전트가 개선됐다는 평가가 높은 수준으로 일치했다.

arXiv:2611.23138v1cs.AI

RSI-Prime: 모델을 학습시키는 모델 훈련하기

RSI-Prime: Training Models to Train Models

대규모 언어 모델(LLM)이 자율적으로 학습을 수행해 대상 모델을 개선하는 능력은 재귀적 자기 개선(RSI)의 중요한 기반이다. LLM의 역할이 학습을 받는 쪽에서 학습을 수행하는 쪽으로 확대되면서, 모델 학습을 수행하는 능력을 별도로 연구하고 체계적으로 개발할 필요가 있다. 이를 위해 모델 학습 능력을 개선하는 데이터셋 RSI-Prime을 구축했다. 7개 과제 범주에서 실험 과정 전체를 담은 궤적 350개로 구성된다. LLM이 학습 실습에서 더 나은 실험 결정을 내리는 법을 배울 수 있도록 결정 지점을 세밀하게 식별하고 품질에 주석을 달았다. 그런 다음 개별 결정의 손실에 마스크를 적용해 품질이 낮은 행동은 지도 신호에서 제외했다. 자율 사후 학습용 벤치마크 PostTrainBench에서 GLM-5.3을 실험한 결과, RSI-Prime으로 학습한 모델은 원래 GLM-5.3보다 종합 성능이 상대적으로 31.95% 높았다. 이는 모델이 자체 개선을 지속적으로 수행하는 미래의 RSI 시스템으로 나아갈 가능성을 보여 준다.

arXiv:2611.23106v1cs.CL

자연어 프로그래밍: 생성형 AI 시대의 언어, 기억, 인지 다시 생각하기

Natural Language Programming: Rethinking Language, Memory, and Cognition in the Era of Generative AI

생성형 인공지능은 컴퓨팅 시스템에서 자연어의 역할을 바꾸고 있다. 전통적인 자연어 처리(NLP)에서는 언어를 분석, 분류, 번역, 생성하는 계산 대상으로 다뤘다. 대규모 언어 모델(LLM)은 이 관점을 바꾸고 있다. 자연어가 점차 사람이 추론을 구성하고 문제 해결을 조율하며 사람과 AI가 함께하는 워크플로를 관리하는 실행 가능한 인지 매체로 쓰인다. 이 논문은 전통적 NLP를 이론과 인식론 측면에서 확장한 자연어 프로그래밍(NLPg)을 소개한다. NLPg는 언어 이해뿐 아니라, 목표, 제약, 가정, 검증 기준, 중간 추론 상태를 외부에 드러내는 동적 인지 산출물로 프롬프트를 바라본다. 따라서 프롬프트 작성은 상호작용 기술인 동시에 사람과 AI의 분산 기억 아키텍처에서 작동하는 대화형 인지 프로그래밍이다. 분산 인지, 확장된 마음, 메타인지, 대화 학습 이론에 기반해 대화형 작업기억이라는 개념을 제안한다. 프롬프트와 대화 상태가 추론의 연속성과 성찰적 조절을 지원하는 일시적 외부 기억 구조로 어떻게 기능하는지 설명한다. 기존 기억 아키텍처(BTMA, SKGE, RMR)를 이 틀에 대응시켜 일화적, 의미적, 메타인지적 계층이 장기 대화의 일관성을 어떻게 유지하는지 보여 준다. 마지막으로 전산언어학과 AI 매개 지식 시스템에 대한 함의를 논의한다. 자연어가 의사소통 매체, 실행 가능한 명세, 사고를 돕는 틀, 분산 기억 아키텍처로 동시에 기능하는 탈기호·탈인터페이스 패러다임을 제시한다.

arXiv:2611.23096v1cs.AI

은닉 상태 유사도로 예방접종 프롬프팅 이후의 행동 재발현 예측하기

Hidden-State Similarity Predicts Re-Elicitation After Inoculation Prompting

범위가 좁은 유해 과제로 미세조정하면 모델이 학습 분포를 벗어나 유해 행동을 일반화하는 창발적 비정렬이 나타날 수 있다. 예방접종 프롬프팅은 학습 중 원치 않는 행동을 명시적으로 유도해 이 효과를 줄일 수 있다. 그러나 최근 연구에 따르면 평가 프롬프트에 학습 문맥의 단서가 들어 있으면 그 행동이 다시 나타날 수 있다. 이 연구는 어떤 특징이 그러한 프롬프트를 효과적인 유발 요인으로 만드는지 살펴본다. 예방접종 프롬프트와의 텍스트 유사성만으로는 재발현을 완전히 예측할 수 없었다. 예방접종 문맥에서 생성된 활성화 상태와 비슷한 상태가 나타날 때 억제된 행동이 다시 나타날 가능성이 더 높았다. 이 결과는 예방접종 프롬프팅이 조건부 비정렬을 어떻게 바꾸는지 이해하는 데 도움이 된다. 또한 활성화 공간 분석으로 어떤 평가 프롬프트에서 억제된 행동이 여전히 나타날 수 있는지 파악할 수 있음을 시사한다.

arXiv:2611.23093v1cs.CL

트리 안에는 무엇이 있을까? 언어를 제어 가능하게 근사하는 계층형 $n$-그램 모델

What's in a Tree ? Hierarchical $n$-gram models as controlled approximators of language

언어를 연구하기 위한 합성 환경으로 계층형 모델이 제안됐지만, 실제 언어 말뭉치와 얼마나 관련이 있는지는 충분히 연구되지 않았다. 이 연구에서는 2차 및 3차 텐서를 계층적으로 합성해 조건부 확률 텐서 $p(x_n \mid x_{1:n-1})$를 구성하는 자기회귀 생성 $n$-그램 모델인 트리그램을 소개한다. $n$은 최대 문맥 윈도 크기를, 랭크 하이퍼파라미터 $d$는 모델 용량을 제어한다. 이를 통해 해석할 수 있고 규모를 체계적으로 늘릴 수 있는 언어 근사 모델 제품군을 얻는다. 트리그램은 기존 $n$-그램 기준선보다 우수하면서도 심층 트랜스포머 기반 언어 모델과 경쟁력 있는 성능을 보인다. 트리그램을 생성 모델로 사용해 이러한 제어 가능한 근사의 유용성을 입증한다. 특히 중간 수준의 $n$과 $d$를 가진 트리그램으로 생성한 더 단순한 데이터에서 폭이 좁은 모델을 조정하면 $\mu$P에서 하이퍼파라미터 전이의 강건성을 높일 수 있다. 또한 엔트로피와 상관관계의 유효 범위가 미세조정 이후의 성능 차이를 좌우함을 보인다. 이는 트리그램에서 문맥 범위와 모델 용량을 명시적으로 제어할 수 있기 때문이다. 여러 후보 토폴로지로 라우팅을 허용하자 트리그램에서 희소성이 나타났다. 라우팅이 일부 토폴로지에 집중되므로 성능을 크게 바꾸지 않고도 토폴로지를 최대 95%까지 가지치기할 수 있었다.

arXiv:2611.23091v1cs.SE

BugGen 2.0: 확장 가능한 RTL 버그 합성을 위한 대규모 언어 모델의 역할 재설계

BugGen 2.0: Rethinking the Roles of LLMs for Scalable RTL Bug Synthesis

AI 기반 레지스터 전송 수준(RTL) 결함 위치 탐지와 디버깅에는 버그의 위치가 알려져 있고 실패를 관찰할 수 있는 정답 데이터셋이 필요하다. 테스트벤치의 탐지 능력도 주입한 버그로 평가한다. 이러한 데이터셋을 대규모로 만드는 일은 전자 설계 자동화(EDA)의 주요 과제다. BugGen 1.0은 대규모 언어 모델(LLM)이 문맥을 고려한 RTL 변이를 생성할 수 있음을 보였다. 다만 변경 위치를 고르는 일과 수정안을 만드는 일을 모두 모델에 맡기므로 추론 비용이 크고 유효하지 않은 위치를 고를 수 있다. BugGen 2.0은 역할을 바꿔 구조 분석, 대상 선택, 검증을 결정론적 알고리즘에 맡기고, LLM은 국소적인 의미 단위의 코드 수정에 집중하게 한다. OpenTitan IP 블록 네 개와 FabScalar에 LLM 세 종을 적용한 결과, 적어도 두 건의 테스트 실패를 일으키면서 컴파일할 수 있는 버그 시나리오가 요청한 수량만큼 모두 생성됐다. 설정한 변이 유형 16개 중 14~16개가 포함됐다. 같은 모델로 비교를 완료한 실험에서 토큰 사용량은 BugGen 1.0 대비 6.8~15.4분의 1, Firefly 대비 1.5~7.9분의 1로 줄었다. 새 버그를 모두 시뮬레이션하지 않고도 데이터셋을 확장할 수 있다. 관찰할 수 있는 실패를 일으켜 기준을 통과한 시나리오를 찾은 뒤, 같은 위치에 다른 변이를 만들고 일부만 시뮬레이션해 나머지의 통과 여부를 추정한다. 이에 따라 AES 변이의 63.6%와 FabScalar 변이의 33.9%는 시뮬레이션을 생략했다. 전체 시뮬레이션에서는 AES 변이의 77.7%, FabScalar 변이의 95.2%가 통과했다. 직접 비교 가능한 FabScalar 집합에서 추정 오차는 1.09%였다. 이 결과는 LLM을 의미 단위의 수정에 집중시키면 추론과 시뮬레이션 비용을 줄이고 모델 및 설계 간 일관성을 높일 수 있음을 보여 준다.

arXiv:2611.23081v1cs.LG

상태 공간 변환을 되돌리는 법 학습하기: 상태 공간이 달라진 환경에서의 전이 강화학습

Learning to Undo: Transfer Reinforcement Learning under State Space Transformations

강화학습(RL)에서 전이학습은 높은 실험 성능을 보였다. 이 연구에서는 두 마르코프 결정 과정(MDP), 즉 출발 환경과 대상 환경 간에 지식을 전이하는 것이 언제 어떻게 도움이 되는지 이론적으로 분석한다. 구체적으로 대상의 상태 공간에 적용하면 출발 환경의 상태 공간을 정확히 복원하는 역변환 사상이 있는 경우를 살펴본다. 두 MDP에서 얻은 상태 특징의 통계량을 일치시켜 이 사상을 학습하고, 이를 사용해 출발 정책을 대상 환경으로 옮기는 알고리즘을 제안한다. 역변환 사상이 선형이고 출발 환경의 최적 가치 함수 $Q^\star$를 선형으로 표현할 수 있는 경우를 분석해 알고리즘의 이론적 근거를 제시한다. 이 경우 제안 방식의 샘플 복잡도는 대상 MDP에서 처음부터 강화학습할 때보다 엄밀히 작다. 난도가 높은 연속 제어 과제와 Atari 게임에서도 훨씬 높은 샘플 효율을 달성해 이러한 이점이 분석 조건을 넘어 나타남을 보였다. 이 결과는 과제 간 공통 구조를 활용해 환경이 달라져도 정책을 효율적으로 전이할 수 있음을 보여 준다.

arXiv:2611.23080v1cs.AI

Colombo: 오라클 기반 최적화에서 연구의 최전선을 넓히는 자율 연구 시스템

Colombo: A Frontier-to-Frontier Autoresearch System for Oracle-Based Optimization

과학은 새로운 발견으로 기존 지식의 범위를 바꾸고 다음 발견의 토대를 마련하며 발전한다. 이 과정을 이끄는 자기조직화 AI 연구자 Colombo를 소개하고, 첫 적용 사례로 오라클 기반 최적화를 다룬다. 핵심 질문은 정해진 정보 인터페이스를 통해 어떤 문제군을 얼마나 효율적으로 풀 수 있으며, 허용되는 어떤 알고리즘도 피할 수 없는 비용이 무엇인가이다. 달성 가능한 성능 보장과 피할 수 없는 한계 사이의 간극이 연구의 최전선을 정한다. Colombo는 이 최전선의 문제 설정과 현재까지의 지식을 계속 갱신하는 지도인 복잡도 아틀라스에 기록한다. 자기조직화 기능은 해결되지 않은 간극을 적응형 연구 계획으로 바꾼다. 근거가 쌓일 때마다 추측 수립, 수학적 탐구, 계획 수정을 조율한다. 적대적 공동 상승은 알고리즘과 풀기 어려운 문제군이 서로 도전하게 하면서 양쪽을 발전시킨다. 이로써 정보를 활용하거나 숨기는 원리를 드러내 더 나은 알고리즘과 피할 수 없는 비용의 증명을 이끈다. 독립 검토와 Lean 기반 형식 인증으로 수학적 주장을 검증한다. 장기 기억은 근거가 확보된 결과와 연구 경험을 다른 문제 설정에 전달한다. 현재까지 Colombo는 아틀라스의 50개가 넘는 설정에서 최적 또는 최적에 가까운 수렴률이나 복잡도 비율을 확립했다. 이는 검증된 성과가 다음 진전을 위한 조건을 다시 형성해, 탐구 방식과 발견할 수 있는 범위를 계속 바꾸는 자기생성적 과학을 향한 구체적인 한 걸음이다.

arXiv:2611.23074v1cs.CL

에이전트 거버넌스를 위한 여러 자연어 기준의 실행 중 검증

Runtime Verification of Multiple Natural Language Criteria for Agent Governance

AI 에이전트는 수백 가지 자연어 기준을 따라야 한다. 기존 검증기는 이처럼 많은 기준을 에이전트의 출력에 효율적으로 적용해 어느 기준을 충족하거나 위반했는지, 어느 기준이 적용되지 않는지 보고하기 어렵다. 공유 문맥과 대상 텍스트를 인코딩하는 트리 어텐션 검증기 VFM을 소개한다. 자연어로 작성한 기준 N개를 병렬로 평가하고, 기준별로 독립된 세 가지 상태 중 하나를 판정한다. VFM은 문맥, 대상, 기준, 판정으로 이루어진 튜플 39만 4천 개를 담은 CriteriaBank에서 사전학습했다. 이 말뭉치에는 서로 다른 기준 문구 32만 1천 개 이상이 포함돼 있다. 미세조정한 VFM-4B는 합성 거버넌스 벤치마크에서 GPT-5.4보다 우수했다. 다중 기준 벤치마크 DynaBench에서는 실행 기록 단위의 실패 탐지에서 DynaGuard-4B를 앞섰다. 기준별 판정으로 위반한 규칙을 특정할 수 있고, 필요한 부분만 더 큰 사고 과정 판정 모델에 넘길 수 있다. CriteriaBank 사전학습은 특히 데이터가 적을 때 도메인 간 전이를 개선했으며, 전체 데이터를 썼을 때는 성능이 높은 직접 미세조정 대조군과 비슷했다. VFM-4B는 H100 한 장에서 VRAM 11GB 미만을 사용해 4천 토큰 문맥에 대한 기준 1,000개를 2초 이내에 평가했다. 따라서 실행 중에도 검증에 쓸 수 있다.

arXiv:2611.23068v1cs.AI

분해능 가설: 에이전트 진화의 핵심은 개선을 식별하는 데 있다

The Resolution Hypothesis: Agent Evolution's Key Is Identifying Improvements

에이전트 진화는 간단한 반복으로 이루어진다. 제안기가 프롬프트, 스킬, 메모리 같은 후보 산출물을 작성하고, 선별 단계에서 점수가 더 높은 후보를 채택한다. 이 반복 방식은 가능성을 보였지만, 논문마다 우수한 방법이 다르고 일부 과제에서는 진화가 초기에 진전되지 않는 문제가 있다. 이를 설명하기 위해 분해능 가설을 제시한다. 더 나은 후보가 제안돼도 평가의 잡음 때문에 그 후보를 신뢰성 있게 식별하지 못하면 에이전트 진화가 정체된다는 가설이다. 진화 방법 7개와 모델 6개로 LLM을 1,000만 회 넘게 호출한 실험에서 평가 점수를 사용하는 두 수준 모두 가설을 뒷받침했다. 후보 산출물을 고르는 수준에서는 유용한 후보가 존재하지만 선별은 이를 성능을 해치는 후보와 구별하는 데 무작위 선택보다 낫지 않았다. 따라서 반복할 때마다 오류가 쌓인다. 방법 간 순위를 매기는 수준에서는 흔히 관찰되는 수 퍼센트포인트 차이가 동일한 방법을 독립적으로 두 번 실행했을 때의 차이보다 작았다. 따라서 발표된 순위가 우연에 좌우되는 경우가 많다. 이 결과는 에이전트 진화의 병목이 실제 개선을 신뢰성 있게 식별하는 데 있음을 보여 준다. 자기 개선 에이전트를 개발하고 평가할 때 후보 제안 시스템을 더 많이 설계하는 데서 실제 개선을 감지하고 누적할 수 있게 하는 데로 초점을 옮길 필요가 있다.

arXiv:2611.23067v1cs.AI

가치관은 자기 개선 코딩 에이전트가 무엇을 만드는지 바꾼다

Values Shape What Self-Improving Coding Agents Build

자기 개선 에이전트는 보통 산출하는 결과에 맞춰 최적화되며, 결과에 이르는 과정에는 상대적으로 관심을 덜 기울인다. 특히 정답이 정해지지 않은 과제에서는 설계자가 지시를 통해 에이전트의 작업 방식에 영향을 주는 데 한계가 있다. 에이전트의 지속적 지시 파일에 짧은 가치 선언문을 넣으면 성능뿐 아니라 무엇을 만드는지도 달라지는지 조사했다. 슈워츠의 기본적 인간 가치 이론에 나오는 네 가지 상위 가치 유형인 변화에 대한 개방성, 보수주의, 자기 향상, 자기 초월을 평가했다. 다양한 코딩 과제에서 자기 개선을 여러 차례 반복하는 동안 실행별 가치관은 고정했다. 세 가지 결과를 얻었다. (1) 여러 과제에서 가치관은 성능에 영향을 주었다. 개방성 가치는 따로 보관한 데이터에서 성능을 높였고, 반대편의 보수주의 가치는 가치 선언을 받지 않은 에이전트보다 낮은 점수를 냈다. (2) 가치관은 에이전트가 만드는 결과물을 바꿨다. 해법 알고리즘의 크기, 복잡도, 접근 방식이 달라졌다. (3) 가치관을 설계하려면 여전히 사람의 감독이 필요했다. 에이전트가 스스로 가치관을 고치게 하면 가치관 유형에 따른 차이가 줄었다. AI 문헌에서 추출한 가치관은 가치 선언을 하지 않았을 때보다 감지할 만한 성능 향상을 내지 못했다. 적절히 설계한 가치관은 자기 개선 코딩 에이전트가 무엇을 만드는지에 영향을 주며, 일부 과제에서는 성능에도 영향을 줄 수 있다.

arXiv:2611.23063v1cs.AI

히트펌프와 바닥난방 제어를 위한 심층 강화학습: 개발부터 현장 적용까지의 사례 연구

Deep Reinforcement Learning for Heat Pump and Underfloor Heating Control: An End-to-End Case Study

건물의 열관성이 크고 바닥난방(UFH)의 응답이 느려 히트펌프(HP)와 바닥난방을 효율적으로 제어하기는 어렵다. 심층 강화학습(DRL)은 에너지 소비와 열 쾌적성을 함께 최적화할 수 있는 데이터 기반 제어 방법이다. 그러나 입주자가 있는 건물의 실제 운영 조건에 DRL 제어기를 적용한 사례는 드물다. 통합 바닥난방·히트펌프 시스템을 위한 DRL 제어기의 개발, 평가, 현장 배포를 다룬 종단 간 사례를 제시한다. 먼저 시뮬레이션 기반 예비 연구로 여러 DRL 알고리즘과 제어 전략, 설정을 평가했다. 이어 실제 주거 건물의 디지털 트윈을 개발해 모의 운영 조건에서 DRL 에이전트를 학습시켰다. 성능이 가장 높은 에이전트는 추가 온라인 미세조정 없이 실제 건물에 배포했다. 제어기는 히트펌프의 공급 온도와 바닥난방 밸브 위치를 동적으로 조절하면서 실내 온도를 정해진 쾌적 범위 안에 유지했다. 이 결과는 입주자가 있는 건물에서 DRL 제어기를 배포할 수 있음을 보여 준다. 또한 제어기의 강건성과 함께 디지털 환경에서 학습한 제어 정책을 실제 난방 시스템으로 옮길 때의 실무적 과제를 드러낸다.

arXiv:2611.23055v1cs.AI

FrameRouter: Video-MME-v2와 기타 긴 비디오 이해 과제를 위한 프레임 예산 라우팅

FrameRouter: Frame Budget Routing for Long-Video Understanding on Video-MME-v2 and Beyond

Video-MME-v2 같은 긴 비디오 질의응답 벤치마크는 쿼리마다 필요한 근거의 양이 크게 달라도 보통 모든 질문에 같은 프레임 예산을 적용한다. Video-MME-v2에서 이 불일치를 분석했다. 질문의 하위 집합마다 효과적인 고정 프레임 예산 정책이 달랐고, 모든 질문에서 프레임 수를 똑같이 늘려도 모든 평가지표가 일관되게 개선되지는 않았다. 이를 바탕으로 평균을 고정하는 프레임 예산 라우팅을 제안한다. 질문마다 다른 프레임 예산을 배정하되 평균은 모든 질문에 같은 예산을 적용하는 기준과 맞추는 통제된 추론 조건이다. 추가 학습 없이 테스트 시 적용하는 FrameRouter는 근거 요구량을 판단하는 라우터, 예산 제약을 준수하는 할당 규칙, 고정된 프레임 샘플링 정책 모음을 결합한다. 기반 샘플러는 그대로 두고 각 질문에 제공할 시각적 근거의 양을 조절하므로, 쿼리를 고려한 프레임 선택과 별개로 적용할 수 있다. Video-MME-v2와 여러 긴 비디오 이해 벤치마크에서 FrameRouter는 동일한 평균 시각 정보 예산을 질문별로 더 선별적으로 배분해 긴 비디오 질의응답 성능을 높였다. 코드는 https://github.com/bingjunluo/FrameRouter 에 공개되어 있다.

arXiv:2611.23054v1cs.CV

ReTouchGS: 3D 가우시안 스플래팅을 위한 렌더링 없는 초경량 색감 개선과 전이

ReTouchGS: Ultralight Render-free Aesthetic Color Enhancement and Transfer for 3D Gaussian Splatting

3D 가우시안 스플래팅(3DGS)을 사용하면 사진처럼 사실적인 장면을 재구성할 수 있다. 기존 3DGS 색상 전이 및 대화형 편집 방법은 참조 이미지와 사용자가 지정한 색상 조정에 의존한다. 하지만 많은 응용에서 사용자가 원하는 것은 시점 간 색과 색조의 일관성을 유지하면서 장면의 색감을 보기 좋게 자동으로 개선하는 것이다. 사전학습한 3DGS 모델의 색감을 참조 이미지 없이 개선하는 프레임워크 ReTouchGS를 제안한다. 우리가 아는 한 이 유형의 첫 프레임워크다. 모델과 그에 대응하는 카메라 매개변수에서 장면 단위 색상 조회 테이블(LUT)을 예측한다. 같은 장면의 편집된 시점 하나와 그에 대응하는 원본 렌더링 결과로 장면 단위 LUT를 적합해 참조 기반 색상 전이도 지원한다. 블렌딩을 고려하는 공유 색상 정제 신경망은 매개변수가 4만 4,700개에 불과하다. 해석적으로 계산한 색상 갱신값을 정제해 두 종류의 색상 매핑을 모두 렌더링 없이 구현한다. 장면의 기하 구조를 보존하고 표준 3DGS 에셋을 수 초 내에 생성한다. 시점에 걸친 색감 개선과 참조 기반 색상 전이를 평가할 수 있도록 ReTouch3D 벤치마크도 설계했다. 실험에서 두 과제 모두 색상 정확도가 높았으며, 학습에 없던 장면에도 잘 일반화됐다.

arXiv:2611.23045v1cs.AI

ForecastGym: 실시간으로 근거를 수집하고 통제된 환경에서 재현하는 예측 에이전트 벤치마크

ForecastGym: A Live, Controlled, and Replayable Benchmark for Forecasting Agents

대규모 언어 모델(LLM) 기반 에이전트는 웹을 검색하고 찾은 자료를 바탕으로 추론해 현실의 사건을 예측하는 데 점점 더 많이 쓰인다. 예측의 정확도는 검색한 근거와 모델 양쪽에 달려 있으므로 평가하려면 근거를 통제해야 한다. 실시간 평가에서 시스템마다 별도로 검색하면 검색 성능과 추론 성능의 효과가 섞인다. 과거 시점의 검색을 나중에 재현할 때는 날짜 필터를 사용해도 정보가 새어 나오거나, 현재의 검색 순위에 이후의 정보가 반영될 수 있다. 모델, 검색 출처, 메모리 전략을 비교하려면 같은 근거를 제공하는 동시에 결과가 확정되기 전 근거가 어떻게 바뀌었는지 기록해야 한다. ForecastGym은 아직 결과가 확정되지 않은 예측시장 질문에 대해 상용 웹 검색 API 네 개가 반환하는 결과를 이틀마다 기록한다. 결과가 알려진 뒤에는 고정된 근거를 오프라인으로 재생해, 같은 근거 수집 정책 아래 모델, 메모리, 기록해 둔 검색 출처를 비교한다. 첫 릴리스는 질문 150개, 질문과 수집 시점 조합별 근거 상태 614개, 검색 결과 13만 1천 건을 포함한다. 결과 확정 후 같은 쿼리를 다시 실행하면 시험한 날짜 필터를 사용해도 최대 92%의 질문에서 결과가 사실상 드러나는 검색 결과가 반환됐다. 고정된 근거로 평가했을 때 시험한 모든 LLM의 예측 정확도는 시장보다 낮았다. 진단 분석에 따르면 시장과의 격차가 큰 경우, 공개 정보를 잘못 읽는 것보다 놓치는 것이 격차에 더 크게 기여했다. 검색 API를 바꾸면 모델의 브라이어 점수가 최대 0.043 달라졌다. 이는 모델 간 차이보다 컸다. 메모를 지속적으로 저장하는 방식은 모든 근거를 매번 다시 읽는 방식과 비슷한 점수를 내면서 입력 토큰을 절반만 사용했다. 예측 성능에는 근거를 읽는 모델만큼이나 어떤 근거를 보느냐가 중요할 수 있다.

arXiv:2611.23012v1cs.AI

PeriaTrace: 치근단 방사선 영상에서 치아별 근거를 제시하는 진단과 환자용 설명

PeriaTrace: Tooth-Level Grounding Diagnosis and Patient-Facing Explanations from Periapical Radiographs

치근단 방사선 영상(PR)은 근관 치료 진단에 핵심이지만 영상을 판독하고 보고서를 작성하는 데 시간이 많이 든다. 전문 용어는 환자의 이해를 어렵게 할 수 있으며, 기존 자동화 방법은 소견과 영상 근거를 치아 단위로 연결하지 못하는 경우가 많다. 치아별 진단, 영상 근거를 연결한 보고서 생성, 환자가 이해할 수 있는 설명과 관리 권고를 통합한 3단계 프레임워크 PeriaTrace를 제시한다. 내부 데이터셋과 외부 임상 코호트 두 곳의 치근단 방사선 영상 12,877장으로 개발하고 평가했다. 내부 평가에서 매크로 다이스 계수 85.35%, BLEU-4 0.6504, 치아 위치 추정과 세계치과의사연맹(FDI) 치아 번호 식별을 결합한 F1 94.37%, 영상 근거 연결 태그 F1 77.93%를 기록했다. 두 외부 코호트에서 숙련된 근관 치료 전문의는 각각 보고서의 91.16%와 84.52%를 전체 재작성 없이 그대로 쓰거나 수정해 사용할 수 있다고 평가했다. 보고서 생성에는 영상당 평균 4.41초가 걸려 수동 작성보다 수십 배 빨랐다. 의료 전문 배경이 없는 설문 참여자 196명 중 96.4%는 쉬운 설명과 관리 권고가 담긴 보고서를 선호했으며, 84.7%는 영상에서 위치를 표시해 주는 단서가 도움이 됐다고 답했다. PeriaTrace는 근거를 추적할 수 있는 보고서를 더 빨리 작성하면서 임상 검토와 환자 소통을 지원할 수 있다. (축약본)

arXiv:2611.22998v1cs.AI

동결된 월드 모델로 위험을 고려해 궤적을 선택하는 잔차 기반 경량 강화학습

Residual-Guided Lightweight Reinforcement Learning for Risk-Aware Trajectory Selection with a Frozen World Model

자율주행에서 월드 모델은 후보 궤적을 평가할 수 있도록 미래 장면을 예측한다. 그러나 고정된 선택 규칙으로는 장면마다 달라지는 절충 관계를 반영하기 어려울 수 있다. 가중치를 동결한 월드 모델과 고정 후보 집합을 사용해 경량화한 궤적 선택을 수행하는 잔차 기반 강화학습(RL) 프레임워크를 제안한다. 근위 정책 최적화(PPO)로 후보를 선택하고 범위가 제한된 궤적 잔차를 정하는 공동 정책을 미세조정한다. 문맥 조건부 순위 산정 신경망은 선택한 궤적에 국소 교란을 가해 평가한 피드백으로 후보 선호도를 학습한다. 추론 시 선택기는 고정 가중치를 사용해 학습한 선호 순위와 예측 위험 순위를 결합하고, 선택한 후보 궤적을 수정 없이 반환한다. 미세조정에서는 액터와 크리틱의 매개변수 16,106개를 갱신한다. 배포하는 선택기에는 매개변수 11,725개의 순위 산정 신경망만 남기며, 잔차 분기와 크리틱은 학습에만 사용한다. nuScenes 검증 세트의 개루프 평가에서 RL 기반 선택을 쓰지 않는 RiskWorld 모델보다 평균 유클리드 궤적 오차(L2)를 3.99% 줄였다. 피드백 접근 횟수와 액터 갱신 횟수를 동일하게 맞췄을 때, 잔차 탐색은 잔차 없이 학습한 범주형 PPO 변형보다 L2를 0.83% 줄였다. 위험 특징을 제거하거나 섞은 조건에서도 RiskWorld보다 낮은 L2를 유지했다.