PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27532v1cs.LG

ProCredit: 에이전트 강화학습에서 결과 보상에서 진행 크레딧으로

ProCredit: From Outcome Rewards to Progress Credit in Agentic Reinforcement Learning

장기 에이전트 작업은 에이전트가 일련의 도구 호출을 통해 환경을 수정해야 하며, 성공은 최종 상태로 결정된다. 일반적인 방법은 마지막에 단일 결과 보상(outcome reward)을 부여하고 동일한 작업에 대해 샘플링된 궤적(trajectory)들을 비교한다. 그 결과 성공 궤적이 없는 그룹은 학습 신호를 주지 않고, 실패한 시도는 완료에 얼마나 가까웠는지 구분할 수 없으며, 작업을 진전시키는 턴과 환경만 조회하는 턴이 같은 크레딧을 받는다. 선행 연구는 비교 단위를 궤적에서 스텝(step)으로 세분화하거나 중간 신호를 위해 보상 모델을 학습한다. 전자는 여전히 최종 성공만으로 신호를 얻고, 후자는 모델로 이를 추정한다. 우리는 성공을 판정하는 수락 검사(acceptance check)를 중간 상태에서도 실행할 수 있음을 관찰했으며, 따라서 진행(progress)은 결과만큼 검증 가능하다. 우리는 이 검증된 진행을 크레딧으로 전환하는 ProCredit을 제안한다. ProCredit은 각 턴 후 수락 검사를 다시 실행하고, 진행 변화량에 따라 턴에 보상을 부여하며, 이 보상으로 동일 작업에 대한 여러 시도 간과 궤적 내 턴 간 모두에 크레딧을 할당한다. AppWorld에서 세 가지 규모의 Qwen3.5 베이스 모델을 시작점으로 할 때, ProCredit은 두 테스트 세트 모두에서 모든 규모에서 작업 완료율 기준으로 결과 보상 기준선과 진행 기반 기준선을 능가하며, 4B에서는 가장 강한 결과 보상 기준선보다 4.1퍼센트포인트 높고, 두 번째 환경에서도 같은 방향의 개선이 나타난다. ablation은 궤적 점수에 최종 진행만 더하는 것만으로는 성능이 개선되지 않음을 보여 주며, 이득은 진행이 발생한 턴에 크레딧을 부여하는 데서 온다.

arXiv:2609.27421v1cs.LG

다중 제약 인스트럭션 수행을 위한 반사실적 제약-조건부 온-정책 증류

Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following

다중 제약 인스트럭션 수행(multi-constraint instruction following)은 모델이 동시에 활성화된 여러 제약 조건 하에서 질의에 응답하도록 요구합니다. 강력한 인스트럭션 튜닝(instruction tuning) 모델조차도 여전히 이러한 제약 조건 중 일부를 일상적으로 위반합니다. 기존 접근 방식은 외부 검증기(verifier) 또는 학습된 채점기로부터 얻은 시퀀스 또는 토큰 수준의 강화학습(RL) 보상으로 지도 신호를 보강하거나, 동시에 활성화되는 제약 조건이 많아질수록 확률 질량이 희석되는 단일 전체 컨텍스트 교사 모델을 대상으로 온-정책(on-policy) 증류(OPD)를 사용합니다. 본 논문에서는 지식 증류의 표준적인 지도 신호 생성 방향을 반전시킨 CC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)를 제안합니다. CC-OPD는 학생 모델이 보는 것 이상의 정보로 교사 모델을 풍부하게 만드는 대신, 교사 모델의 조건부 입력에서 각 제약 조건을 차례로 제거(ablate)하고 그 결과로 발생하는 토큰별 확률 차이로부터 제약 조건별 신호를 구성합니다. 그 결과로 얻은 토큰별 LOO(leave-one-out) 로그 가능도(log-likelihood) 변화량을 합산하고 클리핑(clipping)한 후, 토큰 수준의 셰이핑(shaping) 항으로서 바닐라 OPD 보상에 추가합니다. 모든 셰이핑 항은 증류 과정에서 외부 검증기 없이 동결된 교사 모델로부터 얻어지며, 총합 변화량이 0인 모든 곳에서 보상은 바닐라 OPD와 동일합니다. 두 개의 Qwen 모델 쌍과 7개의 벤치마크 전반에서 CC-OPD는 평가된 모든 학생 모델 학습 방법 중 가장 높은 평균 성능을 달성합니다. CC-OPD로 학습된 1.5B 학생 모델은 MulDimIF 벤치마크에서 자체 7B RL 학습 교사 모델을 능가합니다.

arXiv:2609.27385v1cs.LG

Forecast Workflow Bench: 예산 제약 예측 도구를 활용한 언어 모델 의사결정 평가

Forecast Workflow Bench: Evaluating Language-Model Decisions with Budgeted Forecast Tools

시계열 파운데이션 모델(TSFM)은 운영 의사결정을 위한 예측을 제공하지만, 정확도만으로는 그 가치를 판단할 수 없다. 이러한 모델을 사용하는 에이전트를 평가하려면 의사결정 품질과 예측 비용을 측정해야 한다. FWBench는 고정된 예측 도구와 시뮬레이션된 용량 계약을 사용하여 전력 및 자전거 대여 사례 1,251건에 대해 이 역량을 평가한다. 에이전트는 모델, 이력(history) 및 예측 구간(horizon)을 선택한 뒤, 명시된 손실-비용 목적을 최소화하도록 용량을 제출한다. 호스팅 2종과 소형 언어 모델을 포함한 로컬 8종 구성을 평가했으며, TSFM 유무에 따른 로컬 모델도 시험했다. GPT-6 Astra는 예산의 2.5%만 사용해 저렴한 단기 예측을 선택적으로 구매했으며, 절감된 의사결정을 세 가지 손실-비용 가중으로 채점했을 때 고정 정책을 능가했다. FWBench는 비용 제약 하에서 언어 모델이 시계열 예측을 어떻게 선택하고 활용해 의사결정하는지 재현 가능하게 평가할 수 있게 한다.

arXiv:2609.27355v1cs.LG

유지-망각 손실 지형 상호작용 관점을 통한 양자화 견고한 언러닝

Quantization-Robust Unlearning through the Lens of Retain-Forget Loss Landscapes Interaction

언러닝(unlearning)은 개인정보 또는 저작권이 있는 학습(training) 데이터의 영향을 제거하여 대규모 언어 모델(LLM)의 규정 준수를 보장합니다. 그러나 실제 배포 환경에서 LLM 모델(model)은 일반적으로 양자화(quantization)와 같은 사후 학습(post-training) 압축을 거치기 때문에 언러닝 효과가 상당히 약화될 수 있으며, 모델 유용성보다 망각 동작이 더 심각하게 저하되는 현상이 관찰되었습니다. 본 논문에서는 전반적인 모델 유용성을 유지하면서 망각이 양자화에 견고하도록 만드는 양자화 견고한 언러닝 프레임워크를 제안합니다. 우리는 이러한 격차를 손실(loss) 지형의 관점에서 분석합니다. 구체적으로, 우리의 분석은 견고하지 못한 망각과 유용성 감소를 모두 초래하는 언러닝된 모델 내의 민감한 가중치를 정확히 찾아내는 곡률 기반 기준을 밝혀냅니다. 이에 따라 우리는 민감한 파라미터에 적용되어 모델 수렴(convergence)을 망각 및 유지 손실이 균일하게 낮은 더 매끄러운 극솟값으로 유도하는 민감도 유도 노이즈 정규화(regularization)를 제안합니다. 언러닝과 유용성의 균형을 맞추기 위해, 유용한 지식을 유지하도록 네트워크 대부분을 보존하면서 망각에 중요한 레이어만을 업데이트하는 망각 중요 최적화를 추가로 제안합니다. 여러 LLM 언러닝 알고리즘에 걸쳐 MUSE 및 TOFU 벤치마크에서 수행한 광범위한 실험은 본 접근 방식이 유용성을 유지하면서도 훨씬 더 양자화 탄력적인 망각을 달성함을 보여줍니다.

arXiv:2609.27294v1cs.LG

KITE: 효율적인 에이전트 LLM 스케일링을 위한 KV 불변 트랜스포머 확장

KITE: KV-Invariant Transformer Expansion for Efficient Agentic LLM Scaling

언어 모델 스케일링은 최종 품질만의 문제가 아니다. 아키텍처 선택은 특정 모델 품질을 달성하기 위해 학습, 프롬프트 처리, 자기회귀(autoregressive) 디코딩에 얼마나 많은 연산이 소비되는지를 결정한다. 이상적인 모델 아키텍처는 더 큰 모델로의 스케일링을 촉진하기 위해 위의 모든 연산 비용을 낮추면서, 더 큰 모델이 실제로 더 작은 베이스라인보다 우수한 성능을 내야 한다. 우리는 이 목표를 달성하는 스케일링 패러다임인 KV 불변 트랜스포머 확장(KV-Invariant Transformer Expansion, KITE)을 제안한다. KITE는 모델을 더 작은 크기에서 더 큰 크기로 학습시키며(즉, 업사이클링(upcycling)을 통해 학습 비용을 절감), 새로 추가된 파라미터를 어텐션 KV에 영향을 주지 않는 영역에 배치한다. 따라서 추론 시 프리필(prefilling) KV는 모델의 더 작은 부분에만 의존하므로 추론 비용이 절감된다. 구체적인 구현으로, 한 타워가 KV를 생성하고 다른 타워가 이를 읽는 이중 타워 디코더인 Step Scale Transformer(SST)를 제시한다. 동등한 누적 학습 연산량에서, 디코드 토큰당 활성 body 파라미터 2.15B인 67B MoE 모델 SST는, 활성 body 파라미터가 각각 1.48B 및 2.02B인 47B 및 63B MoE 트랜스포머보다 더 낮은 학습 손실을 달성하면서, 추정 추론 비용을 각각 6.7% 및 31.6% 줄인다.

arXiv:2609.27287v1cs.LG

SR-Fraud: 비정상(non-stationary) 결제 사기 탐지를 위한 결과 지도(outcome-supervised) 반성형 LLM 에이전트 프레임워크

SR-Fraud: An Outcome-Supervised Reflective LLM Agent Framework for Non-Stationary Payment Fraud Detection

실시간 결제 사기 탐지는 비정상(non-stationary) 스트리밍 예측 문제이다. 적대자는 지도 라벨이 성숙하기 전에 적응하고, 국소적 버스트 공격은 재학습 전에 손실을 유발할 수 있다. 프로덕션 시스템은 일반적으로 테이블형 분류기와 규칙에 의존하며, 주기적 재학습이 이루어지기 전에 새로 나타나는 순차 패턴을 포착하는 데 어려움을 겪을 수 있다. 우리는 요청 시점 의사결정과 오프라인 적응을 분리하는 결과 지도(outcome-supervised) 반성형 LLM 프레임워크인 SR-Fraud를 제안한다. 동결(frozen)된 무상태(stateless) 에이전트가 Hybrid Episodic Window로부터 각 거래를 점수화하여 행동 변화를 추적하고, 오프라인 반성 에이전트는 성숙한 오류로부터 경계 가설을 제안한다. 결정론적 검증기는 이어서 지지되는 가설만 실행 가능한 지식 상태에 편입한다. 프로덕션 결제 사기 벤치마크에서 SR-Fraud는 동결된 의사결정 에이전트 대비 모든 탐지 지표를 개선하고, 정적 및 주기적 재학습 CatBoost보다 높은 점 추정치(point estimate)를 얻으며, 새로 나타나는 사기 버스트를 탐지한다.

arXiv:2609.27166v1cs.LG

대규모 추론 모델에서 추론 시점 역량과 효율성의 스케일링

Scaling of Capability and Efficiency at Inference Time in Large Reasoning Models

역량과 효율성은 대규모 언어 모델(LLM)에서 추론의 두 가지 핵심 차원이다. 역량은 주어진 문제를 올바르게 풀 능력을, 효율성은 제한된 자원으로 그렇게 할 수 있는 능력을 가리킨다. LLM이 사고의 연쇄(Chain-of-Thought, CoT) 추론을 사용해 난이도가 통제된 문제를 풀 때, 올바르게 풀린 문제 수와 정답에 도달하는 데 필요한 토큰(token) 수는 모두 문제 난이도와 모델(model) 크기에 따라 달라진다. 그러나 이러한 요인들이 역량과 효율성을 어떻게 공동으로 형성하는지는 여전히 잘 이해되지 않았다. 본 연구에서는 계층 베이지안(hierarchical Bayesian) 모델을 사용해 DeepSeek-R1-Distill 모델 계열의 LLM에 대해 산술 및 알고리즘 추론 문제 네 클래스 전반에서 역량과 효율성을 평가한다. 고정된 모델 크기에서, 사례를 올바르게 풀 확률은 문제 난이도의 대리 변수인 사례 크기에 대해 대략 지수적으로 감쇠한다. 감쇠 스케일은 모델 크기에 대해 아선형(sublinearly)으로 증가하며, 이는 더 큰 모델이 더 역량이 높지만 역량 향상이 스케일(scale)에 따라 수확 체감(diminishing returns)을 보임을 나타낸다. 출력 길이는 난이도의 대리 변수인 사례 크기에 대해 거듭제곱 법칙(power law)으로 증가한다. 그러나 이 거듭제곱 법칙의 매개변수는 모델 크기에 따라 체계적으로 변하지 않으며, 이는 더 큰 모델이 더 효율적이 되지 않음을 시사한다. 종합하면, 이러한 결과는 더 역량 있는 AI 시스템을 개발하기 위한 전략으로서 순진한 스케일링(naive scaling)의 잠재적 한계를 드러낸다: 역량은 수확 체감과 함께 개선되지만, 효율성은 거의 또는 전혀 개선되지 않는다.

arXiv:2609.27085v1cs.DC

Crossflow: 에이전트 LLM 서빙을 위한 Prefill-Decode 탄력성

Crossflow: Prefill-Decode Elasticity for Agentic LLM Serving

서빙 용량 수요가 학습을 넘어서면서 서빙 효율이 점점 더 중요해진다. Prefill-decode(P/D) 분리는 두 단계의 특화와 격리를 통해 서빙 효율을 높인다. 이러한 이점은 정적 분할에 기반하지만, 단계별 수요는 정적이지 않다. 대규모 LLM 플릿에서 캐시되지 않은 입력 대 출력 토큰 비율은 분 단위 시간 척도에서 피크 대 평균 비가 최대 4.7배에 이르는 것을 관찰했고, 공개 에이전트 트레이스에서는 시간당 비율이 하루 안에서 중앙값 24.5배 범위에 걸치는 반면, 레플리카 재할당에는 수십 분이 걸린다. 에이전트 트래픽은 이러한 불일치를 더욱 심화시킨다. 각 풀을 95백분위수로 크기를 잡으면 클러스터 용량의 최대 17%가 미사용으로 남고, 그보다 작게 잡으면 동일한 불균형이 대기와 실현되지 못한 처리량으로 전환된다. 노드 역할을 바꾸지 않고 이 경계를 탄력적으로 만드는 Crossflow를 제안한다. 각 디코드 노드는 로컬 prefill 연산, KV 용량, 전송 작업, 예상 출력을 한정하는 단기·철회 가능한 lease를 공개한다. 공개 및 내부 트레이스에서 Crossflow는 정적 P/D 대비 기하평균 토큰 처리량을 16.2–17.4% 향상시키고, 고부하에서는 최대 43.4%까지 개선하며, 평가한 모든 지점에서 평균 TTFT를 줄인다.

arXiv:2609.27074v1cs.CY

초월·비밀교 영역의 정량화: 기계학습 방법을 이용한 힌두교와 불교 신격의 비교 연구

Quantifying the Occult: A Comparative Study of Hindu and Buddhist Deities Using Machine Learning Methods

본 연구는 이중 행렬(dual-matrix) 계산 아키텍처를 도입하여 196개의 힌두교 및 어긴러(Vajrayana) 불교 비밀교(密教) 신격의 형태학적·신학적 이질성을 수학적으로 정량화한다. 물리적 형태학은 새로운 "Cardinality Weighting" 알고리즘으로 강화된 이산 Gower 거리 행렬을 통해 평가되며, 신학적 기능은 대규모 언어 모델(LLM) 의미 확장에서 생성된 밀집 벡터 임베딩(dense vector embedding)을 통해 매핑되며, 순환 논증을 완화하기 위한 합성 대리(synthetic proxy)로 명시적으로 활용된다. 다중 모달 위상(topological) 투영은 "상징(iconographic) 위장(camouflage)"의 알고리즘적 검증을 제공하며, 서로 다른 시각적 형태가 구조적으로 공유되는 전통 간 기능을 어떻게 가리는지 보여준다. 또한 본 연구는 "Atin Effect"를 계산적으로 모델링한다—이는 순차적 인지 바이어스에 대한 심리학적 관찰이자 동시에 기계학습 벤치마크로 기능하며—고카디널리티(high-cardinality) 비밀교 닻(anchor)(예: 비나(veena) 또는 잘린 머리)이 체계적 신학적 차이를 압도하여 정통(orthodox) 및 탄트라(Tantric) 존재들을 수학적으로 클러스터링하는 방식을 보여준다. 전통 간 공간 분석은 힌두교 Chinnamasta와 불교 Chinnamunda 같은 최상위 비밀교 현현(manifestation)이 시각적($D_G = 0.288$) 및 의미적($D_C = 0.068$) 경계 모두에서 거의 동일한 수학적 좌표를 공유함을 확립하며, 이는 1:1 비밀교 전승(transfer)을 시사한다. 이 아키텍처를 오픈소스로 공개함으로써, 디지털 인문학(Digital Humanities) 학자와 비교 신학(comparative theology) 연구자가 질적 문화 코퍼스 전반의 잠재적 구조적 연속성을 엄밀하게 매핑할 수 있는 확장 가능한 비지도 기계학습 도구를 제공한다.

arXiv:2609.27067v1cs.LG

ChipMEM: EDA 에이전트를 위한 검증 기반 메모리

ChipMEM: Verification-Grounded Memory for EDA Agents

대규모 언어 모델(LLM) 기반 에이전트는 합성 및 검증 피드백 하에서 레지스터 전송 수준(RTL) 설계를 생성·수정하기 위해 전자 설계 자동화(EDA) 도구를 사용한다. 최근 방법들은 실행 추적에서 재사용 가능한 스킬을 지식 증류(distillation)하거나 EDA 도구에서 파생된 보상으로 학습하여 이 피드백으로부터 학습한다. 두 방법 모두 일반적으로 해당 경험을 생성한 태스크에서 평가된다. 동일 태스크에 대한 벤치마크 피드백에 반복적으로 접근하면 전이 가능한 재사용 지식을 만드는 것보다 태스크 특화 수정을 보상할 수 있다. 우리는 EDA 에이전트를 위한 검증 기반 메모리 층인 ChipMEM을 제안한다. ChipMEM은 태스크 간 절차적 메모리와 궤적 내 통계적 안내를 결합한다. 절차적 구성요소는 모델 자기 평가에 의존하지 않고, 합성·시뮬레이션 또는 형식(formal) 검사를 통과한 뒤에만 스킬을 증류하여 저장한다. 베이지안 구성요소는 도구 호출 결과에 대한 계층적 Beta 추정을 유지하고, 유사한 오류 조건에서 성공한 복구 전략을 순위화한다. 공통 어댑터는 각 도메인의 도구와 수용 기준을 보존하면서 동일한 메모리 인터페이스를 RTL 최적화 및 테스트벤치 생성 에이전트에 적용한다. 우리는 학습 태스크에서 성능을 측정하고, 학습된 스킬이 보지 못한 태스크로 전이되는지 평가한다. RTLRewriter-Bench에서 일치하는 모델·도구 설정 하에 ChipMEM은 메모리 없을 때 35/54 대비 채점된 54개 설계 중 39개에서 동등성 통과 출력을 낸다. 49개 설계 단축 스위트에서는 평균 면적(area) 개선이 5.66% 대비 8.69%이다. 보류(hold-out) CVDP 태스크에서 고정(frozen) 절차적 라이브러리를 사용한 ChipMEM은 설정당 단일 평가에서 메모리 없을 때 18/20 대비 20/20의 수용 결과를 달성한다.

arXiv:2609.27036v1cs.LG

머신러닝 기반 고분자 물성 예측을 위한 공개 벤치마크

An open benchmark for machine learning-based polymer property prediction

고분자 물성 예측에는 머신러닝 방법론의 엄밀한 비교를 가능하게 하는 공개적이고 표준화된 벤치마크(benchmark)가 부족하며, 기존 리소스는 단일중합체(homopolymer)와 같이 좁은 범위의 고분자 구조만을 다룹니다. 본 연구에서는 실험적 측정, 밀도 범함수 이론(DFT), 분자 동역학(molecular dynamics) 데이터를 포함하여 8가지 물리적 특성에 걸친 약 250,000개의 고분자-물성 데이터포인트로 구성된 공개 데이터셋인 Polymer Benchmark 2026(PolyBench26)을 소개합니다. 이 벤치마크는 단일중합체 및 교대, 랜덤, 블록 공중합체에 걸쳐 분포 내(in-distribution) 물성 예측, 데이터셋 크기 스케일링(scaling), 반복 단위(repeat-unit) 복잡도, 미확인 고분자 구조로의 전이 등 4가지 평가(evaluation) 태스크를 지원합니다. 우리는 언어 모델(language model), 그래프 기반, 기술자(descriptor) 기반 접근법을 비교하였으며, 그래프 기반 모델이 물성 예측에서 가장 낮은 오차를 보이고 평가된 학습(training) 세트 크기 전반에서 우위를 유지하며 반복 단위 복잡도 증가에 대해서도 견고함을 유지한다는 것을 발견했습니다. PolyBench26은 점점 더 복잡해지는 고분자 설계 공간을 위한 모델을 개발하는 데 재현 가능한 기반을 제공합니다. PolyBench26 벤치마크는 https://github.com/rlearsch/PolymerBenchmark2026 에서 오픈소스로 이용할 수 있습니다.

arXiv:2609.26865v1cs.HC

Safety Nudges: 실시간 AI 위험 인식을 위한 사용자 대면 개입

Safety Nudges: User-Facing Interventions for Real-Time AI Risk Awareness

대화형 AI 시스템은 환각(hallucination), 아부(sycophancy), 과잉 자신감(overconfidence), 의인화(anthropomorphism) 등 사용자에게 안전성(safety) 위험을 초래할 수 있으나, 이러한 위험은 일상 사용 중 사용자가 감지하기 어렵다. 우리는 챗봇 대화에서 우려할 만한 행동이 감지될 때 경량의 in situ 플래그를 제공하는 브라우저 기반 도구인 Safety Nudges를 제안한다. 챗봇을 자주 사용하는 45명을 대상으로 2주간 현장 연구(field study)를 수행하여 Safety Nudges를 평가했으며, 상호작용 로그, 설문, 개별 넛지에 대한 피드백을 수집했다. 참가자들은 도구가 유용하고 명확하며 방해가 최소라고 평가했고, 거의 모든 사용자가 잠재적 AI 위해(harm)에 대한 인식이 높아졌다고 보고했으나, 이러한 인식 향상만으로는 반드시 뚜렷한 행동 변화로 이어지지는 않았다. 결과는 사용자 대면 안전 넛지가 맥락 속에서 AI 응답을 비판적으로 평가하도록 돕음으로써 모델 수준 보호 장치를 보완할 수 있음을 시사하며, 대화형 AI 안전을 위한 넛지 설계에서 관련성(relevance), 보정(calibration), 사용자 통제(user control)의 중요성을 부각한다.

arXiv:2609.26853v1cs.LG

COPE: 사용자 임베딩 및 자체 평가를 통한 희소한 사용자 피드백 하에서의 LLM 지속적 개인화

COPE: Continual Personalization of LLMs under Sparse User Feedback via User Embeddings and Self-Evaluation

대규모 언어 모델(LLM)이 다양한 벤치마크에서 뛰어난 성과를 거두었지만, 규범적 가치에 맞춘 정렬(alignment)은 종종 다양한 사용자 선호도를 반영하지 못하는 획일화된 응답을 초래합니다. 기존의 학습(training) 불필요 방식은 프롬프트 엔지니어링을 통해 귀중한 컨텍스트 윈도우(context window)를 차지하는 경우가 많으며, 학습 기반 방식은 일반적으로 사후 학습(post-training) 이후 정적인 상태로 유지되어 실제 환경에서 요구되는 지속적인 최적화를 지원하지 못합니다. 이러한 문제를 해결하기 위해, 희소한 사용자 피드백이 존재하는 실제 상호작용 환경에 맞춘 새로운 최적화 프레임워크인 COPE(Continual Optimization with Personalized embedding and self-Evaluation)를 제안합니다. 본 프레임워크는 각 사용자에게 학습 가능한 개인화 임베딩을 할당하고, 단일 업데이트 단계 내에서 선호도 포착, 자체 평가 보정, 개인화된 응답 최적화를 시너지 있게 통합합니다. 본 연구의 핵심적인 혁신은 자체 평가를 활용하여 대리 보상(proxy reward)을 생성함으로써 명시적인 사용자 피드백이 제공되지 않는 경우에도 지속적인 모델 업데이트를 가능하게 한다는 점입니다. 실험 결과에 따르면 COPE는 희소한 피드백 환경에서 강력한 학습 불필요 및 학습 기반 베이스라인 모델들을 일관되게 능가하며, 검색-증강 프롬프팅(RAP)과도 상호보완적으로 작동함을 보여줍니다. 추가 분석을 통해 COPE의 신뢰할 수 있는 자체 평가, 유의미한 선호도 패턴, 안정적인 일반 성능, 그리고 선호도 변화 및 대체 평가자 환경에서의 견고성을 확인했습니다.

arXiv:2609.22850v2cs.LG

같은 결과, 다른 판독: LLM에서 스티어링 가능한 valence 방향은 무엇을 표상하는가?

Same Outcome, Different Readout: What Does a Steerable Valence Direction in LLMs Represent?

해독 가능성(decodability)과 성공적인 활성화 스티어링(activation steering)만으로는 내부 방향이 무엇을 표상하는지 밝혀지지 않는다. 이 공백은 특히 복지(welfare) 관련 해석에서 중요한데, 제안된 기능적 상태를 추출 대비(extraction contrast)와 상관된 특징과 구분해야 하기 때문이다. 우리는 미로 과제에서 좋음-나쁨 결과 방향에 대해 이 질문을 다루며, 실현된 결과와 그 결과가 알려지게 된 정보 이력(informational history)을 분리하는 통제 개입을 사용한다. 여러 LLM 체크포인트에 걸쳐, 한 explicit outcome encoding에 적합화된 방향은 다른 encoding으로 잘 전이되어, readout이 표면 형식(surface form)에 묶여 있지 않음을 보여 준다. 대조적으로, 동일한 실현 결과가 사전 공지(announced) 이력과 비공지(unannounced) 이력을 통해 도달하면 전이는 크게 약해진다. 두 이력 모두 동일한 explicit outcome을 받은 뒤에도 사건 이후 readout은 앞선 공지 여부에 강하게 조건화된 채 남는다. 짝을 맞춘 미로-RL 실행에서 RL 이후 방향은 reference-MDP 잔여 return을 예측하는 데 훨씬 더 predictive해지고, 정책은 시험 지점에서 이 방향에 더 의존하게 되나, 이러한 이력 의존성은 유지된다. 이 결과는 해당 방향에 대한 기능적·가치 관련 해석은 뒷받침하지만, 이력 불변(history-invariant) 스칼라 valence 상태와의 동일시는 뒷받침하지 않는다.

arXiv:2609.21190v2cs.LG

SWE-Proof: 언어 모델이 기계 검증 증명으로 실세계 이슈를 해결할 수 있는가?

SWE-Proof: Can Language Models Resolve Real-World Issues with Machine-Checked Proofs?

LLM이 생성한 코드의 정확성을 보장하는 것은 현대 소프트웨어 공학의 핵심 과제이다. 에이전트 기반 코드 생성 벤치마크는 홀드아웃 테스트 스위트로 정확성을 검사하지만, 이는 본질적으로 불완전하고 점점 암기(memorization)에 취약해지고 있다. 형식 검증(formal verification)은 두 문제를 모두 피할 수 있으나, 기존 연구는 입력으로 명세가 주어진 독립형 작업만 다루며, 대규모 저장소를 건드리고 의도를 모호한 자연어로 표현하는 실제 이슈는 다루지 않는다. 우리는 알려진 올바른 패치가 있는 코딩 과제를 형식적으로 검증된 과제로 바꾸는 파이프라인 Benchproofer를 제시한다. 새 코드에 대한 명세(specification)를 작성하고, 그 코드가 호출하는 기존 함수들을 공리(axiom)로 요약하며, 기계적·적대적 게이트가 일치할 때만 인스턴스를 채택한다. SWE-bench Verified에 적용하면 테스트가 아닌 형식 검증으로 정확성이 입증된 500개의 실제 이슈인 SWE-Proof가 만들어지며, SWE-bench Pro로도 확장된다. Claude Opus 4.8을 평가한 결과, 검증은 테스트가 놓치는 것을 잡아낸다. 테스트를 통과한 패치의 4분의 1이 반례(counterexample)를 허용하며, 구조화된 자연어 명세는 이를 고치지 못하지만 올바른 형식 명세는 해결률을 85%에서 95%로 끌어올린다. 그 명세를 작성하는 것이 어려운 부분이다. 스스로 명세를 써야 하는 에이전트는 돕지 않은 기준선보다 이득이 없으며, 그러한 명세 중 56%만이 우리 감사(audit)를 통과한다. 흔한 실패는 충실성(faithfulness)으로, 필요한 동작의 일부만 제약하고 나머지는 자유롭게 두는 명세이다. 명세 품질은 여전히 결과와 상관관계를 보이며, 미해결 인스턴스의 92%에서 실패하는 반면 해결된 인스턴스에서는 51%에서 실패한다. 이로써 충실한 명세 합성은 구체적인 미해결 문제가 된다.

arXiv:2609.19801v2cs.LG

DeliveryGym: An RL Environment for Long-Horizon Embodied Agent Planning with Adaptive Curriculum

The user asked for a JSON-only translation response with no markdown fences. Here is the result: {"title_ko": "DeliveryGym: 적응형 커리큘럼 기반 장기 체화 에이전트 계획을 위한 강화학습 환경", "abstract_ko": "실행 가능한 환경은 LLM 에이전트가 자신의 행동 결과로부터 학습할 수 있게 한다. 체화 에이전트의 경우, 그 결과는 현재 과제의 성공 여부를 넘어선다. 배달을 완료하는 것은 이후 작업에 필요한 시간, 에너지, 또는 돈을 소모할 수 있다. 따라서 계획 학습을 위해서는 이러한 의존성을 보존하고 완전한 궤적에 걸쳐 이를 피드백으로 전환하는 환경이 필요하다.\n\n우리는 연속적인 배달원 근무 교대를 대상으로 에이전트를 평가하고 학습하는 3D 환경인 DeliveryGym을 제안한다. 이는 다중 모달 도구 상호작용과 지속적인 세계 동역학을 결합하고, 시뮬레이터 이벤트로부터 궤적 보상을 계산하여 에이전트 결정의 비용을 강화학습(RL)에 사용할 수 있게 한다. 또한 평가는 고정한 채, 환경은 정책에서 관찰된 약점에 맞춰 향후 학습 교대를 적응시킨다.\n\n6개 모델과 13개 도시 맵에 걸쳐, 평가는 할당된 배달을 안정적으로 수행하는 것과 한 교대 동안 업무를 선택하고 순서를 정하는 것 사이의 격차를 드러낸다. 보지 못한 도시 테스트 세트에서 RL은 Qwen3-VL-4B의 순수익을 54.3% 향상시켜, 완전한 교대로부터 학습하면 이러한 결합된 제약 하에서 성능이 개선됨을 보여준다. 학습 환경을 적응시키면 100회 업데이트에서 균일 샘pling 대비 평가 수익이 18% 개선되어, 에이전트가 연습하는 상황이 무엇인지도 중요함을 시사한다. DeliveryGym은 에피소드 내에서 배달을 조율하고 이후 주문을 위해 자원을 보존하는 방법을 에이전트가 학습하는 과정을 연구할 수 있는 실행 가능한 설정을 제공한다."}

arXiv:2609.18094v3cs.LG

Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git

Agora: Git as Shared Memory for Collective AutoResearch

서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.

arXiv:2609.06080v2cs.LG

PhenoBench: 심층 표현형 분석 코호트가 밝혀낼 수 있는 정보의 지도화

PhenoBench: Mapping What a Deeply Phenotyped Human Cohort Can Tell Us

심층 표현형 분석(deeply phenotyped) 코호트는 수초에서 수년에 이르는 시간 척도 전반에 걸쳐 임상, 영상, 분자 및 웨어러블 관측 데이터를 통합하지만, 이질적인 분석 결과들을 직접 비교하기는 어렵습니다. 본 논문에서는 심층 표현형 측정값을 명시적인 질문으로 변환하고 정보 출처 및 예측 모델 간의 제어된 비교를 수행하는 실행 가능한 벤치마크인 PhenoBench를 제시합니다. 이는 초기 방문 시점 기준 13,000명 이상의 참가자를 보유한 Human Phenotype Project를 기반으로 구축되었습니다. 각 질문은 목표, 대상 집단, 시점, 허용된 정보를 고정하며, 평가 계약(evaluation contract)은 분할(split), 지표(metric), 기준선(baseline), 주장 경계를 명시합니다. PhenoBench는 15개 도메인과 26개 입력 모달리티에 걸쳐 임상에 기반한 90개 태스크를 정의합니다. 52개 태스크에 걸친 160건의 매칭된 회귀 비교 전반에서, 제한된 튜닝을 적용한 고정 단일 추정기 프로토콜 하에 6개의 사전학습(pre-training)된 정형(tabular) 모델이 XGBoost 및 CatBoost를 포함하여 평가된 태스크별 기준선을 상회하는 순위를 기록했습니다. 각 태스크에 동일한 가중치(weight)를 부여했을 때, 릿지(ridge) 대비 이들의 평균 이점은 0.0103 $R^2$(95% 태스크 부트스트랩 구간, 0.0071-0.0136)였습니다. 또한 표현형 복구, 분류(classification), 후속 예측, 참가자 순위 지정을 아우르는 40개 태스크를 종합적으로 포괄하는 14개의 언어 모델을 평가했습니다. 코호트별 적합(fitting) 없이 언어 모델은 일부 태스크에서 유의미한 예측을 산출했으나 태스크별 역량 격차와 스케일(scale)에 따른 공통된 실패를 보였으며, 동일한 입력 필드에 적합된 태스크별 릿지 또는 로지스틱 회귀 모델을 능가하는 경우는 드물었습니다. PhenoBench는 기존 비교를 재정의하지 않고도 새로운 질문, 측정값, 모델을 추가할 수 있는 버전 관리 및 감사 가능한 평가 시스템을 제공합니다.

arXiv:2607.01940v3cs.LG

조건부 공동 소거(Conditional Co-Ablation): 트랜스포머 회로에서 자기 수리 백업 복원

Conditional Co-Ablation: Recovering Self-Repair Backups in Transformer Circuits

메커니즘적 해석가능성(mechanistic interpretability)은 행동을 인과적으로 뒷받침하는 내부 구성요소 집합인 회로(circuit)를 통해 트랜스포머 행동을 설명하려 한다. 그러나 자기 수리(self-repair)는 맹점을 만든다. 주요 구성요소를 소거(ablation)하면 휴면 상태의 백업이 활성화될 수 있어, 무손상 모델에서는 행동을 설명하던 회로가 이를 검증하기 위해 쓰인 개입 하에서는 불완전해질 수 있다. 우리는 이 공백을 조건부 회로 완성(conditional circuit completion)으로 형식화한다. 주요 집합이 주어졌을 때, 그 제거 이후 인과적으로 중요해지는 구성요소를 식별하는 것이다. 우리는 주요 집합 제거 후 소거 효과의 증가로 후보를 순위 매기는 조건부 공동 소거(CoAx)를 제안한다. 완전히 휴면인 백업은 단위별 무손상 상태(intact-state) 점수만으로는 무관한 구성요소와 구별되지 않을 수 있지만, 그 조건부 효과 변화는 제거된 집합과 연결하는 모든 상호작용 차수를 정확히 집계한다. GPT-2-small의 간접 목적어 식별(Indirect Object Identification, IOI) 회로에서 CoAx는 문서화된 백업 헤드를 ROC-AUC 0.941로 복원하며, 가장 강한 무손상 상태 속성(attribution) 기준선 0.815, 짝을 맞춘 조건부 에너지(conditional-energy) 통제 0.758보다 낫다. 행동 효과, 출력 변위, 깊이에서 짝을 맞춘 대안 구성요소 집합에서는 복원이 AUC 0.40 ± 0.13으로 떨어져, 복원이 제거된 회로에 특이함을 보인다. 복원을 넘어, CoAx로 선택된 헤드는 인과적으로 부하를 지는(load-bearing) 구성요소이다. 주요 구성요소 제거 후 이들을 동결(freezing)하면 IOI 마진이 급격히 줄고, 불완전 회로에 추가하면 불완전도가 0.75에서 0.21로 감소한다. 더 넓게, 조건부 증가는 4개 메커니즘 클러스터에 걸친 12개 보류(hold-out) 사례 중 11개에서 개입으로 도출한 수리(repair)와 정렬하며, CoAx 완성은 6개 아키텍처 계열에 걸친 GPT-2가 아닌 8개 모델 모두에서 짝을 맞춘 무작위 완성보다 우수하다. 종합하면, 자기 수리하는 트랜스포머에 대한 인과적 설명은 주요 구성요소가 실패할 때 백업 회로를 반드시 고려해야 한다.

arXiv:2605.16268v2cs.HC

위기에 처한 고객 돕기: 대화, 탐색 질문, 라우팅을 수행하는 LLM 기반 에이전트

Helping Customers in Distress: An LLM-powered Agent that Converses, Probes, and Routes

은행은 매년 수백만 건의 사기, 스캠 및 분쟁 거래 신고를 접수하므로, 고객을 적절한 전문 지원팀으로 정확하게 안내하는 데 어려움을 겪고 있습니다. 사람이 직접 수행하는 기존의 수동 프로세스는 느릴 뿐만 아니라 고객과 직원 모두에게 큰 스트레스를 줍니다. 이를 해결하기 위해, 본 연구에서는 대규모 언어 모델(LLM)을 활용하여 다중 턴(multi-turn) 대화를 나누고, 관련 질문을 던지며, 정책에 기반한 정확한 라우팅을 위해 사례를 분류하는 고객 대면형 AI 분류(triaging) 에이전트를 개발하여 고객 여정에 통합했습니다. 에이전트를 평가하고 지속적으로 개선하기 위해 실제 고객의 합성 디지털 트윈(synthetic digital twins)을 시뮬레이션했으며, 과거 데이터를 기반으로 레이블이 지정된 사실적인 대화를 생성하여 광범위한 실제 시나리오를 테스트했습니다. 본 연구는 분류 에이전트의 모델링 접근 방식, 정책과의 통합, 안전성 가드레일 및 추론 프레임워크, 확장 가능한 평가를 위한 합성 에이전트의 활용, 그리고 해당 AI 시스템의 정확도, 강건성, 규정 준수성에 대한 분석 결과를 상세히 다룹니다. 실험 결과, 이 에이전트는 과거 사례의 분류 작업을 성공적으로 개선하여 분류 정확도를 30.6% 향상시켰으며, 도메인 전문가들로부터 높은 만족도를 얻었습니다. 이는 정밀한 탐색 질문이 대규모 은행 업무에서 얼마나 더 효과적인 분류로 이어질 수 있는지를 잘 보여줍니다.