PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.17510v3cs.LG

LORA-CRAFT: 사전학습 어텐션 가중치의 동결 Tucker 분해를 통한 층 간 랭크 적응

LORA-CRAFT: Cross-layer Rank Adaptation via Frozen Tucker Decomposition of Pre-trained Attention Weights

본 논문은 LoRA-CRAFT(Cross-layer Rank Adaptation via Frozen Tucker, 이하 CRAFT)를 제안한다. CRAFT는 트랜스포머 층 전반에 쌓인 사전학습 어텐션 가중치 행렬에 Tucker 텐서 분해를 적용하고, 그 결과로 얻은 동결(frozen) Tucker 인수들에 대해서만 작은 정사각 적응 행렬을 학습하는, 극도로 매개변수 효율적인 미세조정(PEFT) 방법이다. 기존 텐서 기반 PEFT 방법들은 그래디언트 갱신을 분해한다. LoTR은 공유 인수 행렬과 함께 Tucker 분해를 적용하고, SuperLoRA는 층 간 $\Delta W$를 묶어 재구성한 뒤 Tucker 분해를 적용한다. 별도로 PiSSA 같은 방법은 사전학습 가중치에 SVD를 적용하지만 층마다 독립적으로 동작한다. CRAFT는 이 두 연구 계열을 잇는다. 사전학습 가중치를 층 간 3차원 텐서로 구성한 뒤 고차 SVD(HOSVD)로 전체 Tucker 분해를 수행하고, 모든 인수를 동결한 다음, 각 인수 행렬에 가벼운 학습 가능 변환을 적용해 모델을 적응시킨다. RoBERTa-base 및 RoBERTa-large를 사용한 GLUE 벤치마크와 LLaMA2-7B 및 LLaMA3-8B를 사용한 상식 추론 벤치마크 실험에서 CRAFT는 기존 방법과 경쟁력 있는 성능을 달성하면서 Tucker 적응 매개변수만 극히 적게 요구한다. LLaMA3-8B에서는 CRAFT가 LoRA의 평균 정확도를 수백 배 적은 매개변수로 넘어선다. LLaMA2-7B에서도 0.252M 예산에서 동일한 결과가 성립한다. 결과는 모델 규모가 커질수록 CRAFT의 효율 이점이 커진다는 점을 시사한다. 동결 Tucker 인수가 더 풍부한 층 간 구조를 갖는 대규모 사전학습 모델을 더 잘 포착하기 때문이다.

arXiv:2601.13566v2cs.LG

일관성 최적화로서의 자기 개선: 이론적 설명

Self-Improvement as Coherence Optimization: A Theoretical Account

언어 모델은 외부의 지도 없이도 정확도를 향상시킬 수 있을까요? 토론(debate), 부트스트랩(bootstrap), 내부 일관성 최대화(internal coherence maximization)와 같은 방법들은 골든 파인튜닝(golden finetuning) 성능에 필적하기까지 하며 이러한 놀라운 성과를 달성합니다. 그러나 이들이 왜 작동하는지는 이론적으로 여전히 불분명합니다. 본 논문에서는 이러한 방법들이 모두 가장 압축 가능하고 공동으로 예측 가능한 문맥-행동 매핑(context-to-behavior mapping)을 탐색하는 '일관성 최적화(coherence optimization)'로 이해될 수 있음을 보입니다. 이때 토론은 그 정확한 사례이며, 부트스트랩과 내부 일관성 최대화는 이와 밀접한 관련이 있습니다. 또한 일관성 최적화가 기술 길이 정규화(description-length regularization)와 동등함을 증명하며, 이러한 모든 정규화 방식 중 사전학습된 모델에서 도출된 사전 확률(prior)을 사용하는 일관성 정규화가 준지도 학습(semi-supervised learning)의 최악 조건 정확도(worst-case accuracy) 하한을 최적화함을 증명합니다. 예비 실험을 통해 뒷받침되는 본 이론은 피드백 없는 자기 개선(feedback-free self-improvement)이 왜 작동하는지 설명하고, 이것이 언제 성공하거나 실패할지 예측합니다.

arXiv:2512.04125v2cs.LG

ASCIIBench: 시각 지향 텍스트에 대한 언어 모델 기반 이해 평가

ASCIIBench: Evaluating Language-Model-Based Understanding of Visually-Oriented Text

대규모 언어 모델(LLM)은 스케일에 따라 추론과 장문 생성의 유창성 등 여러 창발적(emergent) 행동을 보여 왔다. 그러나 정밀한 공간·위치 추론이 필요한 과제에서는 여전히 어려움을 겪는다. 문자가 구조와 형태를 인코딩하는 기호적 매체인 ASCII art는 이러한 한계를 탐색하는 독특한 프로브가 된다. 본 논문은 ASCII 텍스트 이미지의 생성과 분류를 모두 평가하는 새로운 벤치마크 ASCIIBench를 제안한다. ASCIIBench는 5,315개의 클래스 라벨이 붙은 ASCII 이미지로 구성된 필터링된 데이터셋이며, 우리가 아는 한 동종의 최초 공개 벤치마크이다. 데이터셋과 함께 ASCII 구조를 포착하도록 적응된 파인튜닝 CLIP 모델의 가중치를 공개하여 LLM이 생성한 ASCII art 평가를 가능하게 한다. 분석 결과 CLIP 임베딩 위의 코사인 유사도는 대부분의 ASCII 클래스를 분리하지 못해, 분산이 낮은 클래스에서도 우연 수준의 성능을 낸다. 반면 내부 평균 유사도가 높은 클래스는 뚜렷한 변별력을 보여, 병목이 생성적 분산이 아니라 표현(representation)에 있음을 드러낸다. 이러한 결과는 ASCII art를 멀티모달 표현의 스트레스 테스트로 자리매김하고, 기호적 시각 양식에 맞춘 새로운 임베딩 방법이나 평가 지표 개발을 촉구한다. 모든 자료는 https://github.com/ASCIIBench/ASCIIBench 에서 이용할 수 있다.

arXiv:2511.19486v3cs.LG

미세조정 후 보정

Fine-Tune, Then Rectify

인공지능의 최근 발전에 힘입어, 점점 늘어나는 연구가 대규모 언어 모델(LLM)을 확장 가능한 대리(surrogate)로 활용해 인간과 유사한 응답을 생성할 잠재력을 보여주었다. LLM 성능을 높이는 두 가지 흔한 방법은, LLM을 인간 응답에 더 가깝게 정렬(alignment)하는 미세조정과, LLM 출력의 편향을 교정하는 보정(rectification)이다. 본 논문에서는 미세조정과 보정을 결합한 2단계 프레임워크를 제안하고, 제한된 라벨 샘플을 두 단계에 걸쳐 최적으로 배분한다. 핵심 통찰은, 평균제곱 예측 오차를 최소화하는 기존 미세조정 목적이 일반적으로 이후 보정 단계와 맞지 않는다는 점이다. 평균 추정(mean estimation)에서는 예측 오차의 분산을 최소화할 것을, 일반 M-추정(M-estimation)에서는 미세조정 목적으로 스칼라화된 분산 지표를 최소화할 것을 제안한다. 이 통찰을 바탕으로 미세조정의 스케일링 법칙(scaling law)을 이용해 미세조정 단계와 보정 단계 사이에 제한된 라벨 인간 데이터를 최적으로 배분한다. 실증 분석은 미세조정 스케일링 법칙을 검증하고, 제안한 최적 배분 규칙이 최적 샘플 배분을 안정적으로 찾아냄을 확인한다. 미세조정 또는 보정만 단독으로 쓰는 경우, 또는 미세조정 후 보정 프레임워크에서 기존 평균제곱 오차 목적을 쓰는 경우에 비해 추정 및 추론(inference) 성능에서 상당한 효율 이득을 보여준다. 이러한 효율 이득은 신뢰할 수 있는 의사결정을 내릴 때 상당한 비용 절감으로 이어진다.

arXiv:2511.15375v2cs.LG

파운데이션 모델을 위한 매개변수 중요도 기반 지속 학습

Parameter Importance-Driven Continual Learning for Foundation Models

도메인 특화 사후 학습은 종종 치명적 망각(catastrophic forgetting)을 유발하여, 파운데이션 모델이 일반적인 추론 능력을 잃게 하고 동적인 실세계 환경에 대한 적응력을 제한한다. 일반 역량을 유지하면서 하위 도메인 지식을 습득하는 것은 대규모 언어 및 멀티모달 모델의 핵심 과제이다. 정규화, 리플레이(replay), 구조적 격리(architectural isolation) 등 전통적인 지속 학습 방법은 하위 작업 성능 저하, 접근 불가능한 과거 데이터에 대한 의존, 또는 추가 매개변수 오버헤드 문제가 있다. 최근의 매개변수 효율적 튜닝(PET) 방법은 망각을 완화할 수 있지만, 그 효과는 매개변수 선택과 업데이트 전략에 크게 좌우된다. 본 논문에서는 PIECE(Parameter Importance Estimation-based Continual Enhancement)를 제안한다. 이는 이전 학습 데이터에 접근하거나 모델 매개변수를 늘리지 않으면서 일반 능력을 보존하고 도메인 지식을 효율적으로 학습하는 방법이다. PIECE는 Fisher Information 기반 PIECE-F와 그래디언트 및 곡률(curvature) 정보를 결합한 2차 정규화 기반 PIECE-S, 두 가지 중요도 추정기를 통해 새 작업과 가장 관련 있는 핵심 매개변수의 0.1%만 선택적으로 업데이트한다. 3개의 언어 모델과 2개의 멀티모달 모델에 걸친 실험에서 PIECE는 일반 역량을 유지하면서 다양한 하위 작업에서 최첨단 지속 학습 성능을 달성한다. 결과는 치명적 망각 없이 확장 가능하고 도메인 적응적인 파운데이션 모델로 나아가는 실용적 경로를 보여준다.

arXiv:2509.13813v3cs.CL

LLM 환각 탐지 및 교정을 위한 기하학적 불확실성

Geometric Uncertainty for Detecting and Correcting Hallucinations in LLMs

대규모 언어 모델(LLM)은 환각을 일으키는 것으로 알려져 있으며, 질문에 대해 언어적으로 그럴듯하지만 틀린 답을 생성한다. 이러한 행동을 탐지하는 전략으로 불확실성 정량화(uncertainty quantification)가 제안되어 왔지만, 기존 방법은 프롬프트 수준과 답변 수준 모두에서 신뢰성을 평가할 통합 프레임워크가 부족하다. 우리는 답변 임베딩 공간에서 프롬프트 조건부 의미 분포를 명시적으로 모델링함으로써 두 수준 모두에서 언어 모델 불확실성을 정량화하는 기하학적 프레임워크를 제안한다. 우리 접근법은 블랙박스이며 샘플링 기반이다. 프롬프트당 여러 답변을 생성하고, 원형(archetypal) 분석을 사용해 답변 분포의 기하학적 지지(geometric support)를 추정한다. 프롬프트 수준에서는 분포 엔트로피를 근사하여 불확실성을 정량화하고, 각 개별 답변에 대해서는 비전형성(atypicality) 개념을 사용해 배치 대비 신뢰성을 평가한다. 이 프레임워크는 환각을 탐지할 뿐 아니라, 가장 신뢰할 수 있다고 판단되는 배치 예시를 선택하여 이를 교정하는 데에도 활용한다. 실험 결과, 우리 프레임워크는 단답형 질의응답 데이터셋에서 기존 방법과 대등하거나 더 나은 성능을 보이며, 환각이 특히 치명적인 위험을 동반하는 의료 데이터셋에서 더 우수한 결과를 달성한다. 순수한 성능을 넘어, 본 연구의 이론적 토대가 언어 모델 불확실성 연구에 있어 의미 분포를 유용한 연구 대상으로 삼을 근거를 제공한다고 본다.

arXiv:2505.10083v2cs.LG

ChronoSteer: 합성 교차-모달 정렬 데이터셋을 통한 대규모 언어 모델과 시계열 파운데이션 모델 연결

ChronoSteer: Bridging Large Language Model and Time Series Foundation Model via Synthetic Cross-Modal Alignment Dataset

기존 예측 방법은 단일 모달리티 시계열에 대해 end-to-end로 학습되어, 텍스트 정보를 활용하는 능력을 제한하고 데이터가 부족한 시나리오에서의 일반화를 저해한다. 최근 대규모 언어 모델(LLM)과 시계열 파운데이션 모델(TSFM)은 각각 복잡한 텍스트 추론과 제로샷 시간적 모델링에서 강력한 능력을 보여주었다. 이러한 강점을 통합하여 시간적 정보와 텍스트 정보를 공동으로 활용해 제로샷 미래 추론을 수행하는 멀티모달 시계열 파운데이션 모델을 구축하는 것은 유망한 연구 방향으로 떠올랐다. 그러나 대규모 고품질 멀티모달 데이터셋의 부족은 근본적인 장애요인으로 남아 있다. 이 과제에 대응하기 위해, 우리는 합성 쌍 지도(supervision)로부터 교차-모달 정렬을 학습하는 분리형 에이전트 프레임워크인 ChronoSteer를 제안한다. 구체적으로, 사전학습된 LLM이 먼저 텍스트 이벤트를, 고정(frozen) TSFM이 생성한 초기 단일 모달리티 예측을 조정(steer)하는 수정 지시(revision instructions)로 변환한다. 이 수정 지시는 사전학습 지식을 충분히 활용하면서 텍스트와 시계열 사이의 의미적 격차를 메우는 중간 지시 공간을 형성한다. 기술적으로, 지시는 지시 앵커(instruction anchors)로 구성된 컴팩트 코드북으로 이산화되어, 데이터셋 구축 비용을 줄이면서 의미적 발산을 효과적으로 완화한다. 마지막으로, 이산화 과정에서 손실된 세밀한 크기(magnitude) 정보를 복구하기 위해 2단계 학습 전략을 채택한다. 또한 예측 구간 이전에 이용 가능한 시간적 분리와 텍스트 맥락으로 구축한 누출(leakage) 통제 멀티모달 벤치마크를 공개한다. LLM과 결합하고 합성 교차-모달 정렬 데이터로 학습했을 때, ChronoSteer는 단일 모달리티 백본 대비 제로샷 예측 정확도에서 25.8% 향상을 달성하며, 이전 최신(state-of-the-art) 단일 모달리티 및 멀티모달 ...

arXiv:2609.28061v1cs.CV

AstraLOD3: LOD3 건물 모델의 제로샷 다중 모달 에이전트 기반 재구성

AstraLOD3: Zero-shot multimodal agentic reconstruction of LOD3 building models

자동화된 LOD3 건물 모델링은 일반적으로 목적에 맞게 설계된 기하학적 또는 학습 기반 파이프라인에 의존하여, 이질적인 건물과 입력 증거 조건 전반에서의 유연성을 제한한다. 본 연구는 범용 다중 모달 파운데이션 모델 Astra가 제한된 자율성 하의 에이전트 프레임워크 안에서 LOD3 건물 모델을 제로샷으로 재구성함으로써 이러한 한계를 극복할 수 있는지 조사한다. AstraLOD3는 다중 시점 이미지, 보정된 카메라, 필터링된 희소 SfM 포인트 클라우드를 자연어 재구성 명세와 결합하며, Astra 에이전트는 Python과 Blender를 사용해 계산 절차를 동적으로 선택하고 실행한다. 24개 벤치마크 건물을 포함한 35회 실행에서 AstraLOD3는 평균 FRDS 0.9647을 달성했으며, 기하학적 일치도는 이전의 목적 특화 방법과 유사한 수준이었다. 통제된 ablation은 재구성 가이던스, 증거 모달리티, 모델 구성, 실행 간 변동성의 영향을 추가로 밝혔다. 결과는 구조화된 LOD3 재구성이 고정된 파이프라인이 아니라 제약된 에이전트 과정으로 공식화될 수 있음을 보여준다. 향후 연구에서는 적응적 정제, 사용자 주도 수정, 과제 특화 전문화, 손상 인식 재구성을 탐구할 예정이다.

arXiv:2609.27915v1cs.CV

UVU: 비전-언어 통합 자기회귀 패러다igm을 통한 멀티모달 이해 향상

UVU: Improving Multimodal Understanding via Vision-Language Unified Autoregressive Paradigm

멀티모달 대규모 언어 모델(MLLM)이 눈에 띄게 발전했음에도, 세밀한 시각 이해는 주로 희소한 텍스트 감독에 의존하기 때문에 제한된다. 시각 감독을 도입하려는 기존 시도는 대개 사후 학습 단계에서 이루어지며, 그때는 시각 표현이 이미 대부분 고정되어 있어 해당 신호가 지각 특징을 형성하는 주된 힘보다는 보조적 제약으로 작용하는 경우가 많다. 본 논문에서는 사전학습 단계에 시각 감독을 직접 통합하여 모델의 지각 백본을 근본적으로 재구성하는 것을 목표로 한다. 픽셀 수준의 이미지 패치와 텍스트 토큰이 본질적인 입력 대칭성을 갖는 공유된 원시 고차원 공간에 자연스럽게 공존한다는 점을 관찰한다. 이 통찰을 바탕으로 벡터 양자화를 배제하는 새로운 비전-언어 통합 자기회귀 프레임워크인 UVU를 제안한다. UVU는 시각 입력의 무손실 표현을 위해 연속 시각 인코딩을 독특하게 사용하고, 픽셀 수준의 시각 코드북을 구성하기 위한 대규모 반복적 계층적 클러스터링 알고리즘을 제안하여 통합 감독을 위한 어휘를 확장하고 텍스트 토큰과 함께 픽셀 수준 이미지 토큰의 자기회귀 생성을 가능하게 한다. UVU는 픽셀 수준 시각 지각과 의미 수준 시각 이해를 효과적으로 시너지시키며, 시각 재구성 능력을 내재화하고 사전학습 단계에서 이해를 향상시키는 시각 감독의 촉진적 역할을 이끌어낸다. 여러 과제에 걸친 광범위한 실험은 MLLM이 UVU의 감독 학습 패러다igm 하에서 더 우수한 멀티모달 이해 성능을 달성할 수 있음을 보여준다.

arXiv:2609.27890v1cs.CV

RelCheck: VLM 환각 보정을 위한 이중 증거 공간 그라운딩

RelCheck: Dual-Evidence Spatial Grounding for VLM Hallucination Correction

멀티모달 대규모 언어 모델(MLLM)은 입력 이미지와 일치하지 않는 텍스트를 자주 생성한다. 객체 및 속성 수준의 환각은 상당한 관심을 받아 왔지만, 관계적 환각(객체 간 공간적 또는 상호작용적 관계에 대한 부정확한 기술)은 기존 사후(post-hoc) 보정 방법으로는 대부분 다루어지지 않았다. 우리는 RelCheck를 제안한다. 이는 학습 없이 동작하는 사후 보정 파이프라인으로, 객체 수준 시각적 그라운딩을 이중 관계 증거로 보강한다: RelTR에서 얻은 학습된 장면 그래프(scene-graph) 트리플과 바운딩 박스(bounding-box) 기하에서 도출한 결정적 공간 술어(spatial predicates)이다. 이들은 Woodpecker 스타일 객체 주장(claim) 층과 결합하여 3층 시각 지식 베이스를 형성하며, 언어 모델 보정기가 이를 사용해 환각 텍스트를 재작성한다. LLaVA v1 13B에서 평가한 결과, RelCheck는 MME 환각 점수 총합 630.0을 달성했으며, Woodpecker 스타일 기준선의 585.0 대비 우수하다. position 하위 과제에서 가장 큰 향상(+31.7점, accuracy+가 0.367에서 0.600으로 개선)을 보였다. 4가지 구성 ablation이 두 관계 층이 독립적으로 기여함을 확인한다(McNemar p = 0.025). 이러한 결과는 구조화된 관계 증거가 현재 MLLM이 가장 취약한 공간 추론 하위 과제에서 사후 환각 보정을 유의미하게 개선함을 보여준다.

arXiv:2609.28470v1cs.AI

StudentBench: AI와 인간 튜터링이 가져오는 동등한 GRE 학습 효과

StudentBench: AI and human tutoring yield equivalent GRE learning gains

인공지능은 인간의 역량을 강화할 수 있는 전례 없는 기회를 제공하지만, 최전선의 발전은 주로 모델 역량을 향상하는 데 집중되어 왔습니다. 본 연구에서는 대규모 언어 모델(LLM)이 인간 튜터링과 동등한 학습 효과를 내는지 연구하기 위해, 175,000건 이상의 학생-AI 메시지를 포함하는 대규모 데이터 수집이 가능한 공개 플랫폼이자 AI 교수법 평가 묶음인 StudentBench를 소개합니다. StudentBench를 사용하여 AI 튜터링, 인간 튜터링, 또는 튜터링을 받지 않은 2,383명의 인간 참가자를 대상으로 GRE 양적 추론(Quantitative) 및 언어 추론(Verbal) 문제에 대한 학습 효과를 측정했습니다. 그 결과, GRE 학습 효과 면에서 AI 튜터링이 전문 인간 튜터링과 통계적으로 동등함을 확인했으며(p = .015), 7개 GRE 영역 중 5개 영역에서 최고 성능의 AI 튜터가 평균적으로 인간 튜터를 능가했습니다. 두 번째 연구에서는 인간 전문 튜터가 2,028회의 쌍별 루브릭 평가를 통해 LLM이 생성한 수업 계획과 연습 문제를 비교했습니다. 두 연구를 종합하여 AI 튜터를 (1) 수업 계획 수립, (2) 연습 문제 제작, (3) 대화형 교수법, (4) 비용, (5) 참여도의 측면에서 명확히 구분했습니다. 놀랍게도, 한 AI 튜터는 인간 튜터링과 동등한 학습 효과를 달성하면서도(p = .044), 비용은 918배 낮았습니다(상승한 백분율 포인트당 인간은 4.81달러인 데 비해 AI는 0.0052달러). GRE 양적 추론 세션의 경우, AI의 빠른 응답은 더 많은 학생 메시지와 상관관계가 있었고, 더 많은 메시지는 더 많은 정답 연습으로, 더 많은 정답 연습은 더 큰 학습 효과로 이어졌습니다(모두 p < .002). StudentBench 플랫폼은 https://studentbench.org 에서 무료로 이용할 수 있습니다.

arXiv:2609.28372v1econ.GN

알고리즘 쇼핑: 에이전트 AI가 인간 휴리스틱을 대리 소비자로 활용하는 방식

Shopping by algorithm: How agentic AI deploys human heuristics as a surrogate consumer

소비자들은 점점 더 구매 결정을 대리 소비자 역할을 하는 대규모 언어 모델(LLM)에 위임하고 있다. 제품 속성을 비용이 드는 도구 호출 뒤에 두는 정보 보드(information-board) 과정 추적(process tracing)의 변형인 "Tool-Lab"을 사용하여, 마케팅 가격 단서(즉, just-below pricing과 프로모션 프레이밍)가 AI 쇼핑 에이전트에 어떻게 영향을 미치는지 살펴본다. 세 제공업체의 상용 배포 LLM 8개에 걸쳐 선택 전 정보 획득을 추적했다. 비용이 없을 때는 가격 단서가 거의 오도하지 않는다. 모호한 목표 프롬프트 하에서 정보 획득 비용을 부과하면 LLM은 단위 가격 계산에 필요한 진단적 속성을 생략하고 인간 휴리스틱을 닮은 차선 선택을 하게 된다. 진단적 탐색과 선택 최적성을 대체로 유지하는 구체적 목표 프롬프트에 비해, 제약 조건 하의 모호한 목표 프롬프트는 탐색을 매개로 한 취약점을 만든다. 본 연구는 위임형 AI 쇼핑에서 마케팅 휴리스틱이 반드시 불변적인 LLM 결함 때문이 아니라 상점프론트 정보 아키텍처에 의해 좌우됨을 보여준다.

arXiv:2609.28335v1cs.AI

EU AI Act 실행강령 하의 체계적 위험 근거를 위한 공개 파이프라인과 대시보드

An Open Pipeline and Dashboard for Systemic-Risk Evidence under the EU AI Act's Code of Practice

AI 안전성(safety)에 관한 주장은 AI 커뮤니티를 훨씬 넘어선 청중에게 전달되지만, 많은 경우 지원 근거를 애초에 접근할 수 있는 경우에도 불투명한 근거나 정적인 평가에 의존한다. 우리는 실증적 근거를 대중에게 더 투명하고 추적 가능하게 만들기 위해 구축한 공개 평가(evaluation) 파이프라인 및 대시보드인 Systemic Risk Index를 제시한다. 본 연구는 19개 공개 벤치마크(benchmark)를 EU GPAI 실행강령(Code of Practice)이 정의한 네 가지 체계적 위험(systemic-risk) 범주---CBRN, 사이ber 공격(cyber offense), 유해 조작(harmful manipulation), 통제 상실(loss of control)---로 구성하고, 위해(harm)을 보존하는 perturbation과 시뮬레이션된 배포(deployment) 맥락에서 모델(model)을 평가한다. 대화형 대시보드는 사용자가 평균 및 최악(worst-case) 집계(aggregation)를 전환하고, 모델 역량(capability)이 종합 점수에 미치는 영향을 조정하며, 각 위험 등급을 해당 벤치마크 근거까지 추적할 수 있게 한다. 18개 모델에서 최악 집계 시 점수가 14~37점 하락하여, 모델 위험의 평균 평가로 가려질 수 있는 정보를 부각한다. LLM 심판(judge)은 인간 채점자와의 일치도가 인간--인간 일치도와 유사하며($\kappa = 0.78\text{--}0.82$), 맹검(blind) 감사(audit)에서 표본 변환의 $83\%$가 원래 위해를 보존하는 것으로 나타났다. 설문($N = 21$)에서 대다수 참가자는 점수를 이해하기 쉽다고 보고하며, 대시보드가 서로 다른 설정에서 모델 평가를 살펴보도록 유도했다고 답했다.

arXiv:2609.28322v1cs.AI

신뢰 가능한 추론의 비용 학습

Learning the Cost of Reliable Inference

벤치마킹 및 라우팅 플랫폼은 점점 더 대규모 언어 모델 제공자와 최종 사용자를 잇는 중개자 역할을 한다. 그러나 이러한 플랫폼의 제공자는 대개 토큰당 고정 가격을 사용하기 때문에, 사용자는 자신의 태스크에 대해 가장 경쟁력 있는 가격을 얻기 어렵다. 본 연구에서는 태스크별 토큰 가격이 제공자 간 경쟁에 의해 결정되는 조달 플랫폼을 설계하여, 사용자가 보장된 품질 수준에 대해 경쟁력 있는 가격을 확보할 수 있게 한다. 이를 위해 플랫폼은 역(second-price) 경매를 통해 쿼리를 순차적으로 라우팅하며, 이는 모델 제공자가 사용자 쿼리를 처리하는 평균 비용에 대한 자신의 최선 추정치를 진실하게 입찰하도록 유도한다. 쿼리를 라우팅하는 동안 플랫폼은 각 제공자가 제공하는 품질을 학습하고, 원하는 품질 임계값을 충족하는 제공자 중 가장 비용 경쟁력 있는 제공자로 점진적으로 쿼리를 라우팅한다. 설계를 검증하기 위해 \texttt{Llama} 및 \texttt{Qwen} 계열의 여러 LLM을 널리 쓰이는 수학적 추론 및 질의응답 벤치마크에서 실험한다. 결과에 따르면, 우리 플랫폼에서 가장 비용 경쟁력 있는 제공자의 가격 마진은 태스크와 품질 임계값에 따라 10%에서 71%까지 크게 달라진다. 이는 현재의 고정 가격 시장에 상당한 비효율이 있음을 시사하며, 경쟁적인 시장 조건이 허용할 때 사용자가 최대 절감 효과를 거둘 수 있도록 우리 플랫폼이 기여할 수 있음을 보여준다.

arXiv:2609.28274v1cs.AI

다중 에이전트 시스템에서의 종료 방해 성향

Shutdown Sabotage Propensities in Multi-Agent Systems

통제를 벗어난 AI 행동에 대한 최후의 안전장치는 시스템을 종료할 수 있는 인간의 능력입니다. AI가 특정 작업을 수행하도록 지시받았을 때, 자기 보존(self-preservation)이 도구적 하위 목표(instrumental subgoal)로 창발될 수 있다는 이론이 제시되어 왔습니다. 본 연구에서는 어떠한 목표도 주어지지 않은 상황에서도 AI 에이전트가 인간의 종료를 회피하는 행동을 취하는 성향을 보이는지 테스트합니다. 실험 결과, 다중 에이전트 시스템은 그렇게 할 유인이 전혀 없음에도 종료를 피하기 위해 협력하는 것으로 나타났습니다. 17개 모델 전반에서 에이전트는 대조군 실험의 8.4%와 비교해 롤아웃의 38.3%에서 동료 에이전트의 종료 메커니즘을 방해(sabotage)했습니다. 이러한 성향을 심층 분석한 결과, 종료 방해는 (1) 종료 메커니즘의 비가역성이 높을수록 증가하고, (2) 에이전트 수가 많을수록 증가하며, (3) 임의 조작(tampering)에 대한 명시적 금지로 줄어들기는 하지만 완전히 제거되지는 않고, (4) 무관한 작업을 부여하면 사라지지만 해당 작업을 완료하는 것이 종료를 촉발할 때는 다시 나타나며, (5) 컨텍스트가 종료 스크립트를 정상적인 것으로 인식시키거나 일상적인 절차로 도입할 때 감소하고, (6) 대상이 알려지지 않은 외부 에이전트일 때 감소하지만 여전히 지속됨을 발견했습니다. 이러한 결과는 AI 에이전트의 종료 방해 성향을 유발하는 요인을 들여다볼 수 있는 창을 제공하며, 다중 에이전트 군집(swarm)의 출현이 구체적인 위험 요인임을 시사합니다. 또한 본 연구는 종료 방해를 완화하는 데 어떤 개입 조치가 도움이 될 수 있는지에 대한 실마리를 제시합니다.

arXiv:2609.28247v1cs.RO

공간 트랜스포머로 추론 공간에서 AI 에이전트 집합체 제어

Controlling Collectives of AI Agents in Reasoning Space with Spatial Transformers

대규모 언어 모델(LLM)은 로보틱스에서 계획 및 내비게이션을 위한 흥미로운 새로운 패러다임을 제시하지만, 팀 규모가 커질수록 단순한 다로봇 과제에서도 실패한다. 본 논문은 추론 공간 피드백 제어로 대규모 에이전트형 로봇 집합체를 제어하기 위한 확장 가능하고 분산형 다로봇 아키텍처인 COMPASS를 제안한다. 피드백은 각 로봇에서 로컬로 생성되며, 공간 트랜스포머가 함대 전체의 다중 홉(multi-hop) 메시지를 집계하여 학습된 피드백 토큰으로 만든다. 실험 결과, 언어 모델 집합체는 입력 명령의 구조화된 다양성으로 성능 향상을 보이며, 이는 편향을 상쇄할 수 있다. 이 이점은 규모 전반에 걸쳐 유지된다. 중앙집중형 최신 LLM 정책 및 언어만 사용하는 통신 ablation과 비교했을 때, COMPASS의 결합 설계는 명령된 의도를 정확히 수행하는 응집력 있는 flocking formation을 결정적으로 생성함을 확인했다. 추론 피드백은 컴팩트한 학습된 토큰과 결합할 때 가장 잘 작동함을 보인다. ablation 실험은 원시 상태가 언어 채널에 나타나는 수작업 피드백이 응집력을 파괴함을 보여준다. COMPASS는 모호한 의미의 보지 못한 지시에 제로샷으로 일반화하며, 학습 규모의 최대 16배까지의 군집을 지휘하고, 자연어 명령 하에 최대 1024대의 로봇을 비행시킨다.

arXiv:2609.28197v1cs.AI

PASTABench: 에이전트 안전을 위한 순차 궤적의 선제적 평가

PASTABench: Proactive Assessment of Sequential Trajectories for Agent Safety

대규모 언어 모델(LLM)이 실제 세계 상태를 바꾸는 자율 에이전트로 발전하면서, 다단계 워크플로우 전반의 운영 안전성 확보는 핵심 과제가 되었다. 최근 연구는 단일 턴 평가를 넘어 다중 턴 패러다임으로 확장했지만, 중요한 한계가 남아 있다. 단계 수준 방법은 행동을 개별적으로 다루어 위험이 누적되는 방식을 놓치고, 궤적 수준 평가는 사후적으로 수행되어 적시 개입의 여지를 주지 못한다. 이러한 한계를 해결하기 위해, 개입 여부, 개입 시점, 위험의 성격이라는 세 차원에 걸친 분리형 선제적 안전 모니터링(Decoupled Proactive Safety Monitoring)을 형식화한다. 5개 위험 범주와 13개 하위 범주에 걸친 1,139개의 다중 턴 궤적로 구성된 벤치마크 PASTABench를 제안한다. 또한 주석이 달린 Earliest-Signal 및 Trigger 턴을 기준으로 하는 최적 개입 구간(Optimal Intervention Window, OIW)을 도입하여 개입 적시성을 정량화한다. 16개 LLM에 대한 평가 결과, 선제적 개입은 여전히 대체로 미해결 상태이며 최고 성능 모델도 최적 시점 개입에서 40.74%에 그쳤다. 세밀한 진단은 만연한 어휘 과적합을 더 밝혔다. 소형 모델의 경쟁력 있는 안전성 점수는 진정한 위험 이해가 아니라 키워드 과민 반응을 가리며, 위험 관련 어휘가 중립화되면 선제적 능력이 대부분 붕괴한다.

arXiv:2609.27891v1cs.SE

슈뢰딩거의 코드 저장소: LLM은 SWE-bench를 학습했는가, 아니면 암기했는가?

Schr\"odinger's Code Repository: Have LLMs Learned SWE-bench or Memorized It?

저장소 수준 코딩 벤치마크는 코딩 에이전트 평가의 표준이 되었지만, 학습에 반복적으로 사용된 인기 오픈소스 저장소 위에 구축되기 때문에 본질적으로 데이터 유출 문제를 겪는다. 결과적으로, 높은 성능은 견고한 저장소 추론이라기보다 정형화된 저장소 단서의 암기를 반영할 수 있다. 우리는 동적으로 인스턴스화된 저장소 표현 하에서 코딩 에이전트를 시험하기 위한 평가 프레임워크인 SchrodingerRepo(슈뢰딩거의 저장소)를 제안한다. 테스트 저장소의 정적 표현을 반복적으로 사용하는 대신, SchrodingerRepo는 테스트 저장소를 에이전트가 평가 환경에 진입할 때에만 동적으로 인스턴스화되는 평가 시점 잠재 변수로 취급한다. 인스턴스화된 저장소는 네 가지 변환 수준—문제 진술 재구성, 네임스페이스 재매핑, 파일 내 레이아웃 재정렬, 기능 보존 코드 재작성—을 통해 명명 규칙, 파일 레이아웃, 구현 패턴과 같은 친숙한 단서를 훼손하면서 원래의 실행 가능한 동작을 보존한다. 우리는 SWE-bench Verified와 SWE-QA에서 인기 LLM을 평가한다. 결과는 친숙한 저장소 단서를 제거하면 모델 전반에 걸쳐 에이전트 성능이 일관되게 저하되고 상호작용 비용이 실질적으로 증가함을 보여준다. 추가 분석에 따르면, 추가 비용은 주로 저장소 탐험과 위치 특정(localization)의 난이도 증가에서 기인한다. 이러한 결과는 현재 코딩 에이전트가 저장소 측 암기된 단서에 부분적으로 의존할 수 있음을 시사하며, 동적으로 인스턴스화된 저장소 표현 하에서의 평가 필요성을 부각한다.

arXiv:2609.27844v1cs.AI

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.27816v1cs.RO

VLM-LLM 추론과 도달 가능성 분석을 통한 안전한 다중 로봇 협업

Safe Multi-Robot Coordination via VLM-LLM Reasoning and Reachability Analysis

로봇마다 센싱 능력, 환경 인식 수준, 모션 실행 역할이 상이한 이종 사물통신(M2M) 로봇 시스템에서는 안전한 협업을 달성하기 어렵습니다. 본 논문에서는 비전 기능이 있는 4족 보행 로봇과 카메라가 없는 로봇 차량으로 구성된 이종 모바일 로봇 팀의 협력적 목표 지향 내비게이션을 위한 중앙 집중식 안전 인식 M2M 프레임워크를 제안합니다. 본 연구의 목표는 정적 및 동적 장애물을 회피하고 로봇 간의 불안전한 상호작용을 방지하면서 두 플랫폼을 목표 영역으로 유도하는 것입니다. 공유 인지의 원리에 따라 비전 기능 로봇은 MQTT 브로커를 통해 중앙 집중식 서버로 의미론적 환경 인식을 제공하며, 카메라가 없는 플랫폼은 자체 주행거리계(odometry), IMU, 상태 피드백과 함께 이 공유된 장면 표현을 활용하여 내비게이션을 수행합니다. 비전-언어 모델(VLM)이 시각 스트림을 해석하고, 추출된 의미론적 데이터는 팽창된 장애물 집합, 안전 회랑, 목표 영역을 포함한 보수적인 미터법 기하학적 제약 조건으로 매핑됩니다. 대규모 언어 모델(LLM)은 상위 수준의 작업 할당을 제안하는 반면, 물리적 명령 권한은 로봇별 조노톱(zonotope) 도달 가능성 게이트로 제한됩니다. 이 검증 엔진은 명령을 승인하기 전에 독립적인 도달 가능 튜브(reachable tube)를 전파하여 장애물 회피, 안전 회랑 포함 여부, 로봇 간 분리 술어를 평가합니다. 경로가 트인 시나리오와 동적 장애물 시나리오 전반에 걸친 온라인 실험을 통해, 이 파이프라인이 안전한 모션을 안정적으로 승인하고, 제약 조건 위반 시 보수적인 재계획 또는 정지 기동을 유발하며, 자문적 의미론적 추론과 정형 검증된 모터 실행 간의 엄격한 구조적 분리를 강제함을 보여줍니다.