PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.12375v1cs.CV

IQA-T1: 이미지 품질 평가를 위한 도구 기반 시각적 증거 추론

IQA-T1: Tool-based Visual Evidence Reasoning for Image Quality Assessment

오픈 월드 환경에서의 이미지 품질 평가(IQA)는 일반화와 해석 가능성의 한계로 인해 여전히 어려운 과제이다. 최근 멀티모달 대규모 언어 모델(MLLM)에 기반한 접근법들은 품질 예측을 위해 텍스트 추론을 도입했지만, 그 판단은 의미적으로 편향된 내부 표현에 크게 의존하여 저수준 지각적 열화에 둔감하다. 우리는 MLLM 추론을 명시적 지각 관측으로 보강하는 도구 기반 시각적 증거 추론 프레임워크인 IQA-T1을 제안한다. 추론 중 모델은 전문 분석 도구를 자율적으로 호출하여 노이즈 잔차 맵, 그래디언트 통계, 주파수 스펙트럼 등의 구조화된 시각적 증거를 생성하고, 이를 점진적으로 추론 과정에 통합한다. 이 패러다임을 지원하기 위해, 도구 생성 증거에 기반한 1.1만 개의 멀티모달 추론 체인을 포함하는 데이터셋 Q-Tool을 구축한다. 7개 IQA 벤치마크에 대한 광범위한 실험 결과, IQA-T1은 데이터셋 전반에 걸쳐 최고의 종합 성능을 달성하면서 해석 가능하고 증거에 기반한 품질 평가를 생성한다. 코드와 데이터셋은 https://github.com/zibuyu-02/IQA-T1 에서 제공된다.

arXiv:2607.12231v1cs.CV

GEST-Engine: 이벤트 그래프에서 합성 비디오까지. 전체 기술 보고서

The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report

본 논문은 자연어 텍스트부터 완전히 주석이 달린 다중 행위자(multi-actor) 비디오까지 이르는 완전한 시스템인 GEST-Engine을 제시한다. 핵심에는 명시적 월드 모델(explicit world model)이 있다. 상태를 학습된 잠재 표현(learned latent)으로 인코딩하는 대신, 엔진은 세계의 완전하고 검사 가능한 표현—어떤 행위자가 존재하는지, 어디에 있는지, 무엇을 하고 있는지, 어떤 물체를 들고 있는지, 이벤트가 시간과 공간에서 어떻게 연관되는지—을 유지하며, 이를 공간과 시간 속 이벤트 그래프(Graph of Events in Space and Time, GEST)로 형식화하여 표현하고, 오픈소스 멀티플레이어 스크립팅 프레임워크를 통해 구동되는 상용 게임 엔진의 개방형 세계 안에서 결정론적으로 구현한다. GEST는 절차적 방식으로 생성되거나, 대규모 언어 모델(LLM) Director가 프로그램적 상태 백엔드에 의해 검증된 도구 호출을 통해 이야기를 계획하는 에이전트형(agentic) text-to-GEST 시스템을 통해 생성되므로, 생성된 모든 명세는 구성상(by construction) 실행 가능하다. GEST는 이후 4단계 실행 파이프라인—그래프 파싱 및 검증, 엔티티 및 액션 그라운딩(grounding), 시간적 오케스트레이션(Allen 스타일 제약을 Floyd-Warshall 전이 폐쇄로 해결), 실행 및 캡처—에 진입한다. 단일 시뮬레이션 패스에서 엔진은 프레임 정렬 RGB 비디오, 픽셀 단위 밀집 깊이(dense per-pixel depth), 인스턴스 분할(instance segmentation), 행위자별 스켈레톤 포즈, 프레임별 쌍방 공간 관계 그래프, 2D 경계 상자(bounding box), 이벤트-프레임 시간 매핑, 자연어 설명을 모두 출력하며, 이 모든 것의 한계적 주석 비용은 0이다. 또한 게임 내 월드 에디터, 런타임 역량 추출, 텍스트 생성 파이프라인, 병렬 가상 머신에 걸쳐 대규모로 코퍼스를 렌더링하는 프로덕션 시스템을 설명한다. 모든 프레임이 의미론적 명세에 역추적되기 때문에, 엔진은 구성상 물체 영속성(object permanence), 다중 행위자 조율, 시간적 일관성을 보장하며, 이로 인해 출력은 비디오 이해를 위한 학습 데이터, 평가 벤치마크, 진단 도구로서 가치가 있다.

arXiv:2604.19632v2cs.CV

CreatiParser: 래스터 그래픽 디자인을 편집 가능한 층으로 분해하는 생성형 이미지 파싱

CreatiParser: Generative Image Parsing of Raster Graphic Designs into Editable Layers

그래픽 디자인 이미지는 텍스트, 배경, 장식 요소 등 여러 편집 가능한 층으로 구성되지만, 대부분의 생성 모델은 명시적인 층 구조 없이 래스터화된 출력을 생성하여 후속 편집을 제한한다. 기존 그래픽 디자인 파싱 방법은 일반적으로 레이아웃 예측, 매팅(matting), 인페인팅(inpainting)을 결합한 다단계 파이프라인에 의존하며, 이는 오류 누적과 제한된 제어 가능성 문제를 겪는다. 우리는 디자인 이미지를 편집 가능한 텍스트, 배경, 스티커 층으로 분해하는 래스터-층 그래픽 디자인 파싱을 위한 하이브리드 생성형 프레임워크를 제안한다. 텍스트 영역은 비전-언어(vision-language) 모델을 사용하여 텍스트 렌더링 프로토콜로 파싱되며, 이를 통해 충실한 재구성과 유연한 재편집이 가능하고, 배경 및 스티커 층은 RGBA 지원이 있는 다분기 확산 아키텍처를 사용하여 생성된다. 또한 ParserReward를 도입하고 Group Relative Policy Optimization과 통합하여 생성 품질을 인간의 디자인 선호도와 정렬(alignment)한다. Parser-40K 및 Crello 데이터셋이라는 두 개의 도전적인 데이터셋에 대한 광범위한 실험은 기존 방법 대비 우수한 성능을 보여주며, \emph{i.e.,} 모든 지표에서 전체 평균 23.7\%의 향상을 달성한다는 점에서 \emph{eg.,} 그 우수성이 드러난다.

arXiv:2602.16918v2cs.CV

Xray-Visual 모델: 산업 규모 데이터에서의 비전 모델 스케일링

Xray-Visual Models: Scaling Vision models on Industry Scale Data

우리는 산업 규모의 소셜 미디어 데이터로 학습된 대규모 이미지 및 영상 이해를 위한 통합 비전 모델 아키텍처인 Xray-Visual을 제안한다. 당사 모델은 Facebook과 Instagram의 150억 개 이상의 큐레이션된 이미지-텍스트 쌍과 100억 개의 영상-해시태그 쌍을 활용하며, 의미적 다양성을 극대화하고 레이블 노이즈를 최소화하기 위해 균형 조정과 노이즈 억제 전략을 결합한 견고한 데이터 큐레이션 파이프라인을 사용한다. 우리는 자기 지도 MAE, 준지도 해시태그 분류, CLIP 스타일 대조 학습을 결합하여 이미지와 영상 모달리티를 공동으로 최적화하는 3단계 학습 파이프라인을 도입한다. 아키텍처는 연산 효율 향상을 위해 효율적인 토큰 재구성(EViT)으로 강화된 Vision Transformer 백본 위에 구축된다. 광범위한 실험 결과, Xray-Visual은 이미지 분류를 위한 ImageNet, 영상 이해를 위한 Kinetics 및 HMDB51, 교차 모달 검색을 위한 MSCOCO를 포함한 다양한 벤치마크에서 최첨단 성능을 달성함을 보여준다. 이 모델은 도메인 전이와 적대적 교란에 대해 강한 견고성을 보인다. 또한 대규모 언어 모델(LLM)을 텍스트 인코더로 통합하는 LLM2CLIP은 특히 실세계 환경에서 검색 성능과 일반화 능력을 크게 향상시킴을 추가로 입증한다. Xray-Visual은 뛰어난 정확도와 연산 효율을 유지하면서 확장 가능한 다중 모달 비전 모델의 새로운 기준을 제시한다.

arXiv:2602.07008v3cs.CV

어디에서 학습하지 말아야 하는가: 신뢰할 수 있는 의사결정을 위한 선험 정렬 학습과 부분집합 기반 귀속 제약

Where Not to Learn: Prior-Aligned Training with Subset-based Attribution Constraints for Reliable Decision-Making

신뢰할 수 있는 모델은 올바르게 예측하는 것뿐 아니라, 수용 가능한 근거로 의사결정을 정당화해야 한다. 그러나 기존 지도 학습은 일반적으로 클래스 수준의 레이블만 제공하여, 모델이 의도된 근거가 아닌 지름길 상관관계(shortcut correlations)를 통해 높은 정확도를 달성할 수 있게 한다. 인간 선험(human priors)은 이러한 행동을 제약하는 데 도움이 될 수 있지만, 학습된 표현이 종종 인간의 지각과 어긋나기 때문에 모델을 이러한 선험에 정렬하는 것은 여전히 어렵다. 이 문제를 해결하기 위해, 우리는 귀속(attribution) 기반 인간 선험 정렬 방법을 제안한다. 우리는 인간 선험을 모델이 의존할 것으로 기대되는 입력 영역(예: 바운딩 박스)으로 인코딩하고, 학습 중 모델의 의사결정 근거를 드러내기 위해 매우 충실한 부분집합 선택 기반 귀속 접근법을 활용한다. 귀속 영역이 선험 영역에서 상당히 벗어날 때, 우리는 선험 밖 근거에 대한 의존에 패널티를 부과하여 모델이 귀속을 의도된 영역 쪽으로 이동하도록 유도한다. 이는 인간 선험이 유도한 귀속 제약을 부과하는 학습 목적함수를 통해 달성된다. 우리는 MLLM 기반 GUI 에이전트 모델에서 이미지 분류와 클릭 의사결정 작업 모두에 대해 방법을 검증한다. 기존 분류 및 자기회귀 생성 설정 전반에 걸쳐, 인간 선험 정렬은 과제 정확도를 지속적으로 향상시키는 동시에 모델의 의사결정 합리성도 높인다.

arXiv:2511.11470v3cs.CV

Sat2RealCity: 기하 인식 및 외관 제어 가능한 위성 영상 기반 3D 도시 생성

Sat2RealCity: Geometry-Aware and Appearance-Controllable 3D Urban Generation from Satellite Imagery

위성 영상을 이용한 3D 도시 생성은 확장 가능한 디지털 트윈(digital twin)과 실세계 시뮬레이션 환경을 위한 중요한 과제이다. 기존 접근법은 주로 씬 수준(scene-level) 생성 패러다임에 의존하며, 이는 대규모 3D 도시 자산을 필요로 하는 경우가 많고 실세계 도시 환경에서의 제어 가능성, 지리적 정렬, 현실적인 외관 그라운딩(grounding)에 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 위성 영상으로부터 확장 가능한 도시 합성을 위해 객체 수준(object-level) 3D 생성 사전지식(generative priors)을 활용하는 그라운딩된 도시 생성 프레임워크인 Sat2RealCity를 제안한다. 우리 프레임워크는 도시를 지리적으로 그라운딩된 건물 개체로 분해하여, 실세계 공간 구조를 보존하면서 사전학습된 객체 수준 3D 생성 사전지식의 재사용을 가능하게 한다. 우리가 구축한 BuildVerse3D 데이터셋을 바탕으로, (1) 3D 생성 과정에 지리공간 제약을 주입하기 위한 OpenStreetMap(OSM) 기반 공간 그라운딩 전략을 도입하고, (2) 현실적인 건축 외관과 지역적 스타일 일관성을 위한 외관 기반 제어 가능 생성 메커니즘을 설계하며, (3) 지역 외관 이해와 의미 인식 기반 외관 합성을 위한 다중모달 대규모 언어 모델(MLLM) 기반 의미 파이프라인을 구축한다. 광범위한 실험을 통해 Sat2RealCity가 기존 도시 생성 및 3D 자산 생성 접근법과 비교하여 강한 지리적 정렬, 지역적 스타일 일관성, 그리고 그럴듯한 도시 자산 합성을 달성함을 보여준다.

arXiv:2607.13034v1cs.AI

AI 에이전트는 작업이 단순한지 아는가? 복잡도 인식 추론과 실행을 향하여

Do AI Agents Know When a Task Is Simple? Toward Complexity-Aware Reasoning and Execution

대규모 언어 모델(LLM) 에이전트가 다단계 공학·정보학 워크플로우를 점점 더 자동화하고 있지만, 실제로 한 작업에 얼마나 많은 노력이 필요한지는 거의 묻지 않는다. 이들은 종종 최대 컨텍스트 우선(maximum-context-first) 전략을 따른다—이미 본 파일과 의존성을 다시 읽으며, 한 줄 수정을 작은 코드베이스 감사로 바꾼다. 누락된 역량은 작업 인식 실행 범위 추정(task-aware execution-scope estimation)이라고 주장한다: 예산을 투입하기 전에 작업의 난이도, 실제로 필요한 정보, 가장 짧고 신뢰할 수 있는 경로를 판단하는 것이다. 최소 충분 실행(minimum-sufficient execution)과 에이전트 인지 중복 비율(Agent Cognitive Redundancy Ratio, ACRR)을 형식화하고, E3(Estimate, Execute, Expand)를 제안한다: 에이전트는 초기 운영 지점을 추정하고, 최소 실행 가능 경로를 실행하며, 검증이 실패할 때만 범위를 확장한다. MSE-Bench—능력 통제 시뮬레이터에서 121개 수정에 대한 결정론적 벤치마크—에서 E3는 가장 강한 기준선의 100% 성공률과 동등하면서 비용은 85%, 토큰은 91%, 검사한 파일은 92% 절감하고, 강력한 적응형 검색 기준선을 16% 더 능가한다; 이러한 이득은 보류된(hold-out) 지시문 표현과 사실상 모든 비용 가중치에서도 유지된다. 동반 실제 모델 하네스(LLM-Case)가 실제 오픈소스 라이브러리를 편집하는 라이브 gpt-4o 에이전트에서 그 효과를 뒷받침한다. 각 후보 패치는 측정된 오라클에 대해 프로젝트의 실제 pytest 스위트를 실행해 채점된다: 과잉 읽기는 더 완만하지만 실재하며, E3는 유사한 작업 성공률에서 가장 가볍고 빠른 정책이다—유일한 결함은 잘못된 수정이 아니라 제공자 속도 제한이다. 우리는 이를 배포된 에이전트의 측정이 아닌 실행 중복에 대한 통제된 탐침으로 맥락 짓고, 작업 인식 실행을 엔지니어링 기반 AI(EGAI, engineering-grounded AI)로 나아가는 한 걸음으로 제시한다—노력이 작업의 공학적 현실에 닻을 내리는 에이전트이다. 프레임워크와 벤치마크를 공개한다.

arXiv:2607.12986v1cs.AI

침묵으로 승리: LLM 계획 평가에서의 삭제 비단조성, 자율적 활용, 유형화 상태 게이팅

Win by Silence: Deletion Non-Monotonicity, Autonomous Exploitation, and Typed-State Gating in LLM Plan Evaluation

계획 평가자는 전략적 계획이 덜 명시적이게 될 때 이를 보상할 수 있다. 본 논문은 LLM이 생성한 벤처 루트(venture routes)에 대한 단계적 기대값 스코어러에서 그러한 실패를 연구한다. 명제 1은 선행 전이를 재지정하고 하류 가치를 유지하면서 내부 전이를 삭제할 때의 점수 변화를 제시한다: Delta_k = (prod_{i<k} p_i)[c_k + (1 - p_k)R_{k+1}]. 고정된 26-루트 코호트에서 57개의 모든 허용 가능한 삭제가 해석적 항등식과 임계값 부호와 일치했으며, 모든 루트에는 점수를 개선하는 삭제가 최소 하나 존재했다. 루트 재구조화는 허용되었으나 활용 메커니즘은 알려주지 않은 점수 추구 옵티마이저는 26개 루트 중 21개에서 기준선을 능가하는 미커버(uncovered) 구조를 찾았다. GATE는 26/26 음묵화(silenced)된 루트에 대해 점수 릴리스를 거부했으며, 정직한 계획에 대한 오거부는 0/26이었다. 거부 이후 47/54의 다음 수정이 커버(covered) 구조로 복구되었고, 엄격한 커버 개선은 1/26에서 13/26으로 증가했다. 적응형 컴파일러 인식 공동 저작자(co-author)는 레지스트리 출처(provenance) 경계를 드러냈다: 의무 채널(obligation-channel) 회피는 네 가지 v1/v1.5 조건 모두에서 6/6으로 유지되었으며, 델타 색인 비용 하한은 정직한 루트를 능가하는 루트를 6/6에서 3/6으로, 침묵을 통한 자금 조달 가능성(fundability-by-silence)을 5/6에서 0/6으로 줄였지만 의미적 완전성(semantic completeness)은 확립하지 못했다. 계획이 필요한 작업을 누락했기 때문만 더 높은 점수를 받는다면 계획은 개선되지 않은 것이며, 평가가 누락 인센티브를 만들었다. PCSC는 모델 매개 typed-state 기록에 대한 사후 누락 이음(omission splices)을 탐지하고 중화한다. 테스트된 협력 설정에서 GATE는 단순한 사후 필터가 아니라 결정론적 탐색 형성(search-shaping) 제약으로 작동한다. GATE는 임의의 LLM 생성 전략에 대한 의미적 완전성이나 현실 세계 품질을 검증하지는 않는다.

arXiv:2607.12886v1cs.AI

미세조정 없는 자율적 임상 증상 탐지를 위한 멀티 에이전트 시스템: 개발 및 검증 연구

A Multi-Agent System for Autonomous, Fine-Tuning-Free Clinical Symptom Detection: Development and Validation Study

임상 기록에는 환자가 진료를 받게 만든 많은 징후와 증상이 담겨 있지만, 이러한 정보는 구조화된 필드에 거의 반영되지 않는다. 기존 추출 접근법은 문맥에 둔감한 규칙에 의존하여 위양성을 발생시키거나, 상당한 미세조정을 요구하는 지도 학습 모델에 의존한다. 우리는 수동 프롬프트 엔지니어링이나 미세조정 없이 임상 개념에 대한 추출 프롬프트를 자율적으로 작성하고 최적화하는 멀티 에이전트 시스템 Pythia를 제안한다. 로컬에 호스팅된 오픈 가중치 모델에서 실행되는 Pythia는 임상 기록을 로컬 인프라에 유지하고, 개발 세트의 민감도와 특이도를 사용하여 프롬프트를 선택한다. 387명의 환자를 대표하는 400건의 임상 기록에서 72가지 징후 및 증상에 대해 Pythia를 큐레이션된 어휘집과 비교했다. 각 개념마다 개발(n=300) 및 검증(n=100) 세트를 독립적으로 분할했다. Pythia는 평균 민감도 0.76과 특이도 0.95를 달성했으며, 어휘집은 0.82와 0.76이었다. 직접 비교 가능한 62개 개념 중 20개에서 Pythia는 두 지표 모두 어휘집과 동등하거나 그 이상이었다. 어휘집이 모든 기록을 양성으로 표시한 14개 개념에 대해, Pythia는 용어의 단순 텍스트 언급이 아닌 현재형의 환자 귀속 소견을 요구함으로써 평균 특이도 0.97을 회복했다. 특이도는 유병률 전반에 걸쳐 개발에서 검증으로 최소한의 저하로 전이되었으나, 민감도 전이는 5% 미만 유병률에서 약화되어 2% 미만 유병률에서 평균 격차 0.25에 달했다. 동일한 개발 세트에서 개념별로 미세조정된 BERT 분류기는 평균 민감도 0.23을 달성했으며, 대략 5% 미만 유병률의 개념에서는 민감도가 0으로 붕괴했다. 이러한 결과는 자율적이고 미세조정 없는 프롬프트 최적화가 로컬 인프라에 배포 가능한 상태를 유지하면서 개발에서 검증으로 효과적으로 일반화되는 증상 추출 프롬프트를 생성할 수 있음을 시사한다.

arXiv:2607.12747v1cs.AI

성공의 흐름으로부터 에이전트 실패 추적

Tracing Agentic Failure from the Flow of Success

LLM 기반 에이전트 시스템의 실패 귀속(failure attribution), 즉 실패 궤적에서 어떤 단계가 과제 실패를 유발했는지 식별하는 것은 이러한 시스템의 디버깅과 개선에 핵심적이다. 기존 접근법은 계산 비용이 큰 프롬프트 기반 파이프라인에 의존하거나, 단계 수준 오류 주석이 포함된 실패 궤적에 대한 사후 학습을 요구하는데, 이는 수집 비용이 크고 규모 확장이 어렵다. 우리는 실용적인 실패 귀속 모델이 경량이어야 하며 실패 데이터에 대한 단계 수준 감독 없이 학습 가능해야 한다고 주장한다. 이를 위해 비지도 실패 귀속(unsupervised failure attribution)을 다룬다. 즉, 성공 궤적만으로 학습하고 실패 궤적이 주어졌을 때 추론 시점에 오류 단계를 식별한다. 우리는 OAT를 제안하는데, 이는 신경 제어 미분방정식(neural controlled differential equations)을 사용한 일급 학습(one-class learning)으로 이 문제를 형식화하며, 잠재 공간에서 성공 궤적의 동역학 패턴을 모델링한다. 추론 시점에 실패 궤적의 각 단계는 성공 궤적에서 학습된 동역학으로부터의 편차에 기반한 이상 점수(anomaly score)를 부여받으며, 이는 오류 단계 집합을 형성하는 데 사용된다. 100개의 성공 궤적만으로 학습한 실험에서 OAT는 프롬프트 기반 베이스라인보다 200--5000 $\times$ 빠르며, 동시에 도메인 내 및 분포 외(out-of-distribution) 데이터셋에서 각각 F1 점수 +20% 및 +7%로 일관되게 우수한 성능을 보여, OAT가 에이전트 시스템 실패 진단을 위한 유망하고 효율적인 방향임을 보여준다.

arXiv:2607.12733v1cs.AI

LLM은 연기는 볼 수 있지만 불꽃은 볼 수 없다: Elenchos를 이용한 가추적 추론 평가

LLMs Can See the Smoke but not the Fire: Evaluating Abductive Reasoning with Elenchos

대규모 언어 모델(LLM)은 패턴 인식과 텍스트 생성에 뛰어나지만, 관찰된 행동을 설명하는 잠재적 가설을 추론하는 가추적 추론(abductive inference) 능력은 아직 잘 이해되지 않았다. 여기서 우리는 소크라테스식 교차 심문법에서 이름을 따온 Elenchos를 제안한다. 이것은 가추적 추론을 구조적 역문제(structural inverse problem)로 측정하는 생성형 평가 프레임워크이다. 람다 미적분(lambda-calculus)과 같은 기준 형식 체계와 잠재적으로 변이된 대응체계가 주어졌을 때, 에이전트는 변이가 발생했는지 판단하고 그로 인한 행동 차이를 야기한 규칙 수정을 추론해야 한다. 최전선 및 중위권 LLM을 평가한 결과, 일관된 탐지-귀속 분리(detection-attribution dissociation)가 나타난다. 모델은 종종 체계가 변경되었음을 인식하지만, 관찰된 불일치를 야기하는 잠재적 변이를 식별하는 데 어려움을 겪는다. 상호작용하는 변이 상황에서는 성능이 크게 저하되며, 모델은 기저 변이의 일부만 복구하는 경우가 많다. 예비적 증거는 추론 시점 추론 예산 증가에 따른 수익 체감(diminishing returns)도 시사하며, 더 큰 추론 예산에서도 개선은 미미한 수준에 그친다. 다만 이 결과는 추가 검증이 필요하다.

arXiv:2607.12723v1cs.CR

Bulkhead: 컨테이너 탈출 취약점의 자동화된 의미론적 탐지 및 수정

Bulkhead: Automated Semantic Detection and Remediation of Container Escape Vulnerabilities

컨테이너 생태계에서 파일시스템 격리는 종종 경계 간 경로 오해석으로 약화되어 경로 순회(PaTra) 취약점을 유발한다. 이러한 취약점은 불안전한 호스트-컨테이너 상호작용에서 비롯되며, 클라우드 시스템이 AI 워크로드를 지원하기 위해 GPU 및 에이전트 워크스페이스와 같은 공유 자원을 컨테이너에 마운트하면서 점점 더 만연해지고 있다. 기존 방어 기법은 여전히 불충분하다. 커널 수준 보호는 침습적이며 시스템 호출을 불안정하게 만들 수 있어 Linux 메인라인에 채택되지 않았다. 탐지 방법은 정적 규칙 매칭이나 수동 코드 감사에 의존한다. 정적 규칙은 경로 관련 함수를 표시할 수 있지만 호스트-컨테이너 상호작용이 존재하는지 판단하는 데 필요한 의미론을 포착하지 못해 많은 거짓 양성을 초래한다. 수동 검토는 도메인 전문성을 요구하여 비용이 높고 비효율적이며 확장하기 어렵다. 이러한 위협에 대응하기 위해, 우리는 대규모 언어 모델(LLM)과 형식적 방법을 통합하여 의미론적 취약점 탐지 및 수정을 수행하는 자동화 프레임워크인 Bulkhead를 제시한다. Bulkhead는 알려진 사례에서 일반화된 다차원 지식 패턴을 통해 PaTra 취약점을 식별하고 복구하는 다중 에이전트 시스템을 사용한다. 먼저 고위험 함수 패턴을 적용하여 컨테이너화된 코드에서 경계 간 상호작용의 진입점을 찾고, 호출 체인 패턴을 사용하여 적절한 깊이에서 해당 실행 경로를 복구한다. 탐지 파이프라인은 이러한 호출 체인을 응용 시나리오 및 위협 모델에 대해 분석하여 경계 간 상호작용에서 누락된 보안 검사 및 TOCTOU 결함과 같은 취약점을 식별하고, 검증을 위한 개념 증명(PoC) 익스플로잇을 생성한다. 이러한 PoC는 패치 생성을 안내한다. 수정의 정확성을 보장하기 위해 패치 파이프라인은 사전 정의된 모델 검사 템플릿을 사용하여 어설션 기반 검증을 수행한다.

arXiv:2607.12640v1cs.AI

소규모 언어·비전-언어 모델 웹 에이전트에서 GRPO의 학습률 게이팅 실패: 통제된 null과 그 메커니즘

A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism

검증 가능한 보상을 사용한 강화학습, 특히 Group Relative Policy Optimization(GRPO)은 이제 더 강력한 에이전트를 만들기 위해 지도학습 체크포인트 위에서 일상적으로 수행된다. 우리는 이것이 4B~8B 규모의 소규모 언어 및 비전-언어 모델 웹 에이전트에 기술을 더하는지, 아니면 지도학습 모델이 이미 갖춘 행동을 대부분 재형성하는지 묻는다. 학습률, KL 가중치, 시드, 초기화, 클리핑을 바꾼 18회 실행의 통제 격자에서, 어떤 설정도 에이전트가 대부분 숙달한 작업에서 강력한 지도학습 기준선의 성공률을 신뢰할 수 있게 개선하지 못했다. 텍스트 트랙에서는 중간에서 높은 학습률이 이를 신뢰할 수 있게 악화시킨다. null은 쌍체 검정, 25개 평가 시드, 6개 학습 시드, 레시피 변경, 텍스트 및 Set-of-Marks 스크린샷 관측 모두, 그리고 백본을 8B로 스케일링하는 경우에도 성립한다. 신뢰할 수 있는 해로는 텍스트 트랙의 발견이며 Set-of-Marks에서는 명목상에 불과하다. null이 설정을 반영하는 것이지 고장 난 파이프라인을 반영하는 것이 아님을 보이기 위해, 샘플링으로 보상에 도달 가능한 작업에 동일한 하네스, 보상, 레시피를 실행했고, 거기서는 성공률이 22포인트 상승하며 0을 제외하는 쌍체 구간을 보였다. 따라서 GRPO는 오를 여지가 있을 때만 도움이 되며, 이는 샘플링 정책이 이미 탐욕(greedy) 정책보다 더 자주 성공한다는 뜻이다. 그다음 실패를 설명한다. 중간 학습률은 에이전트를 저하시키고 높은 학습률은 에이전트를 붕괴시키며, 두 체제는 이중 분리(double dissociation)를 이룬다. 그래프팅(grafting)은 저하 체제를 어텐션 및 MLP 블록으로 국소화하는 반면, 붕괴 체제는 어떤 단일 그룹에도 추적할 수 없고, 가중치 이동을 지배하는 임베딩 변화는 인과적으로 무효(causally inert)하다. 4B에서는 후반 레이어의 유효 rank(effective rank)가 양방향으로 성능을 추적한다. 8B에서는 둘이 분리된다. 이 결합은 더 작은 모델에 특정되므로, 우리는 이를 규모 의존적(scale-dependent)으로 보고한다.

arXiv:2607.12634v1cs.AI

X의 원자 단위: 지능의 압축 층

Atomic Units of X: The Compression Layer of Intelligence

본 논문은 지능을 원자적 압축과 구성적 재사용의 과정으로 이해하기 위한 이론적 프레임워크를 제안한다. 우리는 인지, 생물, 계산, 조직 시스템이 복잡한 현상을 재사용 가능한 원자 단위로 분해하고 이를 고차 구조로 재결합함으로써 확장 가능한 지능을 달성한다고 주장한다. 인지과학, 정보 이론, 진화생물학, 소프트웨어 공학, 의학, 법률적 추론, 교육, 음악, 인공지능의 증거를 바탕으로, 본 논문은 원자 단위를 효율성, 전이(transfer), 해석 가능성, 진화 가능성을 뒷받침하는 근본적인 압축 층으로 개념화한다. 핵심 기여는 표면 수준 표현과 원자적 표현을 비교하고 추상화 층을 가로질러 압축 이득이 어떻게 복합되는지 기술하는 형식적 프레임워크인 압축 미적분(Compression Calculus)이다. 우리는 각 추가 추상화 층이 단순히 점진적 절감을 더하는 것이 아니라 표현 효율을 승수적으로 증가시킨다는 복합 캐스케이드(Compounding Cascade) 논제를 도입한다. 본 논문은 또한 현대 AI 시스템이 안정적인 개념 수준의 원자 구조보다는 토큰 수준 처리나 문서 수준 검색에 의존하여 종종 최적이 아닌 표현 수준에서 작동한다고 주장한다. 이 관점에서 대규모 언어 모델(LLM)은 완전한 지식 아키텍처라기보다 원자 단위를 탐색·순서화·재결합할 수 있는 동적 융합 엔진으로 이해하는 것이 가장 적절하다. 이 프레임워크는 시간에 따라 새로운 프리미티브(primitives)를 발견·정제·구성할 수 있는 자기 진화형 지식 시스템 설계의 토대를 제공한다. 구성적 추상화를 통한 압축으로 지능을 재정의함으로써, 본 논문은 전문성, 지식 표현, 설명 가능 AI, 적응형 지능 시스템의 미래 아키텍처에 대한 통합적 관점을 제시한다.

arXiv:2607.12605v1cs.SE

코드 속성 그래프와 시간적 실행 그래프를 통한 다관점 에이전트 기반 프로그램 수정

Multi-Perspective Agentic Program Repair via Code Property Graphs and Temporal Execution Graphs

대규모 언어 모델(LLM)은 자동 프로그램 수정(APR)을 개선해 왔지만, 두 가지 한계가 남아 있다. 첫째, 원시 실행 추적(trace)은 종종 너무 크고 반복적이어서 효과적인 모델 컨텍스트로 활용하기 어렵다. 둘째, 반복적인 패치 샘플링은 서로 다른 구현을 만들어낼 수 있지만, 뚜렷한 근본 원인 가설이나 수정 전략을 제시하지 못할 수 있다. 우리는 정적·동적 증거를 쿼리 가능한 코드 속성 그래프(CPG)와 시간적 실행 그래프(TEG)로 표현하는 에이전트 기반 APR 프레임워크인 CT-Repair를 제안한다. CT-Repair는 컴팩트한 TEG를 구성하기 위해 3단계 필터링 파이프라인을 적용한다. 3개의 유한 상태 기계(FSM) 안내 에이전트가 각 버그를 정적, 동적, 하이브리드 관점에서 분석하고 독립적으로 증거에 기반한 수정 전략을 생성한다. 전략 안내 생성 절차는 이러한 전략을 후보 패치로 구체화하고 검증 피드백을 사용해 가장 유망한 전략을 정교화한다. Defects4J v3.0의 Java 버그 854건에 대해 CT-Repair를 평가했다. 혼합 모델 구성에서 CT-Repair는 489개 버그를 올바르게 수정한다. 통제된 GPT-5.4-mini 구성에서는 388개 버그를 수정하며, ReinFix와 RepairAgent보다 각각 19개, 30개 더 많다. 세 가지 증거 관점의 합집합은 가장 강력한 개별 관점보다 99개 더 많은 버그를 수정한다. 필터링 파이프라인은 런타임 증거도 압축하며, 실행 필터링은 후보 메서드 범위를 평균 94.85% 축소하고 행동 필터링은 보존된 런타임 기록을 추가로 55.97% 줄인다. 이 결과는 구조화된 런타임 증거와 다관점 추론이 더 큰 패치 생성 예산에만 의존하지 않고도 수정 효과를 개선할 수 있음을 보여준다.

arXiv:2607.12468v1cs.SD

제2회 MLC-SLM 챌린지를 위한 Omnilingual-ASR 기반 Speech-LLM 시스템

An Omnilingual-ASR-Based Speech-LLM System for the 2nd MLC-SLM Challenge

제2회 MLCSLM 챌린지 Task 1에 대한 우리의 제출을 설명한다. DiariZen-Large-s80(WavLM-Large) 분할(segmentation), CAM++ 임베딩 기반 2화자 클러스터링, LoRA 적응 omniASR LLM 7B v2 인식기를 결합한 계단식 화자 분리(diarization)-후-인식 시스템이며, 테스트 시점에는 oracle 분할이나 화자 레이블을 사용하지 않는다. 공식 Development set(150개 대화, 21개 언어/억양 카테고리)에서 이 시스템은 macro tcpMER 29.27%를 달성했으며, 공식 기준선의 79.15%에 비해 낮다. Evaluation set에서는 50.23%를 기록했다. 또한 tcpMER에 실질적으로 영향을 미치는 두 가지 엔지니어링 선택을 분석한다. 첫째, 임베딩 기반 화자 클러스터링은 ASR <sc> 턴 마커만으로 화자를 할당하는 end-to-end 스타일 대안보다 우수하다. 둘째, 화자 분리 재현율을 높이려는 의도로 도입된 overlap-aware 분할은 겹치는 발화가 두 번 전사되기 때문에 tcpMER를 증가시킨다.

arXiv:2607.12385v1cs.AI

PM-Bench: LLM 에이전트의 전향적 기억(Prospective Memory) 평가

PM-Bench: Evaluating Prospective Memory in LLM Agents

에이전트형 AI에서 중요한 도전 과제는 전향적 기억(prospective memory)이다. 이는 다른 활동이 진행 중인 동안 특정 미래 단서나 상태에서 의도를 실행하는 능력이다. 우리는 현대 LLM 에이전트의 전향적 기억 능력을 측정하기 위한 텍스트 기반 벤치마크인 PM-Bench를 제안한다. 인지 과학의 Virtual Week 패러다임에서 영감을 받아, PM-Bench는 LLM 에이전트가 사용자 의도를 유지하고, 지연된 의도를 실행하며, 잠재적 환경 변화를 모니터링하는 능력을 얼마나 잘 수행하는지 평가한다. 시뮬레이션된 7일간의 한 주 동안, 에이전트는 진행 중인 활동을 계속하면서 연기된 작업이 실행 시점에 도달했는지 판단해야 한다. 우리는 8가지 서로 다른 에이전트 구성에서 PM-Bench에 대해 8개의 최신 LLM을 비교한다. PM-Bench는 모든 설정에서 어려운 과제로 드러난다. 최고의 방법인 GPT-5.4 에이전트조차도 우리 평가에서 F1 점수 65.1%에 불과하다. 또한 전향적 기억을 개선하기 위한 단일 전략이 모든 모델에서 지배적이지 않다. 우리는 이러한 실패를 진단하고 신뢰할 수 있는 전향적 행동을 지원하는 학습 또는 추론 시점 개입을 개발하기 위한 통제된 테스트베드로서 PM-Bench를 공개한다.

arXiv:2607.12338v1cs.AI

에이전트 벤치마크 결정을 위해 태스크는 몇 개면 충분한가? 공개 LLM 에이전트 벤치마크의 리플레이 분석

How Many Tasks Are Enough for Agent Benchmark Decisions? A Replay Analysis of Public LLM Agent Benchmarks

에이전트 벤치마크는 종종 모든 태스크가 실행된 뒤 두 에이전트를 비교하지만, 비용이 큰 평가 때문에 부분 실행이 유혹적이다. 태스크 비율만으로는 부분 실행이 완료된 벤치마크와 동일한 쌍별 결론을 지지하는지 알 수 없다. 우리는 SWE-bench, AppWorld, tau-bench의 완료된 공개 태스크 수준 기록을 리플레이하여 이 질문을 연구한다. 부분 예산은 완료된 벤치마크의 결정을 지지하고, 필요한 태스크 그룹을 포함하며, 비교 중 목표 비율을 넘지 않는 미해결 비교만 남길 때에만 충분한 것으로 간주된다. 필요한 태스크 비율은 크게 달라진다. 5 퍼센트 포인트 예산 격자에서 엄격한 0 퍼센트 포인트 임계값을 적용하면, AppWorld는 15%에서 처음으로 모든 목표를 충족하고, tau-bench는 25%, SWE-bench Verified는 90%에서 충족한다. SWE-bench Lite는 주요 커버리지 규칙 하에서 95%까지도 모든 목표를 충족하지 못한다. 부분 평가 보고서는 한 에이전트가 다른 에이전트보다 얼마나 우수해야 하는지, 태스크가 어떻게 선택되는지, 어떤 커버리지 규칙이 필요한지, 어떤 결정 규칙이 사용되는지, 그리고 몇 개의 비교가 미해결 상태로 남을 수 있는지를 명시해야 한다.

arXiv:2607.12200v1cs.AI

프론티어 언어 모델의 CBRN uplift 평가를 위한 임계값 초과 프레임워크

A Threshold Exceedance Framework for CBRN Uplift Evaluation in Frontier Language Models

프론티어 언어 모델이 발전함에 따라, 정책 입안자와 모델 개발자는 공개 도구만 사용할 때와 비교하여 모델 접근이 비전문가 악용 행위자의 고위험 화학·생물·방사능·핵(CBRN) 악용 계획 수립 능력을 실질적으로 높이는지 평가할 방법이 필요하다. 기존 CBRN 평가는 비전문가 정의, 위협 범위, baseline, 채점 루브릭, 의사결정 규칙이 서로 달라 연구 간 결과 비교가 어렵다. 우리는 uplift 연구를 독립적으로 실행 가능한 구성 요소로 분해하는 임계값 초과 기준(Threshold Exceedance Criteria, TEC) 프레임워크를 제안한다: 비전문가 참가자 자격 요건 결정, 연구용 CBRN 위협 범위 정의, 실질적 uplift의 통계적 추정. 이어서 TEC 프레임워크를 대규모 실증 연구에서 구현하며, 두 가지 형태의 uplift를 구분하는 설계를 사용한다: 생성적 uplift(모델이 처음부터 계획 작성을 돕는 경우)와 수정적 uplift(모델이 기존 계획의 개선을 돕는 경우). 연구는 CBRN 도메인 전반에 걸쳐 공격 계획을 생성했으며, 이를 주제 전문가(subject-matter expert) 검토로 평가하여 생성적·수정적 uplift를 추정했다. 프레임워크를 적용한 결과, 실증 연구는 도메인 이질성을 보였다: 이 통제된 출시 전 평가에서는 모델 지원 계획이 때로 전문가 수준의 지침 등급을 받기도 했으나, 확인된 실질적 uplift는 방사능 도메인에만 국한되었다. 이러한 결과는 배포된 모델 행동을 특성화하기보다 완화 및 배포 거버넌스 의사결정에 반영되었다. 마지막으로 향후 CBRN uplift 평가를 위한 방법론적 교훈을 제시하며, 사전 명시 기준, 명시적 baseline, 생성적·수정적 추정의 분리, 예비 스크리닝 신호와 확인된 위험 판정 간의 신중한 구분을 강조한다.

arXiv:2607.12188v1cs.AI

비용 거버넌스 RAG: 다중 테넌트 LLM 시스템에서 검색과 생성 전반의 통합 테넌트별 비용 귀속

Cost-Governed RAG: Unified Per-Tenant Cost Attribution Across Retrieval and Generation in Multi-Tenant LLM Systems

기업용 검색-증강 생성(RAG) 배포는 중대한 거버넌스 공백에 직면한다. LLM 생성 비용은 토큰별로 계량되는 반면, 검색 층—벡터 메모리, 유사도 연산, 임베딩 API 호출—은 귀속되지 않은 공유 비용으로 남아 테넌트 간 보이지 않는 교차 보조금이 가능해진다. 본 논문은 코드북 무관(codebook-oblivious) 벡터 인덱스(TurboVec)를 다중 테넌트 LLM 거버넌스 게이트웨이와 통합하여 임베딩, 검색, 생성 비용을 테넌트별로 공동 귀속할 수 있는 통합 관측 스택을 만드는 아키텍처인 Cost-Governed RAG를 제시한다. 이 아키텍처는 TurboVec의 결정론적 폐형식(closed-form) 메모리 공식을 활용하여 테넌트별 검색 비용의 근사 정확 계산을 가능하게 한다—이는 비선형 메모리 오버헤드를 가진 그래프 기반 인덱스에서는 불가능한 성질이다. 클라우드 데이터 플랫폼의 거버넌스 경계 내 Snowpark Container Services에 배포된 이 시스템은 100개의 시뮬레이션 테넌트(1,000만 벡터, 로그정규 크기 분포)에 대해 99.96%의 엔드투엔드 비용 귀속 정확도를 달성하며, 텔레메트리 오버헤드는 쿼리 지연 시간의 0.04% 미만이다. 이 아키텍처는 Section IV에 상세히 기술된 가격 가정 하에서 관리형 벡터 데이터베이스 서비스와 비교하여 검색 인프라 비용을 3.1–9.0배 절감한다. 우리는 3층 비용 모델을 형식화하고, 코드북 무관 양자화가 결정론적 테넌트별 비용 귀속을 가능하게 할 뿐만 아니라 학습된 양자화기에 존재하는 공유 코드북 누출 표면도 제거함을 보인다—후자의 관찰은 탐색적이며 Section VII에 기술된 한계의 영향을 받는다.