PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.21948v1cs.AI

AI 규제의 정직한 중개자: 공개 의견은 규제 당국에 증거를 어떻게 제공하는가

Honest Brokers in AI Regulation: How Public Comments Introduce Evidence to Regulators

인공지능 규제는 이러한 기술을 개발하면서 갖는 정보 우위 등으로 인해 정책 결정 과정에 부당한 영향력을 행사하는 산업계 행위자에 의한 여러 형태의 포획에 취약하다. 본 논문에서는 미국에서 잠재적 규제에 증거를 제공하는 공개 의견 제출자의 역할을 조사한다. 우리는 40개의 잠재적 규제와 다양한 이해관계자가 제출한 2,664건의 공개 의견으로 구성된 코퍼스를 구축한다. 이 텍스트를 계산적으로 처리하여 규제 당국에 정보를 제공하기 위한 증거를 공식 인용과 비공식 언급의 형태로 추출한다. 제공되는 증거의 유형과 양에 유의미한 차이가 있음을 발견하였다. 의견 길이를 일정하게 둘 때, 기업 의견 제출자는 전반적으로 더 적은 증거를 제시하고, 정부, 대학, 시민사회 의견 제출자는 유의미하게 더 많은 연구 및 법률 자료를 제공한다. 인용된 연구의 출판 상태는 거의 균등하게 나뉘며, 모든 유형의 의견 제출자가 프리프린트와 동료 심사 논문을 제시한다. 또한 자기 인용 양상을 탐구하여, 모든 집단에서 자기 인용이 흔하지만 소수의 조직 군집이 코퍼스 내 전체 자기 인용의 절반 이상을 차지함을 발견하였다. 이러한 결과는 공개 의견만으로 정보 포획이 이루어진다는 서사를 복잡하게 만든다. 우리는 이 결과를 의견 제출자가 정책 결정 과정에서 수행하려는 역할, 즉 쟁점 옹호자 또는 정직한 중개자라는 관점에서 해석한다. 공개 의견에서의 증거 공급에 관한 이러한 발견은 종종 간과되는 정책 결정 방식을 조명하며, AI 규제 당국이 어떤 경로와 출처를 통해 정보를 접하게 되는지에 대한 시사점을 가진다.

arXiv:2611.21946v1cs.AI

보존되는 평결, 표류하는 확신: 해로운 과잉 사고의 식별

Conserved Verdicts, Drifting Commitments: Identifying Harmful Overthinking

올바른 답에 도달한 추론 모델이 계속 생각함으로써 그 답을 잃을 수 있다. 멈출지 결정하려면 사고 사슬의 같은 지점에서 두 확률을 비교해야 한다. 하나는 모델이 지금 멈춘다면 내놓을 답이 맞을 확률(확신)이고, 다른 하나는 모델이 최종적으로 내놓을 답이 맞을 확률(평결)이다. 우리는 최종 정답 프로브가 추정하는 평결만으로는 이 비교를 할 수 없음을 보인다. 고정된 결과에 대한 예측으로서 평결은 계속하는 것이 도움이 되든 해가 되든 예측 가능한 표류가 없다. 확신-평결 격차는 답 품질의 기대 잔여 변화이자 멈춤으로써 얻는 정확도와 같다. 두 번째 항등식은 정확도-예산 곡선을 사슬 내부의 답 변화와 아직 진행 중인 사슬의 구성 변화로 분해한다. 우리는 이 둘을 MATH-500에서 측정한다. 사슬이 어떻게 끝나는지와 무관하게 선택된, DeepSeek-R1-Distill-Qwen-1.5B가 올바른 답을 가진 모든 379개 지점에서, 계속하면 평균 3.6점을 잃으며(95% CI [2.2, 5.2]) 손실은 소수의 문제에 집중된다. 세 계열의 여섯 추론 모델에서, MATH-500과 OlympiadBench 및 최대 16,384 토큰의 예산에 대해, 정확도 곡선의 하락은 어떤 사슬이 남아 있는지에서 비롯되며, 여전히 추론 중인 사슬은 답을 유지하거나 개선한다. 오라클 정지 규칙은 1.5B와 7B에서 최대 +1.8점과 +2.5점을 얻는다. 이 프레임워크는 정지 규칙을 만들기 전에 무엇을 측정해야 하는지를 말해 준다.

arXiv:2611.21945v1cs.CV

접근 가능한 자율주행 차량 응용을 위한 휠체어 구성 분류용 딥러닝 모델 벤치마킹

Benchmarking Deep Learning Models for Wheelchair Configuration Classification in Accessible Automated Vehicle Applications

자율주행 차량을 접근 가능하게 만들려면 휠체어 사용자를 포함한 교통 약자를 고려해야 한다. 이 집단의 자립을 지원하는 더 맞춤화된 경험을 제공하려면 차량 설계가 다양한 휠체어 구성을 수용해야 한다. 그러나 휠체어는 개인별로 맞춤화되어 프레임 기하, 추진 방식, 외관이 다양하다. 또한 탑승자나 액세서리가 시각적 단서를 가릴 수 있다. 기존의 이동 보조기구 데이터셋은 휠체어의 존재 여부만 라벨링할 뿐 구체적인 구성을 기술하지 않는다. 이러한 공백을 메우기 위해 본 논문은 오직 평가 용도로 192개 촬영 그룹에 걸친 얼굴 블러 처리 이미지 467장으로 구성된 Wheelchair Configuration Image Dataset(WCID)를 소개한다. 각 이미지에는 (i) 수동 또는 전동의 2종 라벨, (ii) 휠체어 하위 유형, (iii) 탑승 여부, 시점, 환경, 조명, 가림, 추진 방식, 제어 방식이 주석으로 달려 있으며, 273장의 검증 분할과 194장의 테스트 분할이 있다. 세 가지 합성곱 신경망 백본과 고정된 비전-언어 프로브를 외부 이미지 데이터셋에서 학습하고 WCID에서 평가하여 데이터셋 간 일반화를 측정하는 동시에 가우시안 블러를 사용한 강건성도 시험한다. 합성곱 모델은 깨끗한 이미지에서는 잘 작동하지만 강한 블러에서는 성능이 하락하여 배포 전에 격차가 남는다. 코드, 분할 배정, 라벨, 학습된 가중치, 얼굴 블러 처리된 이미지는 https://github.com/Mi3-Lab/MAID 에서 이용할 수 있다.

arXiv:2611.21940v1cs.CV

모델은 인용한 것을 사용하는가? 소형 비디오-언어 모델에서 근거 기반 추론 사슬의 반사실적 검증

Does the Model Use What It Cites? Counterfactual Tests of Grounded Reasoning Chains in Small Video-Language Models

근거 기반 추론 사슬은 모든 단계마다 프레임 구간과 박스를 인용하므로 독자는 모델이 어디를 보았는지 확인할 수 있다. 그러나 답이 인용된 영역에 의존하는지는 별개의 문제이다. 우리는 개입을 통해 이를 시험한다. 모델이 자신의 사슬에서 인용한 영역을 검게 가리고, 정답이 뒤바뀌는 비율을 같은 프레임의 다른 위치에 있는 같은 크기의 박스를 가렸을 때와 비교한다. 이 짝지은 차이인 인용 격차(cite gap)는 주석이 필요 없다. 우리는 이를 정확한 CLEVRER 사슬과 의사 라벨링된 NExT-QA 사슬로 학습한 2-3B 비디오-언어 모델에 적용한다. 같은 가중치에서 인용 격차는 CLEVRER에서 0.089, NExT-QA에서 0.003이다. 모델 전체를 합산하면, 인용된 박스를 가렸을 때 뒤바뀌는 정답 수는 대조군보다 CLEVRER에서 2.2배, NExT-QA에서 1.1배 많으며, 이는 비디오에 전혀 의존하는 답들 중에서도 마찬가지이고, 박스는 두 데이터셋 모두에서 근거 확인을 통과한다. 인용된 박스 대신 인용된 개체를 모든 프레임에서 가리면 대조군보다 1.9배 많은 답이 뒤바뀐다. NExT-QA 사슬은 대부분의 프레임에서 계속 보이는 개체의 두 프레임을 인용하도록 지도되었으므로 이 결과는 지도 방식이 예측하는 바이며, 요점은 근거 기반 사슬에 대한 통상적인 검사로는 이를 볼 수 없다는 것이다. 인용은 답이 그에 의존하지 않으면서도 검증 가능하고 관련성이 있을 수 있으며, 근거 기반 추론의 검증은 사슬이 가리키는 위치뿐 아니라 사슬이 명시하는 대상을 제거해야 한다.

arXiv:2611.21937v1cs.AI

SLED: 엣지에서 데이터센터까지의 센서 슬라이싱

SLED: Sensor SLicing from Edge to Datacenter

현대 센싱 시스템은 여러 센서 모달리티로부터 대량의 이질적인 데이터 스트림을 생성하며, 이에 따라 연산, 인공지능/초지능(AI/SI) 추론, AI/SI 학습을 위한 데이터센터 의존도가 높아지고 있다. 각 센서 스트림은 유형과 데이터량에 따라 네트워크 및 연산 요구 사항이 다를 수 있다. 그러나 현재의 무선 시스템은 일반적으로 장치 수준에서 자원을 할당하므로, 같은 위치의 센서 스트림 간에 경합이 발생하고 대용량 데이터 전송이 지연에 민감한 텔레메트리를 고갈시킬 수 있다. 이를 위해 본 논문은 센서 슬라이싱(SL)을 소개한다. SL은 개방형 무선 접속망(O-RAN)에서 단일 사용자 장비(UE) 내의 개별 센서에 대해 결정론적인 매체 접근 제어(MAC) 수준의 격리를 제공한다. 에이전트 코딩 기법을 사용하여 SL을 O-RAN 규격을 준수하는 두 패키지로 구현하였으며, 개발 시간을 400배 단축하고(2시간 40분 [OCUDU] 대 6.5주 [OAI]), 사람의 프롬프트를 228분의 1로 줄이고(4회 대 913회), 토큰을 절반 미만으로 줄였다(0.64B 대 1.43B). 엣지, 캠퍼스, 원격 고성능 컴퓨팅(HPC) 계층 전반에 걸쳐 센서별 무선 및 네트워크 격리를 구현하기 위해 연관된 엔드투엔드 프레임워크인 SLED를 구현하였다. 무선 전송(over-the-air) 실험은 기존 네트워크 슬라이싱이 높은 트래픽 부하에서 임계 지연을 2,300배 넘게 증가시키는 반면 SLED는 안정적인 지연을 유지함을 보여 준다. 두 RAN 스택에 대한 확장성 평가에서는 센서 슬라이스 수가 증가해도 처리량이 기대 할당량의 0.9% 및 1.4% 이내로 유지된다. 이 결과는 SLED가 센서-HPC 파이프라인 전반에서 자원을 효과적으로 활용하면서도 지연에 민감한 텔레메트리를 보존함을 보여 준다. SLED 소프트웨어와 평가 데이터셋은 https://github.com/UNL-CPN-Lab/SLED-Sensor-SLicing-from-Edge-to-Datacenter 에서 공개되어 있다.

arXiv:2611.21932v1cs.NI

블록체인 기반 6G 기술과 연합학습을 이용한 V2V 통신

V2V Communications Using Blockchain-Enabled 6G Technology and Federated Learning

본 연구는 블록체인 기술, 연합학습(FL), 그리고 지연 시간과 자원의 할당 최적화를 통합한 차량 간(V2V) 통신의 흥미로운 접근법을 제안한다. 본 연구는 패킷 전달률(PDR), 모델 정확도, 지연 시간 등 다양한 성능 지표를 사용하여 제안 시스템을 평가하고, 기존 기법에 비해 우수함을 입증한다. 또한 이 시스템은 합의 최적화와 데이터 프라이버시를 위한 k-익명성을 통해 향상된 보안을 제공한다. 종합하면, 제안 시스템은 커넥티드 및 자율주행 차량 시대에 효율적이고 안전한 V2V 통신을 위한 유망한 해결책이다. 더욱이 제안 접근법은 기존 5G에 비해 더 높은 신뢰성, 더 낮은 지연 시간, 더 나은 자원 활용을 달성한다.

arXiv:2611.21925v1cs.AI

DNeo: 병렬 드래프트 모델에는 더 나은 타깃 특징 인코딩이 필요하다

DNeo: Your Parallel Draft Model Needs Better Target Feature Encoding

추측적 확산 디코딩(speculative-diffusion decoding)은 작은 병렬 드래퍼 모델을 사용하여 한 번의 순전파로 b개의 드래프트 토큰을 생성하고, 이를 더 큰 타깃 모델이 병렬로 검증한다. 여러 드래프트 토큰이 동시에 검증을 통과하면 추론 속도가 빨라질 수 있다. 최근의 병렬 드래프트 아키텍처(DFlash, DSpark)는 특징 인코딩이라는 메커니즘을 통해 타깃이 계산한 풍부한 특징을 조건으로 사용하여 드래프트 품질을 개선한다. 그러나 표준 특징 인코딩 메커니즘에는 세 가지 한계가 있다. (1) 손실이 있어, 우리가 발견한 잔차 혼합(residual mixing)이라는 효과를 통해 기저의 타깃 특징 공간을 훼손하는 인코딩 투영을 적용한다. (2) 기억이 없어, 이전에 처리한 제안에 대한 기록이 없다. (3) 타깃 계층 전반에서 균일하게 샘플링한 특징을 사용하여 중요한 은닉 상태를 누락한다. 이러한 문제를 해결하기 위해, 이전에 거부된 제안을 인코딩하는 작업 기억을 갖춘 경량 특징 인코딩 방식인 Mixture-of-Features Attention(MoFA)을 제안한다. MoFA, 거부 기억, 그리고 2-탭 인과 합성곱, 프리픽스 전용 교차 어텐션, 비균일 타깃 계층 선택을 포함한 추가 개선 사항들을 활용한 최종 아키텍처 DNeo는 드래퍼 규모나 생성 품질에 영향을 주지 않으면서 SoTA(DFlash-2)보다 1.3배 빠른 생성 속도를 달성한다. DNeo는 고품질 고속 LLM 추론에서 새로운 최고 수준을 제시한다.

arXiv:2611.21919v1cs.RO

ALOHA Lightning: 빠르고 정밀한 조작 학습

ALOHA Lightning: Learning Fast and Precise Manipulation

사람 시연으로부터의 학습은 로봇이 다양한 조작 기술을 습득하게 했지만, 학습된 정책은 보통 일반적인 사람보다 훨씬 느리게 실행된다. 이러한 속도 격차는 주로 고속으로 시연 데이터를 수집할 인터페이스가 없고, 고속 동작을 견고하게 실행할 수 있는 정책을 학습시키기 어렵기 때문이다. 본 논문에서는 빠르고 정밀한 로봇 조작을 학습하기 위한 시스템인 ALOHA Lightning(Flash ALOHA)을 제시한다. 우리 시스템은 백드라이버블 양팔 플랫폼에서 운동학적 교示(kinesthetic teaching)를 사용하여 사람에 가까운 속도의 시연을 직관적으로 수집하며, 자연스럽고 빠른 궤적을 얻는다. 또한 테스트 시 행동 평활화를 통해 매끄러운 고속 실행을 가능하게 하고, 마스킹으로 데이터 수집 환경과 배포 환경 간 시각 데이터 분포를 정렬하는 학습 파이프라인을 제시한다. 과제당 50개의 시연이 주어지면, ALOHA Lightning은 공 던지고 받기, 반바지 접기, 배터리 삽입, 테이블 치우기와 같은 양팔 과제를 사람에 가까운 속도로 80% 넘는 성공률로 자율 수행한다. 프로젝트 웹사이트: https://flash-aloha.github.io/

arXiv:2611.21914v1cs.LG

지연된 레이블과 분포 변화 하에서의 데이터 스트림 평가를 위한 시간적 대수 프레임워크

A Temporal Algebraic Framework for Data Stream Evaluation Under Delayed Labels and Distribution Shifts

데이터 스트림에서는 레이블이 늦게 도착하거나 일부 인스턴스에만 도착하고, 클래스 유병률이 드리프트하며, 희귀 클래스는 짧은 윈도에서 사라지곤 한다. 이때 표준 평가는 결정 경계의 저하와 유병률의 변화를 혼동하며, 레이블이 지연되거나 모델에 의해 선택될 때 편향된다. 우리는 하나의 혼동 행렬로부터 풀링(마이크로) 및 클래스별(매크로) 측정값을 얻는 대수적 프레임워크를 스트림으로 확장하여, 지수적 감쇠 또는 슬라이딩 윈도로 카운트에 시간 가중을 부여한다. 갱신 비용은 스트림 길이와 무관하게 단계당 O(m^2)이며, 각 풀링 측정값은 클래스별 측정값의 가중 결합으로 유지된다. 지연된 피드백과 선택적 피드백은 관측 마스크로 들어간다. 레이블이 도착하기 전까지 인스턴스는 모델의 보정된 클래스 확률로 집계되며, 이 임시 추정의 편향은 그 확률의 보정 오차에 의해 좌우된다. 감사된 관례에서는 검증된 인스턴스가 없는 클래스에 대해 어떤 값도 보고하지 않는다. 우리는 사전확률에 무관한 좌표(재현율과 특이도)를 모니터링하여 사전 변화와 개념 드리프트를 분리하고, 1차 야코비안 분해로 측정값의 변화를 두 원인에 귀속시킨다. 합성 스트림과 네 개의 실제 데이터셋에서, 클래스별 메모리를 갖춘 이 좌표 기반 검출기는 야코비안 경보 및 오류율 검출기와 달리 레이블 변화 하에서 과도한 오경보를 일으키지 않는다. 지연된 레이블에 대한 보정은 일부 실제 설정에서 재현율을 회복하지만, 정밀도, 특이도, F1에 대해서는 부분적일 뿐이다. 25개의 명제가 Lean 4에서 검증되었으며, 코드는 aggmetrics 패키지에 있다.

arXiv:2611.21890v1cs.CV

4K 얼굴 에셋 맵을 위한 도메인 튜닝 확산 기반 초해상도

Domain-Tuned Diffusion Super-Resolution for 4K Facial Asset Maps

물리 기반 얼굴 에셋은 영화급 클로즈업을 위해 4K 알베도 및 변위 맵을 필요로 하지만, 생성 파이프라인은 일반적으로 이를 1K로만 생성한다. 사진용 초해상도를 그대로 적용하는 것은 적합하지 않다. 얼굴 UV 맵은 도메인 특유의 통계를 가지며, 변위는 오차가 곧바로 형상을 왜곡하는 스칼라 높이장이기 때문이다. 본 논문은 4배(1024에서 4096) 얼굴 에셋 초해상도를 위한 도메인 튜닝 확산 업스케일러를 제시한다. 쌍선형 업샘플링된 맵에서 출발하여, 고정된 SDXL 백본을 경량 LoRA 모듈로 모달리티별로 적응시키며, Tile ControlNet은 확산 사전 분포가 모공 및 주름 수준의 디테일을 복원하는 동안 입력 구조를 보존한다. 보류된 맵에서 본 방법은 쌍선형 보간 및 기성 GAN·확산 초해상도 모델보다 더 선명하고 충실한 디테일을 생성하며, 알베도 LPIPS를 0.21에서 0.08로 낮추는 동시에 잘못 배치되거나 과도한 변위 굴곡을 피한다. 이러한 결과는 경량 도메인 적응만으로 별도의 초해상도 아키텍처 없이도 렌더링에 바로 쓸 수 있는 4K 얼굴 에셋 맵을 만들 수 있음을 보여 준다.

arXiv:2611.21880v1cs.LG

안전한 제어기 선택을 위한 상쇄 없는 제약 SquareCB

Cancellation-Free Constrained SquareCB for Safe Controller Selection

우리는 학습자가 매 라운드마다 $K$개의 행동 중 하나를 선택하여, 플레이의 기대 비용을 예산 이하로 유지하면서 손실을 최소화하는 제약 문맥 밴딧을 연구한다. 온라인 회귀로의 기존 환원 방식은 과거 제약 잔차로부터 학습된 라그랑주 승수로 비용에 가중치를 부여하므로, 일부 라운드의 여유가 다른 라운드의 위반을 상쇄할 수 있다. 우리는 대신 \citep{foster2020beyond}에서 제안된 SquareCB를 비용에 대한 정류된 가중치와 함께 실행한다. 이 가중치는 추정 비용이 예산 이내이면 0이고, 그렇지 않으면 비용을 예산으로 되돌리기에 딱 충분한 크기이다. 실현 가능성과 마진 $\delta$를 갖는 Slater 조건 하에서, 이 알고리즘은 후회 $O(\sqrt{KT\,\mathrm{Reg}_{\mathsf{Sq}}(T)}/\delta)$와 상쇄 없는 위반 $\sum_t(V_c^{p_t}-b)^+=O(\sqrt{KT\,\mathrm{Reg}_{\mathsf{Sq}}(T)})$를 달성하며, 여기서 $\mathrm{Reg}_{\mathsf{Sq}}$는 회귀 오라클의 오차이다. 예산이 모든 문맥, 즉 잠재적으로 적대적으로 선택된 문맥에서도 충족되어야 하는 경우에 동일한 상계가 성립한다. safe-control-gym 쿼드로터와 BOPTEST 건물의 제어기 선택에서, 위반은 원초-쌍대 및 가상 큐 기준선보다 6배에서 9배 낮으며 후회는 더 낮거나 비슷하다.

arXiv:2611.21867v1cs.CV

FaceRiff: 기하 조건화를 통한 데이터 효율적인 통합 텍스트-3D 얼굴 에셋 합성

FaceRiff: Data-Efficient Unified Text-to-3D Face Asset Synthesis via Geometric Conditioning

일관된 UV 매핑 기하, 알베도, 물리 기반 변위를 갖춘 고해상도 얼굴 데이터셋은 드물지만, 이러한 에셋은 사실적인 디지털 휴먼 렌더링에 필수적이다. 기존 3D 얼굴 생성 방법은 느리거나, 단일 모달리티이거나, 대규모 특수 데이터셋을 요구하는 경우가 많다. 한편 대형 이미지 확산 모델은 강한 얼굴 사전 분포를 담고 있지만, 조명에 독립적인 텍스처, 모공 수준의 변위, UV에 정렬된 기하를 기본적으로 생성하지 못한다. 우리는 공유 UV 공간에서 텍스트로부터 직접 완전한 3D 얼굴 에셋(메시, 알베도, 변위)을 생성하는 통합적이고 데이터 및 매개변수 효율적인 프레임워크 FaceRiff를 제시한다. FaceRiff는 사전 학습된 SDXL 백본을 작업별 LoRA 어댑터로 적응시키고 UV 노멀 맵을 기하 조건화로 사용한다. 인스턴스별 노멀은 알베도와 변위 합성을 안내하고, 데이터셋 평균 노멀은 메시 생성을 위한 정규 공간 앵커를 제공한다. 약 350명의 신원에서 얻은 2,049개의 스캔만을 사용하고 단일 GPU에서 학습하여, FaceRiff는 작업당 백본 매개변수의 3% 미만만 갱신하며 인스턴스별 최적화 없이 렌더링에 바로 쓸 수 있는 3D 얼굴 에셋을 생성한다. FaceG2E 및 DreamFace와 비교하여 FaceRiff는 프롬프트 정합성과 고정 위상 UV 일관성을 유지하면서 프롬프트당 더 큰 다양성을 생성하며, 이에 더해 PBR 재조명에 적합한 조명 독립적 알베도와 기존 텍스트 기반 기준선에는 없던 모공 수준의 변위를 생성한다. 업계 전문가 45명을 대상으로 한 블라인드 연구에서 FaceRiff는 DreamFace보다 훨씬 높은 지각된 사실성을 달성하며 실제 촬영물에 근접하였다. 종합하면 FaceRiff는 사전 학습된 확산 사전 분포를 제한된 데이터 하에서도 통합 3D 얼굴 에셋 합성에 적응시킬 수 있음을 보여 준다.

arXiv:2611.21865v1cs.LG

PromptPack: 의도에 맞는 공간적·의미적 제어를 위한 확산 편집기의 학습 불필요 증강

PromptPack: Training-Free Augmentation of Diffusion Editors for Intent-Aligned Spatial and Semantic Control

많은 이미지 편집 작업은 사용자가 지정한 원본 콘텐츠를 정확히 보존하면서 변경을 의도한 공간 영역으로 한정할 것을 요구한다. 지시문 기반 편집 파이프라인은 이러한 사용자 의도를 불충분하게 명세하는 경우가 많고, 인페인팅 편집기는 명시적으로 정의된 편집 지지 영역에 생성을 조건화하지만 개별 편집 개념의 공간적 할당에는 조건화하지 않는다. PromptPack은 확산 편집기에 두 가지 명시적 '편집 가이드', 즉 편집이 일어날 수 있는 위치를 지정하기 위해 각 픽셀을 'Keep', 'Permit', 'Modify'로 표시하는 편집 역할 분할과, 어떤 개념이 어디에 적용되는지를 지정하기 위해 공간 영역을 텍스트 프롬프트에 대응시키는 영역별 프롬프트 할당을 갖추게 함으로써 두 한계를 모두 해결한다. 이러한 가이드는 수동으로 지정하거나, 원본 객체 편집의 경우 텍스트에 기반한 SAM 3 마스크에서 자동으로 도출할 수 있다. PromptPack은 재학습 없이, 독립적으로 임베딩된 영역별 프롬프트를 편집기의 고정 길이 텍스트 시퀀스에 주입하고, 편집 가이드를 사용하여 어텐션을 공간적으로 마스킹하고, 흐름 갱신을 게이팅하며, 보호된 원본 픽셀을 복원한다. 우리는 PromptPack을 FlowEdit FLUX, FlowEdit SD3, FLUX Kontext에 통합하여, PIE-Bench++에서 세 통합 모두에 걸쳐 요청된 개념의 배치와 보호된 콘텐츠의 보존이 향상됨을 보인다. 쌍별 사용자 연구에서 PromptPack은 FlowEdit FLUX에 대해 87%의 선호율을 달성하여, 의도에 맞는 확산 편집을 위한 실용적이고 학습이 필요 없는 인터페이스로 자리매김한다.

arXiv:2611.21852v1cs.LG

MoE 확산 디코딩의 숨은 비용: 샘플러 프로파일링과 개선

The Hidden Cost of MoE Diffusion Decoding: Profiling and Fixing the Sampler

마스크 확산 언어 모델(dLLM)은 토큰으로 이루어진 전체 캔버스를 반복적으로 잡음 제거하며 디코딩하므로, 모든 순전파가 캔버스×어휘 크기의 로짓 텐서 전체에 대해 토큰별 샘플링 및 종료 파이프라인을 실행한다. 본 연구에서는 대역폭이 병목인 엣지 가속기(NVIDIA GB10)에서 260억 파라미터 확산 혼합 전문가(Mixture-of-Experts) 모델의 단일 사용자 디코딩을 프로파일링하고, 간과되기 쉬운 결과를 보고한다. 가중치 양자화 이후에는 전문가 GEMM이 아니라 이 로짓 파이프라인이 디코딩 시간에서 가장 큰 비중을 차지한다. 확정된 토큰당 한 위치의 로짓만 다루는 자기회귀 디코딩과 달리, 확산 디코딩은 출력 토큰당 S배 많은 로짓 항목을 처리하며, 여기서 S는 잡음 제거 단계 수이다. 우리는 이 파이프라인이 대부분 중복되거나 융합 가능함을 보이고, 이를 두 단계의 무손실 방식으로 제거한다. 하나는 출력이 기준 디코더와 바이트 단위로 동일한 비트 정확 단계이고, 다른 하나는 융합된 단일 패스 엔트로피 커널과 Gumbel-max 샘플링을 사용하는 정확도 동등 단계이다. W4A16 전문가 커널과 결합하면, 전체 스택은 273 GB/s 단일 장치에서 GSM8K, HumanEval, MATH의 벤치마크 정확도를 유지한 채 bf16 대비 종단 간 2.4~2.7배의 속도 향상을 달성한다. 독립적으로 구축된 두 번째 확산 MoE(LLaDA2.0-mini: 파이프라인이 디코딩의 28.8%, 융합 W4A16이 정확도 동등 조건에서 3.3배)에서도 이 발견을 확인하였으며, 밀집 확산 모델에서는 이 비용이 사라짐(3.6%)을 보인다. 이 비용은 양자화로 백본이 저렴해지는 MoE 확산에 특유한 것이다. 코드와 양자화된 가중치를 공개한다.

arXiv:2611.21851v1cs.CV

AR-WAM: 자율주행을 위한 효율적인 스트리밍 월드-액션 모델링

AR-WAM: efficient streaming world-action modeling for autonomous driving

자율주행은 교통 상황이 어떻게 전개될지 예측하면서 새로운 관측에 신속히 대응할 것을 요구한다. 비디오 파운데이션 모델은 첫 번째 능력을 제공하지만, 반복적인 이력 인코딩과 반복적인 비디오 생성 때문에 주행에 사용하기에는 비용이 크다. 우리는 자기회귀 시간 모델링과 단일 패스 미래 조건화를 결합한 효율적인 스트리밍 월드-액션 모델 AR-WAM을 제안한다. 비디오 백본이 인과적이므로 AR-WAM은 과거 계산을 재사용하고 관측된 움직임에 기반해 미래 예측을 조건화하면서 시각적 문맥을 점진적으로 갱신한다. 또한 최근 관측으로부터 계산된 미래 특징이 반복적인 비디오 생성 없이도 동적 교통 상황에서의 일반화를 향상시킬 수 있다고 가정한다. 따라서 AR-WAM은 이러한 특징을 한 번의 순전파로 얻어 궤적 생성을 조건화하는 데 사용하며, 이후 강화학습이 주행 보상의 직접 최적화를 통해 정책을 개선한다. 단일 전방 카메라만으로 AR-WAM은 NAVSIM-v1에서 지도 학습 후 91.5 PDMS, 강화학습 후 94.0을 달성하여 비교 대상인 강력한 종단 간 월드-액션 모델들을 능가한다. 연속 주행의 동적 설정에서도 지도 학습된 AR-WAM은 의사결정 간에 시각적 이력을 유지하며 강력한 월드-액션 기준선들을 능가한다.

arXiv:2611.21847v1cs.LG

Inventa: 자율적 과학 발견을 위한 분산형 자기 개선 에이전트

Inventa: Decentralized Self-Improving Agents for Autonomous Scientific Discovery

대규모 언어 모델(LLM) 에이전트는 연구 아이디어를 생성하고 반복적 실험을 통해 과학적 발견을 향상시킬 수 있다. 그러나 에이전트 수나 반복 횟수를 늘린다고 해서 더 다양하거나 실현 가능한 아이디어가 자동으로 만들어지는 것은 아니다. 에이전트들은 유사한 후보로 수렴하거나, 공유 메모리 구성 요소를 통해 근거 없는 주장을 전파하거나, 더 이상 개선을 가져오지 못하는 탐색 전략을 반복해서 적용할 수 있다. 우리는 자율 연구 단위와 검증된 공유 지식을 활용하는 자동 과학 발견 프레임워크 Inventa를 소개한다. 각 단위는 변이 에이전트를 사용해 후보 아이디어의 계보를 만든다. 지역 오케스트레이터 에이전트는 주기적으로 변이 에이전트의 하네스를 조정한다. 진전이 정체되면 오케스트레이터 에이전트는 모델을 교체하거나 아이디어 진화 과정을 다시 시작한다. 검증기는 각 후보 아이디어를 평가하고, 검증된 개선, 유용한 구성 요소, 제약 위반을 단위 간 유일한 채널인 공유 지식에 기록한다. 우리는 연구 주기 전반에 걸친 다섯 개의 벤치마크, 즉 검색(ScholarCatalyst), 아이디어 생성(IdeaBench), 제안서 작성(IdeaScientist), 과학 법칙 발견(EurekaBench, SciLaws-Bench)에서 Inventa를 평가한다. Inventa는 다섯 개 모두에서 선두를 차지하며, EurekaBench에서 CORAL의 56.2% 대비 73.6%를 달성한다. IdeaBench에서는 논문당 26.0개의 새로운 아이디어를 발견하여 ResearchAgent의 18.6개보다 많으면서 모델 호출은 82% 적다.

arXiv:2611.21845v1cs.SE

EmbedGym: 코딩 에이전트가 물리적 하드웨어 없이 임베디드 펌웨어를 개발하고 디버깅하게 하기

EmbedGym: Letting Coding Agents Develop and Debug Embedded Firmware Without Physical Hardware

최신 코딩 에이전트는 코드와 단위 테스트를 폐쇄 루프로 실행할 수 있기 때문에 일반 소프트웨어 벤치마크에서 좋은 성능을 보인다. 그러나 임베디드 펌웨어 개발은 이 루프를 깨뜨린다. 컴파일되는 프로그램도 핀 극성, 버스 프로토콜, 타이밍, 네트워킹 버그 때문에 실제 하드웨어에서는 실패할 수 있으며, 텍스트 터미널의 에이전트는 이를 관찰할 수 없다. 기존 임베디드 코딩 에이전트는 하드웨어 실행을 생략하거나, 수 초의 지연이 있는 GPIO 전용 시뮬레이터를 구동하거나, 정적인 환경에서 물리 보드로 테스트한다. 본 논문에서는 코딩 에이전트가 물리적 하드웨어 없이 임베디드 펌웨어를 개발하고 디버깅할 수 있게 하는 상호작용형 가상 하드웨어 환경 EmbedGym을 제시한다. EmbedGym은 물리 보드에 플래시될 동일한 바이너리를 실행하는 명령어 수준 마이크로컨트롤러(MCU) 에뮬레이터를 사용하고, 이를 41개의 주변장치 모델, 아날로그 회로 시뮬레이터, 가상 WiFi/Bluetooth Low Energy(BLE) 엔드포인트에 연결하며, 에이전트가 센서 입력을 변경하고 버튼을 누르고 하드웨어 상태를 검사할 수 있는 인터페이스를 제공한다. 그 위에 우리는 데이터시트와 드라이버 라이브러리로부터 주변장치 모델과 과제를 합성하는 5단계 멀티 에이전트 워크플로를 사용하여, 6개의 MCU-프레임워크 쌍에 걸친 598개 과제로 구성되고 숨겨진 시간 기반 테스트 벡터로 채점되는 EmbedGym-Bench를 구축한다. 우리는 EmbedGym을 코딩 에이전트에 세 가지 수준으로 제공하고 14K개 이상의 궤적에 걸쳐 여덟 개 모델을 평가한다. 컴파일이 99.7% 성공하는 경우에도 컴파일된 펌웨어의 19.9%가 런타임에 실패한다(개별 타깃에서는 최대 73%). 반면 EmbedGym에서의 상호작용형 하드웨어 테스트는 모델 전반의 통과율을 +4.9%에서 +14.7%까지(개별 타깃에서는 최대 +31%) 높인다. 또한 결과는 EmbedGym을 갖춘 에이전트가 기존 임베디드 에이전트 프레임워크를 능가하며, EmbedGym을 갖춘 경량 모델이 이를 갖추지 않은 최첨단 모델과 대등한 성능을 30~70배 낮은 비용으로 달성함을 보여준다.

arXiv:2611.21828v1cs.MA

과업 요구사항이 불확실한 이종 팀의 협调

Coordination of Heterogeneous Teams with Uncertain Task Requirements

요구사항이 알려지지 않은 과업을 완수하도록 이종 에이전트 팀을 조율하는 일은 어려운 다중 에이전트 계획 문제이다. 에이전트는 과업 요구사항을 발견하는 능력과 과업을 수행하는 능력에서 서로 다르므로, 계획기는 과업 발견, 실행, 준비를 함께 조율해야 한다. 본 논문은 그래프 신경망 정책으로 에이전트에 행동을 할당한 뒤 최단 경로 알고리즘으로 해당 행동의 위치까지의 경로를 찾는 계층적 계획기를 제안한다. 우리 접근법의 핵심은 에이전트, 과업, 역량, 행동으로 구성된 계획 맥락을 그래프로 표현한 CAAT 그래프이다. 우리는 학습된 계획기가 이종 팀을 공동으로 조율하여 과업 요구사항 발견과 과업 완수를 동시에 수행하며, 과업 발견과 과업 수행을 독립적으로 최적화하는 기준선보다 짧은 시간에 달성함을 보인다. 나아가 실외 지도에서만 학습한 정책이 미세조정 없이, 학습 때보다 더 많은 에이전트, 과업, 역량이 있는 실내 지도로 전이되어 분포 외 환경에서도 제로샷으로 계획할 수 있음을 보인다.

arXiv:2611.21827v1cs.AI

SAR 차량 인식에서 차량은 얼마나 기여하는가? MSTAR와 ATRNet-STAR에서의 배경 지름길, 각도 격차, 부분 라이브러리

How Much of SAR Vehicle Recognition Is the Vehicle? Background Shortcuts, Angle Gaps and Partial Libraries on MSTAR and ATRNet-STAR

심층 신경망은 MSTAR 차량 벤치마크에서 99%에 가까운 점수를 기록하며, 더 최근의 ATRNet-STAR 벤치마크는 더 어렵게 만들어졌다. 우리는 이러한 점수 중 얼마가 차량 자체에서 비롯되는지 묻는다. 현대적 네트워크(ConvNeXt-Small, 시드 3개)로 먼저 알려진 MSTAR 결과를 재현한다. 중앙 96x96 픽셀을 0으로 지워도 정확도는 여전히 73.3%이다(우연 수준 10%). 여러 장면에 걸쳐 수집된 ATRNet-STAR에도 같은 지름길이 존재한다. 차량을 제거하면 40개 클래스 SOC 분할에서 정확도가 63.3%이다(우연 수준 2.5%). 공식 장면 변경 분할에서는 배경이 도움이 되지 않고 오히려 해가 된다. 정확도는 전체 칩에서 22.8%이고 차량만 보여 줄 때 30.8%이다. SAR 파운데이션 모델인 SARATR-X는 ConvNeXt보다 배경에 더 의존하며(모든 시드에서 차량 제거 시 +4~+6포인트) 장면 변경 문제를 해결하지 못한다. 이어서 학습 데이터 양을 고정하고 학습에 사용하는 depression angle을 달리한다. 정확도는 주로 가장 가까운 학습 각도와의 격차에 의해 결정되며, 15도에서 57%, 30도에서 39%, 45도에서 26%이다. 학습 각도를 더 추가해도 도움이 되지 않는다. 마지막으로, 대부분의 클래스가 시험 각도의 학습 이미지를 가지고 일부는 가지지 않는 경우, 누락된 클래스는 어떤 클래스도 그 각도의 학습 이미지를 갖지 않는 경우보다 성능이 나빠진다. 45도 격차에서 22.4%가 아닌 9.0%이다. 이들 이미지의 대부분은 알려진 클래스로 분류된다. 우리는 모든 정확도 수치와 함께 배경 전용 및 표적 전용 대조 실험과 각도 격차를 보고할 것을 권고한다. 코드는 공개되어 있다.

arXiv:2611.21823v1cs.CL

TUSI: 인용에 근거한 그래프 기반 벤치마크

TUSI: A Citation-Grounded Graph-Based Benchmark

페르시아 법률 분야에서 검색 증강 생성(RAG) 시스템을 평가하는 일은 벤치마크가 현실성, 근거성, 법적 추론의 포괄성을 갖추지 못해 여전히 어렵다. 기존 자원은 법령 텍스트로부터 합성적으로 생성되어 자연스러운 정보 요구가 없거나, 권위 있는 법률 문서와의 명시적 연결 없이 비공식 법률 질의응답 출처에서 도출되어, 근거 기반 법적 추론을 엄밀하게 평가하기에 적합하지 않다. 이러한 공백을 해소하기 위해 우리는 RAG 기반 시스템 평가를 위해 설계된 구조화된 페르시아 법률 벤치마크 TUSI-Bench를 소개한다. TUSI-Bench는 7,261개의 법조문을 담고 성문 법령, 법률 주석서, 학설 문헌, 대법원 통일 판결을 통합한 다층 법률 지식 체계 위에 구축되었다. 또한 구조 인식 검색을 위해 조문과 개념을 연결하는 법률 지식 그래프를 구축한다. 이를 기반으로 TUSI-Bench는 서로 보완적인 두 가지 평가 과제를 제공한다. (i) 명시적 법적 인용이 포함된 근거 기반 응답을 요구하는 1,999개 질문의 개방형 질의응답 벤치마크 TUSI-QA, (ii) 이란 변호사 시험 문제에서 도출한 약 500개의 4지선다 문제로 구성된 객관식 벤치마크 TUSI-Bar이다. 나아가 법률 지식 그래프 내의 관계 구조를 활용하는 그래프 기반 검색 기준선을 제안한다. 실험 결과, 그래프 기반 관계를 도입하면 표준 기준선에 비해 검색 재현율이 최대 8퍼센트포인트 향상되어 RAG 시스템에서 구조화된 법률 표현의 중요성을 보여 준다. 제안한 벤치마크는 페르시아어 근거 기반 법적 추론을 평가하기 위한 표준화된 자원을 제공하며 구조화된 법률 지능에 대한 향후 연구를 가능하게 한다.