PyTorchKR Papers

최신 논문

총 24,820편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 카테고리 구독

arXiv:2611.24360v1cs.RO

자세에 강건한 소수 샷 비전-언어-행동 모델을 향하여

Towards Pose-Robust Few-Shot Vision-Language-Action Models

수십 개의 시연으로 비전-언어-행동(VLA) 모델을 미세조정하는 것은 조작 정책을 로봇에 적용하는 표준적인 방법이지만, 그렇게 얻은 정책은 카메라와 로봇 베이스가 데이터 수집 때의 위치에 정확히 머문다고 암묵적으로 가정한다. 삼각대가 살짝 밀리거나 베이스가 몇 센티미터 어긋나게 다시 도킹되면 정책은 엉뚱한 곳으로 손을 뻗는다. 본 논문은 이 두 실패가 모두 정책이 암기한 카메라-베이스 외부 파라미터의 변화라는 하나의 현상이며, 로봇이 이를 되돌리는 데 필요한 모든 것을 지니고 있음을 보인다. 이에 VLA 모델을 위한 세계 고정 정준화 프레임워크 WACO를 소개한다. 측정된 관절 각도에서 순기구학으로 배치된 로봇 팔은 미터법 보정 대상으로 쓰이고, 정적 장면은 카메라가 움직였는지 로봇이 움직였는지 구분하게 하는 세계 앵커로 쓰인다. WACO는 단일 RGB-D 프레임으로부터 정답 외부 파라미터나 추가 데이터 없이 두 변화를 모두 추정하고, 영상을 보정 시점으로, 상태·행동·시작 자세를 보정 베이스 프레임으로 정준화하며, 수정하지 않은 정책을 자체 추정기가 만드는 아티팩트 아래에서 미세조정한다. 또한 단계별 카메라, 베이스, 복합 변화를 갖춘 RGB VLA용 최초의 벤치마크 LIBERO-PoseShift를 소개한다. LIBERO-PoseShift, LIBERO-Plus 카메라 트랙, UR5e 로봇의 실제 과제 네 가지 전반에서 WACO는 표준 소수 샷 방식과 기존 시점 강건 방법을 일관되게 능가하여, 변화가 있는 조건의 성공률을 시뮬레이션에서 13.2포인트, 실제 로봇에서 36.7포인트 높이고, 정답 오라클과의 격차를 시뮬레이션에서 90%, 실제 로봇에서 87% 회복하며, 교란된 학습 데이터를 쓰지 않고 테스트 시점 보정도 없는 방법 중 새로운 최고 성능을 확립한다. 프로젝트 페이지: https://peacelwh.github.io/WACO/.

arXiv:2611.24357v1cs.AI

장기 에이전트를 위한 요청 시 증거 제공 기반 의미적 컨텍스트 인계

Semantic Context Handoff with On-Demand Evidence for Long-Horizon Agents

전통적인 장기 LLM 에이전트는 이전의 모든 행동–관찰 상호작용을 유지하는 전체 이력 프롬프팅으로 컨텍스트를 인계하는 경우가 많다. 실행이 진행됨에 따라 이 이력은 계속 늘어나 추론 비용을 증가시키고 정확도를 저하시킬 수 있다. 기존 방법은 이전 관찰을 제거하는 대신 간결한 결론을 보존함으로써 이러한 증가를 제어하지만, 그렇게 하면 나중에 관련성이 생기는 증거가 폐기될 수 있다. 본 논문은 상태–증거 분리를 핵심 추상화로 하는 의미적 컨텍스트 인계(Semantic Context Handoff, SCH)를 소개한다. 간결한 의미 상태가 에이전트의 현재 해석을 담고, 이를 뒷받침하는 행동–관찰 증거는 별도로 주소 지정이 가능하게 남아 있다가 이후 실행에서 관련성이 생기면 별도의 요약이나 검색 모델 호출 없이 컨텍스트에 다시 들어올 수 있다. 실증적으로 SCH는 컨텍스트 비용을 크게 줄이면서 장기 에이전트 성능을 향상시킨다. 통제된 150개 과제 SWE-bench 연구에서 SCH의 증거 복구는 토큰 사용량과 실행 시간이 거의 변하지 않은 상태로 Pass@1을 $80.0\%$에서 $86.9\%$로 향상시킨다. 전체 시스템 비교에서 SCH는 과제 성능 기준 최강 베이스라인보다 토큰을 43%, 실제 소요 시간을 41% 적게 사용하면서 86.9%의 Pass@1을 달성한다. 여러 모델과 벤치마크 전반에서 SCH는 전체 이력 프롬프팅에 비해 토큰 사용량을 일관되게 줄이면서 평가된 베이스라인과 대등하거나 이를 능가한다. 궤적 분석은 SCH가 단순히 최근 컨텍스트 창을 보존하는 것이 아니라 상호작용 이력의 훨씬 앞선 부분에서 증거를 복구함을 확인해 준다.

arXiv:2611.24353v1cs.AI

그림이 본문과 어긋날 때: 과학 논문에서 자율적 시각 증거 검증의 평가

When Figures Disagree with Text: Evaluating Autonomous Visual Evidence Verification in Scientific Papers

과학 그림은 이를 인용하는 주장의 증거를 담고 있으므로, 논문을 검토한다는 것은 그림이 보여 주는 바를 기술하는 데 그치지 않고 그림이 본문과 일치하는지 확인하는 것을 의미한다. 그림–본문 검증 벤치마크는 대개 모델에 그림, 주장, 또는 불일치가 존재한다는 지식을 제공하므로, 모델이 완전한 논문에서 확인할 가치가 있는 그림을 찾고, 시각 요소를 그것과 충돌하는 주장에 연결하며, 그 충돌을 인식할 수 있는지는 검증되지 않은 채로 남는다. 본 연구는 PRISMM-Bench에서 가져온, 검토자가 문서화한 그림–본문 불일치를 각각 담고 있으며 모델에는 숨겨진 31편의 전체 원고에서 이러한 자율적 설정을 연구한다. 여섯 개의 멀티모달 모델이 중립적 프롬프트 아래 각 PDF를 검토하고, 이후 동일한 원고에 입력을 한 번에 하나씩 추가한다. 1,445개의 개방형 검토 중 60.6%가 결함 있는 그림을 언급하지만, 평가 기준표가 그 모순을 진단한 것으로 인정하는 것은 3.3%에 불과하다. 블라인드 감사 결과 기준표가 관대한 것으로 나타나므로, 이를 절대값이 아닌 기준표 인정률로 해석하고 조건 간 비교를 수행한다. 별도의 통제 실험에서, 그림이 결함이 있다고 말하지 않고 그림을 지목하는 것만으로 기준표 인정 진단이 4.3%에서 20.4%로 상승하는 반면, 일관성 지시와 대략적인 시각 단서는 그렇지 않다. 모순이 렌더링된 그림에서만 보이는 경우 텍스트만 사용한 검토는 인정된 진단을 전혀 내지 못하지만, 그림을 지목한 렌더링 페이지 검토는 15.8%에 도달한다. 모델이 중심성 순으로 확인할 그림을 직접 고르게 하는 베이스라인은 4.8%에 머문다. 따라서 무엇을 검증할지 결정하는 것이 어려움의 큰 부분이며, 우리가 시험한 선택 규칙은 이를 해결하지 못한다. 멀티모달 문서 이해는 주어진 그림에 대한 질문에 답하는 것뿐 아니라 무엇을 검증할지 제안할 수 있는지로도 평가되어야 한다.

arXiv:2611.24352v1cs.CV

OCTR2A: 도시 교차로에서의 실시간 RGB-to-BEV 궤적 투영 및 예측

OCTR2A: Real-Time RGB-to-BEV Trajectory Projection and Forecasting at Urban Intersections

도시 교차로에서의 궤적 예측은 신뢰할 수 있는 조감도(BEV) 이동 이력이 있다고 가정하고 연구되는 경우가 많지만, 실제로는 LiDAR, 항공 영상, HD 맵, 보정된 인프라와 같은 값비싼 자원이 필요하다. 본 연구는 추론 시 가변 높이로 기존 도시 인프라에 설치된 한 쌍의 대각 모서리 RGB 카메라만으로 객체의 BEV 궤적을 복원하고 예측함으로써 이러한 상류의 인지-예측 문제를 다룬다. 시점별 검출과 클래스 정제, 기하학적 교차 카메라 매칭, 트랜스포머 기반 BEV 투영, 자기 중심 GRU 예측을 통합하고, 캐스케이드 방식으로 학습하며 주로 소프트 다중 스케일 공간 중첩 손실로 지도하는 모듈형 파이프라인인 Opposite-Corner Trajectory Reconstruction and Anticipation Architecture(OCTR2A)를 소개한다. 이러한 센싱 구성을 제공하는 공개 벤치마크가 없으므로, SIND 궤적으로 구축한 Blender 기반 합성 벤치마크 R3ST++를 소개한다. 이는 동기화된 대각 모서리 시점, 시점 간 대응, BEV 정답을 제공하며, 현장별 미세조정을 위한 배포 지원 시뮬레이터로도 쓰인다. 이들 데이터셋에 대한 실험에서, 10\,Hz로 12개 관측 프레임과 12개 예측 프레임을 사용할 때 OCTR2A는 단일 소비자용 GPU에서 실시간으로 투영~-~예측 ADE/FDE 0.144/0.140~-~0.154/0.241~미터를 달성한다. 정답 BEV 이력으로 평가했을 때 예측 모듈은 SIND에서 최강의 최신 방법 대비 ADE/FDE를 66.7\%/41.7\% 개선한다. TUMTraf-V2X에서의 전이 실험은 R3ST++ 사전학습이 센싱 구성이 다른 실제 노변 도메인으로의 적응을 지원함을 보여준다.

arXiv:2611.24347v1cs.AI

automodel: 에이전트 기반 모델 발견을 위한 스킬

automodel: A Skill for Agentic Model Discovery

해석적 방정식이든 신경망 아키텍처든, 더 나은 모델을 찾는 일은 수작업 설계에서 데이터 기반 자동화로 점차 옮겨 가고 있다. 전수 탐색부터 AlphaEvolve에 이르기까지 수많은 알고리즘이 존재하지만, Claude Code와 OpenAI Codex 같은 범용 코딩 에이전트의 최근 발전은 이러한 시스템에 "모델 발견 레시피"를 제공하는 것만으로 모델을 발견하거나 개선하기에 충분한가라는 질문을 제기한다. 본 논문은 범용 모델 발견을 위한 에이전트 스킬 automodel을 제시한다. 천체물리학, 심혈관 역학, 정밀 농업, 교통 흐름, 차량 타이어 역학에 관한 사례 연구를 통해, automodel을 갖춘 상용 에이전트가 새롭고 과학적으로 의미 있는 모델을 성공적으로 식별할 수 있음을 보인다. 연구 결과는 모델 발견 방법론을 이식 가능한 에이전트 스킬로 부호화하는 것이 도메인 특화 자동 발견 파이프라인에 대한 단순하고 대화형이며 강력하고 폭넓게 적용 가능한 대안이 될 수 있음을 시사한다. 이 스킬은 https://github.com/unlayer-ai/automodel 에서 이용할 수 있다.

arXiv:2611.24330v1cs.CV

가중치 공간 프로그래밍은 학습된 윤리적 우선순위를 바꿀 수 있는가?

Can Weight-Space Programming Alter Learned Ethical Priorities?

본 연구는 가중치 편집을 통해 모델이 약속을 지키는 것과 더 많은 사람에게 이익을 주는 것 사이에서 균형을 잡는 방식을 바꿀 수 있는지 조사한다. 개념 지도 기반 텍스트 모델에서 적합된 선택 가중치를 변경하여, 공식적 서약을 어기는 데 필요한 이익의 크기가 일반적인 약속보다 커지도록 하였다. 독립적으로 학습된 여섯 개의 텍스트 리더 전반에서, 이 편집은 대상이 된 일반 충돌의 100%와 대상이 된 공식 충돌의 83.3%에서 두 가지 순서 모두에서 더 큰 집단을 선택한다. 또한 더 작은 충돌에 대한 원본 모델의 성공률과 사실 정확도를 유지한다. 나머지 공식 충돌에서의 실패는 수혜자 수를 읽는 오류와 일치한다. 별도의 분류기는 이러한 구분이 중요한 이유를 보여 준다. 사실 답변을 재사용하면 무조건적 선택 검사는 통과하지만 작은 격차의 약속은 유지하지 못한다. COCO128에서의 YOLO11n 예비 실험에서는 편향 편집으로 작은 대상의 일치 수가 43개 중 3개에서 9개로 증가했으며, 이에 상응하는 점수 보정이 유지된 검출 결과를 재현하였다. 이러한 탐색적 결과는 트레이드오프 메커니즘이 노출된 모델에서 학습된 우선순위에 대한 선택적 변경을 검증하는 방법을 보여 준다. 이 방법이 구조화 정도가 낮은 언어 모델에서도 그러한 변경을 찾아낼 수 있는지는 여전히 열린 문제이다.

arXiv:2611.24324v1cs.AI

타임아웃 캐스케이드를 이용한 코딩 에이전트의 추론 비용 절감

Reducing Inference Cost of Coding Agents with Timeout Cascades

AI 코딩 에이전트는 대규모 언어 모델의 가장 인기 있는 응용 중 하나가 되었다. 그러나 에이전트형 AI는 막대한 GPU 연산 자원을 필요로 하며, 이는 수익성과 대규모 운영 가능성을 제한한다. 본 논문에서는 더 작고 저렴한 모델이 정확도를 희생하지 않고 이 비용을 줄일 수 있는지 조사한다. 2024년 이후 공개된 36개의 대형 및 소형 오픈 웨이트 모델을 소프트웨어 엔지니어링 벤치마크에서 평가한 결과, 최근 소형 모델이 대형 모델과의 정확도 격차를 좁히고 있음을 확인하였다. 이 격차의 구조를 조사한 결과, 격차는 소형 언어 모델이 해결하지 못하는 어려운 과제에 크게 집중되어 있으며, 쉬운 과제와 중간 난이도 과제에서는 매우 좋은 정확도를 달성한다. 이 관찰에 따라, 소형 모델을 먼저 시도하고 필요할 때만 대형 모델로 승격하는 하이브리드 추론 전략을 사용하면 정확도를 희생하지 않고 총 GPU 시간 비용을 최대 33%, SWE-bench Verified의 전체 과제에서는 16.4% 절감할 수 있음을 보인다. 놀랍게도 이 단순한 캐스케이드는 오라클 방식의 과제 라우터에 거의 필적하며, 복잡한 학습형 과제 라우터 없이 최소한의 엔지니어링 복잡도로 비용 인식형 코딩 에이전트를 실제 환경에 배포할 수 있는 실용적 경로를 보여 준다.

arXiv:2611.24321v1cs.AI

박사후 연구원 수준 자연과학 문제에 대한 LLM 능력 벤치마킹

Benchmarking LLM abilities on postdoc-level natural science problems

과학 문제에는 정답지가 없으므로, 에이전트를 평가하려면 어떤 에이전트도 실행하기 전에 무엇이 더 나은 해법인지 정해야 한다. 기존 벤치마크는 기호적 답을 정답지와 대조하거나, 실행 가능한 작업이 필요한 경우 단위 테스트, 루브릭, 또는 경연 리더보드 순위로 채점한다. 이 중 어느 것도 한 분야가 어떤 발표된 방법이 다른 방법보다 낫다고 판단하는 기준은 아니다. STEMBench는 이 기준을 직접 채택한다. 고에너지 물리학, 천체물리학, 신경과학의 12개 연구 문제는 각각 해당 분야 자체의 성능 지표로 채점되며, 각 문제에는 두 개의 측정된 기준점이 제공된다. 하나는 도메인 지식을 전혀 쓰지 않은 제출물이고, 다른 하나는 발표된 방법을 재현한 전문가 참조 해법이며, 둘 다 벤치마크와 함께 제공되는 코드를 실행하여 얻는다. 두 기준점 사이의 구간은 한 문제 중 얼마나 많은 부분이 엔지니어링이 아니라 과학적 통찰로 넘어서는 것인지를 나타낸다. 8개의 최첨단 모델 전반에서 과제 수준의 승리와 도메인 수준의 선두는 분리되며, 12개 과제 중 5개에서 이긴 모델도 어떤 도메인 평균에서도 선두가 아니다. 고노력 교차 모델 비교에서는 12개 과제 중 7개에서 적어도 한 모델의 평균 점수가 전문가 기준점을 넘어선다. 나머지 5개는 불확실성 추정, 잠재 및 인과 추론, 기관 간 임상 분류에 걸쳐 있다. 수치 점수와 공식 제출물 유효성은 성능의 서로 다른 측면을 포착하므로 별도로 보고한다. 과제, 채점기, 기준점, 하네스를 공개한다.

arXiv:2611.24316v1cs.CV

보지 못한 것을 인식하기 위한 융합: 개방형 어휘 의미론적 분할을 위한 클래스 상대적 적외선-가시광 융합

Fuse to Recognize the Unseen: Class-Relative Infrared-Visible Fusion for Open-Vocabulary Semantic Segmentation

가시광-적외선 영상 융합은 상보적인 열 단서를 활용하여, 특히 어려운 조명 조건에서 시각 인지를 향상시킨다. 그러나 이러한 지각적 상보성은 CLIP 기반 모델이 주로 RGB 영상으로 사전학습된 개방형 어휘 의미론적 분할(OVSS)에서는 의미론적 이득으로 쉽게 이어지지 않는다. IR 정보를 그대로 도입하면 오히려 RGB-언어 정렬을 해쳐, 유망한 열 단서를 보지 못한 클래스 인식을 저해하는 의미론적 간섭으로 바꿀 수 있다. 본 연구의 픽셀 수준 RGB-IR 의미 분석은 클래스와 관련된 열 단서가 신뢰할 만한 RGB 예측은 보존하면서 일부 RGB 오분류를 바로잡을 수 있음을 보여 주며, 이는 RGB에 고정된 클래스 상대적 열 단서 선택의 동기가 된다. 이러한 통찰에 기반하여, 상보적 열 증거를 보지 못한 클래스의 의미론적 보정으로 선택적으로 전환하는 OVSS용 적외선-가시광 융합 프레임워크 EmergeFuse를 제안한다. 구체적으로, 클래스 상대적 단서 선택은 RGB 예측에 상대적인 RGB-IR 의미 응답과 보정된 열 증거를 평가하고, 경쟁적 선택을 통해 클래스 상대적 보정 요청을 생성한다. 이어서 텍스트 대비 영상 교정은 선택된 요청을 텍스트 대비를 통해 의미론적 교정 방향으로 변환하고, 증거 게이트 기반 특징 갱신을 이끌어 상보적 열 증거를 보지 못한 클래스 인식에 반영한다. 세 개의 벤치마크 실험에서 기존 융합 방법 대비 보지 못한 클래스 mIoU가 최대 4.755%, 엄격한 상보 전환율이 15.730% 향상되었으며, 경쟁력 있는 융합 품질도 유지하였다.

arXiv:2611.24313v1cs.CR

AutoPI: Taxonomy-Guided Adaptive Red Teaming for Prompt Injection in LLM Agents

Prompt injection is the dominant unsolved security risk for LLM agents, and the community now agrees that robustness must be measured against adaptive attackers rather than fixed benchmark injections. Many adaptive red teamers exist, and most are built to maximize attack success rate (ASR). Yet ASR counts how often a target breaks, not in how many different ways. A red teamer can achieve a high ASR by reusing a few techniques that work, leaving the others untested and absent from the attacks used to harden models. We present AutoPI, an adaptive red teamer designed to find many different ways to break a target, not just to break it often. AutoPI uses PIAtlas, a taxonomy of prompt-injection techniques, both to guide its search and to measure coverage. For each scenario, an attacker LLM writes an injection for every sub-technique in the taxonomy and then reworks the ones that fail using feedback from an LLM judge. The method is black-box and training-free, it plugs into existing benchmarks in place of their fixed attack templates, and it stays up to date as the taxonomy evolves. We evaluate AutoPI on AgentDojo and IPI Arena against open-weight and proprietary target models. Alongside ASR, we report technique coverage, the fraction of taxonomy classes, techniques, and sub-techniques that yield at least one successful injection. On AgentDojo, AutoPI finds a successful injection against Qwen3.6-35B in all six classes of the taxonomy and for more than 90% of its techniques. Against Claude Haiku 5.5, the most robust target we evaluate, it achieves between 20% and 50% higher ASR and between 25% and 400% higher class-level coverage than recent state-of-the-art adaptive red teamers, while requiring no training. We release our code and the generated attacks to support reproducible, coverage-aware evaluation.

arXiv:2611.24302v1cs.AI

OpenKAGE: 지식 공유 에이전트 집단 진화를 통한 개방 세계에서의 개방형 평생 학습

OpenKAGE: Open-Ended Lifelong Learning in the Open World via Knowledge-Sharing Agent-Group Evolution

경험을 통해 개방 세계를 지속적으로 탐험하고 새로운 능력을 획득하는 자율 에이전트를 구축하는 것은 인공지능의 오랜 염원이다. 기존 연구는 흔히 사전에 정의된 과제, 커리큘럼 또는 목표 안에서 평생 학습을 추구하며, 자기 개선은 대체로 개별 에이전트에 국한된다. 본 논문은 개방형 평생 학습을 위한 에이전트 집단 진화 프레임워크 OpenKAGE를 소개한다. 이 프레임워크에서 에이전트들은 자율적으로 개방 세계를 탐험하며, 자신의 상호작용과 타인의 경험에서 얻은 지식을 축적하고 재사용함으로써 새로운 능력을 지속적으로 획득한다. OpenKAGE는 두 가지 핵심 메커니즘에 기반한다. (1) 상황적 기억을 위한 기억 계층과, 재사용에 필요한 적용 조건을 유지하는 전이 가능한 경험 및 기술을 위한 경험 계층으로 이루어진 2계층 지식 표현, 그리고 (2) 텍스트 경험을 지속적으로 진화하는 공유 지식 그래프로 의미론적으로 통합하면서 실행 가능한 기술은 그대로 공유하는 지식 공유 메커니즘이다. Minecraft에서 OpenKAGE는 개방형 평생 학습을 지원하여 에이전트 집단이 탐험을 지속하고 고급 기술 이정표에 도달하게 한다. 나아가 축적된 지식은 다른 백본 모델 위의 새로 초기화된 에이전트 집단으로 전이될 수 있으며, 이는 그 집단의 생존과 탐험 진척을 향상시킨다.

arXiv:2611.24294v1cs.AI

KnowledgeClaw: 옴니모달 하이퍼그래프를 통한 에이전트 기반 지식 공학을 향하여

KnowledgeClaw: Towards Agentic Knowledge Engineering via Omnimodal Hypergraphs

지식 공학(KE)은 원시 파일을 추론 가능한 지식 베이스로 변환하는 작업이며, 이제 LLM 에이전트로 달성할 수 있는 수준에 이르렀다. KE는 청크 및 그래프 검색 증강 생성(RAG)에서 메모리 에이전트, 에이전트 기반 KE, 멀티모달 KE로 발전해 왔다. 그러나 살아 있는 지식 베이스는 옴니모달리티, 폐루프 수명주기, 다중 granularity 응용을 동시에 요구하는 반면, 기존 시스템은 이 중 많아야 두 가지만 충족하며 세 가지를 모두 측정하는 벤치마크도 없다. 본 논문은 옴니모달 지식 공학(OmniKE)을 형식화하고, 다섯 가지 모달리티의 실제 파일 3,960개에 대한 모델 비의존 항목 1,829개로 구성된 여섯 개 과제의 OmniKE-Bench를 공개한다. 또한 옴니모달 타입 하이퍼그래프를 구축하고, 폐루프 수명주기 에이전트로 이를 최신 상태로 유지하며, 각 질의를 필요한 granularity로 라우팅하는 에이전트 시스템 KnowledgeClaw를 제안한다. 30개 베이스라인과 비교하여 여섯 개 과제 모두에서 1위를 기록했으며, 전체 OKE는 55.9로 가장 강력한 베이스라인보다 14.6 높다. 소프트웨어와 데이터는 https://github.com/LHRLAB/KnowledgeClaw 에서 공개되어 있다.

arXiv:2611.24290v1cs.AI

코퍼스 기반 모방을 넘어서: 양자 강화학습을 통한 에이전트 오케스트라의 음악적 마인드셋 진화

Beyond Corpus-Driven Imitation: Evolving Musical Mindsets in the Agentic Orchestra via Quantum Reinforcement Learning

본 논문은 양자 강화학습과 다중 에이전트 상호작용에 기반한 컴퓨터 지원 음악 작곡 및 연주 프레임워크를 제시한다. 우리는 대규모 데이터셋 학습이 아니라 음악 환경과의 시행착오적 상호작용을 통해 음악 에이전트들이 서로 다른 마인드셋을 진화시키는 에이전트 오케스트라를 소개한다. 에이전트는 매개변수화된 양자 회로로 구현된다. 이들은 마인드셋이라 부르는 서로 다른 작곡 행동을 진화시킨다. 이를 통해 하이브리드 양자-고전 루프 내에서 양자 중첩과 얽힘을 활용하여 음악적 의사결정 공간을 탐색할 수 있다. 우리는 두 가지 상호보완적인 에이전트 아키텍처를 제시한다. 하나는 음높이와 리듬을 독립적으로 처리하는 원자적 에이전트이고, 다른 하나는 음높이와 길이를 통합된 음 이벤트로 다루는 전체론적 에이전트이다. 마인드셋은 음악적으로 근거를 둔 보상 함수로 형성되며, 이 보상 함수들은 결합하고 가중하여 에이전트마다 다른 마인드셋을 발달시킬 수 있다. 그 결과 시스템은 양자 컴퓨팅 에이전트를 자율적 작곡가라기보다 적응형 음악 파트너로 자리매김하며, 각 에이전트는 모방이 아닌 상호작용을 통해 자신만의 음악적 개성을 발전시킨다. 시연에서는 에이전트가 학습한 행동을 이전에 보지 못한 소재에 일반화하는 모습을 보이며, MIDI로 인코딩된 음악을 사용해 상호작용 모드와 오프라인 배치 모드로 동작한다. 양자 컴퓨터는 아직 개발 중이지만, IBM 양자 하드웨어에서 수행한 실험은 기존 양자 컴퓨터로도 음악적으로 의미 있는 학습이 가능함을 확인했다. 작곡가와 연주자에게 에이전트 오케스트라는 창발적이고 과정 중심적인 음악 창작의 새로운 가능성을 열어 주며, 양자 컴퓨팅 기술이 계속 발전함에 따라 양자 컴퓨터 지원 음악 작곡을 위한 확장 가능한 토대를 제공한다.

arXiv:2611.24249v1cs.AI

점에서 궤적으로: 물리적 사건을 위한 멀티모달 정렬의 재고

From Points to Trajectories: Rethinking Multimodal Alignment for Physical Events

물리 인공지능(Physical AI)을 발전시키려면 정적인 객체 인식을 넘어, 충격, 마찰, 힘 전달과 같은 실제 세계의 역학이 시간에 따라 어떻게 전개되는지를 기반으로 삼아야 한다. 멀티모달 정렬기는 다중 센서 스트림을 매칭하여 이러한 상호작용을 포착하고자 하지만, 지배적인 아키텍처는 각 시간 시퀀스를 하나의 풀링된 임베딩으로 압축한다. 우리는 이러한 패러다임이 쌍둥이 사건, 즉 동일한 과제 조건에서 기록된 서로 다른 물리적 수행에서 실패함을 보인다. 시간 차원을 붕괴시키면 일시적인 교차 모달 동역학이 평균화되어 사라지며, 물리적 사건 정렬이 사실상 정적 장면 인식으로 환원된다. 형식적으로, 시퀀스 길이가 증가함에 따라 시간적으로 풀링된 모든 표현이 정상 상태의 기록 조건으로 수렴함을 증명한다. 결과적으로 윈도우가 커질수록, 어떠한 손실 함수나 임베딩 기하를 선택하더라도 풀링된 특징만으로는 쌍둥이 사건을 구별할 수 없다. 대신 우리는 물리적 사건이 사건 간극(event gap), 즉 풀링으로 지워지며 풀링되지 않은 궤적을 따라서만 누적되는 모달리티 간의 순간적이고 동기적인 공동 변동에 의해 고유하게 식별됨을 보인다. 이 신호를 복원하기 위해 각 모달리티의 시간 평균을 제거하여 프레임 수준의 교차 모달 일치도를 점수화하는 경량 플러그인 모듈인 CounterPoint를 도입한다. 네 가지 최신(SOTA) 멀티모달 정렬기에 통합했을 때, CounterPoint는 표현을 거친 조건 매칭에서 세밀한 물리적 사건 정렬로 전환시키며, 기존 시간 정렬 방법들을 일관되게 능가한다.

arXiv:2611.24231v1cs.CR

텍스트에서 픽셀로의 전환에서 무엇이 살아남는가? 이미지로 렌더링된 문서에서의 프롬프트 인젝션에 대한 조건부 보호

What Survives the Shift from Text to Pixels? Conditional Protection against Prompt Injection in Image-Rendered Documents

멀티모달 언어 모델은 외부 문서에 대한 질문에 점점 더 많이 답하게 되었고, 이로 인해 신뢰할 수 없는 콘텐츠에 심어 둔 명령으로 응답을 가로채는 간접 프롬프트 인젝션에 노출된다. 신뢰할 수 없는 콘텐츠를 페이지 이미지로 렌더링하면 평균적으로 공격 성공률이 낮아지지만, 어떤 주입된 작업이 렌더링 후에도 살아남는지, 어떤 유용성 비용이 드는지, 그리고 실패한 이미지 공격이 읽히지 않은 명령을 반영하는지 아니면 읽혔으나 따르지 않은 명령을 반영하는지는 열려 있다. 우리는 여섯 개 모델에 걸쳐 191개 영어 질의응답 출처의 텍스트 버전과 페이지 이미지 버전을 짝지어, 정상 질의응답 유용성과 함께 마커 덧붙이기, 답변 형식 지정, 답변 대체를 측정한다. 렌더링은 모든 모델에서 덧붙이기와 형식 지정의 실행을 감소시키지만, Qwen3-VL-8B는 여전히 이미지로 전달된 대체 명령을 77.96\%의 비율로 실행한다. 보호 효과는 대상 유형, 렌더링 설정, 문구, 반복에도 좌우되며, 고정된 여덟 개 공격 후보에 대한 탐색은 Qwen과 Gemini에서 덧붙이기와 형식 지정의 이미지 열세를 대체로 해소하지만 GPT-5-nano에서는 그렇지 않다. 원래 질문에 대한 유용성 비율은 93.31\%에서 101.61\%까지 분포하지만, 답이 두 개의 증거 구간을 결합해야 할 때 Qwen은 61.99\%로 떨어진다. 판독 불가능성이 실패한 모든 공격을 설명할 수는 없다. 모델은 실행하지 않는 이미지 기반 명령을 종종 전사하고 식별하며, 신뢰할 수 있는 사용자 승인은 변경되지 않은 페이지에서 실행을 높인다. Qwen 내부에서는 초기 공격 영역 상태를 패칭하면 세 가지 작업이 모두 유도되며, 이미지에서는 그 효과가 더 약하다. 어텐션 차단은 그 이유를 시사한다. 텍스트 명령은 자신의 위치를 통해 작용하는 반면, 시각적 인코딩은 이미지 명령과 그 대상을 지시 페이지 전체에 퍼뜨린다. 따라서 렌더링은 조건부 보호를 제공하며, 이는 유용성과 함께 모델, 작업, 공격 예산별로 보안을 보고하는 평가의 필요성을 뒷받침한다.

arXiv:2611.24221v1cs.AI

조율 학습: 토큰 효율적 레드티밍을 위한 LLM 기반 워크플로 진화

Learning to Coordinate: LLM-Guided Workflow Evolution for Token-Efficient Red Teaming

자동화된 레드티밍은 대규모 언어 모델(LLM)의 안전성 실패를 식별하는 데 필수적이지만, 실용적인 확장성은 그러한 실패를 발견하는 데 필요한 자원에 좌우된다. 멀티 에이전트 시스템은 상보적인 능력을 결합할 수 있으나, 반복적인 계획 수립, 중복된 교환, 비효율적인 정보 라우팅으로 인해 조율 비용이 커질 수 있다. 더욱이 대상 모델의 응답은 테스트 결과를 나타낼 뿐, 어떤 협업 결정을 바꿔야 하는지는 알려주지 않는다. 우리는 각 레드티밍 사례마다 실행 가능한 멀티 에이전트 워크플로를 진화시키는 LLM 기반 프레임워크 Learning to Coordinate(L2C)를 제시한다. L2C는 에이전트의 책임, 실행 의존성, 입력 바인딩을 버전 관리되는 그래프로 표현하고, 각 그래프를 실제로 전달되고 생성된 정보의 기록과 연결한다. 지도 미세조정으로 학습된 컨트롤러는 이러한 기록을 대상 응답, 평가자의 판정, 남은 예산과 통합하여 워크플로를 유지하거나, 지시문을 정제하거나, 협업 구조를 재구성하거나, 추가 편집을 잠글지를 결정한다. 이 설계는 피드백을 이후 실행의 명시적 변화로 연결하면서, 유용한 조직 구조가 컨트롤러의 반복적인 개입 없이 지속될 수 있게 한다. 평가 프로토콜은 세 가지 실행 백본과 두 가지 대상 모델을 사용한 HarmBench, 구성 요소 ablation, 데이터셋 전이, 평가자 검증을 포함한다. 여섯 가지 실행자-대상 구성 전반에서 L2C는 EvoSynth 대비 ASR을 1.4~4.5%p 향상시키면서 평균 온라인 토큰을 35.6%~37.3% 줄인다. L2C는 적응적 협업을 자동화된 보안 평가의 자원 요구 사항과 연결한다.

arXiv:2611.24214v1cs.LG

표 형식 파운데이션 모델을 위한 신뢰할 수 있는 스케일링 법칙을 향하여

Towards Reliable Scaling Laws for Tabular Foundation Models

스케일링 법칙은 파운데이션 모델의 성능을 예측하고 연산 자원 할당을 안내하는 데 널리 사용된다. 그러나 표 형식 파운데이션 모델(TFM)은 구성 가능한 분포에서 생성된 사실상 무제한의 합성 데이터로 사전학습되면서도 최종적으로는 실제 데이터셋에서 평가된다는 점에서 기존 파운데이션 모델과 다르다. 본 연구는 TabPFNv2 계열 모델의 스케일링 법칙이 더 큰 연산 예산으로 신뢰성 있게 외삽되는지, 그리고 평가 설정 전반에 일반화되는지를 조사한다. 분석 결과 합성 데이터와 실제 데이터에서의 스케일링 거동에 차이가 있음을 확인했으며, 스케일링 법칙을 정확히 적합하더라도 보지 못한 데이터셋에 대한 신뢰할 만한 처방으로 이어지는 것은 아님을 보인다. 특히 너무 적은 수의 평가 데이터셋으로 구성을 선택하면 성능 추정치가 체계적으로 과도하게 낙관적이 된다. 또한 연산 최적 스케일링을 위해서는 모델 크기 및 학습 연산량과 함께 합성 사전학습 데이터셋 크기의 범위도 확장해야 함을 보인다. 사전학습 중 샘플링되는 행과 특징의 최대 개수를 늘리면 성능이 향상되고 스케일링 추세가 더 예측 가능해진다. 이러한 통찰은 오픈소스 학습 파이프라인인 nanoTabPFN을 사용하여 더 효율적인 TabPFNv2 계열 모델을 학습하는 데 도움이 된다.

arXiv:2611.24208v1cs.NI

드물거나 보지 못한 맥락에서의 무선 접속망 에너지에 대한 조건부 What-If 생성

Conditional What-If Generation for Radio Access Network Energy under Rare and Unseen Contexts

RAN의 에너지 절감 메커니즘은 변화하는 트래픽 조건에서 에너지 감소와 네트워크 성능 간의 균형을 맞춰야 한다. 조건부 생성 모델은 무선 구성과 운영 시나리오에 대해 그럴듯한 전력 소비 궤적을 생성함으로써 what-if 분석을 지원하며, 운영자가 배포 전에 에너지 절감 정책을 평가하도록 돕는다. 그러나 대표성 있는 측정은 비용이 많이 들고 운영상 제약이 있어, 과거 데이터는 제한된 구성과 조건만 포괄하며 일부 맥락은 학습 중 충분히 대표되지 않거나 보지 못한 상태로 남는다. 본 논문에서는 충분히 대표되는 구성부터 드물거나 보지 못한 구성에 이르기까지, 학습 커버리지가 감소하는 상황에서 RAN 전력 소비 궤적의 조건부 생성을 연구한다. 먼저 시간적으로 정렬된 조건화와 구성 의존적 타깃 정규화를 결합한 맥락 정규화 조건부 생성기를 도입한다. 이는 충분히 대표되는 구성에 대한 생성을 개선하지만, 타깃 소비량을 추정하기 어려워져 학습 노출이 줄어들수록 신뢰도가 떨어진다. 따라서 전력 소비를 전역 예측, 잔차 수준 및 스케일 보정, 시간적 잔차 생성으로 분해하는 예측 기반 생성 프레임워크를 도입한다. 상용 5G RAN과 공개 데이터셋에 대한 실험 결과, 하드웨어 메타데이터가 잔차 스케일에 관한 전이 가능한 정보를 제공하며, 추론 시 제한된 타깃 관측값이 재학습 없이 잔차 수준 보정을 통해 생성을 개선함을 보인다. 어블레이션 연구는 잔차 수준 보정이 이득의 대부분을 차지함을 확인한다. 두 접근법 모두 충분히 대표되는 구성에서 최신 방법을 능가하며, 예측 기반 접근법은 드물거나 보지 못한 맥락에도 일반화되고 하나의 타깃 관측값이 주어지면 TimeWeaver 대비 중앙값 MAE를 약 50% 줄인다.

arXiv:2611.24206v1cs.AI

GALA: EEG로부터의 실생활 시각 디코딩을 위한 갤러리 수준 정렬

GALA: Gallery-Level Alignment for Real-Life Vision Decoding from EEG

뇌전도(EEG)로부터 시각 경험을 신경 디코딩하는 연구는 개인 내 설정에서 강력한 성능을 달성했지만, 현재의 방법은 개인 간에 일반화되지 못한다. 표준 200-way 벤치마크인 THINGS-EEG-2에서 top-1 정확도는 피험자 내에서 80% 이상이지만 보지 못한 피험자에서는 약 32%로 떨어진다. 사전학습된 인코더를 새로운 피험자와 세션에 적응시키려면 보통 레이블된 데이터가 필요하며, 그 수집 시간은 실용적인 기기 배포를 심각하게 제한하는 병목이다. 그러나 실제 뇌-컴퓨터 인터페이스(BCI)에서는 가능한 결과가 미리 알려져 있어 후보 갤러리를 이루며, 사용자의 레이블 없는 EEG는 기기를 사용하는 즉시 축적된다. 본 논문은 지금까지 수신된 모든 레이블 없는 EEG와 알려진 갤러리를 이용해 레이블 없이 디코더를 주기적으로 보정하는 새로운 설정인 점진적 트랜스덕티브 보정을 제안한다. 이 설정은 현재 사용되는 제로샷 및 배치 평가보다 배포된 BCI의 조건에 더 가깝다. 쿼리가 알려지지 않았고 동일하지 않을 수 있는 빈도로 하나씩 도착하며, 각 쿼리가 보정에 사용되기 전에 디코딩되는 프로토콜로 이를 평가한다. 이 설정에서 우리는 수축 화이트닝, 허브니스 보정, 그리고 버퍼에서 추정한 쿼리 빈도를 사용하는 Sinkhorn–Procrustes 정렬을 통해 레이블 없는 EEG 임베딩을 갤러리에 정합하고 매 쿼리 후 갱신하는 레이블 불필요 보정 방법 GALA(GAllery-Level Alignment)를 제안한다. THINGS-EEG-2에서 200개 이미지 갤러리를 사용할 때, 새로운 피험자에 대한 top-1 정확도를 53분의 사용 동안 28%에서 67%로 높인다. 갤러리 크기, 쿼리 빈도, 쿼리당 평균 반복 횟수를 달리한 60가지 평가 설정 전반에서 GALA는 모든 설정에서 가장 정확한 레이블 불필요 방법이며, 스트림 종료 시점에 최고 경쟁 방법보다 평균 6.6%p 높다.

arXiv:2611.24200v1cs.CV

SpiderMark: 알고리즘적 주입과 학습 기반 검증을 통한 생성형 AI용 하이브리드 워터마킹

SpiderMark: Hybrid Watermarking for Generative AI via Algorithmic Injection and Learning-Based Verification

확산 기반 생성 모델이 확산되면서 AI가 생성한 이미지의 출처를 추적하고 검증하는 신뢰할 수 있는 방법의 필요성이 커졌다. 확산 모델을 위한 기존 워터마킹 접근법은 대개 등방성 주파수 패턴과 수작업으로 설계한 검출 지표에 의존하며, 이는 방향성 취약성과 다양한 이미지 변환에 걸친 임계값 불안정성에 취약하다. 우리는 사전 학습된 확산 모델의 가중치를 수정할 필요 없이 알고리즘적 주파수 영역 주입과 학습 기반 확률적 검증을 결합한 하이브리드 워터마킹 프레임워크 SpiderMark를 제안한다. SpiderMark는 방사형 살과 동심 다각형 고리로 구성된 구조화된 거미줄 패턴을 초기 잠재 잡음의 푸리에 표현에 삽입하고, 보조 유사도 단서(PSNR 및 L1)로 보강한 경량 ResNet-18 검증기를 학습시켜 워터마크 검출을 위한 연속적인 워터마크 신뢰도 점수를 산출한다. 아홉 가지 평가 조건 중 SpiderMark는 여덟 가지에서 가장 높은 고정 임계값 정확도를 달성하며, 검증기 재학습 없이도 보지 못한 COCO 프롬프트에서 강력한 검출 성능을 유지한다. CLIP 유사도와 FID 측정은 이러한 검출 성능 향상에 프롬프트 정렬과 분포적 이미지 품질에서 측정된 차이가 작게 동반됨을 보여 준다. SpiderMark는 구조화된 워터마크 기하와 학습된 확률적 검증을 하나의 실용적인 프레임워크로 통합할 수 있음을 입증하며, 생성형 AI 콘텐츠 귀속을 위한 비가시성, 강건성, 실세계 검증 가능성 사이의 간극을 메운다.