PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2601.06362v3cs.AI

암시적 개인화와 명시적 스타일은 충돌하는가? PsPLUG: 맞춤형 LLM에서 개인화와 스타일 균형을 위한 경량 플러그인

Do Implicit Personalization and Explicit Styles Conflict? PsPLUG: A Lightweight Plug-in for Balancing Personalization and Style in Customized LLMs

개인화된 대규모 언어 모델(LLM)은 종종 명시적 스타일 지시를 따를 것으로 기대되지만, 우리는 그러한 지시가 개인화 방법이 보존하려는 사용자 고유 특성을 약화시킬 수 있음을 발견한다. 우리는 이러한 실패 양식을 개인화 붕괴(personalization collapse)라 부른다: 명시적 스타일 제어는 암시적 사용자 선호와 충돌할 수 있다. 이 문제에 대응하기 위해 우리는 요청된 스타일을 반영한 뒤 사용자별 잔차(residual)를 학습하는 경량 플러그인 PsPLUG를 제안한다. PsPLUG는 또한 추론 시 개인화 강도를 조절할 수 있게 한다. 실험 결과, 명시적 스타일 지시는 기존 방법에서 개인화를 약화시킬 수 있는 반면, PsPLUG는 사용자 선호를 더 잘 보존하면서 개인화와 스타일 준수 사이의 균형에 대한 정밀한 제어를 제공한다.

arXiv:2601.06352v3cs.AI

CARD: 개인화 텍스트 생성을 위한 보상 유도 디코딩 기반 클러스터 수준 적응

CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

대규모 언어 모델(LLM)을 개별 사용자에 맞게 적응시키는 것은 세밀한 개인화와 확장 가능한 배포 사이의 긴장 때문에 여전히 어렵다. 우리는 점진적 정교화를 통해 효과적인 개인화를 달성하는 계층적 프레임워크인 CARD를 제안한다. CARD는 먼저 공유된 스타일 패턴에 따라 사용자를 클러스터링하고 그룹별 LoRA 어댑터를 학습하여, 견고한 일반화와 저자원 환경에서의 강한 성능을 가능하게 한다. 각 클러스터 내 개인 차이를 포착하기 위해, 사용자가 작성한 텍스트와 클러스터 수준 생성물을 대조하는 암시적 선호 학습 메커니즘을 제안하여, 모델이 수동 주석 없이 사용자별 스타일 선호를 추론할 수 있게 한다. 추론 시 CARD는 기본 모델을 고정한 채, 경량 사용자 선호 벡터와 저랭크 로짓 보정을 통해 디코딩 단계에서만 개인화를 주입한다. LaMP 및 LongLaMP 벤치마크 실험에서 CARD는 기준선 대비 우수한 생성 품질을 달성하면서, 실용적 개인화 텍스트 생성을 위한 효율성과 확장성을 크게 개선함을 보여준다.

arXiv:2512.21066v4cs.AI

더 나은 설명을 탐색하기 위한 에이전틱 설명 가능한 인공지능(Agentic XAI) 접근법: 일본 벼 재배 의사결정 지원 사례 연구

Agentic Explainable Artificial Intelligence (Agentic XAI) Approach To Explore Better Explanation: A Case Study in Decision Support for Rice Cultivation in Japan

설명 가능한 인공지능(XAI)은 설명변수와 반응변수의 관계를 밝혀내지만, 비전문가에게 XAI 결과물을 전달하는 것은 여전히 어려워 AI 기반 예측에 대한 신뢰를 제한합니다. 대규모 언어 모델(LLM)은 기술적 설명을 이해하기 쉬운 서사로 변환할 수 있으나, 자율적인 LLM 에이전트(agent)에 의한 XAI 설명의 반복적 정제는 아직 탐색되지 않았습니다. 본 연구는 SHAP(SHapley Additive exPlanations)과 멀티모달 LLM에 의한 반복적 정제를 결합한 에이전틱 XAI 프레임워크를 제안하고, 이를 일본의 28개 논에서 수집된 벼 수확량 데이터에 농업 추천 시스템으로 시험합니다. 에이전트는 SHAP 결과로부터 11차례의 정제 라운드(라운드 0-10)에 걸쳐 추가적인 분석을 탐색했습니다. 작물학자(n = 12)와 LLM 평가자(n = 14)는 구체성(Specificity), 명확성(Clarity), 간결성(Conciseness), 실용성(Practicality), 맥락적 적합성(Contextual Relevance), 비용 고려(Cost Consideration), 작물학적 신뢰성(Crop Science Credibility)의 7개 기준에 따라 모든 라운드를 채점했습니다. 두 그룹 모두 정제를 통해 라운드 0 대비 평균 점수가 30-33% 향상되어 라운드 3-4에서 정점에 달한 후 품질이 저하되었으며, 작물학자의 경우 시작점 아래로 떨어졌음을 확인했습니다. 따라서 정제에는 전략적인 조기 종료(early stopping)가 필요하며, 이는 단조로운 개선이라는 가정을 반박합니다. 기준 수준의 궤적은 바이어스-분산 트레이드오프(bias-variance trade-off)를 나타냅니다. 초기 라운드는 구체성이 부족했던(바이어스) 반면, 과도한 반복(iteration)은 간결성을 훼손하고 근거 없는 경제적 추론을 통해 비용 고려를 증가시켰습니다(분산). LLM 평가자는 모든 기준에서 1.4-2.3점씩 과대평가했으나 전문가들의 라운드 순위는 대체로 유지하였으므로(Spearman $\rho$ = 0.58-0.90), 선별된 LLM 평가자는 신뢰할 수 없는 절대 점수에도 불구하고 품질 정점을 지목할 수 있습니다. 신뢰할 수 있는 에이전틱 XAI는 또한 LLM 평가자에 대한 전문가 기반의 선별과 투명하고 검증 가능한 정제 기록을 필요로 합니다.

arXiv:2512.09443v3cs.HC

수학적 발견을 위한 인간-AI 협업 워크플로: Grover 호환 리만 최적화 사례 연구

A Human-AI Collaborative Workflow for Mathematical Discovery: A Case Study in Grover-Compatible Riemannian Optimization

대규모 언어 모델(LLM)을 수학적 엄밀성을 유지하면서 과학 계산의 연구 도구로 어떻게 활용할 수 있는지 조사한다. LLM을 활용한 대화형 정리 증명 및 발견을 위한 human-in-the-loop 워크플로를 제안한다. 인간 전문가는 문제 형식화와 가정에 대한 통제권을 유지하고, 모델은 증명이나 모순을 탐색하며, 후보 성질과 정리를 제안하고, 수치 실험과 간단한 검증 검사로 뒷받침되는 명시적 제약을 만족하는 구조와 매개변수를 구성하는 데 도움을 준다. 전문가는 이러한 출력을 원재료로 취급하여 더 정교하게 다듬고, 결과를 정밀한 명제와 엄밀한 증명으로 정리한다. 이 워크플로를 다양체 최적화와 Grover의 양자 탐색 알고리즘 사이의 연결에 대한 주요 사례 연구에 구체화한다. 이 파이프라인은 불변 부분공간을 식별하고 Grover 호환 retraction을 탐색한다. 주요 사례 연구는 동반 수학 연구에서 확립된 $O(\sqrt{N} \log(1/\varepsilon))$ PL 기반 상계를 포함하는 해당 Grover 호환 수렴 분석을 사용하여 워크플로의 정교화 단계를 보여준다. 워크플로 구현을 위한 프롬프트 기록과 재사용 가능한 템플릿을 제공한다. 또한 다중 오라클(multi-oracle) 사례 연구를 포함하고, 이 설정에서 발생한 대표적인 실패 및 수정 경로를 문서화하며, 구조화된 실패 모드 분석을 제공한다.

arXiv:2511.17909v2cs.AI

ChemVTS-Bench: 화학 분야 다중모달 대규모 언어 모델의 시각-텍스트-기호 추론 평가

ChemVTS-Bench: Evaluating Visual-Textual-Symbolic Reasoning of Multimodal Large Language Models in Chemistry

화학 추론은 본질적으로 시각, 텍스트, 기호 양식(modality)을 통합하지만, 기존 벤치마크는 이러한 복잡성을 거의 포착하지 못하고, 종종 화학적 의미가 제한된 단순 이미지-텍스트 쌍에 의존한다. 그 결과, 다중모달 대규모 언어 모델(MLLM)이 여러 양식에 걸쳐 화학적으로 의미 있는 정보를 처리하고 통합하는 실제 능력은 여전히 불분명하다. 우리는 MLLM의 시각-텍스트-기호(VTS) 추론 능력을 체계적으로 평가하기 위해 설계된 도메인에 충실한 벤치마크인 ChemVTS-Bench를 제안한다. ChemVTS-Bench는 유기 분자, 무기 재료, 3D 결정 구조에 걸친 다양하고 어려운 화학 문제를 포함하며, 각 과제는 세 가지 상보적인 입력 모드로 제시된다: (1) 시각 전용, (2) 시각-텍스트 혼합, (3) SMILES 기반 기호 입력. 이 설계는 양식 의존적 추론 행동과 교차 양식 통합에 대한 세밀한 분석을 가능하게 한다. 엄밀하고 재현 가능한 평가를 위해, 추론을 표준화하고 답을 검증하며 실패 유형을 진단하는 자동화된 에이전트 기반 워크플로를 추가로 개발했다. 최신 MLLM에 대한 광범위한 실험 결과, 시각 전용 입력은 여전히 어렵고, 구조 화학이 가장 어려운 도메인이며, 다중모달 융합은 시각적·지식 기반·논리적 오류를 완화하지만 제거하지는 못함을 보여주며, ChemVTS-Bench를 다중모달 화학 추론 발전을 위한 엄밀하고 도메인에 충실한 시험대로 부각한다. 모든 데이터와 코드는 향후 연구를 지원하기 위해 공개될 예정이다.

arXiv:2510.26915v2cs.RO

그라운딩된 생성형 지능을 활용한 구조화되지 않은 환경에서의 이질적 로봇 협업

Heterogeneous Robot Collaboration in Unstructured Environments with Grounded Generative Intelligence

이질적 로봇 팀은 일반적으로 의미론이 명확히 정의된 잘 명시된 임무를 위해 설계되어 왔지만, 생성형 지능, 즉 대규모 언어 모델(LLM)과 비전-언어 모델(VLM)은 고수준 자연어 명세와 환경 맥락이 주어졌을 때 임무 관련 의미론과 하위 과업을 추론하는 팀의 가능성을 열어 준다. 그러나 현재 LLM 및 VLM 기반 팀 협업 방법은 대개 잘 구조화되고 알려진 환경을 가정하여 복잡한 실세계 환경에서의 성능을 제한한다. 본 연구는 SPINE-HT를 통해 이러한 한계를 해결한다. 이 프레임워크는 3단계 과정을 통해 LLM의 추론 능력을 이질적 로봇 팀의 변화하는 맥락에 그라운딩한다. 임무 명세와 팀 역량이 자연어로 주어지면 LLM이 필요한 하위 과업을 추론한다. 이 하위 과업은 실행 가능성에 대해 검증된 뒤 통행성이나 지각과 같은 역량에 따라 로봇에 할당된다. 마지막으로 프레임워크는 로봇이 획득한 피드백(의미 지도와 과업 결과)을 사용해 하위 과업을 온라인으로 갱신한다. 폐루프 지각 및 제어를 갖춘 시뮬레이션 실험에서 당사 프레임워크는 기존 LLM 기반 이질적 팀 협업 접근법 대비 거의 두 배의 성공률을 달성한다. Clearpath Jackal, Clearpath Husky, Boston Dynamics Spot, 고고도 UAV를 사용한 실세계 실험에서, 로봇 역량에 대한 추론과 온라인 피드백을 통한 하위 과업 정제가 필요한 임무에서 당사 방법은 87.5%의 성공률을 달성한다. 자세한 내용은 https://zacravichandran.github.io/SPINE-HT 에서 확인할 수 있다.

arXiv:2509.26200v2cs.NI

효율적인 LLM 기반 에이전트형 6G 크로스 도메인 관리를 위한 비편향 집합적 메모리를 향하여

Toward an Unbiased Collective Memory for Efficient LLM-Based Agentic 6G Cross-Domain Management

에이전트형 인공지능(Agentic AI)은 6세대(6G) 네트워크에서 레벨 4 자율성을 실현할 수 있는 유력한 기술이지만, 공유 메모리를 기반으로 추론하는 에이전트는 메모리의 왜곡을 그대로 물려받게 됩니다. 본 연구에서는 에너지를 최소화하는 무선 접속망(RAN) 에이전트와 지연 시간을 최소화하는 엣지 에이전트가 협상하고, 디지털 트윈(DT)을 통해 제안을 검증하며, 집합적 메모리를 공유하는 크로스 도메인 RAN-엣지 오케스트레이션을 연구합니다. 이러한 메모리는 샘플링 장치와 같아서, 에이전트가 무엇을 저장하는가가 아니라 무엇을 검색하는가가 이들의 행동을 결정합니다. 본 논문에서는 유도된 검색 분포와 대표 참조 분포 간의 다이버전스로서 시간적, 확증, 가용성 축을 따라 분해되는 검색 바이어스 지수(Retrieval Bias Index)를 정의하고, 가법적 검색 스코어링이 바이어스가 제거되지 않은 분포의 지수 틸트(exponential tilt)임을 보여 실패 증폭 가중치(failure-amplification weight)에 대한 닫힌 형태의 해(closed form)와 저장소 자체의 구성에 의해 결정되는 포화 하한을 도출합니다. 추가적인 결과로 초과 서비스 수준 협약(SLA) 위반이 검색 바이어스와 DT 불일치에 가법적으로 바운딩됨을 보입니다. 확률적 네트워크 미적분학(stochastic network calculus)이 실행 가능 영역, 오라클, 내시 협상(Nash bargaining) 기준점을 제공하는 탠덤 큐에서, 제안하는 연산자는 최신성 기반 저장소 대비 12.7배의 바이어스 감소를 달성하고 6개의 메모리 아키텍처 중 협상 해와 가장 가까운 거리를 달성합니다.

arXiv:2509.20702v3stat.AP

인간 게놈 전역 변이에 LLM 임베딩 통합

Incorporating LLM Embeddings for Variation Across the Human Genome

최근 대규모 언어 모델(LLM) 임베딩의 발전으로 생물학적 데이터에 대한 강력한 표현이 가능해졌지만, 지금까지 대부분의 응용은 유전자 수준 정보에 초점을 맞추고 있다. 우리는 인간 게놈 전역에 걸쳐 유전 변이 수준 임베딩을 생성하는 최초의 체계적 프레임워크 중 하나를 제시한다. FAVOR, ClinVar, GWAS Catalog의 큐레이션된 주석을 사용해 89억 개의 가능한 변이에 대한 기능적 텍스트 설명을 구성하고, 세 가지 규모에서 임베딩을 생성했다: HapMap3/MEGA 변이 150만 개, 보간된 UK Biobank(UKB) 변이 9천만 개, 가능한 모든 변이 90억 개. 임베딩은 OpenAI의 text-embedding-3-large와 오픈소스 Qwen3-Embedding-0.6B 모델을 포함한 범용 모델로 생성했다. 기준선 품질 관리 실험은 변이 수준 특성에 대한 높은 예측 정확도를 보여 주며, 임베딩이 게놈 변이의 구조화된 표현임을 검증한다. 또한 실제 임베딩 증강 유전적 위험 예측에 이를 적용하여, UK Biobank 코호트 데이터에서 다유전자 위험 점수(PRS)형 예측에 LLM 임베딩을 사용할 때의 성능을 보여 준다. Hugging Face에서 공개 제공되는 이 자원은 대규모 게놈 발견과 정밀 의학 발전의 토대를 제공한다.

arXiv:2509.20634v3econ.EM

LLM 텍스트 측정을 활용한 재범 예측, 동료 효과 추정 및 예측 기반 추론

Recidivism Prediction, Peer Effect Estimation, and Prediction-Powered Inference with LLM Text Measures

본 연구는 LLM을 사용해 서면 텍스트에서 도출된 다변량 행동 측정치가 결과 변수이고 네트워크 형성이 내생적인 경우 동료 효과를 추정하는 새로운 프레임워크를 제시한다. 저보안 교정시설 거주자들 간 20만 건 이상의 서면 교환에 대해 LLM 임베딩과 제로샷(zero-shot) 분류를 구축한다. LASSO와 LoRA 미세조정을 사용할 때 LLM 임베딩은 입소 전 공변량만 사용하는 경우 대비 표본 외 재범 예측을 최대 30%까지 개선하며, 텍스트 표현이 의미 있는 신호를 포착함을 보여준다. 동료 효과 추정을 위해 다변량 결과, 희소 네트워크, 다차원 잠재 동질성(homophily)을 수용하는 새로운 도구변수 추정량을 개발한다. 이 추정량은 동료 효과 문헌에서 널리 쓰이는 밀집 네트워크 가정을 완화하는 희소성 조건 하에서 $\sqrt{N}$-일치성 및 점근적 정규성을 갖음을 보인다. 이어 제한된 인간 주석을 LLM 제로샷 벡터와 결합한 새로운 예측 기반 동료 추론(PPPI, prediction-powered peer inference) 접근법으로 편향이 제거된 추정치와 유효한 추론을 얻는다. 결과는 행동 프로파일에서 유의한 동료 효과를 드러낸다.

arXiv:2505.13994v3cs.AI

질문으로 나누고 에이전트로 정복하다: 질문 주도형 그래프 분할을 적용한 SPLIT-RAG

Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning

검색-증강 생성(RAG) 시스템은 대규모 언어 모델(LLM)에 외부 지식을 제공하지만, 대규모 지식 그래프로 확장할 때 효율성과 정확도 간의 상충 관계(trade-off)로 인해 어려움을 겪습니다. 기존 접근법은 종종 단일 그래프 검색에 의존하여 단순한 질의에는 불필요한 지연 시간을 초래하고 복잡한 다단계(multi-hop) 질문에 대해서는 분절된 추론을 야기합니다. 이러한 문제를 해결하기 위해, 본 논문은 질문 주도형 의미론적 그래프 분할 및 협력적 하위 그래프 검색을 통해 이러한 한계를 극복하는 다중 에이전트 RAG 프레임워크인 SPLIT-RAG를 제안합니다. 이 혁신적인 프레임워크는 먼저 연결된 정보의 의미론적 분할(Semantic Partitioning of Linked Information)을 생성한 다음, 유형별로 특화된 지식 베이스를 사용하여 다중 에이전트 RAG를 달성합니다. 속성 인지형 그래프 분할을 통해 지식 그래프를 의미론적으로 일관된 하위 그래프로 분할하여 하위 그래프가 다양한 질의 유형과 일치하도록 보장하는 한편, 분할된 하위 그래프에 경량 LLM 에이전트를 할당하고 검색 중에는 관련 파티션만 활성화함으로써 탐색 공간을 줄이고 효율성을 높입니다. 마지막으로, 계층적 병합 모듈이 논리적 검증을 통해 하위 그래프에서 도출된 답변 간의 불일치를 해결합니다. 광범위한 실험적 검증 결과는 기존 접근법과 비교하여 상당한 성능 향상을 입증합니다.

arXiv:2410.23912v3cs.AI

RL-STaR: Self-Taught Reasoner를 위한 강화학습 프레임워크의 이론적 분석

RL-STaR: Theoretical Analysis of Reinforcement Learning Frameworks for Self-Taught Reasoner

대규모 언어 모델(LLM)의 추론 능력은 사고의 연쇄(Chain-of-Thought, CoT) 프롬프팅으로 향상되어, 모델이 복잡한 과제를 단계적으로 해결할 수 있게 되었다. 그러나 CoT 능력을 학습하려면 상세한 추론 데이터가 필요하며, 이는 종종 부족하다. self-taught reasoner(STaR) 프레임워크는 강화학습을 사용해 추론 단계를 자동 생성함으로써 이 문제를 해결하고, 사람이 라벨링한 데이터에 대한 의존을 줄인다. STaR와 그 변형들이 실증적으로 성공을 보였음에도, 이러한 개선을 설명하는 이론적 기반은 부족하다. 본 연구는 CoT 추론과 STaR에 대한 강화학습의 효과를 이해하기 위한 이론적 프레임워크를 제공한다. 기여는 다음과 같다: (1) 효과적인 추론 개선을 시작하기 위해 필요한 사전학습 모델의 품질에 대한 기준; (2) 정책 개선(policy improvement) 분석으로, LLM 추론이 STaR로 반복적으로 향상되는 이유를 보임; (3) 최적 추론 정책으로의 수렴 조건; (4) STaR의 견고성(robustness) 검토로, 가끔 잘못된 단계를 포함하더라도 추론을 개선할 수 있는 방식을 설명한다. 또한 GPT-2, Qwen2.5-0.5B, Phi-3-mini에서 RL-STaR를 실행한 결과, 측정된 return 곡선이 분석이 예측한 것과 일치한다. 이 프레임워크는 실증적 발견과 이론적 통찰을 연결하여 LLM 추론을 위한 강화학습 접근을 발전시킨다.

arXiv:2312.06632v2cs.AI공식 코드 · Papers with Code

에이전트를 활용한 화학 과학 분야 AI 위험 통제

Controlling risks of AI in chemical science with agents

인공지능은 과학적 발견을 빠르게 진전시키고 있지만, 이러한 발전은 유해 물질 생성이나 기존 규제 우회와 같은 남용 위험을 수반한다. 본 논문에서는 화학 과학 분야에서 AI 남용의 실제 사례를 강조하여 위험을 먼저 입증하고, 이는 해당 AI 모델에 대한 효과적인 안전성 정렬(alignment)의 필요성을 부각한다. 이에 대응하여, 과학 AI 상호작용에서 위험을 평가하고 통제하기 위해 대규모 언어 모델, 도구 및 외부 지식을 활용하는 에이전트 기반 가드레일인 SciGuard를 제안한다. 공정한 비교를 위해, 서로 다른 AI 시스템의 안전성과 유용성을 모두 평가하는 벤치마크 SciMT(Scientific Multi-Task)를 도입한다. SciGuard는 레드팀 테스팅(red-teaming) 쿼리에서 최첨단 무해성 점수를 달성하면서, 과학 지식을 희생하지 않고 무해한 작업에서 높은 성능을 유지한다. 마지막으로, 과학 분야에서 AI의 안전한 배포를 보장하기 위한 지속적인 연구와 대화를 촉구한다.

arXiv:2609.24485v1cs.CV

VPRune: 효율적인 학습 없는 LLM 이전 비주얼 토큰 가지치기

VPRune: Efficient Training-free Pre-LLM Visual Token Pruning

비주얼 토큰 가지치기(pruning)는 대규모 비전-언어 모델(LVLM)의 추론(inference) 비용을 줄이는 유망한 접근법이지만, 공격적인 토큰(token) 감축은 종종 심각한 성능 저하를 초래합니다. 본 연구에서는 이러한 성능 저하의 배후에 있는 세 가지 핵심 요인으로 텍스트 기반 선택 바이어스(bias), 폐기된 토큰으로 인한 정보 손실(loss), 그리고 시퀀스 압축으로 인한 위치 왜곡을 규명합니다. 이러한 관찰을 바탕으로, 시각 정보 전용 다양성 선택, 유사도 기반 토큰 재활용, 위치 보존 복원으로 구성된 학습(training) 없는 LLM 이전 가지치기 프레임워크인 VPRune을 제안합니다. 여러 비전-언어 벤치마크에 걸친 FastVLM-1.5B 실험은 VPRune이 특히 공격적인 압축 환경에서 두드러진 이점을 보이며 우수한 정확도-압축 트레이드오프를 달성함을 입증합니다. 나아가 엣지 디바이스 평가를 통해 VPRune이 우수한 태스크 성능을 유지하면서 종단간(end-to-end) 추론 지연 시간을 효과적으로 줄여, 자원 제약이 있는 환경에서의 LVLM 배포에 대한 실용성을 입증합니다.

arXiv:2609.24470v1cs.CV

Spatial Action Review: 전자현미경에서의 언어-행동 전환(Language-to-Action Hand-off) 감사를 위한 시각적 분석 대시보드

Spatial Action Review: A Visual Analytics Dashboard for Auditing Language-to-Action Hand-offs in Electron Microscopy

멀티모달 대규모 언어 모델(MLLM)은 과학적 이미지 분석을 위한 인터페이스로 점점 더 많이 탐구되고 있으며, 여기서 시각 질의응답(VQA) 응답은 후속 단계를 안내하는 공간적 출력과 함께 제공될 수 있다. 감독자(supervisor)는 언어 답변을 읽는 반면, 분할(segmentation)이나 영역 검토와 같은 후속 워크플로우는 점 집합(point-set) 출력을 소비한다. 우리는 답변을 검토하는 것에서 그 점 행동(point action)에 의존하는 것으로의 이러한 전환을 언어-행동 전환(language-to-action hand-off)이라 부른다. 답변은 정확하지만 짝을 이루는 행동이 후속 단계에 필요한 주석 처리된 객체를 놓칠 때 침묵 실패(silent failure)가 발생하며, 이 경우 답변 기반 감독은 행동이 신뢰할 수 없는 영역을 통과시켜 버린다. 우리는 전자현미경(EM) 미토콘드리아 분석에서 이러한 실패 양상을 감사하기 위한 시각적 분석 대시보드인 Spatial Action Review를 소개한다. 이는 답변-행동 원장(answer-action ledger), 작업별-데이터셋별 위험 지도, 이미지-영역 감사 뷰를 통해 짝을 이루는 답변-행동 기록을 연결하여 집계 패턴을 이미지 증거와 연결하며, 조정 가능한 행동 신뢰성 게이트(action-reliability gate)가 재감사를 지원한다. 검토는 인간-AI 전환(human-AI hand-off)으로 마무리되며, 여기서 감독자는 행동이 수용되었는지, 상위로 보고(escalated)되었는지, 더 엄격한 게이트 하에 보류되었는지, 또는 모델 수정을 위해 표시되었는지를 기록한다. EM에 적응된 Qwen3-VL 사례 연구 실행에서 얻은 541개의 이미지 영역 전반에서, 점 행동은 VQA 응답이 정확한 기록의 54.4%에서 게이트를 통과하지 못했으며, 전체 기록의 27.4%가 침묵 실패였다. 정확한 답변은 신뢰할 수 있는 행동일 확률을 겨우 5.8퍼센트포인트 높이는 데 그쳤으며, 부트스트랩 구간(bootstrap interval)은 0을 포함했다. 답변 정확성과 객체 커버리지 간의 점-이연 상관계수(point-biserial correlation)는 0.061이었다. 이러한 약한 결합(weak coupling)은 753개의 일치된 이미지 영역에 대한 다섯 가지 모델 조건 전반에서 지속되었다. Spatial Action Review는 답변-행동 불일치를 가시화하고, MLLM 출력이 자율적인 과학 워크플로우에 투입되기 전에 이를 이미지 증거 및 기록된 결정과 연결한다.

arXiv:2609.24452v1cs.CV

LiDAR 언어 모델은 정말로 시공간적 관계를 이해하는가?

Do LiDAR Language Models Really Understand Spatio-temporal Relationships?

최근의 4D LiDAR 언어 모델들은 객체와 그 객체들 사이의 변화하는 공간적 관계를 추론하는 것을 목표로 한다. 그러나 본 연구의 평가에서, 항상 동일한 선택지를 고르는 것만으로도 두 가지 B4DL 기반 구성의 객관식 정확도에 거의 근접하는 것으로 나타났다. 우리는 150개의 nuScenes 장면에 걸친 10,000개의 질문으로 구성된, 기하학 정보를 참조하는 벤치마크이자 진단 프로토콜인 LiDAR-Hallu를 제안한다. 이 벤치마크는 객체 존재 여부, 자기 중심적(ego-relative) 위치, 거리 순서, 상대적 움직임, 시간적 위치 추정을 다루며, 객체 선택, 시간 비교, 참조 정답 결정에 대한 명시적인 규칙을 포함한다. 우리의 프로토콜은 고정 정답 및 후보 내용 통제, 동일한 프롬프트이지만 정반대의 참조 정답을 갖는 장면 간(cross-scene) 쌍, 그리고 관계별 재현율을 결합한다. 100,000개의 기록된 응답에 대한 분석은 종합 정확도에 가려져 있던 실패들을 드러낸다. 후보 지속 시간만으로도 LiDAR를 관찰하지 않고서 시간 관련 답을 예측할 수 있다. 쌍을 이룬 질문들에서, 모델들은 정반대의 답을 요구하는 장면들에 대해 동일한 답을 내놓는 경우가 빈번했다. 관계별 분석은 나아가 두 구성 모두 테스트된 모든 조건에서 긍정적인 측면 이동(lateral-motion) 사례를 전부 놓친다는 것을 보여준다. 시간 셔플(temporal-shuffle) 대조 디코딩은 실질적인 개선을 거의 제공하지 못하는데, 이는 수정된 부분이 새로운 오류에 의해 대부분 상쇄되고 주요 실패들이 그대로 유지되기 때문이다. 이러한 결과는 시공간적 추론을 평가하려면 개별 답변 정확도에만 의존하기보다는 모델이 질의된 물리적 관계를 실제로 구별하는지를 테스트해야 함을 보여준다. 소스 코드, 체크포인트, 데이터는 https://github.com/Awesome4D/4DMLLM_Hallucination_Bench 에서 공개된다.

arXiv:2609.24409v1cs.CV

DeCo: 다중 과제 비주얼 그라운딩을 위한 효율적인 Decouple-to-Couple 학습

DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding

다중 과제 비주얼 그라운딩은 모델이 언어적 의미를 공동으로 이해하고 정확한 시각적 위치 지정(localization)과 분할(segmentation)을 수행해야 한다. 멀티모달 대규모 언어 모델의 성공에도 불구하고, 이를 여러 그라운딩 목표에 효과적으로 적응시키는 것은 여전히 어렵다. 기존 방법들은 공유 표현을 통해 과제 간 협력을 강제하는 경우가 많지만, 과제 지향적 특징 관심 사이의 내재적 충돌은 간과한다. 본 논문에서는 $\textbf{DeCo}$를 소개한다. 이는 효율적인 $\textbf{De}$couple-to-$\textbf{Co}$uple 학습 프레임워크로, 두 단계 패러다임을 통해 이 딜레마를 해결한다: 과제별 표현 분리(decoupling)에 이어 상보적 사전(prior) 결합(coupling)이다. 구체적으로, 먼저 Task-aware Semantic Decoupling(TSD)을 제안하여 두드러진 단어 수준(word-level) 안내 하에 공유 시각 단서를 개별 특징으로 라우팅함으로써 위치 지정과 분할 간 표현 간섭을 완화한다. 더 나아가, 분할은 밀집(dense) 감독으로 인해 정보가 풍부한 위치 지정 사전을 자연스럽게 제공한다는 점을 관찰한다. 이 통찰에 기반하여, Hybrid Prior Coupling(HPC)을 도입한다. 이는 문장 수준 의미 사전과 마스크에서 유도된 공간 사전을 통합하여 그라운딩을 강화한다. 동결(frozen)된 멀티모달 인코더 위에 구축된 DeCo는 경량의 학습 가능 파라미터만 필요하면서도 여러 그라운딩 목표에 걸쳐 강한 일반화를 달성한다. RefCOCO/+, G-Ref, ReferIt, Flickr, DIOR-RSVG, SARVG1.0, RRSIS-D, RIS-LAD, RefDIOR에 대한 광범위한 실험은 DeCo가 자연 영상 및 원격 탐사(remote sensing) 벤치마크 모두에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/xiaoqiang-lu/DeCo 에서 이용할 수 있다.

arXiv:2609.24359v1cs.CV

에이전틱 포렌식 분석: 오픈월드 가짜 이미지 탐지에서 분류 선별, 프롬프팅, 증거 중재의 역할

Dissecting Agentic Forensics: The Role of Triage, Prompting, and Evidence Arbitration in Open-World Fake Image Detection

이미지 포렌식은 점점 더 오픈월드(open-world) 문제가 되고 있습니다. 조작의 유형은 완전한 합성 이미지부터 국소적 편집, 이어붙이기(splicing), 바꾸기(swapping)에 이르기까지 다양한 반면, 대부분의 포렌식 탐지기는 여전히 단일 조작 계열에만 특화되어 있습니다. 최근 에이전틱(agentic) AI가 유망한 해결책으로 떠올랐습니다. 원칙적으로 이러한 시스템은 개별 탐지기의 신뢰성을 평가하고, 범위를 벗어난 증거를 식별하며, 상충하는 보고를 중재할 수 있습니다. 그러나 실제로 어떤 구성 요소가 성능을 주도하는지, 그리고 이들의 이점이 분포 변화(distribution shift) 하에서도 유지되는지는 여전히 불분명합니다. 이러한 질문에 답하기 위해, 본 연구에서는 전문 탐지기, 탐지기별 분류 선별(triage), 충돌 인지형 증거 중재를 중심으로 구축된 학습(training) 불필요(training-free) 에이전틱 프레임워크를 연구합니다. 6가지 구성과 3가지 멀티모달 대규모 언어 모델(multimodal LLM) 백본을 사용하여, 분포 내(in-distribution) 및 분포 외(out-of-distribution) 데이터 모두에서 분류 선별, 프롬프팅, 추론 품질의 역할을 분석합니다. 실험 결과에 따르면 단순한 탐지기 융합은 진본 이미지에 대해 심각한 위양성률(false-positive rate)을 겪는 것으로 나타났습니다. 분류 선별과 프롬프팅은 신뢰할 수 없는 증거를 필터링하고 탐지기의 한계를 드러냄으로써 성능을 일관되게 향상시킵니다. 그러나 가장 지배적인 요인은 추론 자체로 나타납니다. 더 강력한 판별자(judge)는 특히 분포 변화 환경에서 더 약한 판별자보다 실질적으로 우수한 성능을 보입니다. 가장 주목할 점은 모든 구성에서 조작 재현율(recall)이 거의 포화 상태에 도달했다는 점이며, 이는 오픈월드 이미지 포렌식의 주요 과제가 조작을 탐지하는 것이 아니라 특화된 포렌식 도구에 대한 신뢰도를 보정하고 상충하는 증거를 중재하는 것임을 시사합니다.

arXiv:2609.24170v1cs.CV

뜻밖의 로봇 정책: RoboDojo 및 그 너머에서의 GPT-6 Astra 초기 평가

An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond

체화 AI(Embodied AI) 시스템은 종종 System 1과 System 2로 구성된다. System 1은 일반적으로 높은 빈도로 동작을 생성하는 사전학습된 정책이며, System 2는 고수준 계획을 위해 시각 기능이 갖춰진 언어 모델로 구현되는 경우가 많다. 우리는 과제별 파인튜닝 없이 대규모 언어 모델(LLM)이 로봇 조작을 위한 정책으로 작동할 수 있는지 묻는다. 이 설정을 LLM as policy라고 부른다. 42개 RoboDojo 과제 전부에서 세 LLM을 평가하고 점수를 40개 공개 정책과 비교한다. Astra와 GPT-5.5는 공식 과제당 50 에피소드 프로토콜을 사용하고, DeepSeek-Flash는 과제당 10 에피소드를 사용한다. GPT-6 Astra는 2,100회 시행에서 평균 성공률 22.48%와 Score 28.97을 달성하여 모든 공개 항목보다 높은 순위를 기록한다. 그러나 동일한 후처리를 적용하면 GPT-5.5와 DeepSeek-Flash는 각각 평균 성공률 0.88%와 1.92%에 그친다. Astra는 뚜렷이 양극화된 역량 프로필을 보인다. 의미론적 이해는 필요하지만 고정밀 제어는 필요하지 않은 과제에는 잘 일반화한다. 반면 정밀도, 동적 제어, 복잡한 양손 협조가 필요한 과제에서는 성능이 낮다. 문맥 내 학습(ICL) 실험에서는 원샷(one-shot) 시연으로부터 집계 수준의 이득이 없었고, 선별된 상호작용 trace는 교란(perturbation) 하에서 에피소드 내 수정을 보여준다. 전반적으로 평가된 LLM들은 조작 성능에서 크게 다르다. Astra는 두드러지며 범용 조작 모델의 잠재력에 대한 초기 증거를 제공하지만, 평가된 설정에서는 신뢰할 수 있는 정밀도와 동적 제어가 여전히 한계로 남는다.

arXiv:2609.24098v1cs.CV

A$^2$Safe: 안전하고 효과적인 시각적 질의응답을 위한 반사실적 증거 정렬 적응형 에이전트 협업

A$^2$Safe: Counterfactual Evidence-Aligned Adaptive Agent Collaboration for Safe and Effective Visual Question Answering

멀티모달 대규모 언어 모델(MLLM)을 활용한 시각적 질의응답(VQA)은 안전하고 효과적인 응답을 생성할 뿐만 아니라, 위험을 결정하는 멀티모달 증거에 안전성 결정을 그라운딩(grounding)하는 것을 요구합니다. 최근의 안전성 정렬(safety-alignment) 방법들은 거부 행동과 맥락적 위험 인식을 개선하지만, 특히 개별적으로는 무해한 이미지와 질문 콘텐츠 간의 상호작용에서 위험이 발생하는 경우 올바른 안전성 결과가 여전히 피상적인 텍스트 또는 시각적 상관관계에 의존할 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 안전하고 효과적인 VQA를 위한 반사실적 증거 정렬 적응형 에이전트 협업 프레임워크인 A$^2$Safe를 제안합니다. A$^2$Safe는 근거 기반 안전 증거 보드(Grounded Safety Evidence Board)를 통해 국소화된 시각적 관측, 텍스트 의도, 교차 모달 위험 관계를 구성하여 안전성 결정의 근거를 명시적으로 만듭니다. 반사실적 안전 증거 정렬은 안전과 무관한 변화에 대해서는 불변성을 강제하는 한편, 위험에 결정적인 증거가 최소한으로 변경될 때는 적절한 안전 상태 및 응답 모드 전환을 요구합니다. 그 결과로 도출된 증거 상태는 적응형 협업을 더욱 지원하여, 그라운딩된 증거가 충분할 때는 직접 답변을 가능하게 하고 증거가 위험하거나 불확실하거나 상충할 때는 정책 비판(policy critique) 및 응답 수정을 호출합니다. 상호 보완적인 안전 필수(safety-critical) 및 일반 VQA 프로토콜 하에서, A$^2$Safe는 95.72의 SIUO 안전 점수를 달성하고 MOSSBench에서의 무해한 거부율을 14.67%로 낮추며, 27.8%의 토큰 오버헤드로 78.34의 평균 일반 VQA 점수를 유지합니다. 이러한 결과는 안전하고 효과적인 멀티모달 질의응답을 위한 반사실적 증거 정렬 적응형 협업을 뒷받침합니다.

arXiv:2609.24071v1cs.CV

검증 가능한 과정 보상을 통한 모니터링 가능한 차트 추론 에이전트

Monitorable Chart Reasoning Agents via Verifiable Process Rewards

차트 추론 에이전트는 중요한 도메인에서 실행 가능한 인사이트를 추출하는 데 점점 더 널리 쓰이며, 여러 벤치마크에서 최신(state-of-the-art) 성능을 달성하고 있다. 그러나 높은 벤치마크 정확도만으로는 배포에 충분하지 않으며, 이해관계자는 모델이 답에 이르는 방식을 감사하고 검증할 수 있어야 한다. 기존 LVLM 기반 차트 에이전트는 답만 예측하거나 검증하기 어려운 자유 형식 rationale을 내놓아, 오류가 차트를 잘못 읽었는지, 잘못된 값을 추출했는지, 계산을 잘못했는지 구분하기 어렵게 만든다. 우리는 검증 가능한 과정 보상으로 모니터링 가능한 차트 에이전트를 학습하기 위한 강화학습 프레임워크인 Chart-RVR을 제안한다. Chart-RVR은 차트 추론을 세 가지 감사 가능한 블록으로 나눈다: Structure(차트 유형 식별), Evidence(기저 데이터 테이블을 JSON으로 재구성), Derivation(답을 계산하는 단계별 trace를 노출). 도메인 내·외 여섯 벤치마크에서 Chart-RVR은 유사 크기 LVLM 가운데 최신 수준의 정확도를 달성한다. 정확도를 넘어, 우리는 ground-truth surrogate 지표, oracle information-gain 측정, Process Verifiability와 Evidence Localization을 채점하는 LLM-as-a-auditor를 결합한 삼각 검증 프로토콜로 모니터링 가능성을 평가하며, Chart-RVR이 CoT prompting, SFT, 기존 차트 특화 baseline이 만든 rationale보다 훨씬 더 검증 가능하고 증거에 기반(evidence-grounded)함을 보인다.