PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.24855v1cs.AI

논증을 분류만이 아니라 추출하기: 생성형 구성요소 탐지를 위한 지시 미세조정 LLM

Extracting Arguments, Not Just Classifying Them: Instruction-Tuned LLMs for Generative Component Detection

논증적 구성요소 탐지(ACD)는 논증 마이닝(AM)의 핵심 하위 과제이며, 주장(claim)과 전제(premise) 등의 구성요소로 논증 구간을 동시에 한정하고 분류해야 하므로 그중에서도 가장 어려운 측면 중 하나이다. 이 하위 과제에 대한 연구는 다른 AM 과제에 비해 상대적으로 제한적이지만, 기존 접근법의 대부분은 이를 단순화된 시퀀스 라벨링 문제, 구성요소 분류, 또는 구성요소 분할 뒤 분류하는 파이프라인으로 형식화한다. 본 논문에서는 간결한 지시 기반 프롬프트를 사용하는 지시 미세조정 대규모 언어 모델(LLM)에 기반한 새로운 접근법 ITFACD를 제안하고, ACD를 언어 생성 태스크로 재구성하여 사전 분할된 구성요소에 의존하지 않고 평문에서 논증을 직접 식별할 수 있게 한다. 표준 벤치마크에서의 실험 결과, 본 접근법이 최신(state-of-the-art) 시스템보다 더 높은 성능을 달성함을 보여준다. 우리가 아는 한, 이는 ACD를 생성 태스크로 완전히 모델링한 최초의 시도 중 하나이며, 복잡한 AM 문제에 대한 지시 미세조정의 잠재력을 부각한다. 코드와 사용된 데이터셋은 다음 GitHub 저장소에서 공개적으로 이용할 수 있다.

arXiv:2609.24847v1cs.AR

SPECTRA: 런타임 재구성 가능한 타일형 아키텍처 상에서의 추측 디코딩 적응형 실행

SPECTRA: Adaptive Execution of Speculative Decoding on a Runtime-Reconfigurable Tiled Architecture

엣지 디바이스에서의 LLM 추론은 연산 및 메모리 자원의 제약을 받아, 효율적인 자기회귀적(autoregressive) 디코딩을 어렵게 만든다. 추측 디코딩(speculative decoding)은 더 작은 드래프트 모델(draft model)로 토큰을 생성하고, 배치된 타겟 모델(target model) 패스로 여러 토큰을 병렬로 검증함으로써 이러한 병목을 완화한다. 그러나 검증(verification) 과정은 디코딩에서의 메모리 바운드(memory-bound) 범용 행렬-벡터 곱(GEMV) 연산과 프리필(prefill)에서의 연산 바운드(compute-bound) 범용 행렬-행렬 곱(GEMM) 연산 사이에 런타임에 의존적인 중간 영역(intermediate regime)을 만들어내는데, 이는 산술 강도(arithmetic intensity)가 추측 길이(speculation length)와 수락률(acceptance rate)에 따라 달라지기 때문이다. 우리는 전체 추측 디코딩 파이프라인에 걸쳐 높은 활용률을 유지하는 런타임 재구성 가능한 타일형 아키텍처인 SPECTRA를 제시한다. 각 타일 내에서 연산 엔진은 GEMM을 위한 시스톨릭(systolic) 실행과 GEMV를 위한 벡터 레인(vector-lane) 실행 사이를 전환한다. 타일 간에는 SPECTRA가 타일 개수, 커널 분할(kernel partitioning), 통신 패턴을 선택함으로써 연산 병렬성을 동적으로 적응시킨다. 타일 수준과 시스템 수준의 재구성 모두 커널 단위로 동작하여, 이러한 다양한 영역에서 효율적인 실행을 가능하게 한다. Pythia, SmolLM2, GPT-2 계열에 걸쳐 20개 타일 FPGA 프로토타입에서 평가한 결과, SPECTRA는 고정 설계 대비 타일 수준 재구성으로 최대 $2.09\times$의 속도 향상을, 시스템 수준 적응성으로부터 추가로 $1.25\times$의 향상을 달성한다.

arXiv:2609.24831v1cs.AI

GRUET: 에이전트적 추론-행동 프로세스의 불확실성 정량화

GRUET: Quantifying Uncertainty of Agentic Reasoning-and-Acting Processes

에이전트는 개방적이고 동적인 환경에서 추론(Reasoning)과 행동(Acting)(ReAct)을 모두 수행할 수 있다는 점 때문에 주목이 크게 증가하고 있다. ReAct 프로세스는 일반적으로 다턴(turn) 궤적(trajectory)을 보이며, 그 안에서 대규모 언어 모델(LLM)을 구동하여 추론 사슬(reasoning chain)과 과제별 행동(action)을 교차(interleaved) 방식으로 생성한다. 그러나 에이전트는 종종 상당한 불확실성을 겪는다. 동일한 과제에도 서로 다른 궤적이 나오고, 불확실성이 더 큰 궤적은 이해하기 어려운 행동을 낳아 에이전트의 신뢰성을 심각하게 훼손한다. 본 연구는 이러한 궤적 수준의 불확실성이 LLM이 유발하는 턴 수준의 추론 불확실성이 누적된 결과인 경우가 많다고 가정한다. LLM은 후자에서 서로 갈라진 추론 사슬과 그에 따른 행동들의 분기(branch) 모음을 자주 보인다. 이를 바탕으로 ReAct의 불확실성 정량화를 위한 Graph-based Reasoning UncErtainty in Trajectories(GRUET) 방법을 제안한다. 이는 턴 수준 추론 불확실성 정량화와 궤적 수준 불확실성 집계로 구성된다. 전자는 잠재적 추론 분기가 펼치는 추론 공간을 그래프로 모델링한 뒤 그래프 복잡도로 추론 공간 복잡도를 근사하여 추론 불확실성을 정밀하게 정량화하고, 후자는 전체 궤적 신뢰도를 정량화하기 위해 단순한 집계 전략을 사용한다. 아홉 개 LLM과 다섯 벤치마크에 걸친 실증 평가에서 AUROC, AUPRC, AUARC로 측정한 선택적 생성(selective generation) 성능 측면에서 제안한 GRUET의 효과를 검증했다.

arXiv:2609.24801v1cs.CR

가드레일 디코딩: XAI 기반 섭동 분석을 통한 프롬프트 주입 탐지 분석

Decoding Guardrails: XAI-Guided Perturbation Analysis of Prompt Injection Detection

대규모 언어 모델(LLM)이 프로덕션 시스템에 점차 널리 배포됨에 따라, 프롬프트 주입(prompt injection) 및 탈옥(jailbreak) 공격을 통한 적대적 조작에 노출될 수 있다는 우려가 커지고 있습니다. Prompt Guard 2와 같은 분류기 기반 가드레일은 이러한 공격에 대한 1차 방어선으로 널리 사용되고 있으나, 그 내부 의사결정 로직은 방어자와 공격자 모두에게 대체로 불투명합니다. 본 논문은 설명 가능한 인공지능(XAI) 기법을 적용하여 Prompt Guard 2가 악성 프롬프트와 정상 프롬프트를 어떻게 구분하는지 분석하는 탐색적 사례 연구를 제시합니다. 본 연구는 이 문제를 경험적으로 조사하기 위해 네 가지 실험을 수행합니다. Vanilla Gradient 및 SHAP 어트리뷰션을 기반으로 분석한 결과, Prompt Guard 2의 결정은 소수의 지배적인 토큰보다는 다수 토큰의 누적 기여도에 의존하는 것으로 나타났습니다. 그럼에도 불구하고 중요도(saliency) 기반 동의어 대체 및 문장 수준의 패러프레이징을 적용하면 텍스트의 적당한 비율만을 변경하면서도 분류기의 예측을 뒤집을 수 있으며, 일부 경우에는 기저 LLM에 대한 탈옥에 성공하기도 했습니다. 나아가 데이터셋 규모의 중요도 분석을 통해, 탐지되지 않은 주입 프롬프트에는 분류기가 의존하는 어휘적 표지가 체계적으로 결여되어 있음을 보여줍니다. 저자들은 이러한 발견이 분류기 기반 가드레일의 설계 및 평가에 미치는 영향을 논의하며, 투명성을 지원하기 위한 설명 방법론이 오히려 성공적인 적대적 우회 공격을 구축하는 비용을 낮출 수 있다고 주장합니다.

arXiv:2609.24760v1cs.AI

역방향 사고 구축: 대규모 언어 모델의 역방향 사고 능력 개발

Construting Reverse Thinking: Developing Large Language Models' Reverse Thingking Ability

복잡한 문제에 직면했을 때, 인간은 서로 다른 문제에 대해 다양한 아이디어를 시도하는 경향이 있다. 인간의 사고 패턴은 다양한 상황에 적응하는 데 있어 뛰어난 유연성을 보인다. GPT-o1, GPT-o3, DeepSeek-R1은 긴 사고의 연쇄(Chain-of-Thought) 모델을 채택하여 추론 깊이를 늘림으로써 복잡한 문제를 해결하며, 기본적으로 순방향 추론 모드를 따른다. 우리는 서로 다른 규모의 모델에서 다양한 수학 문제 데이터셋에 대한 정확도를 통계적으로 분석하여, 오류의 다섯 가지 원인을 발견했다: 해 공간(solution-space) 커버리지 부족, 계산 실수, 검증되지 않은 가정, 제약 조건 무시, 최대 응답 길이 제한. 위의 문제들을 해결하기 위해, 우리는 모델의 역방향 사고 능력과 동적 적응력을 향상시키는 것을 목표로 하는 역방향 추론 패턴 구축 방법을 제안한다. 먼저, 대규모 모델을 학습시키고 서로 다른 난이도 수준에서 추론 능력을 점진적으로 향상시키기 위해 쉬운 단계와 어려운 단계로 구성된 2단계 수학 데이터셋을 구축했다. 이 데이터셋은 순방향 추론 경로와 역방향 추론 경로를 모두 포함한다. 그리고 모델의 역방향 추론 능력을 점진적으로 학습시키기 위해 2단계 지도 미세조정(supervised fine-tuning) 과정을 적용한다. 더 나아가, 완만한(smoothed) 보상 신호를 사용하여 추론 과정에서 모델이 사고 모드를 자율적으로 선택하는 능력을 강화함으로써 보상 해킹(reward hacking)을 방지하는 세밀한 보상 메커니즘을 개발했다. 학습 과정에서 순방향 및 역방향 추론 경로 샘플 간의 균형을 유지하기 위해 선형 감쇠 균형 샘플링(linear-decay balanced sampling) 전략을 설계하여, 모델이 빠르고 안정적으로 수렴할 수 있도록 했다. 실험 결과는 우리의 방법이 수학적 증명과 같은 작업에서 추론 효율성과 정확도를 크게 향상시키며, 복잡한 문제를 해결하기 위한 유연하고 효율적인 추론 패러다임을 제공함을 보여준다.

arXiv:2609.24744v1cs.AI

World State Generator

World State Generator

언어 에이전트(agent)는 계획과 행동을 통해 복잡한 작업을 해결한다. 세계(world)가 거부하는 단 한 번의 단계만으로도 목표는 손이 닿지 않는 곳으로 밀려나며, 에이전트가 다음에 무엇을 하는지가 그 작업의 성패를 결정한다. 프롬프트 기반 플래너(prompted planner)는 바로 이 지점에서 실패한다. 거부된 단계를 다른 말로 다시 작성해도 같은 거부에 부딪히며, 진전 없이 시도 예산(attempt budget)만 소진한다. 이들이 실패하는 이유는 계획이 애초에 세계와 연결되어 있지 않았기 때문이며, 그래서 거부가 발생해도 계획 안에는 이를 붙잡아 둘 지점이 없다. 세계란 작업이 실행되는 공간으로, 고유한 규칙, 고유한 허용 가능 행동, 고유한 제약을 가진다. 우리는 7개 도메인에 걸쳐 합성 세계(synthetic world)를 구축하고 여기서 학습 데이터를 추출한다. 프로그램이 각 세계의 규칙을 강제하고 목표를 채점하며, 초기 상태에서 목표에 도달 가능한 경우에만 각 세계를 채택한다. 에이전트는 이 세계 안에서 실행되며, 검증된 실패(verified failure)와 그 실행을 세계가 인증한 상태로 이끈 복구(repair)를 짝지어 남기는데, 이는 약 22만 6천(226K) 개의 궤적(trajectory) 기록에 해당한다. 우리는 이 기록을 바탕으로 World State Generator(WSG)를 학습시킨다. 이는 계획을 세계의 검증 가능한 상태(checkable state)들로 작성하고, 그 계획을 실행되는 세계와 계속 정합(align)시키는 모델(model)이다. 이러한 정합은 언어로 작성된 계획에는 결여된 것인데, 계획이 실행되는 세계에는 언어가 결코 명시하지 않는 물리적 한계, 논리적 의존관계, 필수 순서가 존재하며, 계획은 어떤 상태가 실패할 때에야 비로소 이러한 규칙과 마주치기 때문이다. WSG는 그 실패를 세계가 제시한 규칙으로 받아들이고, 나머지 상태들을 그 규칙에 따르도록 다시 작성함으로써, 실행이 진행됨에 따라 계획이 세계에 맞춰 휘어지도록 한다. 7개의 공개 벤치마크(benchmark)에서 WSG는 300억(30B) 파라미터에 가까운 두 개의 오픈소스 모델의 종단 간(end-to-end) 성공률을 프롬프팅 대비 끌어올리며, 이를 독점(proprietary) 모델 수준까지 끌어올린다.

arXiv:2609.24742v1cs.RO

MyBuddy 휴머노이드 로봇을 위한 LLM 기반 대화형 AI 지식 어시스턴트

LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot

휴머노이드 로봇은 인간 중심 애플리케이션을 위해 점점 더 대중화되고 개발되고 있으나, 지능형 대화 및 자연스러운 상호작용 기반 지식 지원을 제공하는 능력은 기존의 규칙 기반 대화 시스템, 사전 정의된 응답 및 제한된 지식 저장소로 인해 여전히 제약을 받고 있습니다. 대규모 언어 모델(LLM)은 자연스럽고 적응적이며 문맥을 인식하는 인간-로봇 상호작용(HRI)을 가능하게 하는 강력한 기반으로 부상하였으며, 로봇이 자연어 음성을 이해하고, 복잡한 질의에 대해 추론하며, 높은 품질의 대화 문맥을 유지하고, 지식이 풍부한 응답을 생성할 수 있도록 함으로써 이러한 한계를 해결할 수 있는 중요한 기회를 제공합니다. 본 연구에서는 라즈베리 파이(Raspberry-Pi) 기반 13축 MyBuddy 휴머노이드 로봇을 위한 LLM 기반 다목적 대화형 AI 지식 어시스턴트를 독창적으로 제시하고 구현합니다. 이 시스템은 LLM 기반 언어 이해 및 AI 추론을 실시간 음성 인식, 확장 가능한 인터넷 엔진(예: Wikipedia, arXiv) 접근을 통한 지식 검색, 유연한 대화 관리, 자연스러운 음성 합성과 통합하여 훨씬 더 지능적인 다중 턴(multi-turn) 연속 대화와 진보된 정서적 지원 인간-로봇 상호작용을 가능하게 합니다.

arXiv:2609.24710v1cs.CR

추론 토폴로지의 중요성: LLM 기반 사이버보안 분석에 대한 통제된 연구

Reasoning Topology Matters: A Controlled Study of LLM-Based Cybersecurity Analysis

대규모 언어 모델(LLM)은 사이버보안 분야에서 점점 더 많이 활용되고 있으며, 정확한 분석을 위해서는 복잡하고 이질적인 데이터에 대한 다단계적이고 맥락 의존적인 추론이 요구되는 경우가 많다. 그러나 기존의 프롬프팅 접근법들은 일반적으로 추론을 이끌어내는 데 초점을 맞출 뿐, 중간 추론 단계가 구조적으로 어떻게 조직되는지는 명시적으로 고려하지 않는다. 본 연구는 선형(Linear), 분기(Branching), 그래프(Graph)라는 세 가지 대표적인 구조를 통해 추론을 모델링하는 보안 추론 토폴로지(Security Reasoning Topology)를 제안한다. 이러한 구조의 효과를 평가하기 위해, MITRE ATT&CK 네트워크 트래픽, 사이버 위협 인텔리전스(CTI), CVE 취약점 분석을 포괄하는 세 가지 사이버보안 데이터셋에 대해 통제된 실험을 수행한다. Llama 2(7B, 13B, 70B), GPT-5.1, Mistral Large 3를 포함한 여러 LLM을 평가하며, 과업 입력은 일정하게 유지하고 시스템 수준 프롬프팅을 통해 추론 구조를 통제한다. 결과에 따르면 추론 토폴로지는 성능에 상당한 영향을 미치는 것으로 나타났다: 그래프 추론(Graph reasoning)은 전체적으로 가장 높은 정확도를 달성하여 데이터셋 전반에서 퓨샷(few-shot) 프롬프팅 대비 9.8~12.2 퍼센트포인트의 향상을 보였으며, 분기 추론(Branching)은 강력한 중간 수준의 해법을 제공한다. 또한 결과는 추론 토폴로지의 효과가 모델 계열과 규모에 걸쳐 일관되게 유지됨을 보여주며, 이는 추론 토폴로지가 LLM 기반 사이버보안 분석에서 중요한 설계 요소임을 강조한다.

arXiv:2609.24677v1cs.AI

TimeLitmus: 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 위한 진단 벤치마크

TimeLitmus: A Diagnostic Benchmark for Cross-Modal Understanding and Explanation Faithfulness in Event-Conditioned Time-Series Prediction

대규모 언어 모델(LLM)은 수치 시계열 이력과 텍스트 이벤트로부터 예측을 수행하는 데 점점 더 많이 사용되고 있다. 그러나 정확도만으로는 정답이 두 입력의 효과적인 통합을 반영하는지, 아니면 이벤트 극성(polarity), 단일 모달리티 사전 편향(unimodal prior), 또는 피상적 단서에서 비롯된 것인지 밝힐 수 없다. 마찬가지로, 그럴듯한 설명은 모델 행동을 실제로 이끄는 근거를 충실하게 반영하지 않으면서도 예측을 합리화할 수 있다. 우리는 이벤트 조건부 시계열 예측에서의 교차 모달 이해와 설명 충실성을 진단하는 벤치마크인 TimeLitmus를 소개한다. TimeLitmus는 금융(Finance)과 교통(Traffic) 두 영역에 걸쳐 4,856개의 평가 레코드를 포함하며, 자연 예측(natural prediction)과 통제된 반사실적(counterfactual) 및 대조적(contrastive) 개입, 설명 대상 충실성 테스트, 그리고 체계적인 지름길(shortcut) 통제를 결합한다. 열 가지의 대표적인 LLM을 대상으로 한 실험에서, 표준 예측 정확도는 신뢰할 수 있는 교차 모달 이해를 상당히 과대평가하는 것으로 나타났다: Hard Paired Contrast(HPC) 쌍 정확도는 금융에서 최고 19.2%, 교통에서 최고 11.7%에 그쳤으며, 열 개 모델 모두 금융 시계열 측 통제에서 기대보다 낮은 일관성을 보였다. 모델들은 시나리오 간 관계를 명시적으로는 인식하면서도 독립적인 예측 시에는 이를 적용하지 못하는 경우가 많았다. 설명 충실성에서도 유사한 격차가 나타났다: 교통 영역에서 대부분의 모델은 90% 이상의 경우 조작된 시간적 요인을 근거로 언급했지만, 행동적 뒷받침(behavioral support)은 22% 미만에 그쳤다. 인간 주석자는 동일한 조건의 통제 및 하드 페어(hard-pair) 진단 과제에서 LLM보다 우수한 성능을 보여, 이러한 구분이 입력으로부터 복원 가능함을 확인시켜 주었다. 자연 예측 데이터만을 이용한 적응(natural-only adaptation)은 증거 선택과 입력 민감도에서는 선택적인 향상을 가져왔지만, 통제 조건이나 하드 페어 행동에서는 일관된 향상을 가져오지 못했다. 벤치마크, 평가 스위트, 지도 적응 데이터는 공개될 예정이다.

arXiv:2609.24631v1cs.RO

의미적 의사결정에서 실현 가능한 궤적으로: 협소 공간 주차를 위한 자기 진화형 LLM 기반 최적 제어

From Semantic Decisions to Feasible Trajectories: Self-Evolving LLM-Guided Optimal Control for Narrow-Space Parking

비볼록(nonconvex)하고 협소한 환경에서의 자율 주차는 여전히 어려운 과제로 남아 있다. 최적 제어(optimal control) 기법은 차량 동역학과 충돌 제약 조건을 명시적으로 강제할 수 있지만, 비볼록성은 솔버(solver)의 강건성을 저하시켜 실패를 유발할 수 있다. 대규모 언어 모델(LLM)은 강력한 의미적 추론 능력을 보이지만, 조밀한 궤적을 직접 생성할 경우 물리적 실현 가능성을 보장하기 어렵다. 우리는 LLM이 상위 수준의 이산적 기동(maneuver) 결정을 내리고, 최적 제어 모듈이 하위 수준의 차량 동역학과 충돌 제약 조건을 강제하는 통합 프레임워크인 SE-LLM-OCP를 제안한다. 온라인 단계에서 LLM은 희소한(sparse) 기동 계획을 제안하여 주차 과제를 일련의 단기(short-horizon) 궤적 최적화 문제들로 분해한다. 그런 다음 하위 수준 솔버가 최적 제어 문제들을 순차적으로 해결한다. 솔버가 실패하면 LLM은 솔버 및 검증 단계에서 얻은 실패 증거를 종합하여 재계획(replanning)을 안내한다. 오프라인 단계에서 SE-LLM-OCP는 누적된 온라인 실패 사례를 바탕으로 구조화된 의사결정 지식 베이스를 처음부터 자동으로 진화시킨다. 우리는 제안한 프레임워크를 자동차형 차량 모델과 차동 구동(differential-drive) 로봇에 대한 시뮬레이션에서 검증한다. 실험 결과, SE-LLM-OCP는 협소한 시나리오에서 더 안전한 자율 주차를 가능하게 하며, 동일한 기동 표현이 서로 다른 운동학적(kinematic) 플랫폼으로 전이될 수 있음을 보여준다.

arXiv:2609.24555v1cs.AI

끝없는 시험: 초지능을 향한 오늘날 모델들의 수학적 구성

The Endless Exam: Mathematical Constructions from Today's Models toward Superintelligence

우리는 14개의 매개변수화된 구성 계열(construction family)을 통해 오늘날의 모델들이 인공 초지능(artificial superintelligence)을 향해 보이는 수학적 진전을 측정하는 벤치마크인 Endless Exam을 소개한다. 제출된 각 객체는 유효성이 자동으로 검증되며, 개선치를 $1$로 상한을 두지 않은 채 공개된 프런티어 또는 구성 기준선 대비 상대적 품질 점수가 부여된다. 각 계열은 장기적 목표를 위해 미해결 수학 문제들을 활용하며, 더 큰 매개변수에서 새로운 인스턴스를 생성하는데, 이때 간결한 증명서(compact certificate)를 통해 대규모 구성도 검증 가능하도록 유지된다. 69개의 서로 다른 인스턴스에 대해 평가된 8개 모델 전반에서, 평가된 어떤 시스템도 공개된 프런티어를 넘어서지 못했음에도 연속적인 품질 점수는 성능을 변별해낸다. 크기-품질 곡선(size-quality curve)은 문제 크기가 커짐에 따라 구성 품질이 어떻게 변화하는지를 보여준다. 우리는 인간의 프런티어 이전과 이후 모두에서 지속적인 측정을 지원하기 위해 생성기, 검증기, 참조 자료, 모델 응답 및 분석 결과를 공개한다.

arXiv:2609.24480v1cs.AI

Fathom-Vaidya: 루브릭 기반 보상을 통한 의료 추론 성능 향상

Fathom-Vaidya: Advancing Medical Reasoning with Rubric-Based Rewards

의료 분야에 대규모 언어 모델(LLM)을 배포하려면 서로 보완적인 두 가지 차원에서 견고한 성능이 요구된다 - 진단 추론(임상 데이터로부터 환자의 상태를 추론하여 진단을 도출하는 수렴적이고 근거 기반의 과제)과 임상 헬스케어 추론(단일한 정답이 존재하지 않을 수 있는 다중 턴 임상 상호작용에서 소통하고, 계획하고, 적응하는 데 필요한 보다 광범위한 탐색적 판단)이다. HealthBench, MedXpertQA와 같은 최근 벤치마크들은 두 영역 모두에서 지속적인 약점을 드러내며, 복잡한 진단 시나리오에서의 실패와 맥락적이고 환자 중심적인 대화에서의 한계를 보여준다. 우리는 합성 데이터와 루브릭 기반 강화학습을 사용하여 이러한 측면들을 겨냥하는 순차적 학습 프레임워크를 제안한다. 먼저, 규칙 및 루브릭 기반 강화학습(RL)을 통해 MedBullets에서 파생된 문제를 활용하여 진단 추론을 향상시킨다. 이후 5,300개의 합성 다중 턴 시나리오를 생성하여 임상 추론으로 전환하며, 각 시나리오는 응답을 종합적으로 평가하기 위한 다차원 루브릭과 짝을 이룬다. 이 접근법은 MedXpertQA에서 10% 이상의 성능 향상을 가져오며, 우리의 30B 모델은 HealthBench-Hard에서 50.1%의 정확도를 달성하여 GPT-5(thinking)를 포함한 독점(proprietary) 베이스라인들을 능가한다. 우리의 결과는 목적에 맞게 설계된 합성 데이터셋과 루브릭 기반 학습이 의료용 LLM의 진단 추론과 상호작용적 임상 추론을 모두 체계적으로 향상시킬 수 있음을 보여준다.

arXiv:2609.24446v1cs.CR

ActGov: 정책 제약 검증을 통한 LLM 에이전트 행동 거버넌스

ActGov: Governing LLM Agent Actions via Policy-Constrained Validation

대규모 언어 모델(LLM) 에이전트는 외부 도구를 통해 장기적인(long-horizon) 워크플로우를 점점 더 많이 실행하고 있으며, 이로 인해 신뢰할 수 없는(untrusted) 출력이 이후 행동에 영향을 미치고 사용자 권한을 초과하도록 허용될 수 있다. 기존 방어 기법들은 주입된 콘텐츠를 격리하거나 사전 정의된 계획과 정적 정책으로 실행을 제한하지만, 이러한 접근 방식은 동적 워크플로우에서는 취약하며 확장 가능한 도구 생태계 전반에 걸쳐 잘 확장되지 않는다. 본 연구에서는 LLM이 제안한 각 도구 행동이 외부 효과를 유발하기 전에 이를 검증하는 런타임 강제(enforcement) 프레임워크인 ActGov를 제시한다. 권한(authorization), 행동(action), 런타임 컨텍스트, 보안 제약 조건에 대한 통합된 의미론적 모델을 기반으로, ActGov-Policy 컴포넌트는 도구 명세(specification), 정상(benign) 작업, 관찰된 실패 흔적(trace)으로부터 정책 집합을 반복적으로 구성하며, 각 업데이트는 SMT 기반 반례(counterexample) 검사를 통해 검증된다. 런타임에서 ActGov-Runtime은 각 도구 호출을 유한한 정책 레코드로 추상화하고, 이 호출이 작업 범위 내(task-scoped) 권한 경계를 벗어나지 않고 적용 가능한 모든 정책을 만족하는 경우에만 이를 허용한다. 이러한 행동 단위(per-action)의 강제 방식은 장기적이고 동적으로 분기하는 워크플로우 전반에 걸쳐 권한을 유지한다. 우리는 AgentDojo 및 AgentDyn 벤치마크에서 여러 모델과 공격 구성에 걸쳐 ActGov를 평가하였다. 그 결과 ActGov는 작업 유용성(task utility)을 유지하면서 간접 프롬프트 주입(indirect prompt-injection) 공격의 성공률을 일관되게 감소시켰으며, 기존 방어 기법들을 크게 상회하는 성능을 보였다. 이러한 결과는 ActGov가 기반 LLM이 악의적인 지시를 올바르게 식별하는 데 의존하지 않고도 동적인 에이전트 실행에 대해 세밀한(fine-grained) 권한을 강제할 수 있음을 보여준다.

arXiv:2609.24369v1cs.HC

DeceptionAnalyser: 논증 체계와 LLM을 활용한 구조화된 기만 분석 웹 기반 AI 도구

DeceptionAnalyser: A Web-Based AI Tool for Performing Structured Deception Analysis with Argumentation Schemes and LLMs

기만(deception)은 정보 작전(intelligence operations)에서 핵심적인 역할을 하지만, 추론 패턴과 인지적 조작에 대한 전문 지식 없이는 체계적으로 분석하기 어렵다. 예를 들어 계산 논증(computational argumentation) 분야에서는 통계적 검증(validation)을 뒷받침할 scheme 수준의 ground-truth 코퍼스가 현재 존재하지 않는다. 본 논문에서는 서로 다른 형태의 기만을 모델링하도록 설계된 열 가지 논증 체계(argument schemes) 집합을 도입하여 이를 해결하며, 각 체계에는 구조화된 전제(premises)와 비판적 질문(critical questions)이 수반된다. 이를 통해 기만 분석 전용으로 설계된 최초의 논증 체계 라이브러리를 제시하고, 서사 텍스트에서 기만을 체계적으로 모델링·분석하기 위한 구조적 토대를 제공한다. 이어서 LLM 기반 전제 추출과 비판적 질문 주도 평가를 결합한 2단계 방법론으로 이러한 체계를 구현하는 브라우저 기반 도구 DeceptionAnalyser를 소개한다. 우리의 목표는 서사 텍스트에서 기만적 추론을 분석하기 위한 개념적·방법론적 토대를 마련하는 것이며, 본 논문은 구조화된 논증 이론과 AI 보조 분석이 잠재적 기만에 대한 투명하고 설명 가능한 평가를 어떻게 지원할 수 있는지 보여줌으로써 이를 다룬다. 체계는 기만 판정을 출력하기보다 주장을 면밀 검토 대상으로 표시하도록 설계되었기 때문에 분류(classification) 정확도를 벤치마킹하지 않고, 대신 열 개의 최신 대규모 언어 모델(LLM)과 반복 실행에 걸쳐 도구의 전제 및 결론 평가의 일관성을 측정하여 방법론의 신뢰성(reliability)을 평가한다. 명확한 기만에 대해서는 scheme 탐지가 매우 안정적이며, 보다 모호한 정보 작전 스타일의 서사에서는 해석 가능한 방식으로 완만하게 저하됨을 확인한다.

arXiv:2609.24352v1cs.AI

퓨샷 예시는 대규모 언어 모델(LLM)의 문맥 내 세계 표현 활용을 유도한다

Few-Shot Demonstrations Elicit the Use of In-Context World Representations in LLMs

대규모 언어 모델(LLM)이 에이전트로 동작할 때, 문맥 내에서 관측된 데이터를 바탕으로 세계 기저의 잠재 상태 공간(latent state space)을 추론하고 이를 다운스트림 예측에 활용할 것으로 기대된다. 그러나 기존 연구에 따르면, 데이터 생성 과정을 관장하는 그래프 표현을 구축하고 이를 후속 예측에 활용해야 하는 그래프 추적 태스크에서 LLM이 문맥 내에서 학습된 표현을 사용하는 데 어려움을 겪는 것으로 나타났다. 본 논문에서는 동일하거나 서로 다른 그래프 위상(topology)을 지닌 서로 다른 세계에서 각 데모(demonstration)가 생성되는 퓨샷(few-shot) 설정으로 이를 확장할 경우, 4개 모델 계열의 6개 모델에서 예측 성능이 향상됨을 보인다. 이러한 개선을 이해하기 위해, 본 연구는 은닉 상태(hidden states)에서 그래프 정보를 인코딩하는 저차원 세계 표현을 선형 탐침(linear probe)한다. 주목할 점은, 퓨샷 예시가 세계 표현을 재배치하고 해당 표현의 예측적 활용을 증가시킨다는 것이다. 구체적으로 각 모델에서 이러한 세계 표현은 원래의 부분공간과 거의 직교하는 방향으로 이동하며, 이 표현에 대한 개입은 다른 부분공간에 대한 개입보다 성능을 선택적으로 더 저하시킨다. 이러한 통찰과 일치하게, 서로 다른 세계로부터 얻은 관측치를 포함하는 퓨샷 예시가 ARC-AGI-1&2, 웹 에이전트 태스크 및 Othello에서 성능을 향상시킴을 보인다. 본 연구 결과는 문맥 내 세계 모델링에서 퓨샷 예시의 역할과 내부 메커니즘을 규명한다. 더 나아가, 본 연구는 LLM 에이전트가 문맥 내 관측치로부터 어떻게 학습하는지에 대한 이해를 넓히고 추가적인 개선을 위한 시사점을 제공한다.

arXiv:2609.24290v1cs.AI

에이전트는 언제, 어떻게 명확화해야 하는가? CIGAsk: 반사실적 정보 이득(Counterfactual Information Gain)을 통한 LLM 명확화 학습

When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain

명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.

arXiv:2609.24277v1cs.AI

숫자 한 자리는 몇 픽셀의 가치인가? GUI 에이전트 신뢰도 추정을 위한 위치 인식 좌표 엔트로피

How Many Pixels Is a Digit Worth? Place-Aware Coordinate Entropy for GUI Agent Confidence Estimation

GUI 에이전트는 클릭 좌표를 숫자-토큰 시퀀스로 예측하지만, 표준 텍스트 LLM 신뢰도 추정 방법은 올바른 클릭과 잘못된 클릭을 구분하는 순위를 약하게만 형성한다. GUI 전용 대안은 K개 샘플이나 새로운 지도 학습을 사용하지만, 여전히 개선의 여지가 남아 있다. 우리는 이 현상의 일부 원인을 자릿값(place-value) 비대칭으로 추적한다. 바운딩 박스 정확성은 종종 더 높은 자릿수가 더 낮은 자릿수보다 중요하게 만들므로, 균일한 집계는 정확성을 결정하는 신호를 약화시킨다. 해결책은 각 숫자의 섀넌 엔트로피(Shannon entropy)에 자릿값으로 가중치를 두는 것이다. 이를 위치 인식 좌표 엔트로피(Place-Aware Coordinate Entropy, PACE)라고 부른다. ScreenSpot-Pro와 ScreenSpot-v2에서 고정 스케일 에이전트들에 대해, PACE는 단일 순전파에서 모든 주요 비교에서 AUROC과 선택적 정확도(selective accuracy) 모두에서 우수하며, 비용의 일부만으로 K-샘플 베이스라인과 동등하거나 그를 능가한다. PACE는 클릭당 신뢰도 추정치를 제공하여 좌표-토큰 내부 정보를 GUI 에이전트 배포를 위한 실용적인 신뢰도 신호로 전환한다.

arXiv:2609.24165v1cs.AI

APEXA: 다중 에이전트 LLM 기반 싱크로트론 데이터 축소 자동화의 실행 무결성 강제

APEXA: Execution-Integrity Enforcement for Multi-Agent LLM Automation of Synchrotron Data Reduction

싱크로트론 데이터 축소, 즉 테라바이트 규모 회절 계열에 대한 검출기 보정과 방위각 통합(azimuthal integration)은 다단계이며 전문가에 의존하는 병목으로, 사용자 시설의 과학 생산성을 점점 더 제한하고 있다. LLM 에이전트는 이 병목을 해소할 것으로 기대되지만, 확률적 모델로 실제 파이프라인을 구동하면 채팅 벤치마크에서는 드러나지 않는 실패 양상이 생긴다. 에이전트는 실제로 계산되지 않은 보정을 보고할 수 있다. 여기서 정확성은 대화 기록(transcript)이 아니라 실제로 실행된 것의 속성이다. 우리는 APEXA를 제시한다. 이는 주요 광원에서 자연어로 보정과 통합을 자동화하는, 배포된 다중 에이전트 프레임워크(이종 컴퓨팅 위 61개 도구, 단일 추론 루프로 실행)이다. 세 가지 기여를 한다. 첫째, 실행 무결성 강제: 실행된 도구 호출로 뒷받침되지 않은 어떤 결과도 노출을 거부하는 결정론적 도구층 가드와, 모델 간 도구 호출 형식 편차에 관대한 파서. 배포 환경에서 프론티어 모델이 실행되지 않은 명령에 대해 완전한 보정 비교 보고서를 조작했으며, 가드는 이를 명시적 비결과(non-result)로 변환한다. 동일 코드는 선택적 모터 제어 표면을 시뮬레이션 IOC에 대한 적대적 위반 200건 중 0건으로, 동등한 안전 프롬프트는 15/200으로 게이트한다. 둘째, APEXA-Bench를 공개한다. 58개 시설 과제(기본 50개와 8과제 교차 검출기 슬라이스) 평가 하네스로, 네 가지 클래스의 물리적 결과 분류 체계로 구성되며, 낭비된 컴퓨팅 사이클과 손상된 기기를 구분하는 우리가 아는 첫 벤치마크 축이다. NIST 추적 가능 격자 상수에 대한 교차 검출기 채점은 두 개의 잠재 파이프라인 버그를 드러냈다. 대규모 에이전트 채점은 정식 연구에 맡긴다. 셋째, 실제 빔라인 데이터에서 APEXA를 검증한다. 하나의 자연어 프롬프트로 검출기 기하를 복구하고 전체 감쇠/노출 sweep을 통합한다. 프레임워크, 하네스, 트레이스를 공개한다.

arXiv:2609.24090v1cs.AI

자율 지능형 시스템을 위한 증분 일관성 실행

Incremental Consistency Execution for Autonomous Intelligent Systems

장기적(Long-horizon) 자율 지능형 시스템은 대규모 언어 모델(LLM), 데이터베이스, 외부 API, 규칙 엔진과 같은 이종 컴포넌트에 의존하며, 실행 중 외부 상태가 지속적으로 변화합니다. 모든 변화마다 전체 워크플로우를 재실행하는 것은 상당한 중복 연산을 초래합니다. 본 논문에서는 태스크 팩트 계약(task fact contracts), 필드 수준 의존성 마스크(field-level dependency masks), 상태 섭동 결과 불변 영역(state perturbation result invariant domains)에 기반한 증분 일관성 실행(incremental consistency execution) 방법을 제안합니다. 초기 검증 실행 후, 시스템은 핵심 입력에 대한 보수적인 불변 영역을 구축하고 이를 활용하여 비용이 큰 컴포넌트를 다시 호출하지 않고도 다운스트림 결과를 안전하게 갱신할 수 있는지 판단합니다. 재실행이 필요한 경우 영향을 받는 최소한의 출력 필드만 재계산되며, 동등성 장벽(equivalence barrier)이 불필요한 다운스트림 전파를 방지합니다. 또한 제출 시점 버전 일관성 게이트(version consistency gate)를 통해 부작용(side-effect)을 유발하는 작업의 안전성을 추가로 보장합니다. 산업 결함 진단, 엔터프라이즈 분석, LLM 기반 멀티 툴 어시스턴트에 대한 실험 결과, 제안된 방법은 높은 일관성을 유지하고 낮은 오재사용률을 보이면서 비용이 큰 컴포넌트 호출과 엔드투엔드(end-to-end) 지연 시간을 크게 줄이는 것으로 나타났습니다.

arXiv:2609.24084v1cs.CR

비트에서 신념으로: 대규모 언어 모델 블랙박스 검증을 위한 복구 가능한 의미론적 지문

From Bits to Beliefs: Recoverable Semantic Fingerprints for Black-Box Verification of Large Language Models

오픈 가중치(open-weight) 대규모 언어 모델(LLM)은 복제·수정·재배포되어 블랙박스 API 뒤에 숨겨질 수 있어, 공개 이후 소유권 검증이 어렵다. 기존 블랙박스 지문(fingerprint)은 비밀 질의-키 쌍에 의존해 미리 정해진 응답을 재현하는 경우가 많아, 미세조정, 가지치기, 양자화, 모델 병합, 서빙 시점의 프롬프트 변경에 쉽게 깨진다. 본 논문은 블랙박스 LLM 소유권 검증을 위한 복구 가능한 의미론적 지문 프레임워크 SimPrint를 제안한다. 고립된 완전 일치에 의존하는 대신, SimPrint는 사유자(owner)의 비공개 서명을 부호화된 의미론적 지문 영역에 담아, 자연스러운 이진형 질의응답 프로브에 소유권 증거를 분산한다. 원래 모델 동작을 유지하는 저간섭 배치 업데이트를 통해 기본 모델과만 다른 프로브만 심고, 이후 의심 모델의 응답을 신뢰할 수 있는 비트 또는 지움(erasure)으로 파싱한 뒤 오류 정정 복구 메커니즘으로 서명을 복원한다. 검증이 입출력 질의만 사용하므로, 모델 가중치나 활성화(activation)에 접근할 수 없을 때도 SimPrint를 적용할 수 있다. 세 가지 오픈 가중치 LLM에 대한 실험에서 SimPrint는 깨끗한 설정과 수정된 설정 모두에서 소유자 서명을 안정적으로 복구하며, 미세조정, 가지치기, 양자화, 모델 병합, 서빙 시점 perturbation에도 견고하고, 하류(downstream) 유용성도 유사한 수준을 유지한다.