PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.03228v1cs.AI

에이전트 기반 비즈니스 프로세스 실행을 위한 조직 메모리

Organizational Memory for Agentic Business Process Execution

LLM 기반 에이전트는 규칙 기반 시스템의 한계를 넘어 비즈니스 프로세스 실행 자동화에 새로운 기회를 제공한다. 그러나 범용 LLM은 신뢰할 수 있는 실행에 필요한 조직 고유의 지식이 부족하며, 이러한 지식은 일반적으로 정책, 프로세스 모델, 표준 운영 절차 등 사람 중심의 산출물에 분산되어 있다. 이러한 지식을 개별 프롬프트나 에이전트별 검색 설정으로 인코딩하는 것은 기술적으로 가능하지만, 기업 환경에서는 지식 사일로와 규칙 중복을 초래하고 에이전트 간 일관된 업데이트 및 학습을 어렵게 만들기 때문에 확장성이 없다. 우리는 이러한 문제가 에이전트 기반 비즈니스 프로세스 실행을 위한 조직 메모리, 즉 업무 수행 방식에 관한 진화하는 조직 고유의 절차적 지식을 공유·관리·에이전트 소비 가능한 참조 층으로 구성하는 체계를 요구한다고 주장한다. 우리는 이러한 메모리에 대한 요구 사항을 도출하고, 그 큐레이션 및 소비를 위한 아키텍처를 제안하며, 조달 시나리오를 기반으로 한 개념 증명을 통해 그 효과를 입증한다.

arXiv:2607.03182v1cs.RO

AnchorVLA: 이산적 결정과 연속적 궤적을 잇는 비전-언어-행동 계획

AnchorVLA: Bridging Discrete Decisions and Continuous Trajectories for Vision-Language-Action Planning

자율주행 계획은 탐색 의도, 교통 규칙, 동적 상호작용, 언어 지시를 실행 가능한 연속 궤적으로 변환해야 한다. 비전-언어-행동(VLA) 모델은 롱테일 일반화, 상식 추론, 고수준 의미 이해, 설명 가능성을 향상시키기 위해 주행 계획에 도입되었다. 그러나 기존 VLA 플래너들은 대부분 계획 헤드 기반 궤적 예측 또는 전체 궤적 자기회귀 생성 방식을 따른다. 전자는 VLA 추론으로 연속 궤적 생성을 약하게만 제약하며, 후자는 정보 밀도가 낮은 좌표 토큰의 긴 시퀀스에 의존하여 의미-행동 정렬을 어렵게 하고 이산화 오류와 비효율적인 추론을 초래한다. 이러한 한계를 극복하기 위해 우리는 AnchorVLA를 제안한다. AnchorVLA는 고수준 VLA 추론과 연속 궤적 실행 사이의 명시적 인터페이스로 궤적 패턴 앵커를 활용하는 계층적 결정 앵커 기반 VLA 계획 프레임워크이다. 구체적으로, 결정-앵커 표현(Decision-as-Anchor Representation)은 단일 좌표점이 아닌 전체 지역 동작 패턴을 인코딩하는 앵커 토큰으로 행동 수준의 주행 결정을 표현한다. 결정 앵커 잔차 흐름(Decision-Anchored Residual Flow)은 고수준 의사결정 이후 다중 모달 실행 세밀화를 포착하기 위해 선택된 앵커가 정의하는 잔차 공간에서 세밀한 연속 궤적을 생성한다. 웨이포인트 시퀀스를 자기회귀적으로 생성하는 대신 컴팩트하고 의미론적으로 의미 있는 앵커를 추론함으로써, AnchorVLA는 LLM 기반 의사결정을 보존하면서 추론 효율성, 의미-행동 정렬, 연속 생성 유연성을 향상시킨다. Bench2Drive 폐루프 벤치마크 실험에서 AnchorVLA는 77.28의 최고 수준 성공률(Success Rate)과 89.92의 경쟁력 있는 주행 점수(Driving Score)를 달성하였다.

arXiv:2607.03174v1cs.SE

신뢰성 향상을 위한 LLM 기반 소프트웨어 다양성의 효과성 -- 실증 연구

Effectiveness of LLM-based Software Diversity for Reliability Improvement -- an Empirical Study

소프트웨어 다양성은 공통 원인 고장(common-mode failure)의 위험을 줄이는 수단으로 광범위하게 연구되어 왔다. 고전적 연구들은 핵심 문제가 다양하게 중복된 구성 요소들의 고장이 겹치는 방식에 있으며, 이것이 신뢰성 향상을 제한할 수 있음을 보여주었다. 전통적인 소프트웨어 다양성은 여러 구현물과 그에 따른 검증, 유지보수, 배포 노력을 필요로 하기 때문에 확보 비용이 높다. 대규모 언어 모델(LLM)의 최근 발전은 이러한 상황을 변화시킬 수 있다. LLM은 저비용 코드 생성을 가능하게 한다. 즉, 서로 다른 모델, 디코딩 설정, 프로그래밍 언어에 걸쳐 동일한 명세에 대한 수많은 후보 구현물을 빠르게 생성한다. 이는 자연스러운 의문을 제기한다. LLM이 소프트웨어 다양성의 실용적인 생성기 역할을 할 수 있는가, 그리고 그 다양성이 실제로 얼마나 많은 신뢰성 향상을 제공할 수 있는가? 본 논문에서는 인간이 작성한 프로그램에 대한 소프트웨어 다양성의 고전적 실증 연구를 LLM이 생성한 코드로 확장한다. 우리는 공통 컴파일, 샌드박싱, 완전한 테스트 스위트 하에서 평가된 역사적 인간 작성 프로그램과 대규모 LLM 생성 프로그램 풀을 모두 사용하여 세 가지 명세를 연구한다. 모델 계열, 생성 온도, 프로그래밍 언어를 포함한 여러 축에 걸쳐 LLM 다양성을 탐구한다. 신뢰성 향상은 동질적 및 이질적 프로그램 집단 모두에 걸쳐 1-out-of-2 구성에서 평가되며, 여기에는 LLM 내 쌍, 프로그래밍 언어 간 쌍, LLM 생성 프로그램과 인간 작성 프로그램 간의 쌍이 포함된다. 결과는 LLM 생성 프로그램들을 결합하면, 특히 이질적 환경에서 신뢰성 향상을 가져올 수 있음을 보여주지만, 이는 프로그래밍 언어와 생성 설정에 부분적으로 조건부임을 보인다. 종합하면, 이러한 발견들은 LLM이 신뢰성 향상을 위해 그 다양성을 활용할 수 있는 비교적 저비용 프로그램의 확장 가능한 원천을 제공함을 시사한다.

arXiv:2607.03162v1cs.AI

APeB: 대규모 언어 모델 에이전트의 개인화 능력 벤치마킹

APeB: Benchmarking Personalization Ability of Large Language Model Agents

LLM 기반 에이전트는 사용자가 구체적이지 않은 원시 질의를 입력할 때 개인화에 어려움을 겪는다. 이 설정에서 에이전트는 잠재적 의도를 추론하고, 노이즈가 포함된 상호작용 이력에서 선호도를 추출하며, 경쟁하는 대안들 중에서 선택해야 한다. 기존 벤치마크는 사용자가 정제한 질의나 단순화된 이력에 의존하는 경우가 많아 이 역량을 거의 테스트하지 않는다. 우리는 원시 질의와 다양한 이력 하에서 에이전트 개인화를 위한 테스트베드인 개인화 상품 검색(PPS)을 소개한다. 우리는 행동 로그로부터 Agent Personalized Benchmark(APeB)를 구축하여, 구체적이지 않은 의도와 풍부한 이력 및 사용자가 열람한 후보 아이템을 쌍으로 연결한다. 다단계 에이전트 워크플로우를 사용해 최신 LLM을 평가한 결과, 모델은 명시적인 질의는 잘 처리하지만 의도 및 선호도 발견이 필요한 초기 단계 질의에서는 어려움을 겪는 것으로 나타났다. 루브릭 분석에 따르면 이 격차는 주로 비효과적인 이력 활용에 기인한다. 단순한 이력 인식 질의 정제 파이프라인인 VQRA는 일관된 성능 향상을 보여주며, 개인화 에이전트에서 전용 이력 활용 모듈의 필요성을 부각시킨다.

arXiv:2607.03158v1cs.SE

알고리즘 명세 형식이 언어 모델의 머신러닝 알고리즘 구현에 미치는 영향: 어떤 형식이 도움이 되는가?

Which Algorithm Specification Formats Help Language Models Implement Machine Learning Algorithms?

대규모 언어 모델(LLM)은 연구 논문으로부터 알고리즘을 구현하는 데 점점 더 많이 활용되고 있지만, 논문은 종종 구현상의 선택 사항을 암묵적으로 남겨둔다. 본 연구는 알고리즘 명세의 작성 형식이 LLM의 첫 번째 시도 구현 정확도에 어떤 영향을 미치는지 조사한다. 우리는 일반 산문, LaTeX 알고리즘 스타일 의사코드, PDF에서 추출한 의사코드, Markdown 필드, YAML 형식 명세, JSON 형식 명세, Python 코드 스텁을 다섯 가지 머신러닝 과제, 세 가지 모델, 네 가지 실험 설정에서 비교하여 총 4,020개의 구현 결과를 생성하였다. 숨겨진 테스트는 동점 처리, 배열 형상, 수치 규칙, 반환 구조, 유효하지 않은 입력에 대한 동작 등 정확성을 결정하는 세부 사항을 평가한다. 핵심 정보만 제공하는 설정에서는 LaTeX 알고리즘 스타일 의사코드가 평균 형식 효과가 가장 크며, YAML 형식 명세와 일반 산문이 그 뒤를 잇는다. 완전한 정보 설정에서 GPT-5.4 mini는 대응 비교에서 형식 간 차이를 보이지 않는 반면, Gemma 3 4B와 Llama 3.2 3B는 여전히 차이를 나타낸다. 코드 스텁은 함수 시그니처를 명시함에도 불구하고 정확성을 일관되게 향상시키지 않는다. 이 결과는 다음과 같은 작성 권고 사항을 지지한다: 저자는 특정 표면 형식이 세부 사항을 전달해 줄 것에 의존하는 대신, 인터페이스, 계산 단계, 수치 규칙, 경계 조건 동작을 명시적으로 기술해야 한다.

arXiv:2607.03135v1cs.SE

런타임 트레이스 분석을 통한 안전 필수 펌웨어의 아키텍처 드리프트 탐지

Detecting Architectural Drift in Safety-Critical Firmware through Runtime Trace Analysis

장기 운영되는 안전 필수 펌웨어에서 아키텍처 설계와 런타임 관찰 동작 간의 일관성을 유지하는 것은 쉽지 않다. 본 논문은 ISO 26262 준수 펌웨어에서 아키텍처 드리프트를 탐지하기 위한 런타임 기반 방법론을 제시한다. 이 접근법은 하드웨어 보조 실행 트레이스를 수집하고, 이를 펌웨어 컴포넌트 간 메시지 교환으로 추상화한 후, 결정론적 차분(differencing) 단계를 통해 도출된 런타임 동작을 설계 시점의 시퀀스 다이어그램과 비교한다. 산출된 델타(delta)는 불일치를 확인됨, 누락됨, 추가됨, 역전됨으로 식별하며, 제약된 대규모 언어 모델(LLM) 기반 단계는 전문가 검토를 지원하기 위한 목적으로만 사람이 읽을 수 있는 보고서를 생성한다. 본 방법론은 합의 기반 검증(validation)과 실무자 설문을 통해 산업용 펌웨어 맥락에서 평가되었다. 26개 테스트 케이스에 대한 결과는 생성된 델타와 전문가가 직접 작성한 참조 결과 간에 높은 일치도를 보이며, 실무자들은 해당 보고서가 드리프트 해석, 수동 분석 노력 감소, 안전 지향 문서화 활동 지원에 유용하다고 인식하였다. 이러한 결과는 런타임 트레이스 분석, 결정론적 아키텍처 차분, 제약된 LLM 기반 보고를 결합하는 방식이 진화하는 안전 필수 펌웨어에서의 아키텍처 드리프트 탐지를 실질적으로 지원할 수 있음을 시사한다.

arXiv:2607.03091v1cs.AI

교차-설문 전이를 통한 실리콘 샘플링

Silicon Sampling via Cross-Survey Transfer

실리콘 샘플링(silicon sampling)—대규모 언어 모델(LLM)을 활용하여 인간 설문 응답자를 시뮬레이션하는 방법—은 전통적인 설문 연구를 보강하는 유망한 접근법으로 부상했다. 그러나 대부분의 평가는 개인 수준 예측이 아닌 분포적 비교에 의존하며, 이는 패턴 매칭과 일관된 응답자 수준 예측을 혼동할 위험이 있다. 우리는 더 엄밀한 평가 프레임워크인 교차-설문 전이(cross-survey transfer)를 제안한다. 이 방법에서 LLM은 응답자의 특정 문항 답변을 제공받아 동일한 설문 내 완전히 다른 문항들의 답변을 예측해야 한다. 대만 선거 및 민주화 연구(TEDS) 2024 데이터, 세 가지 오픈 가중치 LLM(27B~120B 파라미터), 그리고 지도학습 머신러닝 기준선을 활용한 실험을 통해 다음을 발견했다: (1) 제로샷 LLM은 완전히 미관측된 문항에서 52%의 정확도를 달성하며, 동일 모집단 데이터로 학습된 지도학습 랜덤 포레스트(random forest)와의 격차를 6 퍼센트포인트(pp) 이내로 좁혔다; (2) 당파적 태도 67%에서 주권 문제 23%에 이르는 안정적인 구성 개념 예측 가능성 위계가 나타났다; (3) 자주 지적되는 LLM의 두 한계인 분산 붕괴(variance collapse)와 안전성 정렬(safety alignment) 효과는 기존 보고보다 더 복잡한 양상을 보였는데, 분산 붕괴는 지도학습 모델에도 영향을 미쳤으며 정렬 효과는 모델 계열에 따라 크게 달랐다. 이러한 결과는 실리콘 샘플링의 가능성과 한계를 명확히 밝힌다.

arXiv:2607.03025v1cs.AI

인간-AI 협력적 의사결정을 위한 인간 중심 반성적 아키텍처

Human-Centric Reflective Architecture for Human-AI Collaborative Decision-Making

일상적인 과업부터 안전 필수 애플리케이션에 이르기까지 인간 활동의 다양한 영역에서 대규모 언어 모델(LLM)을 활용하는 것은 최소한의 인간 피드백으로 의사결정 효과를 높이는 것을 목표로 한다. 동시에, AI 비결정론(non-determinism)과 관련된 위험을 완화하면서 인간의 기대, 선호, 요구에 결정을 정렬(align)하고자 한다. 그러나 인간은 AI 권고에 과도하게 의존하거나 지나치게 의존하지 않는 경향이 있으며, 현재 AI 시스템은 인간의 기대에 대한 보정(calibration)이 여전히 부족하다. 이러한 과제를 해결하기 위해, 우리는 인간의 역량을 증강하고 AI 에이전트를 인간의 선호 및 기대에 정렬하도록 설계된 인간-AI 협력적 의사결정 프레임워크를 제안한다. 구체적으로, 본 논문은 (a) 협력적 의사결정 과업을 AI 에이전트와 인간 플레이어 간의 확률적 게임(stochastic game)으로 공식화하고, (b) 반복적이고 반성적인 과정에서 언어적 피드백을 활용하는 강화학습 에이전트와 인간 보정 모델을 통합한 인간 중심 반성적 아키텍처(HCRA, Human-Centric Reflective Architecture)를 제안한다. 평가 결과, HCRA는 의사결정 효과를 향상시키고 고품질의 권고를 제공하는 것으로 나타났다.

arXiv:2607.03015v1cs.AI

예측을 넘어서: 예측 시장 에이전트의 신념-거래 층

Beyond Forecasting: The Belief-to-Trade Layer in Prediction-Market Agents

미래 사건 예측은 범용 AI의 테스트베드로서 점점 주목받고 있다. 이 평가를 구체화하는 자연스러운 방법은 모델이 예측 시장에서 거래하도록 하는 것이다. 그러나 거래는 예측 이상의 능력을 요구한다. 더욱이, 최근 벤치마크에서는 보정된 확률 점수와 거래 결과 사이에 상당한 격차가 보고되고 있다. 우리는 Raven-Agent를 제안하며, 이는 저자들이 아는 한 예측 시장을 위한 최초의 자율 거래 에이전트이다. 보관된 의사결정 집합에 대한 통제된 재현 실험에서, 우리의 아키텍처는 테스트된 모든 정책 중 유일하게 양의 수익률과 양의 위험 조정 수익률을 달성하였다. 코드는 https://github.com/Alchemist-X/predict-raven 에 공개하였다.

arXiv:2607.02983v1cs.AI

대규모 언어 모델을 활용한 증거 탐색 진단 추론을 위한 강화학습

Reinforcement Learning for Evidence-Seeking Diagnostic Reasoning with Large Language Models

최근 추론 중심의 대규모 언어 모델(LLM)은 눈에 띄는 발전을 이루었으나, 주로 완전한 정보를 가정하는 수동적 추론 패턴으로 작동한다. 반면, 실제 임상 지능은 본질적으로 전략적 증거 수집을 필요로 하는 반복적 탐구 과정이다. 이러한 간극을 해소하기 위해 우리는 의료 진단을 반복적 증거 탐색 태스크(Iterative Evidence-Seeking Task)로 형식화한다. 우리는 검증 가능한 보상 기반 강화학습(RLVR, Reinforcement Learning with Verifiable Rewards)을 활용하여 폐쇄 루프 환경 내에서 내재적 추론을 이끌어내며, 진단 정밀도와 검사 일관성을 강제하는 새로운 보상 체계의 안내를 받는다. 이를 위해 현실적이고 지식 기반의 후속 증거를 제공하는 고충실도 임상 오라클인 검색-증강 생성(RAG) 기반 검사 시뮬레이터(RAGES, Retrieval-Augmented Generation-based Examination Simulator)를 제안한다. 다양한 데이터셋에 걸친 실험 결과는 우리의 프레임워크가 LLM을 수동적 응답자에서 자율적 보조자로 전환할 수 있음을 보여준다. 특히, 우리의 모델은 더 크고 추론이 강화된 베이스라인과 비교할 만한 성능을 달성하며, RAGES는 생물학적으로 타당한 임상 피드백 생성에서 일반 LLM보다 우수함을 입증한다.

arXiv:2607.02975v1cs.AI

Incognita를 이용한 사회적으로 분산된 태스크 환경에 그라운딩된 행동을 통한 생성형 에이전트 평가

Evaluating Generative Agents with Actions Grounded in Socially Distributed Task Environments using Incognita

사회적 환경에서의 효과적인 에이전시는 에이전트가 언제 지식을 구하고, 언제 행동하며, 그 행동이 획득한 정보에 의해 정당화되는지에 달려 있다. 기존의 그라운딩 벤치마크는 실행 가능한 행동, 지속적 상태, 검증 가능한 결과를 제공하는 반면, 사회적 시뮬레이션 환경은 언어 에이전트 간의 풍부한 상호작용을 제공한다. 우리는 이 두 가지 요건을 결합한 평가 설정을 연구한다. 우리는 사회적으로 분산된 태스크 환경을 태스크 관련 지식이 역할 격리된 참여자들 사이에 분산되어 있고, 결과적 행동은 오직 그들을 통해서만 접근 가능한 인터랙티브 환경으로 정의한다. 커뮤니케이션은 역할 분할된 지식에 대한 탐험(exploration)으로, 그라운딩된 행동은 환경(environment) 상태에 대한 활용(exploitation)으로 기능한다. 우리는 Concordia 기반 프레임워크인 Incognita를 소개하며, 이는 사회적 상호작용과 그라운딩된 실행을 분리한다. 평가 대상 에이전트(agent)는 메시지를 사용자 또는 전문가 엔티티로 라우팅하고, 전문가는 허용 가능한 연산을 중개하며, 결정론적 하위 환경이 정규 상태에 대해 승인된 연산을 실행하고, 오프라인 평가자가 상속된 보상(reward)으로 결과를 채점한다. Incognita-Retail은 tau-bench 리테일을 최종 상태 보상 의미론을 유지하면서 다중 엔티티 환경으로 변환한다. 우리는 사회적 폭 기준으로 계층화된 18개 태스크에 대해 세 가지 생성형 에이전트 모델을 540회 시험으로 평가한다. 보상과 행동 양면에서 발전이 나타난다. 성공률은 0%에서 8.9% 및 17.2%로 상승하고, 조기 종료는 100%에서 87% 및 58%로 감소한다. 더 강력한 모델일수록 더 많은 숨겨진 지식을 이끌어내고, 더 많은 엔티티와 접촉하며, 더 많은 그라운딩된 쓰기를 시도하지만, 신뢰성은 여전히 낮다. 이러한 결과는 사회적으로 분산된 태스크 환경이 지식 도출, 출처 선택, 그라운딩된 행동 시도, 조기 완료 믿음 등 신뢰할 수 있는 성공에 앞서 행동을 드러낸다는 것을 보여준다.

arXiv:2607.02955v1cs.CY

외교 정책 AI 평가 격차

The Foreign Policy AI Evaluation Gap

우리는 외교 정책 업무 수행에 활용되는 AI 시스템—넓게는 '국정술(statecraft)'을 실행하는—이 기술적 AI 거버넌스 연구의 우선적 시험 사례가 되어야 한다고 주장한다. 외교 정책 수행이란 정치 행위자들이 대외적 목표를 수립하고 이행하는 과정을 의미한다. 국정술은 극단적인 하방 위험과 표준 평가 관행이 제대로 다루지 못하는 구조적 특성을 지닌 고위험 배포 영역이다. 이러한 특성에는 부분 관측 가능성(partial observability), 무한 행동 공간(unbounded action spaces), 논쟁적 정답(contested ground truth), 다차원적 목표가 포함된다. 본 논문은 문헌에 근거한 연구 어젠다를 제안한다. 우리의 기여는 세 가지로 구성된다: (i) 재앙적 꼬리 위험(catastrophic tail risk)과 기술적 평가 복잡성이 결합되는 외교 정책의 구조적 조건에 관한 주장, (ii) 접근성(ACCESS), 검증(VERIFICATION), 보안(SECURITY), 운용화(OPERATIONALIZATION)보다 평가(ASSESSMENT) 기능에 비대칭적으로 집중되어 있음을 조명하는 에코시스템 검토, (iii) 외교 정책 워크플로우를 인간의 재결합을 포함한 범위가 한정되고 평가 가능한 하위 작업으로 분해하는 수요 측면 평가 프레임워크. AI 시스템이 이미 전쟁과 평화의 수행에 배포되고 있는 상황에서, 기술적 AI 거버넌스 커뮤니티의 공개 평가 인프라가 제한적인 만큼, 이 어젠다는 시급한 우선 과제이다.

arXiv:2607.02932v1cs.CR

PromptPET: 프라이버시-유용성 최적화 프롬프트 난독화

PromptPET: Privacy-Utility Optimized Prompt Obfuscation

사용자가 AI 챗봇과 상호작용할 때 프라이버시는 중요한 과제로, 사용자가 명시적 또는 암묵적으로 민감한 정보를 공유할 수 있으며 AI 챗봇은 이 정보를 사용자 프로파일링에 활용할 수 있다. 본 논문에서는 사용자 프롬프트 내 민감한 정보를 변환하는 사용자 측 메커니즘을 통해 사용자 프라이버시를 보호하면서도, 챗봇으로부터 유용한 응답을 이끌어내기에 충분한 정보를 보존하는 방법을 목표로 한다. 이 접근법은 프라이버시 보호(즉, 프로파일링 방지)와 유용성 보존(즉, 개인화되고 과제 특화된 응답 획득) 사이의 본질적인 트레이드오프에 직면한다. 이를 위해 삭제(redaction), 추상화(abstraction), 대체(replacement), 그리고 본 논문에서 새롭게 제안하는 노이즈 추가/제거(noising/denoising) 방식 등 네 가지 난독화 행동을 고려하고 평가하며 비교한다. 추가적인 새로운 기여로는 민감한 정보를 식별하고 난독화하기 위한 데이터 유형 분류 체계 활용, 그리고 난독화 결정 시 챗 응답의 유용성을 명시적으로 고려하는 방식이 포함된다. 먼저 각 난독화 행동을 프라이버시-유용성 트레이드오프 관점에서 독립적으로 체계적으로 최적화하고 평가한다. 다음으로 본 논문에서 처음으로 이 맥락에 적용된 강화학습 기반 규칙 옵티마이저를 활용하여 프롬프트의 각 민감한 부분에 대해 최적의 난독화 행동을 선택하는 대규모 언어 모델(LLM) 기반 에이전트인 PROMPTPET을 제안한다. 실제 챗 데이터셋을 사용한 실험을 통해 PROMPTPET이 단일 난독화 행동으로 달성 가능한 최선의 프라이버시-유용성 트레이드오프에 필적하며, 기존 최첨단 접근법들을 크게 능가함을 보인다.

arXiv:2607.02931v1cs.AI

VERITAS: 과학 연구를 위한 범용 복제 도구를 향하여

VERITAS: Towards a General-Purpose Replication Tool for Scientific Research

AI 도구들이 과학 논문 출판을 가속화하는 반면, 이를 검토하는 시스템들은 속도를 따라가기 어려워지고 있으며, 발표된 연구의 독립적 검증은 더 어렵고 동시에 더 중요해지고 있다. 수동 복제(replication)는 느리고 비용이 많이 들기 때문에, 점점 더 많은 연구들이 코딩 에이전트를 활용하여 이 과정의 일부를 자동화하고 있다. 기존의 노력들은 대부분 자체 파이프라인 내에서만 실행되는 동반 에이전트를 포함한 벤치마크 형태로 패키징되어 있으며, 범용 복제 도구는 존재하지 않는다. 우리는 CLI 코딩 에이전트를 기반으로 구축된 도메인-비종속 복제 프레임워크인 VERITAS를 제시한다. 논문, 코드 저장소, 또는 둘 모두가 주어지면, VERITAS는 논문의 주장을 추출하고, 문제가 발생할 때마다 이를 해결하면서 방법론을 실행하며, 실험 실행 결과에 근거하여 각 주장을 판단한다. 파이프라인은 중요도 가중 복제 점수(Replication Score), 적용된 모든 수정 사항의 심각도 평가 로그, 그리고 수정된 코드베이스를 반환한다. 우리는 컴퓨터 과학, 사회과학, 의학, 천체물리학에 걸친 65편의 논문으로 구성된 CORE-Bench와 ReplicationBench에서 VERITAS를 평가한다. 동일한 모델(model)과 호스트 환경(environment)에서의 두 가지 강력한 Claude Code 기준선(baseline)과 비교했을 때, VERITAS는 최첨단 성능을 달성하며 두 벤치마크의 모든 지표에서 선두를 차지한다.

arXiv:2607.02914v1cs.AI

Oyster-II: 대규모 언어 모델의 건설적 안전성 정렬을 위한 강화학습

Oyster-II: Reinforcement Learning for Constructive Safety Alignment in Large Language Models

대규모 언어 모델(LLM)은 다양한 응용 분야에서 놀라운 능력을 발휘하고 있지만, 안전성, 유용성, 신뢰성을 동시에 보장하는 것은 여전히 지속적인 과제로 남아 있다. 기존의 거부 지향적 정렬(alignment) 전략은 유해한 콘텐츠 생성을 완화하지만, 합법적인 사용자 요구를 충족하는 데 체계적으로 실패하며, 민감한 쿼리의 근본적인 의도를 안전하고 건설적으로 해결할 수 있는 정보를 종종 제공하지 않는다. 일괄적 거부를 넘어 사려 깊고 응답 지향적인 안전성 정렬을 추구하는 Oyster-I가 개척한 건설적 안전성 패러다임을 기반으로, 우리는 지도 미세조정(SFT) 기반 방식의 두 가지 핵심 한계를 식별한다: 분포 외(out-of-distribution) 시나리오에 대한 불충분한 안전성 일반화, 그리고 안전성 사고의 연쇄(CoT) 과잉 일반화라 명명한 현상으로, 이는 안전성 지향적 추론 패턴이 무해한 쿼리에도 과도하게 적용되어 유용성과 사용자 경험을 저하시키는 것이다. 이러한 한계를 해결하기 위해, 우리는 다단계 강화학습 전략과 결합된 Zero-RL 패러다임을 채택한 강화학습(RL) 기반 건설적 안전성 정렬 프레임워크인 Oyster-II를 제안한다. 광범위한 벤치마크 평가에서 Oyster-II는 안전성 측면에서 Qwen3-14B와 전작 Oyster-I 모두를 종합적으로 능가하며, Qwen3-Max 및 Qwen3.5-397B에 필적하는 교차 규모 성능을 달성한다.

arXiv:2607.02911v1cs.SE

CoACT: 코딩 에이전트를 위한 액션 보존 관측 압축

CoACT: Action-Preserving Observation Compression for Coding Agents

대규모 언어 모델(LLM) 기반 코딩 에이전트는 개발 환경과의 반복적인 상호작용을 통해 소프트웨어 엔지니어링 작업을 수행하는데, 이 과정에서 반환된 관측(observation)이 컨텍스트에 누적되어 추론 비용의 주요 원인이 된다. 관측 압축은 관측을 컨텍스트에 추가하기 전에 단축함으로써 이 비용을 줄인다. 그러나 기존 방법들은 압축이 에이전트의 후속 행동에 미치는 영향을 명시적으로 모델링하지 않기 때문에 효율성과 효과성 간의 균형이 여전히 만족스럽지 않다. 본 논문은 코딩 에이전트를 위한 액션 보존 관측 압축 방법인 CoACT를 제안한다. CoACT는 다음 액션 보존(NAP, next-action preservation)을 기반으로 구축되며, NAP는 압축된 관측이 원본 관측과 동일한 다음 액션을 유도할 것을 요구한다. 에이전트의 즉각적인 다음 액션을 확인함으로써, NAP는 압축이 지속적인 작업 수행에 필요한 정보를 보존하는지 여부에 대한 실용적인 신호를 제공한다. 학습 과정에서 교사 모델은 먼저 각 관측의 다중 압축 후보를 생성한다. CoACT는 이후 NAP에 기반한 액션 보존 보상을 사용하여 에이전트의 다음 액션을 변경시킬 후보를 필터링하고, 길이 감소 보상을 사용하여 경량 압축기의 지도 학습을 위한 간결한 후보를 선택한다. 세 가지 에이전트 모델을 사용한 SWE-bench Verified 실험에서 CoACT는 평균 총 토큰 소비를 33.0% 감소시키면서 비압축 에이전트에 근접한 작업 수행 효과를 유지함을 보인다.

arXiv:2607.02879v1cs.AI

MedCalc-Pro: LLM 에이전트를 활용한 복잡한 의료 계산 문제 해결

MedCalc-Pro: Solving Complex Medical Calculations with LLM Agents

의료 계산 분야에서 대규모 언어 모델(LLM)을 평가하는 현재의 벤치마크는 대부분 단순화된 설정에 기반하며, 각 환자 사례가 단일 계산기에 대응되고 필요한 도구가 쿼리에 명시적으로 지정된다. 그러나 실제 임상 시나리오에서는 종종 복수의 계산기를 이용한 복합 평가, 중첩 척도 계산, 그리고 목표 계산기를 직접 명시하지 않는 퍼지 쿼리가 요구된다. 이를 위해 우리는 새로운 의료 계산 벤치마크인 MedCalc-Pro를 제안한다. MedCalc-Pro는 단일 계산기, 다중 계산기, 중첩 계산기 계산 설정이라는 세 가지 점진적으로 난이도가 높아지는 태스크 설정을 포함한다. MedCalc-Pro는 14개 임상 진료과에 걸쳐 77개의 의료 계산기를 포괄하는 2,268개의 실제 임상 사례를 담고 있다. 또한, 복잡한 임상 시나리오에서 기존 프레임워크와 방법의 성능 한계를 극복하기 위해, 다중 도구 선택과 중첩 도구 호출을 지원하면서 구조화된 검증과 증거 검토를 통해 매개변수 오류 전파를 억제하는 보다 범용적인 에이전트 프레임워크를 추가로 제안한다. 오픈소스, 클로즈드소스, 의료 특화 LLM에 걸쳐 체계적인 비교 실험을 수행하였으며, 결과적으로 우리의 프레임워크가 세 가지 태스크 설정 모두에서 최고 성능을 달성함을 보인다. 본 연구는 도전적인 의료 계산 시나리오에서 LLM을 평가하고 적용하기 위한 새로운 벤치마크와 방법론을 제공한다.

arXiv:2607.02873v1cs.SE

대규모 언어 모델 보안 도구 오케스트레이션의 결정 요인과 한계: HexStrike-AI를 활용한 연구

Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI

Model Context Protocol을 통해 보안 도구 스위트를 구동하는 대규모 언어 모델(LLM) 에이전트의 사용이 점점 보편화되고 있다. 그러나 이들의 능력을 제한하는 요인들은 아직 충분히 규명되지 않았다: 능력이 모델 자체와 이를 구동하는 클라이언트 중 어느 쪽에 더 의존하는지, 에이전트를 오케스트레이터 자체 도구로 제한하는 것이 도움이 되는지, 그리고 능력의 한계가 도구 부재보다 추론에서 비롯되는지가 그 예이다. 150개 이상의 도구를 제공하는 오픈소스 오케스트레이터인 HexStrikeAI를 테스트베드로 삼아, 시스템을 평가하고 실패를 진단하며 목표 지향적 개선을 적용하는 방법론을 따른다. 3가지 도구 접근 방식과 3가지 모델/클라이언트 구성 하에서 7개 카테고리와 3가지 난이도 수준에 걸친 86개의 picoCTF 챌린지를 실행한다(총 774회 시험). 이후 기존 도구의 수정, 에이전트 행동 변경, 11개의 새로운 기능 도구를 적용하고, 이전에 실패했던 시험들을 재실행한다. 진단 결과, 고정된 모델에 대해 구동 클라이언트가 1차 요인으로 분리되었으며(두 DeepSeek 클라이언트 간 2.1배 격차), 단조로운 난이도 그래디언트가 나타났고, 중간 난이도 수준에서 가장 큰 향상이 확인되었다. 전체 해결률은 55.4%에서 72.0%로 상승하였으며, 모든 구성에서 유의미한 개선이 나타났다(대응 McNemar p < 0.001, 비중첩 95% 신뢰 구간). 잔여 실패는 도구 부재보다 추론 또는 환경에 기인한다. 60회 실행 안정성 하위 연구에서 단일 실행 판정이 재현 가능한 것으로 확인되었다(17/20 만장일치). 이러한 오케스트레이터를 평가하는 방법에 대한 결과의 함의를 논의하며, 한계를 명시한다: 본 연구는 단일 벤치마크를 사용하고, 수정 사항은 평가된 동일한 챌린지에 맞게 조정되었으며, 클라이언트 효과는 하나의 모델에 대해서만 입증되었으므로 다른 모델로의 일반화 가능성은 가설로 남아 있다.

arXiv:2607.02846v1cs.AI

에이전트 태스크를 위한 객체 중심 환경 모델링

Object-Centric Environment Modeling for Agentic Tasks

대규모 언어 모델(LLM) 에이전트는 축적된 경험을 통해 성능을 향상시킬 수 있지만, 상호작용이 증가함에 따라 자유 형식의 텍스트 기반 메모리는 유지·검증·재사용이 어려워진다. 최근의 심볼릭 접근법들은 실행 가능한 스킬이나 프로그래밍 방식의 월드 모델을 학습하지만, 로컬 프로시저만을 저장하거나 단순화된 동역학을 가정하는 경우가 많다. 우리는 경험을 실행 가능한 객체 중심 환경 모델로 구조화하는 객체 중심 환경 모델링(OCM, Object-Centric Environment Modeling)을 제안한다. OCM은 두 개의 연결된 코드베이스를 유지한다: 환경 엔티티와 메커니즘을 Python 클래스로 정의하는 객체 지식(object knowledge)과, 객체 모델을 임포트하고 사용해야 하는 재사용 가능한 상호작용 패턴을 기록하는 프로시저 지식(procedure knowledge)이다. OCM은 온라인 설정에서 동작한다: 각 에피소드 이후 궤적을 반성하고, 두 지식 베이스를 모두 업데이트하며, 업데이트된 객체 모델에 대해 모든 프로시저가 실행됨을 검증한다. 이후 상호작용 시 에이전트는 점진적 지식 공개(progressive knowledge disclosure)를 활용하여 먼저 간결한 코드 시그니처를 검사하고 필요할 때만 소스 코드를 읽는다. 실험 결과, OCM은 벤치마크 전반에 걸쳐 최고의 평균 순위를 달성하고 유효하지 않은 행동을 줄였으며, 이를 통해 에이전트가 객체 중심 환경 모델을 구축함으로써 이점을 얻을 수 있음을 입증한다.

arXiv:2607.02825v1cs.CR

JavaVulBench: 현실적 분할 전략, 통합 멀티백엔드 하네스, 누출 인식 평가 모드를 갖춘 Java 취약점 벤치마크

JavaVulBench: A Java Vulnerability Benchmark with Realistic Splits, a Unified Multi-Backend Harness, and a Leakage-Aware Evaluation Mode

우리는 Java 취약점 탐지를 위한 벤치마크 데이터셋과 평가 하네스인 JavaVulBench를 공개한다. 이 데이터셋은 1,740개의 CVE와 700개 이상의 프로젝트에 걸친 약 30,600개의 Java 메서드를 포함하며, 메서드 및 라인 단위로 레이블이 부여되어 있고, CVE별 공개 날짜와 다섯 가지 현실적 분할 전략(무작위, 프로젝트 비중복, 시간적, 중복 제거, 미확인 CWE 계열)을 제공한다. 하네스는 세 가지 백엔드 계열(인코더 분류기, Ollama로 서빙되는 로컬 생성 모델, OpenRouter를 통해 라우팅되는 API 서빙 대규모 언어 모델(LLM))에 걸쳐 단일 LlmPrediction 스키마를 제공하므로, CodeBERT, GraphCodeBERT, UniXcoder, DeepSeek-Coder-1.3B 및 8개의 API/오픈 가중치 LLM(GPT-4o, GPT-4.1-mini, Claude Sonnet 4, DeepSeek-v3, DeepSeek-Coder-v2, Qwen-2.5-Coder-14B/7B, CodeLlama-13B)을 포함한 12개의 참조 탐지기가 단일 명령어로 동일한 조건에서 평가된다. 사전학습 오염 감사가 모든 모델과 함께 제공되어 사용자가 진정으로 미확인 테스트 CVE와 잠재적으로 기억된 CVE를 구분할 수 있다. 데이터, 코드, 파인튜닝된 체크포인트는 Zenodo [31]에 보관되어 있으며, 짧은 시연 영상은 YouTube(https://www.youtube.com/watch?v=nMTX_hqkuoM)에서 확인할 수 있다.