PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14816v1cs.SE

다국어 프롬프트 기반 코드 생성을 위한 대규모 언어 모델: 큐레이션 벤치마크와 코드 품질 연구

Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality

대규모 언어 모델(LLM)은 동일한 프로그래밍 과제를 서로 다른 자연어로 프롬프트할 때 서로 다르게 수행하며, 이 현상을 언어 바이어스(language bias)라고 한다. 일반 텍스트 생성에서는 이 행동이 널리 연구되었지만, 코드 생성 품질과 프로그래밍 관습에 미치는 영향은 대부분 아직 탐구되지 않았다. 우리는 프로그래밍 과제를 설명하는 데 사용되는 언어가 GPT-4o mini, DeepSeek, Claude가 생성하는 소스 코드에 어떤 영향을 미치는지 조사한다. 본 연구는 Python(230)과 Java(230)에 걸친 460개의 코딩 과제로 구성된다. 원래 영어 프롬프트를 기술적 의미를 보존하면서 중국어, 힌디어, 스페인어, 이탈리아어로 번역하고 수동으로 큐레이션한다. 생성된 코드를 여러 차원에서 평가하는데, 여기에는 테스트 통과율을 통한 기능적 정확성, 확립된 코드 메트릭을 이용한 구조적 품질, 정적 분석 도구가 탐지한 문제, 식별자와 주석에 사용된 언어와 같은 어휘적 특성이 포함된다. 결과는 (i) 영어 프롬프트가 항상 최고의 기능적 정확성이나 코드 품질을 내지는 않으며, (ii) 프롬프트 언어의 영향은 프로그래밍 언어와 LLM 모두에 달려 있고, (iii) 생성된 코드가 주석과 문자열 리터럴에서 영어와 프롬프트 언어를 자주 혼합한다는 것을 보여준다. 이러한 발견은 코드 생성에서의 언어 바이어스를 연구하기 위한 최초의 큐레이션된 다국어 벤치마크를 제공하며, 보다 견고한 다국어 코드 생성 시스템 개발을 위한 통찰을 제공한다.

arXiv:2607.14791v1cs.AI

언어 모델의 기만 행동 조사를 위한 트랜스코더

Transcoders for Investigating Deception in Language Models

트랜스코더는 최근 기계론적 해석 가능성(mechanistic interpretability, MI) 분석을 위한 유망한 접근법으로 부상했으며, 모델 행동의 회로 수준 분석을 가능하게 합니다. 본 논문에서는 안전성(safety) 및 보안 위험을 초래하는 행동인 언어 모델의 기만적 행동을 분석하기 위해 트랜스코더의 사용을 조사합니다. 사전학습(pre-trained)된 트랜스코더, 특히 층별 트랜스코더(per-layer transcoders, PLTs)가 적용된 Qwen3-4B 모델을 사용하여, 특징 활성화와 특징 간 의존성을 포착하는 attribution graph를 구성하고 기만에 대한 회로 수준 분석을 수행합니다. 특징 스티어링(feature steering)과 회로 분석을 통해 기만 관련 특징 사전을 식별했으며, 이러한 특징들이 기만적 출력과 비기만적 응답 사이의 예측 가능한 전환을 유발함에 따라 기만적 출력에 더 강한 영향을 미친다는 것을 보여줍니다. 이러한 결과는 기만이 모델 내부 메커니즘에서 창발한다는 것을 시사하며, 언어 모델의 악의적 행동과 관련된 보안 취약점에 대한 행동 모니터링 및 조기 탐지를 위해 트랜스코더가 가진 잠재력을 강조합니다.

arXiv:2607.14675v1cs.RO

로봇을 위한 지능형 클라우드-엣지 멀티모달 상호작용 시스템

An Intelligent-Cloud Edge Multimodal Interaction System for Robots

복잡한 환경에서의 견고한 인간-로봇 상호작용은 제한된 온보드 컴퓨팅 자원 하에서 정확한 제스처 인식, 의미론적 장면 이해, 그리고 신뢰할 수 있는 작업 계획을 필요로 한다. 본 논문은 향상된 YOLO 기반 제스처 검출기를 조율된 대규모 언어 모델(LLM) 및 비전-언어 모델(VLM) 에이전트와 통합하는 클라우드-엣지 멀티모달 상호작용 프레임워크를 제시한다. 제안된 검출기는 neck에 Convolutional Block Attention Module(CBAM)을 통합하고, 기준선 바운딩 박스 회귀 목적 함수를 Distance-IoU(DIoU) 손실로 대체한다. 이러한 수정은 복잡한 배경에서 작거나 부분적으로 가려진 제스처에 대한 특징 구별과 위치 추정을 개선한다. 클라우드 층은 제스처 검출, 장면 이해, 멀티모달 융합, 행동 계획을 수행하고, TonyPi 로봇은 로컬에서 데이터 수집, 통신, 행동 실행, 피드백을 처리한다. 공개 제스처 데이터셋과 사용자 정의 데이터셋에 대한 실험 결과, YOLO-DC는 각각 98.9% 및 95.0%의 정밀도와 90.7% 및 92.7%의 [email omitted] 달성한다. 시스템 수준 평가에서는 단일 행동, 복합 행동, 시각 의존 작업에 대해 각각 95%, 88%, 82%의 성공률을 보인다. 30명 참가자 평가에서는 전체 평균 만족도 점수가 5점 만점에 3.69점이다. 이러한 결과는 자원 제약 환경에서의 로봇 상호작용을 위해 정교화된 제스처 검출과 멀티모달 에이전트를 결합하는 것의 타당성을 보여준다.

arXiv:2607.14673v1cs.AI

Project Kaleidoscope: 실세계 AI 애플리케이션을 위한 문맥 기반 인간 정렬 평가

Project Kaleidoscope: Contextual, Human-Aligned Evaluation for Real-World AI Applications

평가(Evals)는 실세계 AI 애플리케이션의 배포 병목이다. 공개 벤치마크는 팀의 사용자, 맥락, 정책과 거의 일치하지 않으며, 인간 검토는 대규모로 확장하기 어렵다. 공공 부문 AI 애플리케이션 작업에서 얻은 동기에 기반하여, 본 프로젝트는 애플리케이션이 지역 정책 및 거버넌스 요구사항을 충족해야 할 때 반복적으로 마주치는 평가 과제를 다룬다. 우리는 페르소나 기반 테스트 생성, 맥락화된 루브릭, 신뢰성 게이트가 적용된 자동 채점을 위한 인간 검토를 연결하는 문맥적 기능 평가를 위한 통합 워크플로우인 Kaleidoscope를 제시한다. 생성된 테스트 케이스는 애플리케이션별 루브릭에 따라 채점되며, 인간 주석은 검토 가능한 레이블을 제공하고, 대규모 언어 모델(LLM) 심판(judge)은 해당 레이블과의 일치도가 설정된 임계값을 충족할 때만 채점을 자동화한다. 따라서 Kaleidoscope는 제품 팀을 위한 실용적이고 검토 가능하며 반복적인 워크플로우이다. 우리는 4가지 조직 사용 사례에 걸친 3주 파일럿, 그리고 4개 도메인과 14개 평가 차원에 걸친 108개의 주석 Q&A 쌍에 대한 맞춤형 루브릭 심판 실험에서 얻은 초기 증거를 보고한다. 결과는 end-to-end로 신뢰할 수 있는 자동 채점에 유용한 특징들을 보여준다.

arXiv:2607.14661v1cs.AI

SmartRAG: 모바일 기기용 네이티브 그래프 기반 RAG

SmartRAG: Native Graph-Based RAG for Mobile Device

모바일 기기에서 대규모 언어 모델(LLM)을 개인 비서로 배포하려면 프라이버시, 낮은 지연 시간, 오프라인 사용 가능성이 요구되지만, 거대 모델의 계산 비용은 엄격한 엣지 하드웨어 예산과 충돌한다. 우리는 이러한 긴장을 모델 압축만으로는 해결할 수 없으며, 온디바이스 지능을 상호 보완적인 기능적 역할로 분해해야 한다고 주장한다. 우리는 Perception, Memory, Focus, Thinking이라는 네 개의 조율된 모듈을 중심으로 지능형 비서를 구성하는 완전 온디바이스 프레임워크인 SmartRAG를 제안한다. SmartRAG의 핵심은 EvoNER로, 교사 증류(teacher-distilled) 업데이트를 통해 레이블 인벤토리를 점진적으로 확장하는 지속적으로 학습 가능한 개체명 인식기(named-entity recognizer)이다. 이를 통해 시스템은 백본 LLM을 재학습하지 않고도 이전에 보지 못한 개체 유형을 흡수할 수 있다. 추출된 지식은 출처를 보존하는 3층 지식 그래프인 MRGraph에 저장되며, 쿼리 시 그래프 순회, 어휘 매칭, 밀집 의미 검색(dense semantic search)을 결합한 하이브리드 파이프라인을 통해 검색된다. 온디바이스 LLM은 라벨링, 계획, 답변 합성과 같은 고가치 의미 연산에만 호출되어 추론 비용을 제한된 범위 내에 유지한다. TriviaQA, Natural Questions, HotpotQA, MultiHopQA 네 가지 QA 벤치마크에서의 실험 결과, 양자화된 1.7B 매개변수 백본을 사용하는 SmartRAG가 최대 18배 더 큰 모델과 경쟁력 있는 다중 홉(multi-hop) 추론 성능을 달성하며, 상용 스마트폰에서 실용적인 메모리 및 지연 시간 범위 내에서 완전히 실행됨을 보여준다.

arXiv:2607.14659v1cs.SE

자동차 도메인에서 모델링 도구 상호 운용성을 위한 LLM 기반 접근법

LLM-Driven Approach to Modeling Tool Interoperability in Automotive Domain

이질적인 모델링 도구 간 상호 운용성은 모델 기반 공학(MDE)에서 여전히 중요한 과제이며, 특히 여러 모델링 언어와 사실상 표준인 독점 및 오픈소스 도구가 공존하는 자동차 도메인에서 더욱 두드러진다. 본 논문은 두 가지 관련 측면을 고려하여 자동화된 모델 상호 운용성을 위한 LLM 기반 접근법을 제안한다: 1) 모델 인스턴스를 대상 메타모델로 매핑하는 것, 2) 메타모델 병합. 제안된 방법론은 Ecore 및 SysML v2 기반 메타모델 간 변환을 통해 시연되며, 생성된 모델 인스턴스에 대해 사용자 정의 대상 모델을 기준으로 한 구조적 검증을 포함한다. 자동차 도메인 사례 연구는 이 접근법의 실현 가능성을 보여 주며, 대규모 언어 모델(LLM)이 교차 도구 상호 운용성을 위해 구조적으로 유효한 대상 모델을 생성하면서 수동 변환 작업을 크게 줄일 수 있음을 보여 준다.

arXiv:2607.14658v1cs.AI

TopoAgent: 멀티모달 과학적 추론을 위한 자기 진화형 위상적 에이전트

TopoAgent: A Self-Evolving Topological Agent for Multimodal Scientific Reasoning

멀티모달 대규모 언어 모델(MLLM)은 일반적인 과제에서 뛰어난 성능을 보이지만, 단일 구조의 선형 계획 방식의 한계로 인해 엄밀한 과학적 추론은 여전히 어렵다. 이러한 순차적 설계는 시각-의미 불일치, 긴 컨텍스트 환각, 고정된 작업 세분화 하에서의 취약한 실행 문제를 자주 겪는다. 우리는 선형 궤적을 동적이며 상태가 격리된 그래프 진화로 대체하는 자기 진화형 위상적 프레임워크인 TopoAgent를 제안한다. TopoAgent는 먼저 프론트엔드 분해기를 사용해 복잡한 질의를 시각적으로 그라운딩된 원자(atom)로 분해한다. 이 원자들은 의존성에 따라 방향성 비순환 그래프(DAG)로 구성되어 엄격한 컨텍스트 격리를 가능하게 하며, 추론 엔진을 무관한 과거 노이즈로부터 보호한다. 또한 적응형 원자 분열(adaptive atomic fission)을 도입하여, 도구 역량 경계를 초과할 때 런타임에 병목 노드를 더 세분화된 하위 원자(sub-atom)로 동적으로 분할한다. 수학, 물리, 화학 벤치마크에 걸친 광범위한 실험 결과, TopoAgent는 최신 선형 에이전트 프레임워크를 크게 능가하며 자율적 과학적 추론을 위한 견고하고 노이즈에 강하며 자기 수정이 가능한 패러다임을 제공함을 보여준다.

arXiv:2607.14651v1cs.CR

MemPoison: LLM 에이전트의 지속적 메모리 위협과 구조적 사각지대 규명

MemPoison: Uncovering Persistent Memory Threats and Structural Blind Spots in LLM Agents

지속적 외부 메모리는 에이전트 연속성을 향상시키지만 지속적인 보안 취약점을 도입한다. 적대적 콘텐츠가 표준 상호작용 채널을 통해 주입되어 턴에 걸쳐 유지되고, 나중에 하류 동작을 왜곡할 수 있다. 이 과제를 해결하기 위해, 우리는 4가지 공격 유형, 3가지 주입 채널, 3가지 대표적 메모리 기질에 걸친 1227개의 수동 검증 사례를 포함하고, 7개의 오픈 가중치 및 3개의 클로즈드 가중치 모델 계열에서 평가된 포괄적인 벤치마크 및 분석 프레임워크인 MemPoison을 제안한다. 우리는 3단계 분류체계를 도입한다: (L1) 직접 단일 레코드 손상, (L2) 구성적 다중 레코드 손상, (L3) 컨텍스트 트리거 잠재 손상. 우리의 평가는 뚜렷한 방어 경계를 드러낸다. 일관성 검사와 같은 기준선 쓰기 시점 방어는 직접적인 L1 공격을 상당히 억제하지만, L2 및 L3 공격을 신뢰성 있게 억제하는 데는 실패한다. 기계론적 영향 분해(MID)를 통해, 우리는 쓰기 시점 방어의 구조적 사각지대를 입증하는데, 이는 표면상 무해해 보이는 레코드를 허용하여 나중에 결합 검색 구성이나 트리거 조건 활성화를 통해 유해해진다. 우리의 발견은 정적 필터링에서 적응적이고 컨텍스트에 민감한 메모리 방어 전략으로의 전환을 주장한다.

arXiv:2607.14642v1cs.AI

MCPEvol-Bench: MCP 서버의 동적 진화에 따른 LLM 에이전트 성능 벤치마킹

MCPEvol-Bench: Benchmarking LLM Agent Performance Across Dynamic Evolutions of MCP Servers

Model Context Protocol(MCP) 서버가 LLM과 외부 도구를 연결하는 핵심 인프라로 부상하면서, 기존 벤치마크들은 실제 MCP 서버를 활용해 LLM 에이전트의 도구 사용 능력을 평가한다. 그러나 이러한 벤치마크는 MCP 서버 내 도구 인터페이스와 기능의 지속적인 진화를 간과하여, 변화하는 도구 환경에서 에이전트의 적응력을 포착하지 못하는 결함 있는 평가를 낳는다. 이 격차를 메우기 위해, 우리는 동적 도구집합 진화 하에서 LLM 에이전트의 과제 해결 능력을 평가하기 위한 새로운 벤치마크 MCPEvol-Bench를 제안한다. 대규모 실증 연구에 영감을 받아, 123개 MCP 서버 내에서 현실적인 도구 진화를 시뮬레이션하기 위해 11개의 변이(mutation) 연산자를 제안한다. 우리는 여러 버전의 MCP 서버에서 12개의 최신 LLM을 벤치마킹하여, 최첨단 모델조차 진화하는 도구에 적응하는 데 어려움을 겪음을 밝힌다. 예를 들어, GPT-5.4와 Claude-Sonnet-4-6은 각각 진화한 MCP 서버에서 13.7% 및 14.4%의 성능 저하를 보였으며, 계획 및 추론 오류가 상당히 증가했다. 이러한 결과는 LLM 기반 워크플로의 취약성을 부각하며, 동적 도구 환경에서 에이전트 적응력을 평가하기 위한 표준으로 MCPEvol-Bench를 자리매김한다.

arXiv:2607.14582v1cs.AI

MathCoPilot: 수학 연구를 위한 인간-AI 공생 패러다임의 상호작용 시스템

MathCoPilot: An Interactive System for Human-AI Symbiotic Paradigm of Mathematical Research

기존 LLM 기반 정리 증명기(theorem prover)는 형식 수학 벤치마크에서 인상적인 결과를 달성했지만, 여전히 주어진 명제를 증명하는 자율적 에이전트(agent) 역할에 한정되어 있다. 본 논문에서는 수학 연구를 위한 새로운 인간-AI 공생 패러다임을 구현하는 human-in-the-loop 시스템인 MathCoPilot을 제안한다. 이 시스템에서는 수학자가 고수준의 수학적 방향을 주도하고, AI 에이전트는 지속적인 인간의 안내 아래 상세한 형식화(formalization) 및 증명 작업을 수행한다. MathCoPilot은 세 가지 핵심 기능을 통합한다: (1) 수학자와 AI 에이전트가 살아 있는(living) 증명 설계도(proof blueprint)를 통해 협업하는 상호작용형 작업대(workbench)로, 증명을 인간이 직접 검사·지시·정교화할 수 있는 탐색 가능한 단계로 분해한다; (2) 적응형 지식 베이스 검색과 Lean 통합 반복 검증을 갖춘 자동화된 증명 기술 오케스트레이션; (3) 주제 기반 논문 검색 및 검증된 Lean 지식 베이스로의 자동 형식화. MathCoPilot을 사용하여 FormalMATH 부분 집합과 심층적인 도메인 전문성이 필요한 두 개의 실제 PDE 정리에 대해 Gemini 3.1 Pro, GPT-5.4, Claude Opus 4.7을 포함한 네 가지 최신 LLM을 체계적으로 비교하고, 검증된 Lean 4 증명을 생성하는 능력과 의도적으로 오류가 포함된 증명에서 오류를 식별하는 능력을 평가한다. 결과는 현재 모델이 유리한 자동 형식화(autoformalization) 조건 하에서 학부 수준 문제를 높은 성공률로 처리할 수 있지만, 진정한 수학적 이해를 요하는 도메인 특화 정리에 대해서는 상당한 과제가 남아 있음을 보여준다.

arXiv:2607.14581v1cs.AI

뇌 종양학에서 시각 지시 미세조정을 위한 다중 LLM 협력 MRI 보고서 생성

Multi-LLM Collaborative MRI Report Generation for Visual Instruction Tuning in Brain Oncology

최근 대규모 언어 모델(LLM)의 발전과 이를 시각-언어 모델(VLM)로 확장한 연구 덕분에 보고서 생성과 같은 작업에서 텍스트와 이미지를 결합하기가 더 쉬워졌다. 기존 의학 분야 VLM은 일반적으로 2D 이미지(흉부 X-ray)에 초점을 맞추며, 3D 영상-텍스트 페어 데이터의 부족으로 3D 영상으로의 확장이 어려웠다. 따라서 우리는 교종(glioma)과 수막종(meningioma) 사례의 3D MRI 스캔을 사용하여 뇌 종양학을 위한 3D 영상-텍스트 데이터셋을 구축하는 새로운 방법을 제안한다. 우리는 여러 LLM이 협력하여 보고서를 생성하고 검증하는 협력 시스템을 사용하여 보고서가 정확하고 명확하도록 한다. 새로운 3D MRI-텍스트 데이터셋을 활용하여, 우리는 MRI 스캔을 토큰(token)으로 변환하고 이를 텍스트 지시와 정렬하는 VLM을 구축한다. 우리의 VLM은 보고서 생성 및 시각 질의응답(visual question answering) 작업에서 다른 2D 및 3D 방법보다 더 우수한 성능을 보였다. 우리의 방법은 보고서의 품질을 개선할 뿐만 아니라 뇌 종양학에서의 더 나은 진단과 치료에도 도움이 된다.

arXiv:2607.14574v1cs.AI

네트워크 사회 실험에서 다중 LLM 에이전트를 활용한 협력적 공간 학습

Collaborative Spatial Learning with Multi-LLM Agents in Networked Social Experiments

집단적 문제 해결에서는 그룹 구성원이 이미 알려진 해법의 활용(exploitation)과 새로운 해법을 찾기 위한 탐험(exploration) 사이의 트레이드오프를 고려해야 하는 경우가 많으며, 알려진 해법에 관한 정보는 통신 네트워크를 통해 개별 구성원에게 전파될 수 있다. Mason--Watts 실험(PNAS 2012)은 2차원 탐색 과제에서 경로가 더 짧은 네트워크에 있는 인간 집단이 경로가 더 긴 네트워크의 집단보다 더 좋은 성과를 보인다는 것을 보여주었다. 본 연구에서는 대규모 언어 모델(LLM) 에이전트 그룹이라는 설정에서 이러한 네트워크 효율 효과를 조사하는 데 초점을 맞춘다. 구체적으로, 8가지 Mason--Watts 네트워크 위상(topology)에서 Mason--Watts 실험을 수행하는 16개 LLM 에이전트 그룹을 고려한다. 또한 LLM 에이전트의 성능을 메커니즘 기반 에이전트 및 인간 실험 데이터와 비교할 수 있도록 메커니즘적 베이지안 최적화(optimization) 에이전트를 개발한다. 우리의 계산 실험은 LLM 에이전트가 1라운드 선택을 무작위화하도록 지시받았을 때는 유의미한 네트워크 효율 효과를 보이지만, 기본 초기화 하에서는 그렇지 않음을 나타낸다. 이 실험에서 1문장짜리 1라운드 무작위화 지시를 추가하면, 8개 네트워크 위상에 걸친 추정 보수(payoff) 차이의 3배 이상만큼 집단적 보수가 개선된다. 또한 이 공간 탐색 과제에서 베이지안 최적화 에이전트는 평가된 LLM 에이전트보다 더 높은 보수를 얻는다. 나아가 에이전트의 탐험-활용 행동, 모방(copying), 공간적 다양성을 추가로 비교한다.

arXiv:2607.14553v1cs.AI

자율 산업 시스템을 위한 의도 추상화 층 구축을 향하여

Towards an Intention Abstraction Layer for Autonomous Industrial Systems

현대 산업 환경에서는 스케줄러, 에너지 관리자, 차량 군집 등 많은 자율 하위 시스템이 동시에 운영되며, 각각은 고유한 목표를 추구하면서 동일한 물리적 자원을 공유한다. 상위 수준의 인간 의도가 하위 수준의 제어 로직으로 변환된 뒤 폐기되기 때문에, 실행 중인 어떤 구성 요소도 여전히 실제로 의도된 일을 수행하고 있는지 알 수 없으며, 목표 충돌은 목표 미달이나 셧다운을 초래한 뒤에야 표면화된다. 우리는 의도를 일급(first-class), 지속적(persistent), 설명 가능한(explainable) 런타임 객체로 표현하는 도메인 비의존적(domain-agnostic) 미들웨어인 Intention Abstraction Layer(IAL, 의도 추상화 층)를 제안한다. 형식적 OWL 온톨로지에 그라운딩(grounding)된 대규모 언어 모델(LLM)이 자연어 목표를 구조화된 의도로 파싱하고, 일관성 모니터가 등록 시점과 실행 전에 충돌을 감지하며, 투명성 모듈이 이를 자연어로 설명한다. 두 자율 에이전트(agent)가 상충하는 생산 및 에너지 의도를 등록하고 IAL이 실행 층에 도달하기 전에 충돌을 표시하고 설명하는 첫 개념 증명(proof of concept)을 보고한다. 그 결과, 협력하는 자율 시스템에 대한 행동 보증(behavioral assurance)을 사후 실패 분석에서 실행 전 의도 수준 검사로 전환하는 메커니즘이 된다.

arXiv:2607.14541v1cs.AI

LLM이 생성한 GPU 커널은 프로덕션 준비가 되었는가? 추적 기반 벤치마크와 최적화 에이전트

Are LLM-Generated GPU Kernels Production-Ready? A Trace-Driven Benchmark and Optimization Agent

기존 GPU 커널 생성 벤치마크는 실제 배포 워크로드와 괴리되는 합성 또는 큐레이션된 출처에서 문제를 가져온다. 우리는 Atrex-Bench를 제안한다. 이 벤치마크의 30개 연산자와 440개 shape는 연산 제한적이고 메모리가 풍부한 GPU의 전체 클러스터 프로덕션 추론 추적에서 직접 샘플링되었다. 각 문제는 관측된 GPU 시간에서의 비중, 애플리케이션 card-hours로 가중된 값, 그리고 해당 문제가 실행되는 서빙 단계별로 별도 계산된 중요도 가중치를 갖으며, 문제별 roofline 상한과 함께 제공되어 집계 점수가 서빙 시간을 가장 많이 소비하는 커널을 강조하도록 한다. Atrex-Bench에서 6개의 최신 코딩 에이전트를 평가한 결과, 최고의 바닐라 모델조차 프로덕션 연산자에서 하드웨어 roofline의 ${\sim}10\%$에만 도달한다. 또한 정확성만으로는 능력을 과대평가하게 되는데, 겉보기 통과율의 상당 부분이 모델이 작성한 커널이 아니라 PyTorch fallback에서 나오기 때문이다. 이 격차를 줄이기 위해, 우리는 프로파일 기반 커널 최적화 에이전트인 Atrex-Kernel-Agent(AKA)를 함께 공개한다. AKA는 반복적인 측정-수정(measure-revise) 탐색, 정체된 탐색 컨텍스트에서 벗어나기 위한 최적화 드롭아웃, 그리고 계층적 GPU 최적화 지식 베이스(298개 참조 커널 파일과 244개 최적화 지식 문서, 및 API/ISA 조회를 위한 외부 upstream 참조 프로젝트)를 결합한다. 통제된 사례 연구에서, 해당 에이전트는 FlyDSL fallback이 전혀 없던(zero-FlyDSL) 상태를 손수 튜닝한 프로덕션 기준선과 동등하거나 그를 초과하는 실제 커널로 변환한다.

arXiv:2607.14524v1cs.AI

WrAFT: 논증 에세이를 위한 모듈화된 자동 글쓰기 평가 시스템

WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays

본 연구는 논증 에세이에 대해 정확하고 신뢰할 수 있는 점수와 효과적인 종합 피드백을 제공하는 WrAFT(Writing Assessment and Feedback Tool)를 제시한다. WrAFT는 자동 글쓰기 평가(AWE) 작업을 채점, 표면 수준 피드백, 심층 수준 피드백으로 나누는 모듈형 설계를 채택한다. 시스템 구축 과정에서 LLaMA-3.3-70B-Instruct, GPT-4o, Claude 3.7 등 다양한 대규모 언어 모델(LLM)을 직접 프롬프팅과 지도 미세조정 방식으로 평가했다. 공식 벤치마크 점수가 포함된 480편의 TOEFL Independent Writing 에세이 전용 데이터셋을 활용했다. 벤치마크 기반 평가 결과, WrAFT는 채점에서 최첨단 성능을 달성했으며, 0–5 척도의 공식 점수 대비 이차 가중 카파(quadratic weighted kappa, QWK) 0.84, 평균제곱근오차(root mean square error, RMSE) 0.44를 기록했다. 시스템이 생성한 피드백에 대한 인간 평가에서도 높은 승인률이 나타났다: 표면 수준 피드백 96.14%, 심층 수준 거시(macro) 피드백 93.03%, 심층 수준 미시(micro) 피드백 94.69%. 해당 시스템의 대화형 사용자 인터페이스가 개발되어 공개되어 무료로 이용할 수 있다.

arXiv:2607.14510v1cs.AI

VLT: 산업 지능을 위한 비전-언어-시계열 다중모달 파운데이션 모델

VLT: A Vision-Language-Time Series Multimodal Foundation Model for Industrial Intelligence

산업 시계열은 항공 엔진과 같은 산업 장비의 신뢰성과 안전성을 보장하기 위한 예지 및 건강 관리(PHM)의 기반이 된다. 그러나 기존 접근법은 일반적으로 단일 모달리티 모델링에 한정되어 복잡한 시나리오에서의 일반화를 제한한다. 최근 대규모 언어 모델(LLM)의 발전이 다중모달 학습에 새로운 기회를 제공하지만, 연속적인 시계열 신호와 이산적인 텍스트 의미를 연결하는 것은 여전히 열린 과제로 남아 있다. 이를 위해 우리는 시계열, 주파수 스펙트럼 시각 표현, 텍스트 지식을 공동으로 모델링하는 다중모달 파운데이션 모델 VLT를 제안한다. 핵심 통찰은 연속적인 시간 신호와 이산적인 의미를 연결하기 위해 주파수 스펙트럼을 시각적 가교로 활용하는 것이다. 구체적으로, 이질적인 시간 역학을 포착하기 위해 시간 인식 전문가 혼합(Time-MoE)을 설계하고, Frequency-Text Augmented Learner는 공유 표현 공간 내에서 스펙트럼 및 의미 특징의 공동 모델링을 가능하게 한다. 또한 시간 중심 그래디언트 정렬 메커니즘을 도입하여 그래디언트 정규화와 신뢰성 인식 동적 재가중치를 통해 교차 모달 최적화 충돌을 완화한다. 다양한 산업 데이터셋에 대한 광범위한 실험에서 VLT가 최신(state-of-the-art) 방법들을 능가하며, 퓨샷(few-shot), 노이즈, 불완전 모달리티 설정에서 우수한 견고성과 일반화를 달성함을 보여준다.

arXiv:2607.14494v1cs.AI

SAGA: 에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩

SAGA: Schema-Aware Grounding for Agentic Text-to-SPARQL Generation

복잡한 지식 베이스 질의응답(KBQA)은 일반적으로 질문별 서브그래프에 대한 정보 검색 또는 실행 가능한 논리형으로의 의미 구문 분석(semantic parsing)을 통해 접근한다. 우리는 후자의 패러다임을 연구한다. 최근 대규모 언어 모델(LLM) 에이전트는 의미 구문 분석을 대화형으로 만든다: 추론, 지식 베이스 질의, 부분 SPARQL 쿼리 확장을 번갈아 수행한다. 이러한 교차 수행은 one-shot 생성에 대한 의존을 줄이지만, KB 그라운딩의 품질이 상호작용 도구가 무엇을 노출하는지에 달리게 만든다. 기존 에이전트는 엔티티 타입, 속성의 domain과 range, 기대되는 답변 타입에 체계적으로 조건화하지 않은 채 주로 어휘적 관련성과 인스턴스 수준 관찰을 통해 후보 속성을 검색하거나 가지치기한다. 우리는 이러한 실패 양식을 타입 맹목(type-blind) 그라운딩이라고 부른다. 이는 그라운딩 탐색 공간을 확대하고, 종종 그럴듯해 보이지만 의미적으로 호환되지 않는 트리플 패턴을 생성하여 빈 결과로 실행된다. 우리는 SAGA(에이전트 기반 텍스트-투-SPARQL 생성을 위한 스키마 인식 그라운딩)를 제안한다. 이는 속성 탐험을 스키마 제약 그라운딩 연산으로 전환하는 학습 없는 프레임워크이다. SAGA는 지속적인 양방향 타입 상태를 유지하고, 구성 시점에 알려진 비호환 속성 후보를 필터링하며, 남은 그래프 패턴을 간결한 스키마 주석 형식으로 제시하고, 경험적 및 trace-local 증거를 통해 누락된 스키마 정보를 관대하게 처리한다. Wikidata와 Freebase에 걸친 9개의 벤치마크 설정에서 SAGA는 9개 설정 모두에서 최고 F1을, 8개에서 최고 exact-match 정확도를 달성했으며, 보고된 모든 Wikidata 설정에서 빈 결과 쿼리를 줄였다.

arXiv:2607.14485v1cs.AI

사회 시뮬레이션에서 생성형 에이전트를 위한 단계 수준 선호 학습

Step-Level Preference Learning for Generative Agents in Social Simulations

대규모 언어 모델(LLM) 기반 생성형 에이전트는 계획, 기억 검색, 반성, 행동 선택과 같은 중간 단계로 구성된 장기 의사결정 과정을 통해 인간 행동을 시뮬레이션한다. 그러나 이러한 중간 단계에 대한 세밀한 인간 주석은 여전히 부족하며, 기존 에이전트는 그러한 중간 의사결정에 대한 인간 선호에 기반하고 있지 않다. 이 격차를 해소하기 위해, 우리는 에이전트 의사결정 궤적에 대한 단계 수준 인간 선호 감독을 수집할 수 있는 대화형 시뮬레이션 인터페이스인 \method를 도입하여 57K개의 세밀한 주석으로 구성된 데이터셋을 구축한다. 우리는 이 데이터에 대해 지도 파인튜닝과 직접 선호 최적화를 사용하여 오픈 가중치 언어 모델에서 단계 수준 선호 학습을 수행하고, 시뮬레이션 충실도, 협조, 상호작용 품질을 일관되게 개선하며 더 사회적으로 효과적인 에이전트 행동을 유도한다. 우리의 결과는 단계 수준 인간 감독이 국소적 의사결정 품질과 장기 에이전트 행동 모두를 개선하는 데 효과적인 학습 신호임을 보여준다.

arXiv:2607.14456v1cs.SE

범용 LLM을 넘어서: 구조화된 코드 워크플로 실행을 위한 전문 에이전트 시스템

Beyond Generalist LLMs: Specialist Agentic Systems for Structured Code Workflow Execution

대규모 언어 모델(LLM)은 소프트웨어 개발 에이전트의 도입을 가속화했으며, 이러한 에이전트는 통합 개발 환경(IDE) 확장과 독립 실행형 애플리케이션 형태로 널리 제공되고 있다. 이러한 에이전트는 일반적으로 범용(general-purpose)이지만, 전문 에이전트(specialist agent)가 추가 개발 노력을 정당화할 수 있는지는 여전히 불분명하다. 우리는 비즈니스 프로세스 자동화(business process automation) 맥락에서 이 질문을 조사하며, Business Process Model and Notation(BPMN) 다이어그램을 실행 가능한 에이전트 워크플로(agentic workflow)로 변환하는 데 초점을 맞춘다. BPMN은 명시적인 제어 흐름(control-flow) 의미론을 명시하므로, 고정된 프로세스 모델과 입력이 실행 경로를 고유하게 결정하는 결정적(deterministic) 워크플로에 초점을 맞춘다. 이 작업을 위해 전문 워크플로(specialist workflow)를 도입하고 Roo, Cline과 같은 범용 에이전트(generalist agent)와 비교한다. 결과에 따르면 전문 솔루션은 도구 사용 정확도(tool-use exactness)에서 범용 베이스라인 대비 약 9-20%p 우수하고, 페널티 조정 지연시간(penalty-adjusted latency)에서는 2-4배, 도구 호출 오류는 3배 적으며, 생성 토큰 비용은 95% 이상 절감하고 수리(repair) 반복을 제거한다. 또한 범용 에이전트는 기능과 품질 모두에서 일관되지 않은 코드를 생성하여, 신뢰성과 유지보수성이 필수적인 산업 환경에는 적합하지 않음을 확인했다.

arXiv:2607.14443v1cs.AI

Tactile: 컴퓨터 사용 에이전트에 손과 발을 제공

Tactile: Giving Computer-Using Agents Hands and Feet

컴퓨터 사용 에이전트는 유능한 소프트웨어 운영자가 되어가고 있지만, 데스크톱 애플리케이션과의 인터페이스는 여전히 취약한 동작 층인 경우가 많다. 스크린샷을 보고 좌표를 예측한 뒤 클릭하고, 보이는 상태가 의도한 대로 바뀌었기를 바란다. 이는 대상 그라운딩(grounding), 행동 실행, 결과 검증을 하나의 모호한 연산으로 축소한다. 우리는 Tactile을 제시한다. Tactile은 데스크톱 사용을 위해 에이전트에게 더 신뢰할 수 있는 "손과 발"을 제공하는 오픈소스 도구 층이다. Tactile은 이질적인 UI 증거—운영체제 접근성(accessibility) 의미론, OCR로 그라운딩된 텍스트, 시각적 폴백(fallback) 영역—를 행동 그라운딩된 인터페이스 상태로 변환한다. 여기에는 소스 레이블, 역할 또는 텍스트, 상태, 기하학, 실행 가능한 affordance, 검증 단서가 포함된 간결한 대상 후보가 있다. 에이전트는 관찰-그라운딩-행동-검증(observe-ground-act-verify) 루프를 통해 동작하며, 가능할 때는 네이티브 의미론적 행동을 선호하고, 보이는 텍스트가 최선의 증거일 때는 OCR로 그라운딩된 좌표로 폴백하며, 재생과 실패 귀속을 위해 전체 provenance를 유지한다. macOSWorld 스타일 태스크에서 Tactile을 추가하면 Codex Success@100이 전체적으로 41.1%에서 50.0%로, 접근성 적응(accessibility-adapted) 태스크에서는 45.2%에서 55.3%로 향상된다. 96개 태스크 교차-에이전트 부분집합은 Codex, Claude Code, OpenCode, Goose에서 일관된 향상을 보여준다. 이 결과는 신뢰할 수 있는 컴퓨터 사용이 더 강한 모델뿐 아니라, 익명의 화면 좌표가 아니라 소프트웨어 행동을 의미론적이고 검증 가능하며 감사 가능한 객체로 노출하는 재사용 가능한 실행 기질(substrate)도 필요함을 시사한다.