PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08734v1cs.AI

동등성의 환상: 대규모 언어 모델에서 양자화 효과의 통계적 특성 분석

The Illusion of Equivalency: Statistical Characterization of Quantization Effects in LLMs

사후학습 양자화(post-training quantization)가 정확도·퍼플렉서티 지표상 성능을 유지하는 것처럼 보여도 실제 예측 일관성은 훼손될 수 있음을 보이며, 이를 측정하기 위한 의사결정 수준 지표인 correctness agreement를 제안한다. 8비트~2비트 범위의 다양한 양자화 방식에 걸쳐 어텐션 가중치의 층별 왜곡을 분석한 결과, 낮은 비트폭에서 비선형적 임계점이 존재하며 query·key 프로젝션이 value·output 프로젝션보다 양자화에 더 민감함을 확인했다.

arXiv:2607.08716v1cs.AI

중요할 때 기억하라: 장기(long-horizon) 에이전트를 위한 능동적 메모리 에이전트

Remember When It Matters: Proactive Memory Agent for Long-Horizon Agents

장기(long-horizon) 태스크 수행 중 의사결정에 필요한 정보가 컨텍스트 윈도우에 묻히거나 밀려나 더 이상 행동에 영향을 미치지 못하는 '행동 상태 소실(behavioral state decay)' 문제를 해결하기 위해, 별도의 메모리 에이전트가 구조화된 메모리 뱅크를 유지하며 필요한 시점에만 선택적으로 리마인더를 주입하는 능동적 개입 아키텍처를 제안한다. Terminal-Bench 2.0과 τ²-Bench에서 각각 +8.3 pp, +6.8 pp의 pass@1 향상을 달성했으며, 수동적 메모리 노출이나 상시 주입 방식보다 선택적 개입이 우월함을 에이블레이션(ablation)으로 확인했다.

arXiv:2607.08691v1cs.SE

ProjAgent: 저장소 수준 코드 생성을 위한 절차적 유사도 검색

ProjAgent: Procedural Similarity Retrieval for Repository-Level Code Generation

ProjAgent는 저장소 수준 코드 생성(repository-level code generation)에서 기존의 어휘적·의미론적 유사도 검색이 놓치는 절차적 유사도(procedural similarity)를 새로운 검색 신호로 도입한 시스템으로, 목표 함수를 중간 추론 단계로 분해하고 LLM 은닉 상태 프로젝션(hidden-state projection)을 활용해 유사한 절차적 동작을 보이는 저장소 함수를 에이전트 기반 워크플로우로 검색한다. REPOCOD 벤치마크에서 41.14% Pass@1을 달성하여 기존 검색 기반 베이스라인을 능가하였으며, 컴파일러 및 정적 분석 피드백 루프를 통한 반복적 코드 수정까지 포함한다.

arXiv:2607.08652v1cs.AI

자기이익 추구 에이전트 사회에서 시장 안정성을 위한 공식 메커니즘: 마켓플레이스 시뮬레이션 연구

Formal Mechanisms for Market Stability in Self-Interested Agent Societies: A Marketplace Simulation Study

자기이익을 추구하는 18개의 LLM 에이전트(DeepSeek-V3)가 참여하는 다중 에이전트 마켓플레이스 시뮬레이션에서, 8가지 공식 메커니즘의 협력 유지 효과를 비교한 결과 조정(Mediation) 메커니즘이 가장 높은 시장 안정성을 보였다. 이후 반복적으로 프롬프트 최적화된 LLM 기반 트롤로 레드팀 테스팅을 수행했을 때, 최강 공격도 정직한 에이전트의 효용을 13.3% 감소시키는 데 그쳤으며 시장 자체를 붕괴시키지는 못해 Mediation의 적대적 강건성을 확인하였다.

arXiv:2607.08625v1cs.AI

환자 중심 대화형 인공지능의 복잡성

The complexities of patient-centred conversational artificial intelligence

대규모 언어 모델(LLM)을 기반으로 한 소비자 대상 의료 챗봇은 증상 평가에 점점 더 많이 활용되고 있다. 그러나 챗봇 개발 및 평가는 협조적이고 명확하게 의사를 표현하는 시뮬레이션 환자에 의존하는 경우가 많다. 우리는 실제 환자-챗봇 대화 2,053건을 분석한 결과, 사용자에 따라 의사소통 패턴과 감정 표현 방식이 매우 다양하게 나타남을 확인했다. 우리는 임상 내용, 감정 상태, 대화 전략, 의사소통 스타일을 별도로 모델링하는 환자 시뮬레이터를 개발했다. 15명의 인간 평가자가 참여한 튜링 기반 사실성 평가에서, 시뮬레이션된 대화는 실제 대화와 거의 구별되지 않았으며 인간 평가자의 정확도는 55%에 그쳤다. 우리는 5가지 고유한 환자 페르소나를 사용하여 1,164건의 임상의 평가 사례에 걸쳐 4개 LLM의 긴급도 평가 성능을 측정했다. 그 결과, 의사소통 스타일이 트리아지 결과를 크게 변화시킬 수 있음을 발견했다. 환자 중심 대화형 인공지능은 의사소통의 다양성을 수용해야 한다. 현실적인 상호작용이 아닌 이상적인 상호작용을 위해 설계된 시스템은 실제 환경에서 배포될 때 성능 저하를 초래하고 건강 불평등을 심화시킬 위험이 있다.

arXiv:2607.08602v1cs.AI

간세포암 정밀 치료를 향하여: 위험 계층화 및 치료 지침을 위한 임상 추론 대규모 언어 모델

Towards Precision Therapy in Hepatocellular Carcinoma: A Clinical-Reasoning LLM for Risk Stratification and Treatment Guidance

간세포암(HCC)은 흔한 악성 종양이자 암 관련 사망의 주요 원인이다. 현행 가이드라인과 병기 분류 시스템은 대략적인 범주를 제공하지만, 병기 내 이질성과 전자의무기록(EMR)의 임상 맥락을 종종 포착하지 못한다. 우리는 HCC-STAR(Hepatocellular Carcinoma Staging, Treatment And pRognosis)를 제시한다. 이는 임상적으로 정렬된 대규모 언어 모델(LLM)로, 일상적인 EMR 서술문을 읽고 위험 점수 기반 병기 분류, 근거 중심 근거를 갖춘 가이드라인 일치 치료 순위, 개인화된 생존 추정치를 동시에 출력한다. 우리는 SEER에서 약 30,000건의 HCC 사례를 수집하고, 임상의가 검증한 프롬프트 기반 증강 워크플로를 사용하여 EMR 형식의 서술형 학습 데이터로 확장하였다. 이 코퍼스를 기반으로, 단계별 검증 가능한 복합 보상으로 최적화된 지식 정렬 추론 프레임워크를 개발하여 임상 가이드라인의 텍스트 수준 암기를 넘어섰다. 중국 12개 병원의 6,668명 환자로 구성된 다기관 코호트에서 HCC-STAR는 임상 가이드라인 및 GPT-5, Gemini-2.5 Pro를 포함한 경쟁 모델들과 비교하여 치료 추천과 위험 계층화에서 최첨단 성능을 달성하였다. 가상의 전체 생존 분석에서 HCC-STAR 권고안 준수 시 중앙 생존 기간은 51개월로, BCLC 기준 29개월 및 CNLC 기준 32개월과 비교하여 우수하였다. 임상의 중심 평가에서 맹검 간담도 전문의들은 HCC-STAR의 추론 및 근거 중심 정당화를 신뢰할 수 있다고 평가하였다. 해당 모델은 치료 정확도에서 전공의 및 전문의를 능가하였으며, 보조 도구로 활용 시 의사들이 더 빠르고 정확한 결정을 내리는 데 도움을 주었다. 이러한 결과는 HCC-STAR가 간세포암의 위험 계층화와 정밀 치료를 위한 신뢰할 수 있고 검증 가능한 의사결정 지원 시스템임을 뒷받침한다.

arXiv:2607.08565v1cs.DC

SMetric: 균형 잡힌 세션 중심 스케줄링으로 에이전트 서빙을 위한 LLM 스케줄링 재고

SMetric: Rethink LLM Scheduling for Serving Agents with Balanced Session-centric Scheduling

에이전트가 LLM 요청을 발행하는 에이전틱 서빙 환경에서 기존 스케줄러들이 KV 캐시 재사용을 과도하게 우선시해 일부 인스턴스에 과부하가 걸리고 클러스터 TPS가 제한된다는 문제를 분석하여, 각 세션의 첫 번째 요청은 로드 밸런싱 중심으로, 후속 요청은 캐시 인식 방식으로 라우팅하는 세션 중심 스케줄링 기법 SMetric을 제안한다. SMetric은 기존 최신 스케줄러 대비 프리필-디코드 코로케이션 환경에서 클러스터 TPS를 10-16%, 분리(disaggregation) 환경에서 프리필 TPS를 2-34% 향상시키며 토큰당 지연 시간도 함께 개선한다.

arXiv:2607.08539v1cs.DB

DocMaster: 문서 분석을 위한 계층 구조 인식 시스템

DocMaster: A Hierarchical Structure-Aware System for Document Analysis

기존 시스템이 문서를 평탄화된 텍스트 청크로 처리해 계층 구조 정보를 손실하는 문제를 해결하기 위해, DocMaster는 문서를 계층적 트리로 파싱하고 LLM 기반 PC-KMeans 클러스터링과 하이퍼에지로 구조 인식 시맨틱 인덱스를 구축한다. 이를 통해 트리 탐색·FAISS 시맨틱 검색·하이퍼에지 매칭을 결합한 삼중 모달 검색(tri-modal retrieval)으로 정확한 문서 필터링과 검색-증강 생성(RAG) 기반 질의응답을 지원한다.

arXiv:2607.08403v1cs.AI

게임 이론 기반 다중 에이전트 프레임워크를 통한 언어 모델 환각 완화

Game Theory Driven Multi-Agent Framework Mitigates Language Model Hallucination

베이지안 게임과 팀 게임 원리를 결합한 적응형 다중 에이전트 프레임워크 G-Frame은 경량 대규모 언어 모델(LLM)의 화학 도메인 추론 결함을 극복하기 위해 363,045개의 사고의 연쇄와 199,589개의 질문-답변 쌍으로 구성된 전문 코퍼스를 자동 합성한다. 이를 통해 학습된 7B 모델 OmniChem은 ChemBench에서 GPT-4o mini와 동등한 성능을 달성하면서 기반 모델 대비 환각을 79.46% 감소시켰다.

arXiv:2607.08393v1cs.AI

대규모 언어 모델 미세조정에서 기억된 지식이 일반화에 실패하는 이유에 대한 메커니즘적 이해를 향하여

Towards Mechanistically Understanding Why Memorized Knowledge Fails to Generalize in Large Language Model Finetuning

LLM 파인튜닝 시 새로운 사실을 기억하더라도 다운스트림 추론에 활용하지 못하는 "앎-사용 격차(Knowing–Using Gap)" 현상을 규명하고, self-patching이라는 개입 기법으로 내부 활성화 위치를 분석한 결과, 기억된 표현이 추론에 유효한 레이어로 라우팅되지 않는 지식-회로 불일치(knowledge–circuit misalignment)가 원인임을 밝혔다. 이를 바탕으로 설계한 휴리스틱 전략은 일반화 실패 사례에서 오라클 성능 여유의 58–75%를 회복하였다.

arXiv:2607.08317v1cs.AI

Blind-Spots-Bench: 멀티모달 모델의 맹점 평가

Blind-Spots-Bench: Evaluating Blind Spots in Multimodal Models

인간에게는 쉽지만 최신 AI 모델은 실패하는 과제들을 체계적으로 평가하기 위해, AI 강좌 학생들이 제안한 235개 문제를 정제·분류한 벤치마크 `blind-spots-bench`를 소개한다. 38개 모델을 대상으로 한 평가에서 클로즈드 소스 프런티어 모델이 오픈 가중치 모델보다 약 10% 높은 정확도를 보였으며, 이미지 내 객체 계수(counting)와 같은 세밀한 시각 인식 작업은 모든 모델에서 여전히 어렵게 남아 있음이 드러났다.

arXiv:2607.08284v1cs.AI

PredicateLongBench를 통한 장문 컨텍스트 태스크의 난이도 축 이해

Understanding Axes of Difficulty For Long Context Tasks Via PredicateLongBench

PredicateLongBench은 장문 컨텍스트 추론 능력을 평가하기 위해 모델이 주어진 술어(predicate) 조건(예: 사전순 정렬)을 만족하는 가장 긴 연속 부분 수열을 찾도록 요구하는 새로운 벤치마크로, 연산 복잡도·적대적 디코이·탐색 공간 크기 등 다양한 난이도 축을 체계적으로 탐색한다. 실험 결과 GPT, Opus 등 최전선 모델들도 난이도가 높아질수록 성능이 크게 저하됨을 확인하였으며, 특히 이진 술어 태스크와 전칭 양화사(universal quantifier) 조건에서 어려움을 보였다.

arXiv:2607.08282v1cs.CR

언어 모델과의 상호작용에서 민감 데이터 프라이버시 보호를 위한 멀티 에이전트 방화벽 아키텍처

Multi-Agent Firewall Architecture for Privacy Protection of Sensitive Data in Interactions with Language Models

LLM 상호작용 시 민감한 데이터 유출을 방지하기 위해, 브라우저 확장과 MiTM 프록시를 결합한 투명한 트래픽 차단 계층 위에 결정론적 탐지기·제로샷 NER·퍼지 코드 유사도·LLM 기반 문맥 추론을 단계적으로 결합한 멀티 에이전트 방화벽 아키텍처를 제안한다. 오픈소스 로컬 우선 설계로 클라우드 신뢰 경계 이전 없이 HTTP(S)·WebSocket 전 구간을 보호하며, 최적 구성에서 F1 점수 94.93%를 달성했다.

arXiv:2607.08268v1cs.AI

다른 교사, 다른 역량: 구조화 텍스트 강화를 위한 1B 미만 온디바이스 지식 증류

Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment

deepseek-r1:8b(8B) 추론 교사 모델을 Qwen3-0.6B(0.6B) 학생 모델로 QLoRA 기반 지식 증류하여, 기사당 39초에서 0.8초로 속도를 크게 높이면서 요약 품질 격차의 58%를 회복하고 제약 디코딩 대비 +16.8점을 달성했다. 성능 향상은 교사의 규모가 아닌 추론 특성에서 비롯되며, 교사 유형에 따라 전이되는 역량이 분화되어 단일 모델이 모든 필드에서 최적이 아니므로 필드별 라우팅 맵을 제시한다.

arXiv:2607.08257v1cs.AI

MentalHospital: 정신과 임상 면담 평가를 위한 가상 환경

MentalHospital: A Virtual Environment for Evaluating Psychiatric Clinical Encounters

ICD-11 전 범주에 걸친 1,193건의 비식별 정신과 전자건강기록(EHR)을 기반으로 S.O.A.P. 임상 워크플로우 전체를 시뮬레이션하는 가상 평가 환경 MentalHospital을 제안하며, 루브릭 기반 SFT와 전문가 가이드 DPO로 학습된 5개 도메인별 평가자 MentalEval을 함께 개발한다. 벤치마크 결과, 최고 성능의 대규모 언어 모델(LLM)도 객관적 정신과 역량에서 임상의 대비 37.28 퍼센트 포인트 낮은 성능을 보이며, 정신 상태 평가가 핵심 병목 구간으로 나타났다.

arXiv:2607.08255v1cs.AI

경쟁 후 협력: 최전선 AI 교사들이 검증 가능한 커리큘럼을 구축하여 모방을 넘어 코딩 학생을 향상시키다

Compete Then Collaborate: Frontier AI Teachers Build a Verifiable Curriculum to Improve a Coding Student Beyond Imitation

Claude, Codex-GPT, Grok, Gemini 네 프론티어 모델을 실행 기반 판정자(유닛 테스트)로 경쟁시켜 순위를 매긴 뒤, 검증된 풀이로 Qwen2.5-Coder 학생 모델을 위한 커리큘럼을 공동 구축하는 경쟁 후 협력(compete-then-collaborate) 프레임워크를 제안한다. 검증된 솔루션을 모방하는 SFT는 이미 역량 있는 코더 모델의 성능을 오히려 저하시키는 반면, 동일 커리큘럼을 검증 가능한 보상 강화학습(RLVR) 환경으로 활용하면 경쟁 문제에서 +49% 상대적 향상을 달성하여 AI 교사 협력의 핵심 가치가 답변 모방이 아닌 검증 가능한 학습 환경 구축에 있음을 보인다.

arXiv:2607.08196v1cs.AI

느린 사고와 능동적 지각의 제1원리 이론

A First-Principles Theory of Slow Thinking and Active Perception

인지 기능의 제1원리 모델링 시리즈의 일환으로, 본 논문은 사고와 지각에 대한 수학적 정식화를 제시한다. 느린 사고(slow thinking), 더 넓게는 능동적 지각(active perception)을 형식적으로 도출하며, 느린 사고 대규모 언어 모델(LLM)의 설계, 학습, 추론을 아우른다. 출발점은 관측 공간과 잠재 공간 위의 확률 분포를 리프팅(lifting)하고 투영(projection)하는 것으로, 복잡한 데이터 분포를 신경망과 같은 단순한 함수족으로 표현하는 것을 목표로 한다. "능동적 리프팅(active lifting)"이라 명명된 이론을 제안하며, 이는 잠재 시퀀스의 샘플링과 최대 속도로 불확실성을 줄이려는 내재적 동인에 기반한다. 이 이론은 정적 이론(static theory)이라 부르는 부분 공간에 느린 사고 모델을 포함하는 광대한 설계 공간을 도출한다. 해당 모델들은 정적 이론이 유도하는 표현 계층 구조와 샘플러 계층 구조 위에 위치하며, 두 계층 구조를 올라감으로써 개선될 수 있다. 능동적 리프팅은 나아가 내부 시간 축을 지닌 추론 과정과, 최소 길이 부호화 및 언어의 발명과 유사한 학습 목표를 도출한다. 이로써 느린 사고 형식의 창발(emergence)을 포함한 지각의 에이전시(agency)를 특성화한다. 본 이론의 기술적 부산물로는 느린 사고 모델 개선을 위한 3단계 경로, 모든 데이터 모달리티에 대한 인코더 및 생성 모델 구축의 통합적 접근법, 인간과 유사한 시각적 표현의 선험적(a priori) 형성, 그리고 정책 붕괴(policy collapse)에 대한 가능한 해결책이 포함된다.

arXiv:2607.08180v1cs.CR

시야 밖으로: 에이전트 크롤러에 대한 압축 인식 콘텐츠 보호

Out of Sight: Compression-Aware Content Protection against Agentic Crawlers

LLM 기반 에이전트가 컨텍스트 예산에 맞추기 위해 사용하는 컨텍스트 압축(context compression) 단계를 새로운 방어 층으로 활용하는 프레임워크 CAPE를 제안한다. CAPE는 인간이 읽을 수 있는 표면 형태를 그대로 유지하면서 보이지 않는 섭동(perturbation)을 텍스트에 주입하여 에이전트의 압축 과정에서 심각한 정보 손실을 유발하며, 최강 기준선 대비 최대 75.8%의 정보 손실 개선과 LangGraph·GitHub Copilot 실세계 환경에서 최대 59.7%의 다운스트림 정확도 하락을 달성했다.

arXiv:2607.08177v1cs.AI

ASMR: 선박 유지보수 보고서 작성을 위한 에이전트 기반 스키마 생성

ASMR: Agentic Schema Generation for Ship Maintenance Report Writing

선박 유지보수 보고서의 비정형 텍스트에서 일관된 정보 스키마를 자동으로 발견하기 위해, LLM 기반 의미 개념 추출과 다중 세분도 클러스터링을 수행하는 Field Generator Agent와 강화학습으로 중복 없는 최적 스키마를 구성하는 Structural Optimizer Agent로 이루어진 모듈형 에이전틱 프레임워크 ASMR을 제안한다. 예비 실험 결과 ASMR이 간결하고 유익한 스키마를 생성함을 확인하였으며, 이를 통해 보고서 작성자가 실시간 안내를 받아 더 완전하고 일관된 보고서를 작성할 수 있다.

arXiv:2607.08173v1cs.AI

과잉 사고: 학습된 비밀 추출을 위한 추론 가중치 증폭

Overthinking: Amplifying Reasoning Weights to Extract Learned Secrets

추론 태스크 벡터(reasoning task vector)를 α > 1로 증폭하는 "과잉 사고(overthinking)" 기법을 도입하여, 언어 모델이 학습 중 획득한 비밀 정보나 의도치 않은 동작을 블랙박스 감사(black box auditing)보다 최대 10배 더 빈번하게 노출시킬 수 있음을 2B~32B 규모 모델에서 검증하였다. 층별 감쇠(layer-wise attenuation) 전략을 통해 출력 품질을 유지하면서 추론을 선택적으로 증폭하며, 프리필 공격(prefill attack)과 결합 시 감사 효과가 더욱 향상됨을 보였다.