PyTorchKR Papers

업데이트된 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.21347v5cs.AI

Insights Generator: 대규모 언어 모델(LLM) 에이전트를 위한 체계적인 말뭉치 수준 실행 추적 진단

Insights Generator: Systematic Corpus-Level Trace Diagnostics for LLM Agents

대규모 언어 모델(LLM) 에이전트(agent)의 실패를 진단하는 작업은 여전히 대부분 수작업으로 이루어집니다. 실무자들은 실행 추적(execution trace)의 작은 하위 집합을 검토하고, 임시 가설을 세우며, 이를 반복하여 개선합니다. 이러한 방식은 전체 추적 집단에 걸쳐서만 나타나는 패턴을 놓치며, 개별 추적이 수만 개 토큰(token)에 달하는 프로덕션 말뭉치에는 확장 적용되지 않습니다. 본 논문에서는 말뭉치 수준의 추적 진단 문제를 공식화합니다. 실행 추적 말뭉치가 주어졌을 때, 추적 그룹 전반에 걸친 체계적인 행동 패턴을 규명하고 각각을 뒷받침하는 증거와 연결하는 그라운딩(grounding)된 자연어 인사이트를 생성하는 것이 목표입니다. 저자들은 추적 말뭉치 전반에 걸쳐 가설을 제안하고 검증함으로써 진단 질문에 답하고 증거 기반의 인사이트 보고서를 생성하는 다중 에이전트 시스템인 Insights Generator(IG)를 제안합니다. 루브릭 기반 보고서 평가와 IG 인사이트를 적용하여 달성한 다운스트림 성능 향상을 포함하여 정성적 및 객관적 차원에서 IG를 평가합니다. IG 보고서를 활용한 인간 전문가는 수정되지 않은 기준선(baseline) 스캐폴드 대비 스캐폴드 성능을 30.4%p 향상시켰으며, IG에서 도출된 인사이트를 활용한 코딩 에이전트는 일관되고 안정적인 성능 향상을 보였습니다. 여러 벤치마크(benchmark)에 걸쳐 IG의 정찰-조사관(scout-investigator) 아키텍처는 경쟁 접근법과 비교해 탐지 범위 면에서 대등한 결과를 도출한 반면, 도메인 전문가들은 IG 보고서의 심층성과 증거 품질을 최고 수준으로 평가했습니다.

arXiv:2610.02480v2cs.AI

MEA: 충실한 모델 설명을 위한 보상 기반 다중 에이전트 시스템

MEA: A Reward-Driven Multi-Agent System for Faithful Model Explanations

최근 중요도가 높은 고위험 영역에서 수많은 머신러닝(ML) 모델이 도입되고 있지만, 그 예측을 바탕으로 행동해야 하는 실무자들에게 이러한 모델은 여전히 대부분 불투명한 상태로 남아 있습니다. 사후(post-hoc) 설명 방법들이 모델의 동작을 들여다볼 수 있는 시각을 제공하긴 하지만, 이를 효과적으로 다루기 위해서는 대부분의 도메인 전문가들이 갖추지 못한 전문 지식이 필요합니다. 즉, 고차원 출력을 탐색하고, 최적의 설명을 선택하며, 이질적인 도구들 전반에 걸친 증거를 종합해야 합니다. 이를 위해 본 연구에서는 설명에 필요한 전문 지식의 장벽을 완전히 제거하는 다중 에이전트 프레임워크인 MEA를 제시합니다. 제안자(Proposer) 에이전트는 질문과 양식(modality)에 따라 설명 도구를 선택하고 구성하며, 실행자(Actor) 에이전트는 충실도(faithfulness)를 기준으로 엔드투엔드 최적화되어 테이블, 텍스트, 비전 양식 전반에 걸쳐 모델 동작에 기반(grounding)한 자연어 설명으로 출력을 변환합니다. 나아가, 특징 기여도(feature attribution), 반사실적 추론(counterfactual reasoning), 거짓 특징(spurious feature) 탐지를 아우르는 다양한 질문 유형을 도입하고, 각각을 섭동 기반 충실도 지표와 짝지었습니다. 연구 결과, 프론티어 대규모 언어 모델(LLM)들은 체계적으로 충실하지 못한 설명을 생성하는 것으로 나타났습니다. 양식 적응형 페널티로 강화된 충실도 보상에 대해 최적화함으로써, MEA는 6개 데이터셋 전반에서 기존 사후 설명 기법, 에이전트 기반 베이스라인, 상용 폐쇄형 베이스라인을 일관되게 능가했으며, 보상 기반 최적화를 통해 학습되지 않은 백본 대비 충실도가 테이블에서 +28%, 텍스트에서 +21%, 비전에서 +34% 향상되었습니다. 더 넓게는, 본 연구 결과는 AI 에이전트 자체가 머신러닝 설명가능성(explainability)을 위한 확장 가능하고 적응력 있는 인터페이스 역할을 할 수 있음을 시사하며, 오랫동안 이 분야를 규정해 온 고정된 단일 목적 도구를 넘어 일반화되는 자연어 설명가능성으로 향하는 길을 열어줍니다.

arXiv:2609.04820v3cs.CR

Cost-Aware Hierarchical Multi-Agent Ransomware Detection and Family Attribution

Sandbox execution and memory forensics are among the most resources intensive stages of malware triage. Static analysis can scale to millions of files while dynamic and memory analysis require minutes per sample. Because multimodal ransomware detectors often apply every modality to every sample, costs and latency rise even when static evidence suffice.We proposea cost aware Hierarchical Multi Agent System (HMAS) that frames evidence acquisition as a budgeted sequential decision problem enabling timely ransomware detection. Specialist agents generate schema validated risk signals for each modality while domain controllers aggregate evidence and coordinate analysis. The orchestrator starts with static evidence and escalates only if confidence is low or signals disagree. A locally hosted language model provides a limited, accoutable review without replacing the deterministic pipeline. Experiments on 16 ransomware families show 94.12% binary accuracy (F1 0.9376, ROC-AUC 0.9989). For multi class family attribution, it achieves 98.90% accuracy (macro-F1 0.9748). The system resolves 57.95% of the samples using static analysis alone whhile only 6.21% require the full pipeline. Compared with exhaustive cost of 12.0 units,the proposed system reduces te average cost to 6.724 units, representing approximately 44% saving. Zero day experiments further examine generalization to unseen ransomware families. Additional evaluations examine cost sensitivity and component level contribution. LLM-assisted review provides only marginal improvement in F1 while introducing additional computational overhead. Overall, the results show the potential of adaptive hierarchical multi agent orchestration to balance ransomware detection performance, family attribution analysis cost and decision latency.