PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.25451v3cs.LG

BigMac: 멀티모달 LLM 학습에서 연산과 메모리의 파레토 프론티어 극복

BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal LLM Training

MLLM 학습에서 연산 효율과 메모리 효율이 동시에 개선되지 못하는 파레토 프론티어 문제를 해결하기 위해, BigMac은 인코더와 생성기 연산을 기존 LLM 파이프라인에 의존성 안전 중첩(dependency-safe nested) 구조로 삽입하여 인코더/생성기의 활성화 메모리 복잡도를 O(1)으로 줄이면서도 무제한 메모리 환경과 동일한 연산 효율을 달성한다. 여러 MLLM 및 학습 워크로드에서 평가한 결과, 기준 시스템 대비 1.08×–1.9×의 학습 속도 향상을 배치 크기와 무관하게 안정적인 메모리 사용량으로 달성함을 확인하였다.

arXiv:2604.00860v5cs.LG

정책 개선 강화학습

Policy Improvement Reinforcement Learning

기존 RL 사후학습 방법들이 현재 배치의 보상으로만 정책을 업데이트하는 개루프(open-loop) 구조의 한계를 지적하며, 반복 간 성능 향상 자체를 명시적 목표로 삼는 PIRL(Policy Improvement Reinforcement Learning) 프레임워크와 이를 기반으로 한 폐루프(closed-loop) 플러그인 알고리즘 PIPO를 제안한다. PIPO는 슬라이딩 윈도우 방식의 과거 성능 앵커와 비교해 업데이트 효과를 검증하고, PPO·GRPO·SDPO 등 다양한 정책 최적화 계열에서 수학적 추론, 코드, 도구 사용 태스크 전반에 걸쳐 일관된 성능 향상을 달성했다.

arXiv:2603.11021v2cs.LG

효율적인 LLM 압축을 위한 리치 격자 벡터 양자화

Leech Lattice Vector Quantization for Efficient LLM Compression

리치 격자(Leech lattice)의 24차원 최적 구 패킹 특성을 활용한 코드북 없는 벡터 양자화(VQ) 프레임워크 LLVQ를 제안하며, 인덱싱 지원, 각도 탐색, 완전 병렬화 역양자화 커널을 포함하도록 기존 탐색 알고리즘을 확장하였다. LLVQ는 Spherical GPTQ와 결합하여 아다마르 회전 없이도 강력한 훈련 후 양자화(PTQ)를 실현하며, Llama, Ministral, Qwen 등 다양한 모델에서 Quip#, QTIP, PVQ를 능가하는 최첨단 2비트 양자화 성능을 달성하였다.

arXiv:2601.22136v2cs.LG

StepShield: 불량 에이전트에 대한 개입 여부가 아닌 개입 시점

StepShield: When, Not Whether to Intervene on Rogue Agents

StepShield은 에이전트 안전성 평가에서 탐지 여부가 아닌 탐지 타이밍을 핵심 지표로 다루는 최초의 벤치마크로, 9,429개의 실제 사고 기반 코드 에이전트 궤적에 조기 개입률(EIR)을 정의한다. 실험 결과, 847개 규칙을 가진 패턴 기반 가드레일이 86% 재현율을 달성하면서도 EIR에서는 무작위 타이밍과 통계적으로 동일하다는 포렌식 함정을 발견했으며, 이는 정규식 기반 모니터 전체가 실시간 에이전트 감독에 부적합함을 구조적으로 입증한다.

arXiv:2512.18542v3cs.CR

SecureCode: 보안 인식 코드 생성 모델 학습을 위한 프로덕션 수준의 멀티턴 데이터셋

SecureCode: A Production-Grade Multi-Turn Dataset for Training Security-Aware Code Generation Models

AI 코딩 어시스턴트가 보안 관련 시나리오의 45%에서 취약한 코드를 생성하는 문제를 해결하기 위해, OWASP Top 10 2021(웹)과 OWASP LLM Top 10 2025(AI/ML)를 통합 커버하는 최초의 공개 인스트럭션 튜닝용 데이터셋인 SecureCode(2,372개 멀티턴 예제)를 제시한다. 7개 전문 AI 관점의 멀티 에이전트 품질 검토와 8단계 개선 파이프라인을 통해 평균 품질 점수 93.8/100을 달성했으며, QLoRA로 파인튜닝된 오픈소스 모델(3B~20B) 8개와 함께 HuggingFace에 공개된다.

arXiv:2510.23636v4cs.LG

LLM4Delay: 대규모 언어 모델의 교차 모달리티 적응과 항공기 궤적 표현을 통한 항공편 지연 예측

LLM4Delay: Flight Delay Prediction via Cross-Modality Adaptation of Large Language Models and Aircraft Trajectory Representation

항공 교통 관제사 관점에서 터미널 기동 구역(TMA) 진입 후 항공편 지연을 예측하기 위해, LLM4Delay는 비행 데이터·기상 보고서·비행장 공고 등 텍스트 항공 정보와 다수의 항공기 궤적을 인스턴스 수준 프로젝션(instance-level projection)으로 언어 모달리티에 통합하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안한다. 기존 ATM 프레임워크 및 시계열-언어 적응 방법 대비 우수한 지연 예측 성능을 달성하며, 새로운 정보 입수 시 예측을 지속적으로 갱신할 수 있어 실제 운용 가능성을 시사한다.

arXiv:2508.16560v4cs.LG

희소하지만 틀렸다: 잘못된 L0가 희소 오토인코더에서 잘못된 특성을 초래한다

Sparse but Wrong: Incorrect L0 Leads to Incorrect Features in Sparse Autoencoders

희소 오토인코더(SAE)의 핵심 하이퍼파라미터인 L0이 올바르게 설정되지 않으면, L0이 너무 낮을 경우 상관된 특성(feature)들이 혼합되고 너무 높을 경우 퇴화된 해로 수렴하여 단일의미(monosemantic) 특성 학습에 실패함을 토이 모델과 Gemma-2-2b 실험을 통해 규명하였다. 또한 SAE 디코더 기반 대리 지표를 제안하여 올바른 L0을 탐색하는 방법을 제시하였으며, 현재 널리 사용되는 대부분의 SAE가 L0이 지나치게 낮게 설정되어 있음을 발견하였다.

arXiv:2502.15631v2cs.LG공식 코드 · Papers with Code

대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다

The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.

arXiv:2607.06534v1cs.CV

CAIRN: 토폴로지 인식 대규모 멀티모달 모델을 활용한 교차 공간 3D 장면 이해

CAIRN: Cross-Room 3D Scene Understanding with Topology-Aware Large Multimodal Models

기존 3D-LLM이 단일 공간 장면에 국한되었던 한계를 극복하기 위해, CAIRN은 그래프 신경망과 계층적 어텐션 마스크를 활용해 다중 공간 환경의 객체-공간 계층 구조와 토폴로지를 명시적으로 모델링한다. HM3D 기반의 새로운 다중 공간 벤치마크 CAIRN-MR에서 그라운딩, 캡셔닝, 공간 간 비교 추론 등 6가지 태스크 전반에 걸쳐 기존 3D-LLM을 큰 차이로 능가했다.

arXiv:2607.06478v1cs.CV

주야간 시각 성능 및 야간 재귀반사율 평가를 통합한 교통 표지판 종합 상태 평가를 위한 VLM 강화 프레임워크

A VLM-Enhanced Framework for Comprehensive Traffic Sign Condition Assessment Integrating Daytime Visual Performance and Nighttime Retroreflectivity Evaluation

교통 표지판은 모든 조명 조건에서 시각적 도구로서 도로 안전의 핵심 구성 요소이다. 도로 교통 제어 장치 통일 매뉴얼(MUTCD)은 가독성 및 색상 대비와 같은 주간 시각적 요소와 야간 재귀반사율 요구사항을 규정하고 있다. 전통적인 평가 방법은 수동 점검에 의존하는데, 미국 연방도로청(FHWA)은 이를 주관적이고 노동 집약적이며 안전 우려가 있다고 지적하는 반면, 재귀반사계는 비용이 높아 소규모 기관이 도입하기 어렵다. 기존 연구의 대부분은 주간 요소 또는 야간 재귀반사율 중 한 가지에만 집중하며, 두 측면을 종합적으로 통합하는 경우는 드물다. 본 연구는 주야간 통합 평가를 통해 교통 표지판을 체계적으로 평가하는 새로운 프레임워크를 개발한다. 제안 방법론은 세 가지 파인튜닝된 비전-언어 모델(VLM)을 활용하여 가독성, 색상, 표면 및 형상 무결성, 주변 환경 조건의 네 가지 주요 요소에 걸쳐 주간 시각 성능을 평가한다. VLM 예측은 감성 분석과 대조적 언어-이미지 사전학습(CLIP) 점수를 통해 수치 점수로 변환되며, 야간 성능은 확립된 보정 절차에 따라 LiDAR 기반 재귀반사율을 사용하여 평가된다. 프레임워크는 이러한 구성 요소들을 유지관리 지침을 위한 종합 표지판 상태 지수(SCI)로 통합한다. 평가 결과, LLaVA와 Qwen이 InternVL보다 우수한 성능을 보였으며, 모든 요소에서 양방향 코사인 유사도 점수 0.67~0.76을 달성하였다. 검증된 교통 표지판 462개 중 68개가 재귀반사율 성능 부족으로 인해 즉각적인 교체가 필요한 것으로 제안 프레임워크에 의해 표시되었다. 본 연구는 종합적인 교통 표지판 상태 평가를 위한 전통적인 수동 점검의 비용 효율적인 대안을 제공한다.

arXiv:2607.06118v1cs.CV

WebRetriever: 효율적인 웹 에이전트 평가를 위한 대규모 종합 벤치마크

WebRetriever: A Large-Scale Comprehensive Benchmark for Efficient Web Agent Evaluation

웹 에이전트 평가를 위한 대규모 벤치마크 WebRetriever는 800개 웹사이트와 1,550개 작업을 아우르며 소비자·전문가·기업 도메인을 포괄한다. 스크린샷을 넘어 다중 모달 상호작용 정보를 활용하는 LLM-as-Judge 평가 프레임워크 NavEval을 통해 인간 판단과 90% 이상의 일치율을 달성했으며, 탐색 성공만으로는 실제 배포 성능을 충분히 예측할 수 없음을 실험으로 입증한다.

arXiv:2607.06012v1cs.CV

클러스터링, 분류, 대규모 언어 모델을 활용한 부동산 문서에서의 구조화 데이터 추출

Structured Data Extraction from Real Estate Documents using Clustering, Classification, and Large Language Models

스코틀랜드 부동산 플랫폼의 설문 PDF 문서 3,965건에서 구조화된 정보를 추출하기 위해, 문서를 세 가지 유형으로 분류한 후 DeepSeek R1을 활용해 35개의 매물 속성을 JSON 형식으로 추출하는 엔드-투-엔드 파이프라인을 제안한다. 코사인 유사도 기반 Jaccard 일관성 점수 0.82와 K-Means 클러스터링 실루엣 점수 0.2088로 추출 품질을 검증하여, 대규모 비정형 부동산 문서 처리의 실현 가능성을 입증하였다.

arXiv:2607.05910v1cs.CV

PolicyShiftGuard: 정책 적응형 이미지 가드레일의 벤치마킹 및 개선

PolicyShiftGuard: Benchmarking and Improving Policy-Adaptive Image Guardrails

기존 이미지 가드레일이 고정된 안전 정책에만 의존해 런타임 정책 변화에 취약하다는 문제를 해결하기 위해, PolicyShiftBench(265개 이미지, 2,000개 인스턴스, 28개 정책 변형)를 구축하고 RP-SFT와 BP-Adapt를 결합한 2단계 학습 방식의 PolicyShiftGuard를 제안한다. 제안된 7B 모델은 PolicyShiftBench에서 Avg. F1 76.9, Avg. PSS 72.1의 SOTA 성능을 달성하며, 동일 이미지에 대한 정책 전환 처리 능력이 기존 비전-언어 모델(VLM) 및 전문 가드레일보다 크게 향상됨을 보인다.

arXiv:2607.05880v1cs.CV

Harrison.Rad 1.5 기술 보고서: 영상, 이전 검사 및 임상 맥락으로부터 보고서 초안을 작성할 수 있는 방사선과 기반 모델

Harrison.Rad 1.5 Technical Report: A radiology foundation model that can draft reports from images, priors and clinical context

Harrison.Rad 1.5(HR1.5)는 흉부, 근골격계, 복부, 척추, 골반 X선 및 유방 촬영 등 단순 방사선 촬영 전반을 다루는 방사선과 특화 멀티모달 대규모 언어 모델(LLM)로, 약 600만 건의 영상-보고서 쌍을 활용한 대조적 비전 인코더 학습과 다중 턴 VQA 파인튜닝을 포함한 3단계 파이프라인으로 학습되었다. 평가 결과 HR1.5는 모의 FRCR 2B 시험 합격 기준을 충족한 유일한 모델로, 폐쇄형 임상 질문 정확도 및 내부 다중 모달리티 보고서 생성에서 최고 성능을 달성했다.

arXiv:2607.05859v1cs.CV

AVA-VLM: 야외 건설 현장 모니터링을 위한 적응적 시각 어텐션 비전-언어 모델

AVA-VLM: Adaptive Visual Attention-Vision Language Model for In-the-Wild Construction Site Monitoring

건설 현장 모니터링을 위한 비전-언어 모델(VLM)이 단일 전역 이미지 기반 파인튜닝에 의존해 운용 범위, 저해상도 신뢰성, 추론 효율성 면에서 한계를 보이는 문제를 해결하고자, AVA-VLM은 인간의 시각 주의 메커니즘에서 착안해 저해상도 전역 이미지를 먼저 추론한 뒤 세부 검사가 필요한 경우에만 고해상도 로컬 크롭을 선택적으로 요청하는 거친-세밀(coarse-to-fine) 전략을 채택한다. 영역 인식 사고의 연쇄(Chain-of-Thought) 데이터셋을 새롭게 구축하여 모델이 언제, 어디를 크롭할지 학습하도록 하였으며, 실험 결과 장거리·저해상도 조건에서 신뢰성이 향상되고 시각 토큰 사용량이 크게 감소함을 확인하였다.

arXiv:2607.05798v1cs.CV

답변 전 분할: MLLM 시각적 추론을 위한 픽셀 그라운딩

Segmentation before Answering: Pixel Grounding for MLLM Visual Reasoning

SegAnswer는 다중모달 대규모 언어 모델(MLLM)의 비전-언어 추론 과정에서 관심 영역 확대 시 경계 상자(bounding box) 대신 픽셀 수준의 분할 마스크를 활용해 배경 노이즈와 겹치는 객체로 인한 의미적 모호성을 제거하는 방법이다. Qwen2.5-VL-7B와 SAM 2.1을 기반으로 픽셀 그라운딩, 멀티모달 인터리브 SFT, 강화학습 단계로 학습하며, 고해상도 인식·환각·분할 벤치마크(V*, HR-Bench, RefCOCO 등)에서 기존 시각 추론 방법 대비 일관된 성능 향상을 달성했다.

arXiv:2607.05769v1cs.CV

LEGATO 2: 멀티모달 악보 인식 및 이해를 향하여

LEGATO 2: Toward Multimodal Sheet Music Recognition and Understanding

우리는 악보 이미지에서 기호 표기(symbolic notation)와 의미론적 지식을 추출하기 위한 새로운 파이프라인인 Legato 2를 제안한다. Legato 2는 광학 음악 인식(OMR, Optical Music Recognition)을 위한 최초의 대규모 신경 모델로, 페이지를 미분화된 이미지로 처리하는 대신 페이지에서 읽히는 순서대로 수평 표기 라인을 따라 시스템 단위로 순차적으로 동작하며, 임의로 긴 입력에 대한 더 나은 스케일링을 가능하게 한다. 또한 제목 및 주석과 같은 텍스트 콘텐츠가 포함된 기호 전사(symbolic transcription)를 생성할 수 있는 최초의 OMR 모델이기도 하다. 이 파이프라인은 시스템 수준 분할과 자기회귀 비전-언어 모델(vision-LM)을 결합하여 지역적 표기 세부 사항과 악보 구조를 모두 포착한다. 여러 데이터셋에 걸쳐 Legato 2는 기존 최고 성능을 일관되게 능가한다. 또한 기호 전사가 프런티어 언어 모델의 시각적 입력을 보완하여 밀도 높은 음악 문서에 대한 해석을 향상시킴을 보인다. Legato 2는 OMR과 하위 악보 이해 과제 모두에서 새로운 최고 성능을 확립한다.

arXiv:2607.05511v1cs.CV

Light-Omni: 장기 기억을 갖춘 에이전틱 비디오 이해에서 추론보다 반사적 처리

Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory

반복적 추론 없이 단일 순전파로 반사적 비디오 이해를 구현하는 멀티모달 에이전트 프레임워크 Light-Omni를 제안하며, 에피소딕 메모리에서 통합된 전역 상태(global state)와 의미론적으로 정렬된 검색 임베딩을 생성하는 잠재 상태(latent state)의 이중 컨텍스트 설계를 통해 M3-Agent 대비 평균 2.4% 정확도 향상, 12.1× 속도 향상, 2.6× GPU 메모리 효율 개선을 달성했다.

arXiv:2607.05465v1cs.CV

CanvasAgent: 시각적 도구 오케스트레이션을 통한 복잡한 이미지 생성 및 편집 지원

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

복잡한 이미지 생성·편집을 위해 14만 건의 실행 궤적을 포함한 대규모 멀티모달 도구 활용 데이터셋 CanvasCraft와, SFT 및 GRPO 기반 2단계 학습을 통해 생성·분할·합성 등 11가지 이종 시각 도구를 오케스트레이션하는 에이전트 CanvasAgent를 제안한다. CanvasAgent는 다중 턴 상호작용 중 중간 시각 결과를 검사하고 자산을 추적하며, 결과 품질과 궤적 유효성을 결합한 하이브리드 보상으로 복잡한 멀티툴 이미지 워크플로우에서 효과적인 성능을 달성한다.

arXiv:2607.03261v2cs.CV

OmniLayout: PCB 레이아웃에서 제약 인식 기하 추론을 위한 회로도 연동 멀티모달 벤치마크

OmniLayout: A Schematic-Coupled Multimodal Benchmark for Constraint-Aware Geometric Reasoning in PCB Layout

OmniLayout은 실제 전자 설계 자동화(EDA) 워크플로우에서 엄격한 기하적·배선·연결성 제약 하의 PCB 레이아웃 배치 추론을 대규모 언어 모델(LLM)로 평가하는 최초의 벤치마크로, 1,681개의 산업급 회로도 연동 PCB 레이아웃과 4가지 태스크(기하 추론, 배선 가능성, 전기적 기능성, 도구 증강 에이전트 추론)를 포함한다. 실험 결과, Claude-Sonnet-4.6, GPT-5.5 등 최신 LMM들이 부품 비중첩 제약 위반, 낮은 배선 최적화 성능, 전기적 기능성 보존의 불일치 등 PCB 배치에서 근본적인 한계를 드러냈다.