PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08331v1cs.LG

ArtMine: 예술적 창작 과정의 발견 및 형식화

ArtMine: Discovering and Formalizing Artistic Processes

ArtMine은 기록 문서, 서신, 기술 보고서 등 이질적인 역사적 증거로부터 예술적 창작 과정을 발견하고 형식화하는 에이전트 프레임워크로, 퍼스식 귀추 에이전트(Peircean abductive agent)가 증거 기반 제작 단계를 추론한 뒤 자기반성(self-reflection)을 통해 생성 결과물과 참조 작품 간의 편차를 최적화한다. 완성된 결과물의 분포가 아닌 창작 과정 자체를 모델링함으로써, 단편적 문서 증거로부터 일관성 있고 감사 가능한 예술 워크플로 표현을 지원하는 과정 중심 인간-AI 공동 창작 시스템을 지향한다.

arXiv:2607.08268v1cs.AI

다른 교사, 다른 역량: 구조화 텍스트 강화를 위한 1B 미만 온디바이스 지식 증류

Different Teachers, Different Capabilities: Sub-1B On-Device Distillation for Structured Text Enrichment

deepseek-r1:8b(8B) 추론 교사 모델을 Qwen3-0.6B(0.6B) 학생 모델로 QLoRA 기반 지식 증류하여, 기사당 39초에서 0.8초로 속도를 크게 높이면서 요약 품질 격차의 58%를 회복하고 제약 디코딩 대비 +16.8점을 달성했다. 성능 향상은 교사의 규모가 아닌 추론 특성에서 비롯되며, 교사 유형에 따라 전이되는 역량이 분화되어 단일 모델이 모든 필드에서 최적이 아니므로 필드별 라우팅 맵을 제시한다.

arXiv:2607.08177v1cs.AI

ASMR: 선박 유지보수 보고서 작성을 위한 에이전트 기반 스키마 생성

ASMR: Agentic Schema Generation for Ship Maintenance Report Writing

선박 유지보수 보고서의 비정형 텍스트에서 일관된 정보 스키마를 자동으로 발견하기 위해, LLM 기반 의미 개념 추출과 다중 세분도 클러스터링을 수행하는 Field Generator Agent와 강화학습으로 중복 없는 최적 스키마를 구성하는 Structural Optimizer Agent로 이루어진 모듈형 에이전틱 프레임워크 ASMR을 제안한다. 예비 실험 결과 ASMR이 간결하고 유익한 스키마를 생성함을 확인하였으며, 이를 통해 보고서 작성자가 실시간 안내를 받아 더 완전하고 일관된 보고서를 작성할 수 있다.

arXiv:2607.05694v1stat.ML

휴리스틱 튜닝을 넘어서: 검출력 보정 LLM 워터마킹

Beyond Heuristic Tuning: Power-Calibrated LLM Watermarking

로짓 기반 LLM 워터마킹에서 검출력과 의미적 왜곡 간의 트레이드오프를 정량화하는 검출력 보정(power-calibrated) 통계 프레임워크를 제안하며, 워터마크 하이퍼파라미터(γ, δ)와 검출력·KL 발산 사이의 명시적 관계를 도출한다. 이를 통해 휴리스틱 튜닝에 의존하던 파라미터 선택을 최적화 문제로 전환하고, 다수의 언어 모델과 데이터셋 실험에서 제안 프레임워크가 파레토 최적점(Pareto-optimal points)을 일관되게 식별함을 검증한다.

arXiv:2607.06495v1cs.CL

Pitwall: 보정된 실시간 몬테카를로 엔진을 활용한 충실한 자연어 레이스 전략 브리핑

Pitwall: Faithful Natural-Language Race-Strategy Briefings from a Calibrated Real-Time Monte Carlo Engine

Pitwall은 Formula 1 레이스 전략 브리핑을 3개 언어로 실시간 생성하는 시스템으로, 126개 레이스로 보정된 벡터화 몬테카를로 엔진의 확률적 레이스 상태에 대해 모든 문장의 사실적 주장을 검증하고 미세조정 데이터도 동일한 검증기로 필터링함으로써 충실성(faithfulness)을 아키텍처적 속성으로 구현했다. 2026년 오스트리아·영국 그랑프리 라이브 배포에서 종단간 동작이 확인됐으며, 희소 컨텍스트에서의 환각은 모델 스케일이 아닌 기본 모델의 인스트럭션 준수 능력에 기인함을 4개 기반 모델 복제 실험으로 규명했다.

arXiv:2607.06175v1cs.CL

강화학습을 통한 LLM 생성 프로세스 모델 품질 향상: 보상 함수 설계의 역할

Improving LLM-Generated Process Model Quality Through Reinforcement Learning: The Role of Reward Function Design

자연어 설명으로부터 BPMN 프로세스 모델을 생성하는 LLM의 품질을 높이기 위해, Group Sequence Policy Optimization(GSPO)을 활용한 강화학습(RL) 기반 보상 함수 설계를 체계적으로 분석한 연구로, Llama 3.1 8B와 Qwen 2.5 14B를 48가지 구성으로 학습한 결과, 균등 보상 가중치가 특정 차원 강조 방식보다 일관되게 우수하며 RL이 출력 변동성을 6배 이상 감소시킴을 보였다. 보상 구성 방식이 RL 적용 여부만큼이나 최적화 결과에 큰 영향을 미치며, 유효하지 않은 출력에 대한 페널티와 SFT 초기화의 효과가 모델 아키텍처에 따라 비자명한 방식으로 달라짐을 실증하였다.

arXiv:2607.06145v1cs.CL

프롬프팅 복잡도: LLM에서 텍스트와 행동을 위한 최단 프롬프트

Prompting Complexity: Shortest Prompts for Texts and Behaviors in LLMs

고정된 인스트럭션 튜닝 대규모 언어 모델(LLM)에서 목표 텍스트를 생성하는 가장 짧은 그럴듯한 프롬프트의 길이를 측정하는 프롬프팅 복잡도(prompting complexity)를 자원 제한 콜모고로프 복잡도(Kolmogorov complexity)의 언어 모델 상대적 유사체로 형식화하였다. 근사 출력을 위한 소프트 프롬프팅 복잡도, 프롬프팅 거리, 행동적 프롬프팅 복잡도로 개념을 확장하며, 어떤 텍스트와 행동이 짧은 프롬프트로 접근 가능한지를 실증적으로 연구하기 위한 연구 의제를 제안한다.

arXiv:2607.05722v1cs.CL

Nemotron-Labs-Diffusion: 자기회귀, 디퓨전, 셀프-스페큘레이션 디코딩을 통합한 삼중 모드 언어 모델

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion은 자기회귀(AR), 디퓨전, 셀프-스페큘레이션 디코딩을 단일 아키텍처에서 통합한 삼중 모드 언어 모델로, 결합 AR-디퓨전 목적함수로 학습하여 두 패러다임의 장점을 상호 보완적으로 활용한다. 3B·8B·14B 규모로 스케일링된 모델 패밀리는 최신 오픈소스 AR 및 디퓨전 언어 모델 대비 정확도와 속도 모두에서 앞서며, 특히 Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 순전파당 6배 더 많은 토큰을 디코딩해 SPEED-Bench에서 4배 높은 처리량을 달성한다.

arXiv:2607.05615v1cs.LG

토큰당 동전 던지기: 대규모 언어 모델의 베르누이 희소 조종

A Coin Flip Per Token: Bernoulli Sparse Steering of Large Language Models

희소 오토인코더(SAE)를 활용한 활성화 조종(activation steering)에서 매 토큰마다 신호를 주입하는 방식이 유창성을 저하시킨다는 문제를 해결하기 위해, 각 토큰을 확률 $p$로 독립적으로 게이팅하는 확률적 토큰 조종(STS)과 시퀀스 선두 윈도우에 단일 게이트를 적용하는 확률적 블록 조종(SBS)을 제안한다. LLaMA 3.1-8B와 Gemma-2 2B 실험에서 토큰의 50%만 조종해도 밀집 조종 효과의 95% 이상을 회복하고 30%만으로도 프롬프트 기반 제어를 능가하며, 최적 조종 크기가 개입 비율에 반비례함을 밝혀 SAE 매개 제어가 누적 신호량에 의존하는 속도 제한적 특성임을 입증한다.

arXiv:2606.08048v1cs.CL

전문가 곱 브리지를 통한 확산 언어 모델 병렬 디코딩

Diffusion Language Model Parallel Decoding via Product-of-Experts Bridge

확산 언어 모델(DLM)과 자기회귀(AR) 모델 간의 분포 격차를 좁히기 위해, DLM 제안 분포와 AR 목표 분포의 전문가 곱(Product-of-Experts)으로 구성된 중간 브리지 분포를 활용하는 새로운 디코딩 프레임워크 PoE-Bridge를 제안한다. PoE-Bridge는 거부 샘플링과 중요도 샘플링을 두 단계로 분리 적용하여 표준 DLM 디코딩 대비 5배 속도 향상과 함께 AR 모델 성능의 95% 이상을 회복하며, 수학적 추론 및 코딩 벤치마크에서 품질-효율 격차를 효과적으로 해소한다.

arXiv:2602.14147v2cs.CV

LaViDa-R1: 통합 멀티모달 확산 언어 모델의 추론 능력 향상

LaViDa-R1: Advancing Reasoning for Unified Multimodal Diffusion Language Models

확산 언어 모델(dLLM)은 최근 자기회귀(auto-regressive) 대규모 언어 모델(LLM)의 유망한 대안으로 부상하였다. 최신 연구들은 이를 멀티모달 이해 및 생성 태스크로 더욱 확장하였다. 본 연구에서는 범용 멀티모달 추론 dLLM인 LaViDa-R1을 제안한다. 기존 연구들이 태스크별 강화학습을 통해 추론 dLLM을 구축하는 것과 달리, LaViDa-R1은 다양한 멀티모달 이해 및 생성 태스크를 통합된 방식으로 포괄한다. 특히, LaViDa-R1은 지도 파인튜닝(SFT)과 멀티태스크 강화학습(RL)을 원활하게 결합하는 새로운 통합 사후 학습 프레임워크를 기반으로 구축되었다. 또한 효과성과 확장성을 높이기 위해 답변 강제(answer-forcing), 트리 탐색(tree search), 상보적 가능도 추정(complementary likelihood estimation) 등 여러 새로운 학습 기법을 적용하였다. 광범위한 실험을 통해 LaViDa-R1이 시각적 수학 추론, 추론 집약적 그라운딩(reason-intensive grounding), 이미지 편집 등 다양한 멀티모달 태스크에서 우수한 성능을 발휘함을 입증한다.

arXiv:2607.05761v1cs.AI

대규모 언어 모델을 활용한 합성 소비자 인사이트 생성

Synthetic Consumer Insight Generation with Large Language Models

현대의 데이터 기반 마케팅은 대량의 소비자 데이터에 의존하지만, 이러한 데이터를 수집하는 것은 비용이 많이 들고 시간이 소요되며 확장하기 어렵다. 본 연구는 대규모 언어 모델(LLM)이 투영 기법(projective techniques)—소비자의 연상, 감정, 욕구, 필요를 이끌어내기 위해 설계된 방법론의 집합—을 위한 합성 소비자 데이터 생성에 활용될 수 있는지 검토한다. 우리는 다양한 투영 과제, LLM, 프롬프팅 전략, 온도 설정에 걸쳐 LLM이 생성한 응답을 테스트하고, 이를 도시 관광지 인식에 관한 1차 연구에서 수집한 인간 응답과 비교한다. 인간과 LLM의 응답은 언어적 측도, 다양성 및 집중도 지표, 토픽 모델, 상위 용어 분석을 통해 분석하였다. 결과는 광범위한 주제 및 연상에서 인간과 LLM 응답 간에 상당한 중복이 존재하지만, 스타일, 언어 구조, 다양성이 생성되는 방식에서는 중요한 차이점도 있음을 보여준다. 합성 소비자 데이터 생성에 LLM을 최적으로 활용하는 방법, 모델 및 프롬프트 선택이 응답 품질을 형성하는 방식, 그리고 LLM 합성 소비자 데이터 생성의 한계를 인식하는 것에 대한 권고사항이 제시된다.

arXiv:2607.05577v1cs.AI

내러티브 월드 모델: 장편 소설을 위한 서사학 기반 작가 메모리

Narrative World Model: Narratology-Grounded Writer Memory for Long-Form Fiction

장편 소설 창작을 위한 작가 메모리 시스템 Narrative World Model(NWM)은 서사학 기반의 타입화된 시간적 상태 그래프와 쿼리 조건부 하이브리드 검색을 결합하여, 기존 에이전트 메모리 프레임워크 Graphiti/Zep 대비 멀티홉 서사학적 QA에서 유의미하게 높은 성능(0.898 vs. 0.574)을 달성하였다.

arXiv:2607.05573v1cs.AI

자동 CAD 생성을 위한 파운데이션 모델

Foundation Models for Automatic CAD Generation

LLMForge는 자연어 명세에서 파라메트릭 3D 기계 부품을 자동 생성하는 멀티모델 텍스트-투-CAD 프레임워크로, JSON 스키마 검증·메시 합성·다중 라운드 반복 정제를 통합하며 분석적 레이트레이싱 기반의 IterTracer와 VLM 시맨틱 비평 기반의 IterVision 두 가지 체계를 제안한다. 97개 엔지니어링 설계 문제 벤치마크에서 7개 파운데이션 모델을 평가한 결과, 상위 4개 모델이 98.97%의 메시 성공률로 매우 근접한 성능 클러스터를 형성했으며, IterVision에서는 100% 워터타이트 메시 생성을 달성하는 반면 회전 대칭 기하학인 실린더에서 체계적인 어려움이 드러났다.

arXiv:2603.11784v2cs.LG

리플레이를 통한 언어 생성: 모델 붕괴에 대한 학습 이론적 관점

Language Generation with Replay: A Learning-Theoretic View of Model Collapse

모델 붕괴(model collapse)를 학습 이론의 관점에서 분석하기 위해, 생성기의 과거 출력을 예시 스트림에 재주입하는 리플레이(replay) 적대자를 도입한 언어 생성 프레임워크를 제안한다. 리플레이는 균일 생성(uniform generation)에는 무해하지만 비균일 생성 및 한계에서의 생성(generation in the limit)에서는 증명 가능한 성능 저하를 야기하며, 이는 데이터 정제·워터마킹·출력 필터링 같은 실무 휴리스틱의 이론적 근거와 한계를 동시에 설명한다.

arXiv:2607.04339v1cs.LG

하나의 프레임워크로 모두를: 생성 모델을 위한 크로스-모달 멤버십 추론

One Framework for All: Cross-Modal Membership Inference for Generative Models

멤버십 추론 공격(MIA)을 텍스트-투-텍스트, 텍스트-투-이미지, 이미지-투-텍스트 생성 모델 전반에 통합 적용하는 최초의 통합 프레임워크를 제안하며, 생성 모델의 출력 분포가 학습 데이터 분포를 근사한다는 모달리티 독립적 특성을 활용해 공유 임베딩 공간에서 가능도 비율 검정으로 멤버십을 추론한다. 엄격한 블랙박스 환경에서 부분 지식 및 제로 지식 위협 모델 모두를 대상으로 한 실험에서 기존 단일 모달리티 최신 기법들을 능가하는 성능을 입증했다.

arXiv:2607.03788v1cs.LG

퓨스텝 이산 확산을 위한 텐서-트레인 결합 모델링

Tensor-Train Joint Modeling for Few-Step Discrete Diffusion

이산 확산(Discrete diffusion) 모델의 조건부 독립 가정이 퓨스텝 생성 시 병렬화 바이어스를 유발하는 문제를 해결하기 위해, 텐서 분해(Canonical Polyadic Decomposition 및 Tensor-Train Decomposition)를 통해 결합 분포를 명시적으로 모델링하는 최초의 프레임워크를 제안한다. TTD는 Oseledets 정리에 기반한 인접 토큰 간 의존성 포착에 구조적으로 유리하며, 사전학습된 MDM에 경량 파인튜닝으로 통합해 OpenWebText에서 VADD 대비 8스텝 생성 perplexity를 32.7% 개선했다.

arXiv:2607.02805v1cs.LG

부분 양방향성을 가진 하이브리드 블록 확산 언어 모델 학습

Training Hybrid Block Diffusion Language Models with Partial Bidirectionality

고처리량 장문맥 생성은 대규모 언어 모델(LLM)의 핵심 과제 중 하나이다. 생성은 일반적으로 연산 병목이 아닌 메모리 대역폭 병목 형태로 나타난다. 각 디코딩 단계에서 누적된 키/값(KV) 캐시를 메모리에서 스트리밍해야 하므로, 대역폭 수요는 문맥 길이에 따라 증가하는 반면 한 번에 단 하나의 토큰만 생성된다. 이에 따라 두 가지 병렬적 접근법이 등장했다. 하나는 효율적인 어텐션 변형과 Mamba 같은 선형 시간 믹서를 활용해 메모리 접근을 줄이는 방식이고, 다른 하나는 한 번에 토큰 블록을 생성하여 병렬 연산을 늘리는 방식이다. 그러나 이 두 아이디어를 결합할 때 기술적 어려움이 발생한다. DiffuMamba와 같은 기존 하이브리드 확산 모델은 인과적 생성 방향에 대한 역방향 스캔을 포함하는 양방향 Mamba 믹싱을 사용한다. 이 역방향 스캔은 전체 시퀀스를 스캔해야 하므로, 해당 상태는 접두 문맥만으로 구성되지 않아 블록 단위로 확산을 수행할 때에도 캐시로 정확히 재사용할 수 없다. 본 논문에서는 역방향 Mamba 스캔을 현재 활성화된 디노이징 블록으로 제한함으로써 이 문제를 해결하는 BDLM Mamba–어텐션 하이브리드를 제안한다. 이를 통해 블록 간 정확한 캐싱이 가능해진다. 8,700만 매개변수 규모의 DCLM 스윕 실험에서 BDLM Mamba-H는 BDLM 어텐션 및 전체 시퀀스 기준선과 비교하여 C4-en 검증 퍼플렉서티 기준 최고 성능을 달성하였다. 3억 5,000만 매개변수 규모에서도 BDLM 어텐션과 경쟁력 있는 성능을 유지한다. 장문맥 추론에서 BDLM Mamba-H는 65K 토큰 기준으로 전체 시퀀스 DiffuMamba-H 대비 19.7배, 262K 토큰 기준으로 BDLM 어텐션 대비 3.7배의 처리량을 달성하였으며, 이는 Mamba 하이브리드가 잠재적인 장문맥 확산 아키텍처임을 보여준다.

arXiv:2607.05353v1cs.CR

대규모 언어 모델을 위한 선택적 공개 워터마킹

Selective Disclosure Watermarking for Large Language Models

워터마킹 방법은 대규모 언어 모델(LLM)이 생성한 텍스트에 감지할 수 없으면서도 검증 가능한 신호를 임베딩한다. 기존 접근법으로는 합성 텍스트와 인간 작성 텍스트를 구분하는 제로비트(zero-bit) 방식과 메타데이터를 임베딩하는 멀티비트(multi-bit) 방식이 있다. 그러나 현재의 멀티비트 워터마킹 방법은 선택적 공개를 지원하지 않는다. 즉, 워터마크의 일부를 검증하려면 임베딩된 메시지 전체를 공개해야 한다. 이러한 제어 불가능성은 불필요한 정보 노출을 초래하고 프라이버시 문제를 야기한다. 본 논문에서는 임베딩된 메타데이터의 선택적 공개를 가능하게 하는 워터마킹 프레임워크인 계층적 어휘 라우팅(Hierarchical Vocabulary Routing, HeRo)을 제안한다. 이 방법은 어휘를 재귀적으로 분할하고 워터마크 정보를 계층적 레이어에 분산시켜, 서로 다른 검증자가 자신의 접근 수준에 해당하는 페이로드 부분만을 디코딩할 수 있도록 한다. 제안된 방식이 기반 샘플링 프로세스의 비편향성을 보존하여 텍스트 품질을 유지함을 증명한다. 실험을 통해 본 프레임워크가 세밀한 접근 제어를 지원하면서도 높은 탐지 정확도와 낮은 지연 시간을 달성함을 입증한다. 코드는 https://github.com/xuyangc03/hero-watermark 에서 공개되어 있다.

arXiv:2607.05198v1cs.LG

잡음 채널 최소 베이즈 위험 디코딩

Noisy-Channel Minimum Bayes Risk Decoding

최소 베이즈 위험(MBR) 디코딩은 샘플링된 의사 참조문(pseudo-reference)에 대한 기대 효용을 최대화하는 가설을 선택함으로써, 최대 사후 확률(MAP) 디코딩보다 더 견고하고 높은 품질의 텍스트 생성을 달성한다. 그러나 설계 상의 불일치가 존재한다: 가설 선택은 주어진 의사 참조문에 조건부로 기대 효용 점수를 계산하는 반면, 일반적으로 사용되는 평가 지표(예: BLEU, COMET)는 비대칭적이다. 따라서 가설→참조문 방향과 참조문→가설 방향 모두의 효과를 고려하는 것이 중요하다. 본 연구에서는 이러한 비대칭성을 처리하기 위해 양방향 효과를 자연스럽게 통합하는 MBR 디코딩의 잡음 채널 분해를 제안한다. MBR 디코딩을 네 가지 상호작용 구성 요소로 분해한다: 가설→참조문 가능도(likelihood), 참조문→가설 가능도, 가설 사전 확률, 참조문 사전 확률. 이 분해는 기존 MBR 변형들에 대한 통합된 해석을 제공하고, 각 채널의 기여를 분리함으로써 지표별·태스크별 해석 가능성을 가능하게 한다. 종합적인 분석을 통해, 채널별 기여가 태스크 간에는 일관성을 유지하면서 지표 간에는 뚜렷이 다른 특성을 보임을 밝혀냈으며, 적절한 채널 가중치 부여가 기존 MBR 디코딩 대비 성능 향상으로 이어질 수 있음을 시사한다.