PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08700v1cs.CL

인용 검증자로 프론티어 모델이 필요한가? 딥 리서치 출처 귀속을 위한 루브릭 LLM 벤치마킹

Do You Need a Frontier Model as a Citation Verifier? Benchmarking Rubric LLMs for Deep-Research Source Attribution

딥 리서치 시스템에서 인용 품질 평가에 사용되는 LLM 심판(judge)의 신뢰성을 벤치마킹하기 위해, 1,248개의 인간 검토 루브릭 결정으로 구성된 적대적 벤치마크에서 3개 모델 패밀리의 8개 LLM을 평가한 결과, 저비용 모델(GPT-5-mini)이 출처 관련성 F1 0.908로 최고 성능을 보이는 등 고비용 프론티어 모델이 반드시 필요하지 않음을 확인했다. 단, 유사한 F1 수준에서도 심판 간 통과율 편향과 위양성·위음성률이 크게 달라 강화학습 보상 신호로 인용 루브릭을 활용하려면 심판의 방향적 편향 교정이 선행되어야 함을 보였다.

arXiv:2607.08662v1cs.CL

WebSwarm: 심층-광범위 웹 검색을 위한 재귀적 다중 에이전트 오케스트레이션

WebSwarm: Recursive Multi-Agent Orchestration for Deep-and-Wide Web Search

WebSwarm은 단일 ReAct 에이전트의 컨텍스트 제약과 기존 다중 에이전트 시스템의 재귀적 깊이 한계를 극복하기 위해, 추론 시 작업 분해·재귀 확장·에이전트 협업을 동적으로 구성하는 점진적 재귀 위임 프레임워크를 제안한다. 각 검색 노드가 로컬 목표와 검색 모드를 결합해 자체 해결 또는 하위 노드 위임을 선택하며, BrowseComp-Plus, WideSearch, DeepWideSearch, GISA 벤치마크에서 단일·다중 에이전트 기준 모델을 일관되게 능가함을 실험으로 검증했다.

arXiv:2607.08646v1cs.CL

UltraX: 적응형 프로그래밍 편집을 통한 대규모 사전학습 데이터 정제

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

스케일링 법칙의 한계에 따라 사전학습 데이터 품질 향상이 중요해진 시점에서, UltraX는 삭제·수정에 삽입 연산을 추가해 편집 함수 공간을 완성한 함수 호출 기반 대규모 데이터 정제 프레임워크를 제안한다. 데이터셋 적응형 프롬프트 최적화와 Line Alignment Mapping을 통한 신뢰성 있는 프로그램 지도 생성 파이프라인을 구축하여, 여러 코퍼스에서 기준 모델 대비 상대적 성능 2% 이상 향상 및 더 적은 학습 토큰으로도 동등 이상의 성능을 달성했다.

arXiv:2607.08535v1cs.CL

평가자가 바뀌면 측정값도 바뀐다: LLM-as-Judge 신뢰성 감사

When the Judge Changes, So Does the Measurement: Auditing LLM-as-Judge Reliability

LLM-as-judge 평가에서 평가자가 교체되면 후보 응답이 동일하더라도 점수가 달라지는 '평가자 교체 모호성' 문제를 측정 타당성 관점에서 분석하며, Qwen3(1.7B~32B)와 MiniMax(M2~M2.7) 두 가지 업그레이드 경로를 비교한 결과 판정 모델 업그레이드는 상호 교환 가능하지 않고 바이어스를 줄이지만 완전히 제거하지는 못함을 보인다. 반복 샘플 배심원단은 오류 상관관계가 높을 때 효과가 미미하고 구조화된 토론은 감사 추적 없이는 결과 귀인이 불가능하므로, LLM-as-judge 보고서에는 데이터셋 슬라이스, 바이어스 프로브, 오류 의존성 추정치, 프로토콜 감사 추적이 반드시 포함되어야 한다고 주장한다.

arXiv:2607.08456v1cs.CL

LLM 기권의 두 축: 답변 정확성과 질문 답변 가능성

Two Axes of LLM Abstention: Answer Correctness and Question Answerability

대규모 언어 모델(LLM)의 선택적 답변 거부(abstention)는 "오답 생성"과 "답변 불가 질문에 대한 응답"이라는 두 개의 독립적인 축으로 분리됨을 2B~14B 규모의 다섯 모델에서 실증하며, 출력 신뢰도는 정오(正誤) 판단에는 유효하지만 답변 가능성 판별에는 거의 무력(AUROC 0.54~0.67)한 반면 은닉 상태 프로브는 0.97~0.99에 달한다. 이 두 축을 각각 별도로 임계값 처리하는 이중 위험 인증 정책은 단일 신뢰도 임계값 대비 올바른 답변 커버리지 0.75에서 두 예산을 모두 보증하며, 14B 모델에서는 이 정책만이 유일하게 인증을 통과한다.

arXiv:2607.08409v1cs.CL

합성 음성만 있을 때: GRPO를 선택하라

When Synthetic Speech Is All You Have: Better Call GRPO

은행 등 규제 도메인에서 합성 TTS 데이터만으로 LLM 기반 자동 음성 인식(ASR)을 적응시킬 때, Group Relative Policy Optimization(GRPO)을 적용하면 지도 미세조정(SFT) 대비 단어 오류율(WER)을 40% 상대적으로 줄일 수 있으며(36.71%→22.09%), SFT 후 GRPO를 결합하면 45%까지 감소한다. 이 성능 향상은 표현 변화가 아닌 행동 변화에 기인하며, GRPO가 정지 보정(stopping calibration) 개선과 오디오에 대한 어텐션 고정을 통해 삽입 오류를 줄이기 때문이다.

arXiv:2607.08399v1cs.CL

활성화 집계를 통한 프롬프트 압축

Prompt Compression via Activation Aggregation

인스트럭션 프롬프트에 담긴 태스크 관련 정보를 단일 활성화(activation) 벡터로 압축한 뒤 LLM 초기 레이어에 재주입하는 프롬프트 압축 프레임워크를 제안하며, 중간 레이어에서 추출한 활성화의 가중합을 학습하는 경량 Weighting MLP(W-MLP)가 전체 프롬프트 처리 대비 정확도 저하 2% 미만으로 태스크 관련 정보를 보존함을 Llama3.1-8B 등 다양한 모델에서 실험적으로 입증했다.

arXiv:2607.08395v1cs.CR

Token-Flow Firewall: 지속형 AI 에이전트를 위한 시맨틱 런타임 감사

Token-Flow Firewall: Semantic Runtime Auditing for Persistent AI Agents

지속형 AI 에이전트에서 메모리 업데이트, 도구 인자, 컴포넌트 간 통신 등 자연어 토큰 흐름을 통해 전파되는 보안 위협을 실행 전 단계에서 차단하기 위해, TokenWall이라는 시맨틱 방화벽 프레임워크를 제안한다. CIK-Bench 실험에서 TokenWall은 공격 성공률을 12.5%로 낮추면서 정상 실행 통과율 97.4%와 정상 케이스 기준 추가 지연 0.69초를 달성하여 실용적인 보안-효용 트레이드오프를 입증하였다.

arXiv:2607.08374v1cs.CL

성격 인식에서 프로토타입 네트워크를 위한 이론-무관 적응적 메트릭 정렬에서의 LLM-as-a-Judge

Large-Language-Models-as-a-Judge in Theory-Agnostic Adaptive Metric-Alignment for Prototypical Networks in Personality Recognition

기존 성격 인식 연구가 Big-5, MBTI 등 특정 심리 이론에 종속된 레이블에 의존해 일반화에 한계가 있다는 문제를 해결하기 위해, JAM은 어텐션-풀링 그래프 프로토타입 네트워크와 교차-이론 조화(CTH), LLM-as-a-Judge 메커니즘을 결합해 이론-무관적 잠재 심리 표현을 학습한다. Essays 및 Kaggle 성격 데이터셋 실험에서 JAM은 교차-프레임워크 일반화 성능을 향상시키며 저자원 성격 이론을 지원하는 효과를 보였다.

arXiv:2607.08346v1cs.CL

세분화된 분류 체계를 활용한 SEC 8-K 공시의 근거 기반 이벤트 추출

Grounded Event Extraction from SEC 8-K Filings with a Fine-Grained Taxonomy

SEC 8-K 공시에서 대규모 언어 모델(LLM)을 활용해 119개 이벤트 유형으로 구성된 3단계 분류 체계에 따라 세밀한 이벤트 태그를 추출하는 2단계 시스템을 제안하며, 퍼지 n-그램 기반 원문 인용 검증과 별도의 품질 점수 산출 단계를 통해 정밀도를 12%에서 96%까지 향상시켰다. 292,984건의 공시에 적용해 생성한 601,088개의 근거 기반 태그는 SEC 항목 코드가 경제적으로 이질적인 이벤트를 혼재시킨다는 사실을 언어 모델 없이 수행한 이벤트 연구(event study)로도 확인하였다.

arXiv:2607.08339v1cs.CL

TypeProbe: 사전학습된 코드 모델의 은닉 상태에서 타입 표현 복원하기

TypeProbe: Recovering Type Representations from Hidden States of Pre-trained Code Models

사전학습된 코드 모델(SantaCoder-1.1B, CodeLlama-7B)의 잔차 스트림(residual stream)에 선형 탐침(linear probe)을 적용해 Java와 Python 간 타입 표현이 내부적으로 인코딩되는 방식을 분석한 결과, 타입 어노테이션이 없는 코드에서도 교차 언어적 타입 표현이 창발적으로 나타났다. 한 언어로 학습한 탐침이 다른 언어의 인자 타입 및 함수 적용 결과 타입을 유의미하게 추론할 수 있었으며, 이 구조는 어휘적 변형(lexical perturbation)에 대해 부분적으로 견고함을 보였다.

arXiv:2607.08186v1cs.CL

대규모 숨겨진 디코딩: 대규모 언어 모델을 위한 잠재적 계산 스케일링

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

트랜스포머 백본을 고정한 채 각 토큰을 n개의 독립 스트림으로 확장하는 Hidden Decoding을 제안하여, 추가 레이어 없이 지속적 사전학습(CPT)만으로 토큰당 연산량을 늘린다. Stream-Factorized Attention으로 어텐션 비용을 n에 대해 선형 수준으로 억제하면서, WeLM-HD4-80B와 WeLM-HD4-617B에서 동급 비-HD 기준선 대비 전 벤치마크 성능 향상을 달성해 100B+ 전문가 혼합(MoE) 규모에서 최초의 시퀀스 길이 스케일링을 입증했다.

arXiv:2607.08161v1cs.CL

SQuaD-SQL: LLM 기반 지식 증류를 통한 소형 언어 모델의 효율적인 Text-to-SQL

SQuaD-SQL: Efficient Text-to-SQL with Small Language Models via LLM-Guided Knowledge Distillation

LLM이 생성한 합성 데이터와 지식 증류를 활용해 소형 언어 모델(SLM)이 Text-to-SQL 태스크에서 LLM에 근접한 성능을 달성할 수 있도록 하는 SQuaD-SQL 프레임워크를 제안한다. WikiSQL 벤치마크에서 1.5B 파라미터의 Qwen 모델이 LoRA 기반 파인튜닝만으로 86.9%의 실행 정확도를 달성하며, 단일 소비자용 GPU에서 빠른 추론과 낮은 메모리 사용량을 유지함을 검증했다.

arXiv:2607.08143v1cs.CL

ICDAR 2026 HIPE-OCRepair: 역사 문서 LLM 기반 OCR 후처리 교정 경진대회

ICDAR 2026 HIPE-OCRepair Competition on LLM-Assisted OCR Post-Correction for Historical Documents

HIPE-OCRepair-2026은 역사 문서의 LLM 기반 OCR 후처리 교정을 평가하는 ICDAR 경진대회로, 17~20세기 영어·프랑스어·독일어 역사 신문 및 인쇄물을 대상으로 다국어 벤치마크 데이터셋과 재현 가능한 평가 프레임워크를 제공한다. 제로샷 프롬프팅부터 지속 사전학습·파인튜닝까지 다양한 방법을 비교한 결과, 현대 LLM 기반 시스템이 OCR 품질을 크게 향상시킬 수 있으나 잡음이 낮은 입력에서의 과잉 교정과 환각이 주요 과제로 부각되었다.

arXiv:2607.08080v1cs.CL

MASTE: 제로샷 속성 감성 삼중항 추출을 위한 멀티 에이전트 파이프라인

MASTE: A Multi-Agent Pipeline for Zero-Shot Aspect Sentiment Triplet Extraction

MASTE는 리뷰 문장에서 (속성, 의견, 감성) 삼중항을 제로샷으로 추출하기 위해, 속성 추출·의견 추출·감성 추론·일관성 검증의 네 전문 에이전트를 순차적으로 조건화하는 멀티 에이전트 파이프라인을 제안한다. 학습 데이터 없이 네 가지 ASTE 벤치마크에서 기존 제로샷 및 사고의 연쇄 기반 LLM 베이스라인을 크게 앞서며 완전 지도학습 방법과의 격차를 좁혔다.

arXiv:2607.08071v1cs.CL

COBART: 광고 헤드라인 생성을 위한 제어 가능하고 최적화된 양방향 자동회귀 트랜스포머

COBART: Controlled, Optimized, Bidirectional and Auto-Regressive Transformer for Ad Headline Generation

광고 헤드라인 생성 시 CTR 최적화와 길이 제어를 동시에 달성하기 어려운 문제를 해결하기 위해, BART 파인튜닝에 prefix 제어 토큰을 결합한 COBART를 제안한다. 실험 결과 기존 베이스라인 대비 Rouge-L 25.82%, 추정 CTR 5.82% 향상을 달성하며 다양한 광고 형식에 유연하게 적용 가능함을 보였다.

arXiv:2607.08046v1cs.CL

LLM 예측 모델이 알지만 말하지 않는 것: 캘리브레이션과 충실성을 위한 내부 표현 탐색

What LLM Forecasters Know but Don't Say: Probing Internal Representations for Calibration and Faithfulness

예측을 위해 파인튜닝된 대규모 언어 모델(LLM)은 정확하지만 캘리브레이션이 불량할 수 있으며, 사고의 연쇄(CoT) 추론이 예측 근거가 되는 증거를 충실하게 반영하지 못할 수 있다. 본 연구는 내부 표현이 이 두 가지 문제에 대해 보다 직접적인 창을 제공하는지 묻는다. OpenForesight에서 Eternis-Forecaster 8B를 사용하여 중간 활성화에 표현 풀링(pooling) 프로브를 학습시킨 결과, 실질적으로 더 나은 캘리브레이션을 달성함을 발견하였으며, 이 결과는 GLM-4.7-Flash와 GLM-4.5-Air에서도 동일하게 확인된다. 이후 증거 절제(evidence ablation)와 교란 주입(diversionary injection)을 통해 CoT 충실성을 평가한다. 프롬프트에서 영향력 있는 출처를 제거하면 모델의 예측이 바뀌는 경우가 많지만 추론 흔적은 변하지 않는 채로 남는다. 동일한 프로브가 거짓 탐지기로도 기능하는데, 프로브의 활성화는 추론 흔적보다 행동 변화를 훨씬 잘 추적하며, CoT가 교란의 영향을 숨기는 경우를 포함하여 84%의 경우에서 변화 방향도 예측한다. 마지막으로, 강제 응답(forced answering)을 통해 예측이 추론 시작 전에 대부분 고정됨이 드러난다. 단일 추론 전 패스로 확정된 답변과 신뢰도를 복원할 수 있으며, 이 사전 설정된 답변 분포의 분산에 따라 질문을 라우팅하면 정확도 손실 없이 생성 토큰을 30~47% 절약할 수 있다. 이러한 결과들은 종합적으로, 내부 표현 탐색이 언어 모델 예측기 및 더 넓은 범위의 추론 모델의 캘리브레이션, 감사, 분류에 실용적인 도구임을 입증한다.

arXiv:2607.08034v1cs.CL

PLURAL: 가치 정렬을 위한 글로벌 데이터셋

PLURAL: A Global Dataset for Value Alignment

대규모 언어 모델(LLM)은 전 세계적으로 사용되고 있지만, 서구적 가치관을 불균형적으로 반영하여 다양한 가치 체계를 대표하는 능력이 제한되어 있다. 우리는 PLURAL을 소개한다. 이는 92개국을 아우르는 국가 대표 설문인 통합 가치 조사(Integrated Values Survey, IVS)에 기반한 대규모 가치 중심 선호 데이터셋이다. 2단계 생성 파이프라인을 활용하여 설문 응답을 합성 선호 트리플릿(preference triplets)으로 변환하며, 이 과정에서 규범적 가치 신호를 보존하면서 현실적인 시나리오를 생성한다. 우리는 20개 다양한 국가의 사람들을 대표하는 약 500,000개의 선호 트리플릿을 포함한 PLURAL 초기 버전을 공개한다. PLURAL을 세 가지 방식으로 평가한다: (i) 원본 설문의 국가 간 가치 차이와 국가 내 다양성을 모두 보존함을 보이는 데이터셋 수준의 검증, (ii) PLURAL로 학습할 경우 대상 국가의 문화적 프로파일과의 정렬이 개선되어 평균 절대 오차가 강력한 기준선 대비 최대 27.7%까지 감소함을 보이는 자동화 평가, (iii) 인도, 브라질, 일본의 176명 평가자를 대상으로 한 블라인드 인간 평가로, 평가자들은 PLURAL로 정렬된 응답이 자국의 가치를 더 잘 대표한다고 판단한다. 이러한 결과들은 PLURAL이 가치 조향(value steering)을 위한 학습 가능한 신호를 포함하고 있으며, 다원적 정렬(pluralistic alignment)을 위한 확장 가능한 자원을 제공함을 보여준다. 데이터셋: https://huggingface.co/datasets/agdhruv/plural-alignment

arXiv:2607.08027v1cs.CL

거듭제곱 변환과 부호 보존 점수 집계 및 적응적 특징 보존을 통한 대규모 언어 모델의 구조적 가지치기

Structured Pruning of Large Language Models via Power Transformation and Sign-Preserving Score Aggregation with Adaptive Feature Retention

비구조적 가지치기 기법인 AFR(Adaptive Feature Retention)을 구조적 가지치기에 적용할 때 발생하는 이종 점수 간 분포 불일치, 부호 정보 손실, 이상값 영향 문제를 해결하기 위해, 거듭제곱 변환·부호 보존 점수 집계·백분위수 기반 이상값 제거를 결합한 통합 방법을 제안한다. Llama-3-8B, Vicuna-v1.5-13B, LLaVA-v1.5-13B 실험에서 50% 가지치기 시 최대 21.27포인트 성능 향상과 1.56–1.57× 추론 속도 향상을 달성했다.

arXiv:2607.08017v1cs.CL

LLM의 논리를 신뢰할 수 있는가? 그래프 기반 프레임워크를 통한 불확실성, 일관성, 강건성 정량화

Can We Trust LLM's Logic? Quantifying Uncertainty, Coherence, and Robustness via a Graph-Based Framework

LLM 추론의 신뢰성 문제를 해결하기 위해 GRAPHEVAL이라는 그래프 기반 프레임워크를 제안하며, 추론 경로를 인과 DAG로 변환해 의미적·구조적 합의를 측정하는 새 지표 GRCS(Graph Reasoning Coherence Score)와 메도이드(medoid) 기반 디코딩 전략인 GSC(Graph Self-Consistency)를 도입한다. GRCS는 모델 규모에 관계없이 추론 충실도와 일관되게 음의 상관관계를 보이는 유일한 지표이며, GSC는 기존 Self-Consistency가 충실하지 않은 "운 좋은 추측"에 의해 부풀려진 정확도를 드러내고 더 유능한 모델에서는 추론 정확도를 유지하거나 향상시킴을 실험적으로 입증한다.