PyTorchKR Papers

최신 논문

총 4,696편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06635v1cs.CL

언어 모델의 실패 방식: 고착화된 및 지속적인 추론 실패의 토큰 수준 시그니처

How Language Models Fail: Token-Level Signatures of Committed and Persistent Reasoning Failures

언어 모델 추론의 실패는 추론 트레이스(trace)에 식별 가능한 시그니처를 남기는 뚜렷한 과정을 통해 나타납니다. 우리는 토큰 수준 불확실성 신호를 사용하여 이러한 실패를 특성화하며, 이들이 경험적으로 구별 가능한 두 가지 과정을 통해 발생함을 발견했습니다. 첫 번째는 고착화된 실패(committed failure)로, 모델이 트레이스 초기에 잘못된 추론 경로에 고착화되는 경우입니다. 중심적인 진단 시그니처는 확정 지점(commitment point)으로, 이 지점 이후에는 추가 토큰을 고려하는 것이 실패 탐지에 도움이 되기보다는 오히려 해가 됩니다. 두 번째인 지속적 불확실성(persistent uncertainty)에서는 불확실성이 전반적으로 누적되며, 실패한 완성(completion)과 성공한 완성을 최적으로 구별하기 위해 전체 트레이스가 필요합니다. 이러한 시그니처는 23개의 모델-데이터셋 구성에 걸쳐 재현되며, 프레임워크의 반증 가능한 예측은 23개 사례 중 20개에서 유지되어 두 가지 실패 모드 모두에서 우연보다 훨씬 높은 수치를 보입니다. 마지막으로, 우리는 이 실패 모드 프레임워크가 자기 일관성(self-consistency)에 직접적인 함의를 가짐을 보여주며, 불확실성 신호가 이를 보완하는 시점과 선택적으로 건너뛸 수 있는 시점을 식별합니다. 이러한 결과는 대규모 언어 모델(LLM) 추론 실패가 언제 탐지 가능해지는지 이해하고 이에 따라 탐지 전략을 조정하는 데 대한 기초를 제공합니다.

arXiv:2606.06622v1cs.CL

UnpredictaBench: 대규모 언어 모델(LLM)의 분포적 무작위성 평가를 위한 벤치마크

UnpredictaBench: A Benchmark for Evaluating Distributional Randomness in LLMs

우리는 대규모 언어 모델(LLM)이 실제 기저 분포를 포착하는 능력을 테스트하는 평가 방법인 UnpredictaBench를 소개합니다. LLM이 다른 개체(예: 경제 시뮬레이션에서의 인간)의 대체재로 점점 더 많이 사용됨에 따라, 많은 모델이 하나의 그럴듯한 답변으로 수렴하는 경향은 실제 시스템의 예측 불가능성을 포착하지 못함을 의미합니다. 출력 다양성을 개선하는 최근 연구는 이 설정에 있어 불충분합니다. 시뮬레이션은 단순히 다양한 출력이 아니라 목표 분포에 보정된 샘플을 요구하기 때문입니다. UnpredictaBench는 이 문제의 단순화되었지만 근본적인 버전을 다룹니다. 즉, 표준 통계 분포, 확률적 프로그램(stochastic programs)에 의해 유도된 분포, 그리고 무작위 과정을 설명하는 자연어 시나리오를 포함한 개별 목표 분포로부터 결과를 샘플링하는 것입니다. 우리는 448개의 이러한 문제와 KS@N을 소개합니다. KS@N은 콜모고로프-스미르노프 통계적 검정을 통해 모델이 블랙박스 목표 분포를 얼마나 잘 근사화하여 출력하는지를 정량화하는 범용 평가 지표입니다. 이는 정답(ground-truth) 샘플에 대해 크기 N의 모델 샘플을 기각하지 못하는 비율이며, N이 클수록 난이도가 높음을 나타냅니다. 오픈 소스 및 독점 모델 전반에 걸쳐 테스트한 결과, 분포적 능력에 큰 편차가 있음을 발견했습니다. 예를 들어, 모델이 크기 100의 샘플을 생성할 때(KS@100, 우리의 표준 지표), 점수는 0에 가까운 값부터 20% 이상까지 다양합니다. 어떤 모델도 KS@100에서 40% 이상을 달성하지 못했으며, 이는 능력으로서의 분포적 샘플링에 상당한 개선 여지가 있음을 보여줍니다. 추론(reasoning)을 추가하면 점수가 어느 정도 증가할 수 있지만, 이 문제에 대한 즉각적인 해결책은 찾지 못했습니다. UnpredictaBench는 간단한 분포 시뮬레이션조차도 여전히 도전적임을 보여주며, 이를 복잡한 시스템의 대체물로 사용하는 LLM을 위한 필수적인 첫 단계가 됩니다.

arXiv:2606.06614v1cs.CL

LLM 개인화에서 인간을 중심으로 재정립

Re-Centering Humans in LLM Personalization

관심이 증가하고 있음에도 불구하고, 대규모 언어 모델(LLM)의 개인화 능력에 대한 대부분의 평가는 합성 데이터에 의존해 왔습니다. 현재 개인화 시스템이 실제 사용자에게 얼마나 잘 작동하는지는 여전히 불분명합니다. 본 논문에서는 합성 데이터와 인간 데이터를 사용할 때 LLM 개인화 성능의 격차를 연구합니다. 우리는 개인화의 세 단계에 걸쳐 인간 대화(550개 대화)와 판단을 수집했습니다: 대화에서 사용자 속성 추출(5,949개 판단), 새로운 프롬프트와 관련 속성 매칭(11,919개), 그리고 개인화된 응답에 관련 속성 통합(1,101개). 인간 데이터를 반영하면 각 단계에서 시스템의 한계가 드러납니다. 모델은 인간 대화에서 속성을 추출하는 데 어려움을 겪고, 관련 속성에 대해 인간의 판단과 의견이 다르며, 인간이 일반적인 응답보다 낫다고 판단하지 않는 개인화된 응답을 생성합니다(비록 LLM 평가자들은 이를 더 낫다고 광범위하게 평가하지만). 우리는 첫 번째와 두 번째 단계에서 자동화된 개인화 평가를 인간 데이터에 더 가깝게 조정하는 두 가지 경량 학습 기반 개입 방법을 소개합니다. 그러나 세 번째 단계에서 우리는 학습된 보상 모델이 인간 평점과 겨우 보통 수준의 상관관계만 달성함을 발견했으며, 이는 인간과 정렬된 개인화 품질 판단을 직접 모델링하기 어렵다는 것을 시사합니다. 우리가 수집한 데이터는 모델이 인간이 유용하다고 느끼는 방식으로 사용자 정보를 추출, 선택 및 통합해야 하는지를 연구하기 위한 기초를 제공합니다.

arXiv:2606.05510v1cs.AI

의료 텍스트 생성을 위한 중증도 인식 커리큘럼 학습 및 다중 모델 응답 선택

Severity-Aware Curriculum Learning with Multi-Model Response Selection for Medical Text Generation

원격 의료(telehealth) 시스템은 접근 가능하고 시의적절한 의료 정보를 제공하는 데 있어 점점 더 중요해지고 있습니다. 기존의 대규모 언어 모델(LLM)은 다양한 사례 중증도 수준에서 일관되고 문맥에 적절한 의료 응답을 제공하는 데 종종 어려움을 겪습니다. 이러한 한계는 의료 질의의 점진적인 복잡성에 효과적으로 적응할 수 있는 모델의 필요성을 강조합니다. 이러한 문제를 해결하기 위해, 우리는 커리큘럼 학습 전략과 관련성 기반 응답 선택을 통합한 중증도 인식 다중 모델 프레임워크를 제안합니다. 제안된 프레임워크는 3단계 커리큘럼 학습 전략을 사용하며, 각 모델은 경증, 중등도, 중증 사례에 대해 순차적으로 학습되어 도메인 지식을 점진적으로 습득합니다. 이 접근 방식은 동일한 커리큘럼 방식 하에 독립적으로 학습된 5개의 대규모 언어 모델을 활용합니다. 추론(inference) 과정에서 모든 모델이 후보 응답을 생성하고, 가장 적절한 응답이 최종 출력으로 선택됩니다. 이 프레임워크는 주석이 달린 의료 질문-답변 쌍을 제공하는 MAQA 데이터셋에서 학습 및 평가되었습니다. BERTScore를 사용하여 평가한 실험 결과, 제안된 방법은 기준선(baseline) 및 미세조정(fine-tuning)된 모델과 비교하여 우수한 성능을 달성함을 보여주며, 기준선 설정에서 86.71%, 미세조정 후에는 90.30%를 기록했습니다. 이러한 결과는 의료 텍스트 생성에서 응답 품질과 관련성을 향상시키기 위해 커리큘럼 학습과 다중 모델 응답 선택을 결합하는 것의 효과를 강조합니다.

arXiv:2605.25638v2cs.CL

디노이징 피드백을 통한 강화학습

Reinforcement Learning from Denoising Feedback

디퓨전 언어 모델(DLM)을 위한 강화학습(RL)에서 정책 손실 추정은 여전히 근본적이고 오랜 과제입니다. 본 논문에서는 정확하고 효율적인 정책 손실 추정을 돕기 위해 롤아웃 및 학습 과정에서 얻은 피드백을 활용하는 새로운 학습 패러다임인 디노이징 피드백을 통한 강화학습(RLDF)을 소개합니다. RLDF는 계산 효율성과 추정 유효성 간의 트레이드오프를 조절하기 위해, 디노이징 타임스텝에 대한 가중치 타임스텝 샘플링과 결합하여 중간 노이즈 상태에서 클리핑된 깨끗한 상태(clean state)를 향해 모델을 최적화합니다. 광범위한 실험을 통해 RLDF가 여러 추론 벤치마크에서 LLaDA와 Dream이라는 두 가지 대표적인 DLM 아키텍처에 걸쳐 성능과 일반화 능력 모두에서 일관되고 상당한 개선을 달성함을 입증했습니다. 우리의 연구는 디퓨전 언어 모델에서 확장 가능한 강화학습을 위한 원칙적인 기반을 마련합니다. 또한 DLM을 위한 학습 프레임워크인 Drift를 구축하였으며, 이는 https://github.com/ant-research/Drift에서 확인할 수 있습니다.

arXiv:2605.25171v2cs.CL

AI 유머 연구를 위한 유머 데이터 객체 재정의

Re-defining Humor Data Objects for AI Humor Research

대부분의 기존 AI 유머 연구에서 유머는 '존재' 또는 '비존재'로만 취급되었습니다. 우리는 맥락과 설명을 포함하는 사회적 상호작용으로서의 유머 개념을 탐구합니다. 이 프로젝트에서 우리는 유머 추론 데이터 객체를 정의하고, 일반 대중에게 효과적인 유머 설명을 생성하도록 대규모 언어 모델(LLM)에 프롬프트를 입력하는 방법을 개발했습니다. 초기 프롬프트에서 개선된 프롬프트로 반복하여 후자가 중요한 오류를 줄인다는 점을 확인한 뒤, AI 유머 연구에서 데이터 합성과 데이터 증강을 가능하게 할 잠재력을 지닌 대규모의 데이터 객체 생성으로 확장했습니다. 주요 시사점은 LLM에 더 나은 프롬프트를 제공하면 유머 설명의 품질이 향상된다는 것입니다. 이는 특히 누락된 맥락, 멀티모달, 대본 문제를 더 신중하게 처리할 때 두드러집니다. 이러한 결과는 사회적 행동으로서의 유머에 대한 AI 이해에 관한 향후 연구를 위한 강력한 기반을 마련합니다. 모든 코드와 데이터는 다음에서 확인할 수 있습니다: https://github.com/anna-arnett/ai-humor/ .

arXiv:2603.09403v3cs.CL

대규모 언어 모델(LLM)을 메타 판사(Meta-Judge)로 활용: 자연어 처리(NLP) 평가 지표 검증을 위한 합성 데이터

LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation

자연어 생성(NLG)을 위한 평가 지표 검증은 일반적으로 비용이 많이 들고 시간이 소요되는 인간 주석에 의존하며, 이는 주로 영어 데이터셋에만 존재합니다. 우리는 대규모 언어 모델(LLM)을 메타 판사(Meta-Judge)로 활용하는 방법을 제안합니다. 이는 실제 데이터의 제어된 의미적 저하를 통해 합성 평가 데이터셋을 생성하여 인간 판단을 대체하는 확장 가능한 프레임워크입니다. 우리는 메타 상관관계를 사용하여 이 접근 방식을 검증하며, 이는 합성 데이터에서 도출된 지표 순위와 표준 인간 벤치마크의 순위 간의 정렬을 측정합니다. 기계 번역, 질의응답, 요약에 걸친 실험은 합성 검증이 인간 판단의 신뢰할 수 있는 대리 수단 역할을 함을 보여주며, 다국어 질의응답에서 0.9를 초과하는 메타 상관관계를 달성하고 인간 판단을 이용할 수 없거나 획득하기에 너무 비용이 많이 드는 상황에서 실행 가능한 대안임을 입증합니다. 우리의 코드와 데이터는 https://github.com/eiglerl/meta-judge에서 공개적으로 제공됩니다.

arXiv:2602.14209v2cs.LG

MAGE: 블록 확산 LLM에서 All-Block은 이미 주시할 위치를 알고 있다

MAGE: All-[MASK] Block Already Knows Where to Look in Block Diffusion LLM

블록 확산 LLM(Block Diffusion LLM)은 병렬 언어 생성을 위한 신흥 패러다임이지만, KV 캐싱(KV caching)으로 인해 메모리 액세스가 긴 컨텍스트 추론(long-context inference)에서 지배적인 병목 현상이 됩니다. 쿼리당 작은 KV 부분집합에만 어텐션을 수행하는 희소 어텐션(sparse attention)은 최소한의 정확도 손실로 이 지연 시간을 줄일 수 있습니다. 그러나 블록 확산에서 각 블록의 B 토큰은 단일 KV 부분집합을 공유해야 하며, 우리는 이 블록 단위 제약조건이 기존 희소 KV 추정기의 재현율을 최대 25%까지 저하시킴을 보여줍니다. 우리는 블록 확산 학습 목적함수(training objective)에서 발생하는 속성을 활용하여 이 문제를 해결합니다. 즉, 노이즈 제거 단계(denoising steps)에 걸쳐 블록 평균 쿼리를 정렬하므로, 첫 번째 단계의 All-Block이 이미 전체 궤적에 대한 블록 단위 KV 부분집합을 드러냅니다. 우리는 MAGE(All-Block-Guided Sparse Attention, All-Block 유도 희소 어텐션)에서 이를 활용합니다. 이는 학습이 필요 없는(training-free) 방법으로, 첫 번째 단계에서 정확한 어텐션 패스를 한 번 실행하고 그 top-k 인덱스 집합을 블록 내 나머지 모든 단계에 대해 재사용합니다. LongBench의 세 가지 블록 확산 계열에 걸쳐, MAGE는 k=512일 때 거의 손실 없는 정확도로 정확한 어텐션(Exact Attention)과 성능이 일치하며, 128K 컨텍스트에서 최대 6.82배의 엔드투엔드 속도 향상을 달성했습니다. 또한, 각각 자기회귀 LLM(AR LLM)과 완전 양방향 확산 LLM용으로 설계된 Quest 및 SparseD보다 최대 3.35배 및 2.28배 더 빠르게 실행됩니다.

arXiv:2602.06941v2cs.LG

언어 모델에서의 활성화 조종에 대한 내재적 저항

Endogenous Resistance to Activation Steering in Language Models

대규모 언어 모델(LLM)은 작업과 정렬되지 않은 활성화 조종(activation steering)으로부터 생성 도중 복구하여, "잠깐, 그건 틀렸어"와 같은 명시적인 언어적 재시작을 생성하고 조종 섭동이 활성화된 상태로 유지되더라도 주제에 맞게 계속할 수 있습니다. 우리는 이를 내재적 조종 저항(Endogenous Steering Resistance, ESR)이라고 명명합니다. 희소 오토인코더(SAE) 잠재 변수(latent)를 사용하여 모델 활성화를 조종한 결과, Llama-3.3-70B는 \llamaseventyEsrRate\%의 비율로 명시적인 ESR을 보여주는 반면, Llama-3 및 Gemma-2 계열의 더 작은 모델들은 명시적인 형태를 덜 자주 보여주었습니다. 두 가지 통제 조건을 통해 ESR을 감지 이벤트와 지속적 저항 구성 요소로 분리했으며, 이는 최근 주제 관련 토큰에 대한 조건부 설정만으로는 완전히 설명되지 않습니다. 우리는 대조적 주제 관련/주제 벗어남 검색을 통해 \numOtdLatents{}개의 SAE 잠재 변수를 식별했습니다. 이들을 제로 어블레이션(zero-ablation)하면 다중 시도율이 \multiAttemptReductionPct\% 감소하며, 무작위 잠재 변수 및 홀드아웃 프롬프트 통제 조건은 이 결과의 특이성을 뒷받침합니다. ESR은 메타 프롬프팅(meta-prompting)과 합성 자가 교정 예시에 대한 미세조정(fine-tuning)을 통해 의도적으로 강화될 수도 있습니다. ESR은 안전성(safety)에 대해 이중적인 시사점을 갖습니다. 모델이 이 둘을 구별할 방법이 없기 때문에, ESR은 적대적 활성화 공간 조작에 대해 모델을 강화할 수 있지만 동시에 유익한 조종 기반 개입을 방해할 수도 있습니다. 코드는 https://github.com/agencyenterprise/endogenous-steering-resistance 에서 확인할 수 있습니다.

arXiv:2601.05751v2cs.CL

LLM 생성 텍스트에서 설득 언어의 차이 분석: 고정관념적 성별 패턴 규명

Analysing Differences in Persuasive Language in LLM-Generated Text: Uncovering Stereotypical Gender Patterns

대규모 언어 모델(LLM)은 타인에게 영향을 미치고 설득하기 위한 대인 메시지 작성을 포함하여 일상적인 의사소통 작업에 점점 더 많이 사용되고 있습니다. 기존 연구에 따르면 LLM은 인간을 성공적으로 설득하고 설득 언어를 강화할 수 있는 것으로 나타났습니다. 따라서 사용자 지침이 설득 언어 생성에 어떤 영향을 미치는지 이해하는 것이 필수적이며, 특히 다른 집단을 대상으로 할 때 생성되는 설득 언어에 차이가 있는지 파악해야 합니다. 본 연구에서는 수신자의 성별, 발신자의 의도, 또는 출력 언어가 설득 언어 생성에 미치는 영향을 평가하기 위한 프레임워크를 제안합니다. 우리는 쌍별 프롬프트 지침을 사용하여 13개의 LLM과 16개 언어를 평가했습니다. 또한 사회 심리학 및 의사소통 과학에 기반한 LLM 심사(LLM-as-judge) 방식을 사용하여 19개의 설득 언어 범주에 대해 모델의 응답을 평가했습니다. 실험 결과, 모든 모델에서 생성된 설득 언어에 유의미한 성별 차이가 존재함을 밝혀냈습니다. 이러한 패턴은 사회 심리학 및 사회언어학에서 보고된 성별 고정관념적 언어 경향과 일치하는 편향을 반영합니다.

arXiv:2606.06572v1cs.LG

생성 모델은 시장 선택을 통해 인간의 시간적 학습을 침식한다

Generative Models Erode Human Temporal Learning Through Market Selection

우리는 현대 생성 모델이 현재의 AGI 이전(sub-AGI) 역량 수준에서 지식 및 문화 생산에 구조적 위험을 초래한다고 주장한다. 우리는 인간 시간적 학습(Human Temporal Learning, HTL)을 시간이 지남에 따라 문제와의 지속적인 참여를 통한 경로 의존적 지식 축적으로 정의한다. 생성 결과물은 표면적 특징에서 점점 더 HTL 집약적 작업을 닮아가고 있어, 특정 결과물이 진정한 인간 학습을 반영하는지 검증하는 비용이 기대 편익 대비 증가하고 있다. 검증이 경제적 정당성을 잃으면 평가자들은 생산 방식에 관계없이 결과물에 보상을 제공하게 되고, 수년간의 학습에 투자한 생산자들은 거의 비용 없이 생성된 결과물과 가격 경쟁을 벌이게 된다. 우리는 이 경로를 가치 붕괴(value collapse)라 부르며, 이를 비용이 드는 검사(costly-inspection) 프레임워크를 통해 형식화한다. 학술 출판, 법률 실무, 콘텐츠 플랫폼, 소프트웨어 보안에 걸친 교차 도메인 증거는 검증 침식(verification erosion)의 네 단계에 대응된다. 정렬(alignment)의 성공은 이 문제와 직교적이다. 더 잘 정렬된 모델은 인간과 AI 결과물 사이의 관찰 가능한 격차를 좁혀 출처 검증을 더욱 어렵게 만들고, 개별 AI 결과물이 개선되더라도 HTL 집약적 작업에 대한 경쟁 압력을 심화시킨다.

arXiv:2606.06547v1cs.LG

FAIR-Calib: 확산 대규모 언어 모델의 사후 학습 양자화를 위한 프론티어 인식 불안정성 재가중 보정

FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models

확산 대규모 언어 모델(dLLMs)은 토큰을 반복적으로 정제하지만 비가역적으로 확정하므로, 초기 결정이 기록된 이후에도 취약한 상태로 남아 있는 '안정성 지연(stability lag)' 현상이 발생한다. 본 연구는 사후 학습 양자화(PTQ) 오류가 쓰기 프론티어에서 이러한 경계선상의 결정을 쉽게 뒤집을 수 있으며, 이후 영구적으로 고정되어 증폭됨을 밝힌다. 이를 해결하기 위해 dLLMs를 위한 2단계 PTQ 프레임워크인 프론티어 인식 불안정성 재가중 보정(FAIR-Calib)을 제안한다. 1단계에서는 완전 정밀도 교사 모델을 탐색하여 프론티어 히트와 마스크된 단계의 신뢰도를 결합한 위치 사전 분포를 추정한다. 2단계에서는 재가중된 은닉 상태 MSE를 최소화하는 오프-정책 층별 보정을 수행하며, 이를 통해 비용이 큰 엔드-투-엔드 확산 롤아웃 없이도 취약한 프론티어 상태를 효과적으로 보호한다. 또한 가중 목적 함수가 출력 KL 발산의 대리 함수임을 이론적으로 정당화한다. 실험적으로, FAIR-Calib는 LLaDA와 Dream(W4A4)에서 최신 기준 모델들을 지속적으로 능가하며, 다양한 벤치마크에서 프론티어 결정 전환을 크게 줄이고 확정 후 불일치를 억제한다.

arXiv:2506.01850v2cs.CV

MoDA: 지시 기반 MLLM의 세밀한 비주얼 그라운딩을 위한 Modulation Adapter

MoDA: Modulation Adapter for Fine-Grained Visual Grounding in Instructional MLLMs

멀티모달 대규모 언어 모델(MLLM)은 사전학습된 시각 인코더와 대규모 언어 모델(LLM)을 통합함으로써 지시 따르기(instruction-following) 과제에서 뛰어난 성과를 거두었다. 그러나 기존 접근법은 시각 패치 표현에서의 의미적 얽힘(semantic entanglement)으로 인해 세밀한 비주얼 그라운딩에 어려움을 겪는 경우가 많다. 개별 패치가 여러 개의 서로 다른 시각 요소를 혼합하여, 모델이 지시와 관련된 세부 사항에 집중하기 어렵게 만든다. 이 문제를 해결하기 위해, 우리는 지시 기반 채널별 변조(channel-wise modulation)를 통해 비주얼 그라운딩을 향상시키는 경량 모듈인 MoDA(Modulation Adapter)를 제안한다. Q-Former와 같이 가산적 특징 선택(additive feature selection)을 수행하는 토큰 수준 방법과 달리, MoDA는 이미 정렬된 특징에 대한 곱셈적 변조(multiplicative modulation)를 통해 채널 수준에서 동작하여, 각 지시에 대해 어떤 임베딩 차원이 관련 있는지를 세밀하게 제어할 수 있다. 표준 LLaVA 학습 프로토콜에 따라 MoDA는 언어 지시와 사전 정렬된 시각 특징 사이에 교차 어텐션(cross-attention)을 적용하여, 아키텍처 수정이나 추가 지도(supervision) 없이 동적 변조 마스크를 생성한다. 우리는 시각 질의응답(visual question answering), 비전 중심 추론(vision-centric reasoning), 환각(hallucination) 탐지에 걸친 12개 벤치마크(최근 2024 벤치마크 MMVP, CV-Bench, MMStar, RealWorldQA 포함)에서 MoDA를 평가하였으며, LLaVA-1.5, LLaVA-MoRE(2025), Qwen3-VL(2025)의 세 가지 서로 다른 MLLM 아키텍처에 대해 검증하였다. MoDA는 세 가지 계열 모두에서 일관된 향상을 보이며, LLaVA-1.5 계열에서는 MMVP에서 +12.0점, LLaVA-MoRE 계열에서는 ScienceQA에서 +4.8점, Qwen3-VL에서는 ScienceQA +4.9, RealWorldQA +4.1, GQA +3.8의 향상을 달성하여, CLIP 기반 인코더를 넘어 일반화되며 최소한의 오버헤드(<1% FLOPs)로 효과가 확인되었다. 코드는 https://github.com/waybarrios/MoDA 에서 제공된다.

arXiv:2606.06991v1cs.CV

멈추지 마라: 온라인 비디오 이해를 위한 스트리밍 비디오-언어 동기화

Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding

온라인 비디오 대규모 언어 모델(Video-LLM)은 프레임별 처리와 선제적 응답을 통해 원활한 인간-AI 상호작용을 향해 발전해 왔다. 그러나 스트리밍 시나리오에서는 여전히 중요한 과제가 남아 있다. 기존 모델은 응답을 생성하는 동안 일반적으로 비디오 인식을 일시 중지하여 실시간 비디오-언어 동기화를 깨뜨리고 버벅임을 유발한다. 이를 해결하기 위해 우리는 온라인 비디오 이해를 위한 새로운 패러다임인 스트리밍 비디오-언어 동기화(Streaming Video-Language Synchrony, SVLS)를 제안하고, 두 가지 핵심 혁신을 갖춘 계층적 제어 프레임워크 위에 구축된 라이브 스트리밍 어시스턴트 LyraV를 소개한다. 첫째, 프레임 기반 전환 컨트롤러(Frame-Driven Transition Controller, FDTC)는 학습이 필요 없는 검증 기반 유한 상태 기계로, 계속 발화할지, 새 응답을 시작할지, 침묵을 유지할지에 대한 고수준 의미론적 결정을 내린다. 둘째, 스트리밍 토큰 페이서(Streaming Token Pacer, SToP)는 플러그 앤 플레이 방식의 경량 예측 모듈로, 시각적 콘텐츠의 속도에 맞춰 언어 생성 속도를 동적으로 조정한다. 구체적으로, LyraV는 프레임별 점진적 서브버짓 디코딩을 수행한다. 각 프레임 간격 내에서 실시간 예산에 맞는 소량의 토큰 청크만을 출력하므로 전체 문장 생성으로 인해 인식이 차단되지 않는다. 이러한 구성 요소들이 결합하여 LyraV는 수신되는 비디오 프레임과 생성된 단어 토큰을 원활하게 인터리빙함으로써 세밀한 동기화를 달성한다. 다섯 개의 온라인 및 세 개의 오프라인 벤치마크에서 수행된 광범위한 실험을 통해 LyraV가 백본의 일반적인 이해 능력을 유지하면서 스트리밍 동기화와 서술 유창성을 실질적으로 향상시킴을 확인하였으며, 비디오 재생 대비 98.29%의 동기화율과 3.89 FPS의 실시간 처리 속도를 달성하였다. 흥미롭게도, 우리는 LyraV에서 경험적 능력을 관찰하였다. 스트리밍 토큰에 대한 동적 추론으로, 시각적 입력과 함께 지속적인 해석과 "사고"가 가능하다.

arXiv:2604.02029v2cs.AI

잠재 공간: 기초, 발전, 메커니즘, 능력, 그리고 전망

The Latent Space: Foundation, Evolution, Mechanism, Ability, and Outlook

언어 기반 모델의 내부 계산을 이해하는 방식은 최근 명시적 토큰 생성에서 연속적 잠재 표현(latent representation)을 중심으로 한 접근으로 빠르게 이동하고 있으며, 이 논문은 이러한 변화를 잠재 공간(latent space)이라는 관점에서 체계적으로 정리합니다. 기존의 토큰 수준 추론은 언어적 중복, 이산화 병목, 순차적 비효율, 의미 손실이라는 구조적 제약을 지니는 반면, 잠재 공간은 모델이 더 압축적이면서도 풍부한 내부 계산을 수행할 수 있게 하는 계산 서브스트레이트로 제시됩니다. 특히 저자들은 잠재 공간을 단순한 중간 표현이 아니라, 추론, 계획, 기억, 인식, 협업, 체화된 행동을 함께 포괄할 수 있는 차세대 지능의 핵심 기반으로 재정의합니다. 이를 위해 서베이는 기초(Foundation), 진화(Evolution), 메커니즘(Mechanism), 능력(Ability), 전망(Outlook)의 다섯 축으로 연구 지형을 조직하며, 잠재 공간이 어떤 문제의식에서 출발했고 어떤 방식으로 확장되어 왔는지를 일관된 흐름으로 보여 줍니다. 먼저 Foundation에서는 잠재 공간을 명시적 언어 공간과 구분하고, 생성형 비전 모델에서의 latent space와도 다른 언어 기반 모델 내부의 계산 공간으로 명확히 정의함으로써 논의의 범위를 정돈합니다. 이어지는 Evolution에서는 연구가 압축적 계산에서 확장적 탐색, 적응형 제어, 그리고 명시적 토큰과 잠재 계산을 교차시키는 방식으로 발전해 왔음을 추적하며, 이 과정에서 효율성과 표현력의 균형이 점차 정교해졌음을 강조합니다. 메커니즘 관점에서 이 논문은 잠재 공간 연구를 Architecture, Representation, Computation, Optimization이라는 네 가지 축으로 나누어 분석하며, 각 축이 어떻게 시스템의 추론 방식과 학습 가능성을 결정하는지를 설명합니다. 아키텍처는 반복 깊이, 루프 구조, 병렬 경로, 계층적 흐름을 통해 잠재 계산의 토폴로지를 규정하고, 표현은 잠재 상태가 어떤 의미를 담아야 하는지를 정합니다. 계산은 반복적 정제, 선택적 중단, 분기와 샘플링을 통해 잠재 사고의 전개 방식을 제어하며, 최적화는 이러한 구조가 효율성과 일반화를 동시에 만족하도록 학습되게 만듭니다. 능력 관점에서는 잠재 공간이 추론과 계획을 넘어, 시각 인식과 기억 유지, 검색과 모델링, 다중 에이전트 협업, 체화된 의사결정까지 넓은 범위의 기능을 강화하는 공통 기반으로 제시됩니다. 특히 복잡한 문제에서는 모든 계산을 표면 언어로 외화하지 않고도 내부에서 고밀도 정보를 조작할 수 있기 때문에, 잠재 공간은 긴 문맥 처리와 장기 계획, 다단계 추론에서 뚜렷한 장점을 보입니다. 마지막으로 Outlook에서는 해석 가능성과 제어 가능성의 부족, 효율성과 정확성의 균형, 평가 지표의 미성숙, 안전성과 정렬(alignment) 문제를 주요 과제로 제시하면서도, 명시적 경로와 잠재 경로를 결합한 하이브리드 시스템이 미래의 유력한 방향임을 제안합니다. 결과적으로 이 서베이는 잠재 공간을 단순한 기법이 아니라, 다음 세대 언어 및 멀티모달(multimodal) 지능을 조직하는 일반적 계산 패러다임으로 이해하도록 돕는 통합적 출발점이 됩니다.

arXiv:2603.19146v2cs.AI

D5P4: 병렬 이산 확산 디코딩에서의 다양성을 위한 분할 결정적 점 과정

D5P4: Partition Determinantal Point Process for Diversity in Parallel Discrete Diffusion Decoding

이산 확산 모델은 텍스트 생성을 위한 자기회귀적 접근법의 유망한 대안이지만, 그 디코딩 방법은 아직 충분히 연구되지 않았습니다. 빔 서치(beam search)와 같은 표준 자기회귀적 탐색 절차는 반복적 노이즈 제거(iterative denoising) 과정에 직접 적용할 수 없는데, 이는 해당 과정에서 가설(hypotheses)이 왼쪽에서 오른쪽으로의 접두사(prefixes)가 아닌 완전한 중간 시퀀스이기 때문입니다. 또한, 기존 확산 디코딩 절차는 유지된 가설의 다양성과 커버리지에 대해 제한된 제어만 제공합니다. 본 연구에서는 이산 확산 모델에 특화된 빔 스타일 디코딩 방법인 D5P4를 소개합니다. D5P4는 중간 빔 선택을 분할된 결정적 점 과정 하에서의 최대 사후 확률(MAP) 추론(inference) 문제로 변환합니다. 이를 통해 외부 검증기 없이 품질과 다양성의 균형을 맞추는 모델 내부 배치(batch) 목적 함수가 도출됩니다. 개방형 생성, 질의응답, 수학적 추론에 대한 실험 결과, D5P4는 기준선(baseline)의 품질 및 충실도와 대등하거나 이를 능가하면서도 다양성과 pass@$k$ 커버리지를 향상시키는 것으로 나타났습니다.