PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00953v1cs.CV

디퓨전 MLLM의 두 가지 시계: 추론 근거가 전개되기 전에 답변이 안정화되는 시점

Two Clocks in Diffusion MLLMs: When Answers Stabilize Before Rationales Unfold

마스크드 디퓨전(masked diffusion) MLLM에서 답변 후보는 그 추론 근거(rationale)가 여전히 전개되는 동안에도 안정화될 수 있습니다. 본 연구에서는 기록된 후보의 사후적(retrospective) 안정화와 토큰 확정(token commitment)을 구분하고, 근거 생성과 관련하여 이 두 가지 시계를 조사합니다. 세 가지 시각적 질의응답 벤치마크 전반에서 결과를 분석한 결과, 단일 블록 및 EOS 억제 설정의 LaViDa 실행 시 안정화 시점에서 근거 측 캔버스의 89.4~98.1%가 작성되지 않은 채로 남아 있음을 발견했습니다. V*Bench에서는 블록 길이를 128에서 8로 줄임에 따라 답변 커버리지 및 관찰 가능 윈도우와 함께 이 비율이 89.4%에서 1.7%로 변화합니다. EOS 활성화 프롬프팅 환경에서 직접적인 지시사항은 M3CoT 및 ScienceQA에서 Nemotron의 전체 정확도를 각각 15.0 및 19.5%포인트 향상시키지만, LaViDa/V*Bench 정확도는 11.0%포인트 감소시킵니다. 대칭적 분해 분석을 통해 각 변화에서 더 큰 절대적 구성 요소가 조건부 정확도보다는 커버리지와 관련됨을 보였습니다. 캔버스를 일치시킨 이미지 어블레이션(ablation)은 답변 안정화와 함께 시각적 민감도를 측정하여 두 시간적 판독값을 분리합니다. 종합적으로, 이러한 측정들은 답변 안정화, 근거 전개, 시각적 민감도를 명확히 구분하며, 프롬프팅 차이에서 더 큰 비중을 차지하는 요소가 커버리지임을 규명합니다.

arXiv:2607.14557v1cs.AI

스텝 제로에서 끝을 예견하기: MLP 희소성 인식 절단을 통한 확산 MLLM 가속

Seeing the End at Step Zero: Accelerating Diffusion MLLMs via MLP Sparsity-Aware Truncation

확산 다중 모달 대규모 언어 모델(DMLLM)은 다중 모달 추론에 매우 효과적이지만, 고정 길이 생성 제약으로 인해 추론 효율이 크게 저해된다. 실제 출력 길이를 알 수 없기 때문에 출력 시퀀스는 사전 정의된 최대 길이까지 패딩되어, 불필요한 [EOS] 토큰에 대한 상당한 중복 연산이 발생한다. 본 연구에서는 DMLLM이 첫 번째 디노이징 단계에서 MLP 활성화 희소성의 뚜렷한 변화를 통해 유효한 의미적 경계를 암묵적으로 드러낸다는 사실을 발견한다. 이 관찰을 활용하여, 본 논문은 신호 대 잡음비(SNR) 기반 기준으로 이 경계를 탐지하고 이후 모든 연산에 대해 불필요한 접미사를 일회성으로 절단하는 학습 없는 프레임워크인 Seer를 제안한다. 배치 서빙 중 이러한 이론적 이득을 유지하기 위해, Seer는 동적 시퀀스 길이를 원활하게 수용하면서 처리량을 극대화하는 하이브리드 실행 전략을 포함한다. 실험 결과 Seer가 패딩 낭비를 효과적으로 제거하여 처리량을 최대 $\sim$31$\times$까지 가속함을 보여준다. 9개 벤치마크에서 Seer는 전반적인 성능을 견고하게 유지하고, 노이즈 누출을 완화함으로써 복잡한 시각 작업에서 정확도까지 향상시킨다(예: DocVQA 점수가 63.52에서 63.66으로 증가). 이는 DMLLM 가속을 위한 매우 효율적인 플러그 앤 플레이 솔루션을 제공한다.