비침습적 뇌파(EEG) 기반 뇌-컴퓨터 인터페이스(BCI)를 활용한 연속적인 3차원(3D) 운동 심상(MI) 디코딩은 신호 변동성과 잔차 디코딩 오류로 인해 여전히 어렵다. 합성곱 신경망-장단기 기억(CNN-LSTM) 모델과 같은 심층 학습 아키텍처는 연속 운동학적 디코딩을 위한 공간적·시간적 동역학을 포착할 수 있지만, 예측 궤적에는 체계적인 잔차 오류가 지속된다. 본 논문에서는 CNN-LSTM 디코더의 출력에 강화학습(RL)을 적용하여 잔차 운동학적 보정을 수행하는 2단계 디코딩 프레임워크(CNN-LSTM-RL)를 제안한다. RL 에이전트는 직접적인 EEG 입력 없이 오프라인으로 학습되며, 예측된 운동학적 궤적에 대해 동작하여 목표 궤적 대비 움직임 정확도를 최적화한다. 디코딩 성능은 $x$, $y$, $z$ 축에 따른 피어슨 상관계수($r$)와 평균 제곱근 오차(RMSE)로 정량화되었다. CNN-LSTM 단독 적용과 비교하여, CNN-LSTM-RL은 2D에서 평균 상관계수를 $0.5076$에서 $0.7181$($p = 0.0005$)로, VR에서 $0.6420$에서 $0.7780$($p = 0.0059$)으로 향상시켰으며, 각각 $41.5\%$와 $21.2\%$의 상대적 향상을 달성하였다. 이에 따라 RMSE는 2D에서 $0.0890$에서 $0.0532$($p < 0.0001$)로, VR에서 $0.0714$에서 $0.0441$($p < 0.0001$)로 감소하였으며, 각각 $40.2\%$와 $38.2\%$의 상대적 감소를 나타냈다. 이러한 결과는, 본 확장 가능한 프레임워크가 추가적인 신경 데이터 없이 오프라인 잔차 강화학습을 통해 운동학적 오류를 보정함으로써 3D BCI 운동 심상 디코딩을 향상시키며, 신경재활, 보조기기, 가상 상호작용 분야의 발전에 기여함을 보여준다.
저비트 양자화(low-bit quantization)는 소형 추론 모델의 배포 비용을 낮추지만, 사고의 연쇄(chain-of-thought)를 저하시킬 수 있다. 이는 생성이 불안정해질 때 개입하는 디코더 측 모니터의 필요성을 동기부여한다. 우리는 자연스러운 후보인 중심화된 토큰 로그 확률 증분 $\log p(w_t)+H_t$이 이 목적에 부적합한 관측량임을 보인다. 이 값은 모델 자체의 샘플링 법칙 하에서 구조적으로 평균이 0인 마팅게일(martingale)이므로, 궤적의 건전성이 아닌 샘플링 자기 일관성을 측정하며, $\log p(w_t)$와 엔트로피가 모두 0에 가까운 확신적 반복 구간에서는 거의 신호를 내지 않는다. 우리는 (i) 토큰 불확실성과 명시적 축자 반복(verbatim repetition)을 결합한 퇴화 인식 경보 점수와 (ii) 캘리브레이션된 e-프로세스(e-process) 기반 순차 검출기를 결합한 학습 불필요(training-free) 디코딩 제어기를 제안한다. 원시 곱 프로세스는 조건부 평균 귀무가설 하에서 Ville 유효(Ville-valid)하며, 점수가 이력 의존적이고 자기상관되어 있어 배포된 CUSUM 하한 통계량은 경험적 변화 검출기로 취급된다. FP16 및 INT4의 DeepSeek-R1-Distill-Qwen-1.5B를 사용한 GSM8K에서, 캘리브레이션은 생성의 93--95%에서 발동하는 모니터를 실패 궤적의 선택적 검출기($\varphi\approx 0.3$, 0.38 기저율 대비 정밀도 $\approx 0.6$)로 변환한다. 이 파일럿 연구에서 제어기는 측정된 축자 퇴화 신호를 감소시키고, 28% 토큰 예산 비용으로 INT4 정확도를 63%에서 69%로 끌어올리는 긍정적이지만 통계적으로 불확실한 변화를 산출한다(쌍별 맥니마 검정(McNemar) $p=0.18$, $n=100$). 또한 GSM8K에서는 루핑(looping)이 아닌 비종료(non-termination)가 지배적인 실패 모드임을 발견한다. 주된 기여는 방법론적인 것으로, 중심화된 토큰 로그 확률이 디코더 모니터링에 부적합한 이유에 대한 설명과 캘리브레이션된, 신중하게 평가된 대안을 제시한다.
투기적 디코딩(speculative decoding)은 여러 토큰을 드래프팅한 후 병렬로 검증함으로써 대규모 언어 모델(LLM) 추론을 가속한다. DFlash와 같은 블록-확산(block-diffusion) 드래프터는 단일 패스로 드래프트 블록을 생성하지만 위치별 주변 분포(marginal)만 모델링하며, DDTree와 같은 최선-우선(best-first) 트리 방법은 해당 주변 분포로부터 후보 트리를 확장한다. 공개된 Domino 드래프터는 GRU 기반 인과적 보정(causal correction)을 추가하여 각 드래프트 토큰 분포를 경로 의존적으로 만드는데, 이는 DDTree의 인수분해 공식화(factorized formulation)로는 표현할 수 없는 구조다. 우리는 DominoTree를 제안한다. DominoTree는 루트-노드 경로별로 Domino의 조건부 비인수분해 보정(conditional, non-factorized correction)을 점수로 활용하는 학습 불필요(training-free) 최선-우선 드래프트 트리로, 노드별 보정을 상위 M개 후보 집합으로 제한함으로써 실용성을 확보한다. 8개 벤치마크에서 Qwen3-4B 기준, DominoTree는 자기회귀 디코딩 대비 최대 6.6배 속도 향상을 달성하며, 모든 테스트 온도에서 평가된 방법 중 가장 높은 평균 수락 길이(최대 라운드당 10.7 토큰)를 기록한다. DominoTree는 GPU 네이티브 CUDA 그래프 빌더로 트리를 구성하며, 이 빌더는 참조 Python 구현과 비트 단위로 동일하므로 수락률은 변하지 않으면서 라운드별 트리 구성 비용을 낮게 유지한다. 이 빌더를 기본값으로 채택함으로써 DominoTree는 기반 드래프터인 공개 Domino 디코더 대비 모든 테스트 온도에서 처리량을 향상시킨다: Qwen3-4B 전체 기준 9~10%, Alpaca에서는 최대 22% 향상. 또한 DominoTree는 탐욕적 디코딩뿐만 아니라 모든 테스트 온도에서 DDTree와 CaDDTree를 능가한다. Qwen3-8B에서 DominoTree는 모든 온도에서 가장 높은 수락 길이를 유지하며, T=0에서 DDTree 대비 24% 처리량 향상을 달성한다. 온도가 높아질수록 DDTree 및 CaDDTree와의 격차는 동률 내지 소폭 손실로 좁혀지지만, DFlash 및 Domino 대비 전반적인 이점은 유지된다.
사전학습된 시계열 파운데이션 모델(TSFM)은 미지의 대상 시계열에 대한 제로샷 예측을 가능하게 했다. 그러나 기존 TSFM은 높은 계산 비용을 수반하고 다양한 변수 유형에 대한 지원이 제한적이며, 대상 변동성에 외생적으로 영향을 미치는 공변량(covariate)을 충분히 반영하지 못하는 경우가 많다. 이러한 문제를 해결하기 위해 우리는 CITRAS-FM을 제안한다. CITRAS-FM은 700만 매개변수 규모의 소형 TSFM으로, 단변량, 다변량 및 공변량 기반 제로샷 예측을 지원하며 CPU에서 실시간 추론이 가능하다. 패치 기반 디코더 전용 트랜스포머를 기반으로 구축된 CITRAS-FM은 예측 구간 전체에서 접근 가능한 알려진 공변량을 효과적으로 활용하기 위해 크로스-변수 모듈에 Shifted 어텐션을 도입한다. 또한 공변량이 풍부한 코퍼스의 희소성에도 불구하고 공변량 인식 사전학습을 가능하게 하기 위해, 대상 시계열의 분해된 성분으로부터 현실적인 공변량을 합성하는 CovSynth를 제안한다. 다양한 설정에서 100개의 태스크를 포함하는 fev-bench를 통한 실험 결과, CITRAS-FM은 1000만 매개변수 미만의 TSFM 중 최고 수준의 제로샷 정확도를 달성하면서 0.1초 미만의 CPU 추론 속도를 제공함으로써, 예측 정확도와 실시간 배포 가능성 사이의 강력한 균형을 보여준다.
이중에너지 X선 흡수계측법(Dual-Energy X-ray Absorptiometry, DXA) 기반 측면 척추 영상에서의 척추 랜드마크 위치 추정(Vertebral Landmarks Localization, VLL)은 척추 정렬 평가, 척추 골절 평가(Vertebral Fracture Assessment), 복부 대동맥 석회화(Abdominal Aortic Calcification) 정량화를 위한 추간 가이드 배치에 핵심적인 역할을 한다. 측면 척추 DXA 스캔은 비용 절감 및 낮은 방사선 노출이라는 장점을 제공하지만, 낮은 신호 대 잡음비와 영상 아티팩트로 인해 분석이 어렵다. 인공지능(AI)은 VLL의 정밀도와 정확도를 향상시키는 유망한 접근법으로 주목받고 있다. 본 연구에서는 세밀한 지역적 세부 정보와 광범위한 컨텍스트 정보를 모두 포착하기 위해 이중 해상도 어텐션 메커니즘을 적용한 새로운 아키텍처를 제안한다. 제안된 방법은 이중 해상도 자기 어텐션(self-attention) 및 교차 어텐션(cross-attention) 메커니즘을 통해 스킵 연결(skip connection)과 디코더 레이어를 활용함으로써 특징 통합을 강화한다. 이러한 설계는 모델이 복잡한 패턴을 학습하는 능력을 향상시켜 지역적 및 전역적 컨텍스트 인식을 유지하면서 정확한 척추 코너 위치 추정을 가능하게 한다. 제안된 프레임워크를 다수의 장비로 획득한 DXA 측면 척추 영상(LSI)에서 평가한 결과, VLL에서 최신 최첨단 아키텍처를 능가하여 정규화 평균 오차 4.92, 정규화 중앙값 오차 2.35를 달성하였다. 제안된 프레임워크인 VerteNet은 다양한 촬영 시스템의 DXA LSI 영상에서 높은 정확도의 VLL을 가능하게 하며, 세밀한 지역적 세부 정보와 광범위한 컨텍스트 정보를 모두 포착하는 향상된 능력 덕분에 낮은 신호 대 잡음비에 대한 강한 강건성을 보인다.
광고 헤드라인 생성 시 CTR 최적화와 길이 제어를 동시에 달성하기 어려운 문제를 해결하기 위해, BART 파인튜닝에 prefix 제어 토큰을 결합한 COBART를 제안한다. 실험 결과 기존 베이스라인 대비 Rouge-L 25.82%, 추정 CTR 5.82% 향상을 달성하며 다양한 광고 형식에 유연하게 적용 가능함을 보였다.
ResonatorLM은 트랜스포머의 셀프 어텐션을 물리학에서 착안한 감쇠 공명자(damped resonator) 기반의 인과적 공명 필드 믹싱으로 대체하는 새로운 언어 모델 아키텍처로, 학습 및 프리필 시에는 O(n log n) FFT 합성곱을, 자기회귀 디코딩 시에는 고정 크기 순환 상태를 사용한다. 6M 파라미터 설정에서 32K 토큰 기준 디코딩 속도 6.47배 향상을 달성하면서 WikiText에서 정확도도 55.32%에서 61.31%로 향상되었다.
VQGAN으로 사전학습된 이산 특징 코드북(HR prior)을 활용해, 저해상도 이미지의 특징을 왜곡 없는 고해상도 대응 특징에 매칭하는 FeMaSR 프레임워크를 제안한다. 불안정한 GAN 학습이나 명시적 참조 이미지 없이도, 의미론적 정규화와 잔차 단축 연결을 통해 기존 방법 대비 더 사실적인 초고해상도 이미지를 생성함을 실험으로 검증했다.
Nemotron-Labs-Diffusion은 자기회귀(AR), 디퓨전, 셀프-스페큘레이션 디코딩을 단일 아키텍처에서 통합한 삼중 모드 언어 모델로, 결합 AR-디퓨전 목적함수로 학습하여 두 패러다임의 장점을 상호 보완적으로 활용한다. 3B·8B·14B 규모로 스케일링된 모델 패밀리는 최신 오픈소스 AR 및 디퓨전 언어 모델 대비 정확도와 속도 모두에서 앞서며, 특히 Nemotron-Labs-Diffusion-8B는 Qwen3-8B 대비 순전파당 6배 더 많은 토큰을 디코딩해 SPEED-Bench에서 4배 높은 처리량을 달성한다.
현대 엔드투엔드(end-to-end) ASR 시스템에서 언어 모델 퍼플렉시티(PPL)와 단어 오류율(WER) 간의 관계를 재검토하여, 외부 LM이 여전히 CTC 및 AED 모델을 개선하며 로그-로그 공간에서 선형 관계가 대체로 유지됨을 보인다. 특히 AED 시스템에서 내부 언어 모델(ILM) 차감이 PPL-WER 관계를 변화시키며, LLM 퍼플렉시티는 일반 신경망 LM과 동일한 추세를 따름을 실험적으로 분석한다.
MLLM(멀티모달 대규모 언어 모델)을 활용해 뇌 신호를 텍스트·이미지·오디오를 아우르는 공유 의미 공간에 정렬하고, 라우터 모듈로 자극별 모달리티 특징을 동적으로 융합하는 통합 BCI 디코딩 프레임워크를 제안한다. fMRI·EEG·MEG 등 다양한 뇌 신호와 자극 유형에서 최고 성능을 달성했으며, 가장 널리 쓰이는 벤치마크에서 평균 8.48% 성능 향상을 기록했다.
회전 표면 코드(rotated surface code)의 실시간 복호화 병목 문제를 해결하기 위해, 경량 피드포워드 신경망이 대부분의 신드롬을 빠르게 처리하고 낮은 신뢰도 예측만 MWPM 정제 단계로 에스컬레이션하는 적응형 신뢰도 게이팅(confidence-gated) 복호화 프레임워크를 제안한다. 전체 신드롬의 3.3~6.2%만 정제 단계로 라우팅함으로써 논리적 정확도를 99.21%에서 99.81%로 향상시키면서도 평균 복호화 비용 증가를 제한적으로 유지하였으며, CPU 하드웨어에서 최대 4.6×10⁵ samples/s의 처리량을 달성하였다.
자율주행 차량의 다중 에이전트 궤적 예측에서 모드 다양성과 예측 정확도 간의 트레이드오프를 해결하기 위해, 모드별(mode-wise)과 월드별(world-wise) 회귀 손실을 결합한 모드-월드 가중 회귀 손실과 반복적 분할 디코더를 제안한다. 제안된 IMR 방법은 모드 붕괴(mode collapse)를 완화하면서 Argoverse 2 다중 에이전트 모션 예측 벤치마크에서 1위를 기록하였다.
최소 베이즈 위험(MBR) 디코딩은 샘플링된 의사 참조문(pseudo-reference)에 대한 기대 효용을 최대화하는 가설을 선택함으로써, 최대 사후 확률(MAP) 디코딩보다 더 견고하고 높은 품질의 텍스트 생성을 달성한다. 그러나 설계 상의 불일치가 존재한다: 가설 선택은 주어진 의사 참조문에 조건부로 기대 효용 점수를 계산하는 반면, 일반적으로 사용되는 평가 지표(예: BLEU, COMET)는 비대칭적이다. 따라서 가설→참조문 방향과 참조문→가설 방향 모두의 효과를 고려하는 것이 중요하다. 본 연구에서는 이러한 비대칭성을 처리하기 위해 양방향 효과를 자연스럽게 통합하는 MBR 디코딩의 잡음 채널 분해를 제안한다. MBR 디코딩을 네 가지 상호작용 구성 요소로 분해한다: 가설→참조문 가능도(likelihood), 참조문→가설 가능도, 가설 사전 확률, 참조문 사전 확률. 이 분해는 기존 MBR 변형들에 대한 통합된 해석을 제공하고, 각 채널의 기여를 분리함으로써 지표별·태스크별 해석 가능성을 가능하게 한다. 종합적인 분석을 통해, 채널별 기여가 태스크 간에는 일관성을 유지하면서 지표 간에는 뚜렷이 다른 특성을 보임을 밝혀냈으며, 적절한 채널 가중치 부여가 기존 MBR 디코딩 대비 성능 향상으로 이어질 수 있음을 시사한다.
인간 가치 탐지는 일반적으로 19개의 정제된 슈바르츠 가치에 대한 문장 수준의 다중 레이블 분류(multi-label classification)로 공식화되며, 각 레이블은 독립적으로 예측된다. 그러나 슈바르츠 이론은 이 가치들을 원형의 동기적 연속체(circular motivational continuum)로 설명하며, 인접한 가치는 서로 양립 가능하고 대립하는 가치는 긴장 관계에 있다. 우리는 이 구조를 명시적인 출력 공간 기하학(output-space geometry)으로 구체화하여 하드 제약(hard constraint)이 아닌 소프트 바이어스로 활용할 수 있는지를 탐구한다. DeBERTa-v3-base 분류기를 대상으로, 이를 주입하는 두 가지 방법을 비교한다: 학습 시 기하학 인식 목적 함수(geometry-aware objectives)와 전체 레이블 집합을 공동으로 점수화하는 사후(post-hoc) 슈바르츠 인식 에너지 디코더(Schwartz-aware energy decoder). 5개의 시드에 걸쳐, 학습 시 기하학은 제한적인 성능 향상만을 보이며—진정한 연속체에 대해서도 무작위 순서 대비 더 크지 않은 수준이었다—반면 디코더는 우리가 새롭게 제안하는 이론 인식 일관성 지표에서 레이블 집합을 연속체에 더 일관되게 만들며, 선택 규칙에 의해 Macro-F1 및 Micro-F1은 유지된다. 이 성능 향상은 진정한 슈바르츠 순서에 특정적이며, 동일한 디코더를 통한 무작위 순열이나 경험적 공동 출현 그래프에서는 나타나지 않는다. 제한된 Qwen2.5-72B-Instruct 진단 실험은 추론 시 연속체를 제공하면 동작이 변하지만 지도 학습 기반 구조적 예측에는 미치지 못함을 보여준다. 따라서 이론 인식 디코딩은 가치 탐지를 해당 레이블 공간에 충실하게 만드는 경량의 제어 가능한 방법을 제공한다.
디코더 전용 트랜스포머가 사실 질의에 대해 정답과 오답 단일 토큰 연속을 강제로 처리할 때, 은닉 상태 공간을 통과하는 두 경로는 발산한다. 질의 단독 표현으로부터의 변위 벡터는 거의 동일한 크기를 유지하면서도 각도적으로 분리되며, 각도 차이는 중간 층에서 증가하다가 후반 층에서 비대칭적 결과로 수렴된다. 오답 실행에서의 로짓 렌즈 선호도는 균등 확률 사전분포보다 훨씬 낮으며(오답 토큰에 약 11.5배 더 많은 확률 질량이 집중됨), 이 패턴, 즉 회전 발산 후 후반 층에서의 비대칭적 고정을 모델이 외부적으로 오답 연속을 거부하는 것처럼 보이는 기하학적 신호로 해석한다. 다만, 이는 관측적 해석이지 인과적 해석이 아님을 명시한다. 오답 실행은 모델이 강제로 주어진 토큰에 순응하는 것을 반영할 수도 있으며, 이는 무작위 토큰 대조군으로만 규명할 수 있다. 이 패턴은 1B에서 13B 파라미터 규모에 걸쳐 네 가지 아키텍처 계열(Llama, Mistral, Gemma, StableLM)을 포괄하는 6개의 디코더 전용 트랜스포머에서 일관되게 나타난다. 7번째 모델(Qwen2 1.5B)은 우리 프로토콜 하에서 평탄한 결과를 보이며, 이는 토크나이저 아티팩트로 추정되어 창발 임계값 문제를 미결로 남긴다. 선형 프로브는 중간 층에서 정답/오답 구분을 복원하며, 크로스 도메인 전이는 구조적으로 비대칭적이어서 금융-의료 방향의 전이가 운송 쌍보다 훨씬 우수하다. 단일 층 활성화 패칭이 명확하게 해석 가능한 경우(LLaMA-2 13B, Mistral 7B)에는 일관된 복원을 보이는 층 구간이 없으며, 세 번째 모델(StableLM-2 1.6B)은 상한선 이상에서 균일하게 복원되는데 이는 코드 경로 아티팩트로 진단하여 제외한다. 이 범위 내 귀무 가설 하에서 후반 층의 비대칭성은 단일 구성 요소에 국소화되지 않으며, 단일 층 국소적 재현율 설명보다는 궤적 분산 설명에 부합한다. 이를 7개 모델, 3개 도메인, 300개 질의에 걸친 강제 완성 프로빙으로 문서화한다.
가이드 디코딩, 특히 가치 기반(value-guided) 방법은 모델 재학습 없이 언어 모델 출력을 제어하는 비용 효율적인 대안으로 부상했지만, 그 효과는 가치 함수의 정확도에 의해 제한된다. 우리는 이러한 부정확성이 핵심적인 분포 간극(distributional gap)에서 비롯됨을 확인한다: 기존 방법들은 오직 기반 정책(base policy)으로부터 샘플링된 궤적으로만 정적 가치 함수를 학습시키며, 이는 학습을 잠재적 출력 공간의 좁고 차선적인 시각에 가두게 된다. 우리는 이 간극을 좁히기 위해 설계된 진화적 프레임워크인 반복적 가치 정제(Iterative Value Refinement)를 제안한다. 이 프레임워크는 보다 포괄적이고 강건한 학습 신호를 제공하는 가치 탐험(Value Exploration)을 채택하고, 한 반복에서 개선된 가치 함수를 다음 반복을 위한 고품질 데이터 생성에 활용하는 반복적 자기 정제(Iterative Self-Refinement)를 이와 함께 사용한다. 텍스트 요약, 멀티턴 대화, 인스트럭션 수행에 대한 광범위한 실험을 통해 언어 모델 정렬에서 우리 프레임워크의 효과를 입증한다. 우리의 접근법은 정렬을 달성하는 것에 그치지 않고, 효율적이고 효과적인 제어를 위한 원칙적 가치 함수 최적화를 활용함으로써 연산 비용을 크게 절감한다.
현대 언어 모델은 일반적으로 텍스트를 이산적인 토큰 임베딩 시퀀스로 표현하는데, 이는 현재 관행에 깊이 뿌리내린 가정이지만 거의 의문시되지 않는다. 우리는 이러한 표현 방식에, 특히 중국어에 대해 이의를 제기하며, 인덱스 기반 토큰 임베딩을 문자 시퀀스의 단일 래스터화된 이미지로 완전히 대체하고, 이를 공유된 ResNet과 얕은 Vision Transformer로 구성된 비전 인코더로 처리한다. 입력 표현의 역할을 분리하기 위해, 비전 기반 모델과 인덱스 기반 기준선이 동일한 디코더 백본, 학습 목표, 옵티마이저, 데이터 커리큘럼을 공유하는 이중 분기 통제 프레임워크를 구성한다. 따라서 성능 차이는 입력 모달리티에만 귀인된다. 테스트된 모든 디코더 백본에서 비전 기반 모델은 기준선을 일관되게 능가하며, 인덱스 기반 기준선의 0.355 대비 최고 정확도 0.429를 달성하여 21%의 상대적 향상을 보이고, 학습 에폭 수의 약 절반 만에 수렴한다. 이 이점은 특히 처음 5 에폭 내(전체 데이터의 21% 미만)에서 두드러지게 나타나며, 중간 정도의 문자 손상 하에서도 지속된다: 손상된 비전 모델이 깨끗한 인덱스 기반 기준선과 동등한 성능을 보인다. 어블레이션 연구에서는 이 이점이 공간적으로 일관된 입력과 2D 위치 인코딩을 갖춘 ViT 인코더 모두를 필요로 함을 밝혀낸다. 영어에 대한 문자 체계 간 비교에서는 이 이점이 알파벳 문자 체계로 직접 전이되지 않음을 보여주며, 이는 한자의 균일한 시각적 밀도와 부수 구조가 가능 조건임을 시사한다. 이러한 발견은 트랜스포머가 일반적으로 가정하는 것보다 모달리티에 더 구애받지 않으며, 이산적 토큰화가 중국어 언어 모델링의 근본적인 요건이 아님을 시사한다.
밀집 비디오 캡셔닝(dense video captioning)은 비디오 이벤트에 대해 시간적으로 근거된 설명을 생성하는 것을 목표로 하며, 이벤트 수준의 비디오 이해와 생성 모두에 기여합니다. 이 분야에서 자기회귀(autoregressive) 비디오 대규모 언어 모델(LLM)은 강력한 생성 능력과 크로스-모달 모델링 용량을 바탕으로 주류 패러다임으로 자리잡았습니다. 그러나 토큰(token) 단위 패러다임 하에서 밀집 캡션을 생성하는 방식은 추론(inference) 효율성을 심각하게 제한하며, 비디오 길이와 이벤트 밀도가 증가할수록 확장성을 저해합니다. 본 연구에서는 생성 효율성을 향상시킬 뿐만 아니라 시간적으로 근거된 캡셔닝 성능도 강화하는 병렬화된 자기회귀 프레임워크를 제안합니다. 핵심 아이디어는 시간적으로 구별되는 이벤트들 간의 약한 로컬 의존성을 활용하여 인과 의존성 그래프를 재구성함으로써 무손실 병렬 생성을 가능하게 하는 것입니다. 구체적으로, 이벤트 간 의존성이 약한 토큰은 병렬로 디코딩될 수 있는 반면, 각 이벤트 내에서 강하게 결합된 토큰은 로컬 의미 일관성을 보존하기 위해 순차 디코딩을 유지합니다. 이를 실현하기 위해 무손실 병렬 디코딩을 위한 두 가지 핵심 구성 요소를 도입합니다: (1) 이벤트 수준 구조를 자동으로 학습하고, 이벤트 수준 오디오-비주얼 의미론을 적응적으로 집계하면서 글로벌 이벤트 간 인과성을 인코딩하는 컴팩트한 토큰을 생성하여 후속 의존성 재구성 및 병렬 디코딩을 안내하는 잠재적 글로벌 계획 메커니즘; (2) 로컬 집중과 글로벌 이벤트 간 인식을 효과적으로 균형 잡는 이벤트 인수분해 병렬 디코딩 메커니즘. 다양한 벤치마크에서의 실험은 옴니-모달 이벤트 그라운딩 및 캡셔닝에서 효율성과 성능 모두에 걸쳐 우리 접근법의 명확한 우위를 입증합니다. 프로젝트 웹사이트: https://github.com/showlab/PadCaptioner.
확산 기반 생성 모델은 시각적 콘텐츠 합성을 혁신했지만, 무단 사용에 취약하고 신뢰할 수 있는 출처 귀속(attribution) 방법이 부족하다. 기존 워터마킹 기법들은 잠재 텐서(latent tensor)를 정적 공간 특징 맵으로 취급하거나 픽셀 도메인 수정에 의존하는 경우가 많으며, 대부분 이중 대역 중복 임베딩을 위해 잠재 공간의 내부 주파수 구조를 명시적으로 활용하지 않아 확산의 확률적 특성과 재생성 공격(regeneration attack)에 취약하다. 우리는 BiSLW를 제안한다. BiSLW는 학습된 인코더와 디코더를 사용하여 디코딩된 확산 잠재 공간의 상호보완적 스펙트럼 대역에 정렬된 식별 신호(identity signal)를 공동으로 임베딩하는 학습 가능한 이중 스펙트럼 잠재 워터마킹 프레임워크로, 고정 패턴 주파수 방식을 넘어선다. 우리는 확산 잠재 공간의 고유한 주파수 구조를 활용하여 이중 대역 워터마킹 프레임워크를 설계한다. 저주파 성분은 전역 의미(global semantics)를 인코딩하고, 고주파 성분은 세밀한 텍스처를 포착한다. 우리는 이 구조를 활용하여 상호보완적인 스펙트럼 대역에 걸쳐 워터마크를 임베딩한다. 워터마크는 학습된 인코더를 통해 두 대역에 독립적으로 삽입되고 디코딩 전에 재결합되어, 생성 궤적(generative trajectory)에 본질적으로 통합된다. 이중 스펙트럼 디코더는 각 대역에서 워터마크를 복원하며, 교차 대역 일관성 제약(cross-band consistency constraint)은 의미적 임베딩과 텍스처 임베딩 간의 정렬을 강제한다. 실험 결과, BiSLW는 지각적 충실도(perceptual fidelity)와 견고성 사이에서 강력한 균형을 달성하며, 기존 잠재 확산 워터마킹 방법 대비 PSNR을 3 dB 이상 향상시키는 동시에 공격적인 재생성 및 일반적인 왜곡 하에서도 거의 완벽한 비트 정확도를 유지하며, 이 모든 것을 무시할 수 있는 수준의 계산 오버헤드로 달성한다.