디코더 전용 트랜스포머에서 예측 토큰의 확률이 실제로 어느 층에서 생성되는지 정확히 귀인(attribution)하기 위해, 기존 방법들이 로짓 공간에서만 가산성을 보장하거나 층별 합산이 전체 예측 변화량과 불일치하는 문제를 해결하는 IG-Lens를 제안한다. 단일 경로를 따라 망원경식으로 Integrated Gradients를 적용하여 각 층의 기여값 합이 확률 공간에서 정확히 목표 확률 변화량과 일치하며, 역전파 호출 없는 단일 패스 배치 구현으로 전체 토큰×층 귀인 맵을 효율적으로 계산한다.
무상태 추론 서버의 요청 사이 유휴 시간을 활용해 드래프트 모델 없이 대상 모델의 순전파로 세션을 다음 결정 지점까지 미리 디코딩하는 투기적 사전 포지셔닝(Speculative Pre-Positioning)을 제안하며, 신뢰도 게이트가 발화할 경우 디코딩 없이 캐시된 분포에서 단일 토큰을 반환해 첫 토큰 지연을 39ms에서 약 1.0ms로 약 40배 단축한다.
자기회귀 LLM 디코딩에서 많은 토큰이 중간 레이어에서 이미 예측 가능함에도 전체 레이어를 통과해야 하는 비효율을 해소하기 위해, 단일 종료 깊이 선택 대신 여러 후보 깊이를 병렬 탐험하는 무손실 디코딩 알고리즘 DEX(Depth Exploration Decoding)를 제안한다. DEX는 확장-커밋-축소(expand–commit–collapse) 절차로 표준 자기회귀 디코딩과의 동등성을 유지하면서 기존 깊이 선택 기반 방법보다 높은 처리량을 달성하며, 탐험 깊이가 세밀해질수록 성능이 단조 향상됨을 이론·실험으로 입증한다.
MLLM 기반 GUI 그라운딩 방법은 일반적으로 목표 위치 파악을 자기회귀적 좌표 생성으로 정식화하여, 모델이 MLLM의 강력한 인스트럭션 수행 및 의미 이해 능력을 활용할 수 있도록 한다. 그러나 이 정식화는 GUI 클릭에서 요구되는 공간적 정밀도로 좌표 토큰을 디코딩하는 동시에, 모델이 영역 수준의 목표 증거를 유지해야 한다는 과제를 안고 있다. 진단 분석을 통해, 목표 영역 인식이 디코더 중간 층에서 나타나지만 최종 좌표 예측에 유지되거나 반영되지 않음을 확인하였다. 기존의 ZoomIn 방식 방법들은 외부 크롭 후 재실행(crop-and-rerun) 순전파를 통해 이 문제를 해결하는데, 이는 위치 파악 성능을 향상시키지만 엔드-투-엔드 지연 시간과 계산 비용을 증가시킨다. 이러한 추가 비용 없이 2회 줌인의 정확도 이점을 유지하기 위해, 우리는 층 간 증거 브리징을 위한 단일 순전파 프레임워크인 InnerZoom을 제안한다. InnerZoom은 원래 순전파에서 목표 관련 단서를 압축된 층 간 증거 상태로 변환한 후, 이 상태를 이후 디코딩 층 전반에 걸쳐 보존·정제·재주입하여 좌표 예측을 안내한다. 광범위한 실험 결과, InnerZoom-4B는 6개의 GUI 그라운딩 벤치마크 전체에서 최고 성능을 달성하였으며, OSWorld-G에서 64.7, UI-Vision에서 40.2, OSWorld-GR에서 73.1, MMBench-GUI에서 87.6을 기록하여 각각 이전 최고 결과를 4.1, 3.2, 2.9, 2.3포인트 상회하였다. 통제된 4B 설정에서 InnerZoom은 동일한 SFT+RL 기준선 대비 평균 5.3포인트 향상을 달성하고, 2회 순전파 ZoomIn보다 평균 1.3포인트 높은 성능을 보이면서, 엔드-투-엔드 지연 시간을 최대 31.8%, TFLOPs를 약 29% 감소시킨다. 코드와 모델은 공개될 예정이다.
Despite the impressive capabilities of Large Vision-Language Models (LVLMs), they remain susceptible to hallucination, generating content inconsistent with the input image. Recent studies attribute this to the dominance of language priors over visual inputs and employ contrastive decoding methods to mitigate this dominance, but the mechanistic origin remains unexplored. We investigate the information flow through each transformer layer and find that attention modules consistently aggregate visual evidence, while FFN modules at critical layers act as the source of language priors. These priors can override visual evidence, causing correct predictions in intermediate layers to drift toward incorrect outputs. Based on this insight, we propose FADE (FFN Attenuation for DEcoding), a training-free method that attenuates FFN outputs to reduce language-prior dominance. Evaluations on POPE, CHAIR, and MME benchmarks across LLaVA-1.5, mPLUG-Owl2, and InstructBLIP show that FADE effectively mitigates hallucinations while preserving inference efficiency.
Cooperative multi-agent reinforcement learning (MARL) often relies on communication to mitigate partial observability, yet most existing protocols treat messages as flat dense vectors detached from the structure of the observations they summarize. This design overlooks an important source of inductive bias in many cooperative environments, where observations naturally follow a hierarchy such as groups and entities. We propose \textsc{HiComm}, a plug-in communication module that grounds messages in the sender's hierarchical observation. \textsc{HiComm} is receiver-driven: the receiver issues a query, and the hierarchy is resolved through a three-stage decoding process that first selects a group, then a sender, and then an entity within that group, returning the corresponding feature slice as the message. This converts communication from unstructured vector transmission into structured information retrieval over the sender's observation hierarchy. We instantiate this mechanism with Straight-Through Gumbel-Softmax for differentiable discrete selection and a lightweight shared projection design that attaches to standard MARL pipelines. Experiments across cooperative MARL tasks with different observation structures and coordination demands show that \textsc{HiComm} matches or outperforms representative learned communication baselines while reducing communication volume by up to $23\times$ per receiver per episode.
표면 근전도(surface electromyography, sEMG)용 심층 학습 모델은 완전히 범용적인 디코더를 학습할 수 있을 만큼 충분히 크고 다양한 데이터셋이 없기 때문에, 피험자별(재)보정을 통해 상당한 이점을 얻을 수 있다. 그러나 사용자 수용성을 위해 보정 과정에서 현실적으로 수집할 수 있는 반복 횟수는 크게 제한되며, 이는 과적합 위험을 높이고 극단적인 경우에는 보정되지 않은 모델에 비해 성능이 오히려 저하될 수 있다. 검증 성능이나 조기 종료를 통한 정규화와 같은 전통적인 과적합 지표는 이 저표본 영역에서는 적용하기 어렵다. 실제 보정 시나리오에서 거의 사용할 수 없는 추가 홀드아웃(hold-out) 데이터가 필요하기 때문이다. 본 연구에서는 심층 신경망의 정류 선형 단원(rectified linear units, ReLU)의 활성화 통계만을 기반으로 한, 최근 제안된 기억 지표 클래스를 조사한다. 이 지표는 추가 검증 세트 없이 학습 데이터에서 직접 계산할 수 있다. 벤치마크 sEMG 데이터셋에서 전이학습(transfer learning) 실험을 수행한다. 합성곱 신경망이 먼저 여러 피험자에 대해 사전학습(pre-training)된 뒤, 소수의 반복만으로 개별 사용자에 대해 미세조정된다. 보정 중에는 디코딩 성능과 마지막 은닉층의 활성화 동작을 모두 모니터링한다. 결과는 미세조정 중 테스트 정확도 감소가 활성화율의 특징적인 변화와 함께 나타남을 최초로 보여주며, 이는 활성화 기반 기억 지표가 저표본 sEMG 보정 환경에서 실패한 학습을 조기 탐지하는 데 유망한 도구임을 시사한다.
이산 확산 언어 모델(discrete diffusion language models, dLLM)은 마스킹된 토큰을 병렬로 복원하여 자기회귀(autoregressive, AR) 생성 대비 상당한 속도 향상을 제공한다. 그러나 이러한 유망한 프레임워크는 근본적인 아키텍처 설계 딜레마에 직면한다: ① 양방향 어텐션을 채택하면 각 위치가 전체 문맥에 접근할 수 있어 생성 품질이 우수해지지만, 본질적으로 KV 캐싱과 호환되지 않아 배치 서빙 시나리오에서 추론 처리량을 제한한다; ② 반면 인과(causal) 어텐션은 효율적인 캐시 기반 추론을 가능하게 하지만 우측 문맥을 모두 잃어 생성 품질이 크게 저하된다. 본 논문은 비대칭 양방향 문맥(asymmetric bidirectional context)을 통해 이 딜레마를 해소하는 새로운 패러다임인 Bifocal dLLM을 제안한다. 양초점 렌즈에 비유하듯, 우리는 이 패러다임을 R2LM(Right-to-Left Mamba)으로 구현하며, 두 가지 상보적 메커니즘을 결합한다: a) 전체 KV 캐시 호환성을 갖춘 정밀한 좌측 문맥을 제공하는 표준 인과 어텐션, b) 캐시 가능성을 깨뜨리지 않고 압축된 우측 문맥을 공급하는 경량 역방향 Mamba SSM 사이드카. Qwen3-1.7B에 600억 토큰으로 지속 사전학습(continued pretraining)을 수행한 포괄적 실험에서, R2LM은 KV 캐싱을 활용한 병렬 디코딩을 통해 배치 서빙에서 양방향 dLLM 대비 2.4~12.9배, AR 기준선 대비 1.9~2.9배의 처리량을 달성하며, 대부분의 벤치마크에서 인과 기준선을 능가하고 평균적으로 양방향 dLLM을 상회함을 보여준다.
이산 오디오 표현은 멀티모달 텍스트-오디오 시스템 구축과 대규모 언어 모델(LLM)에 오디오 기능을 통합하는 데 점점 더 널리 사용되고 있다. 그러나 많은 연구에서는 이산화 과정에서의 정보 손실로 인해 다양한 다운스트림 작업에서 성능 저하가 보고되고 있다. 이를 해결하기 위해, 시간적으로 압축된 이산 토큰과 차원 축소된 연속 잔차를 결합하는 새로운 접근법을 제안한다. 우리의 프레임워크는 이산-연속 초점 변조(focal modulation) 코덱을 하이브리드화한 구조와 하이브리드 트랜스포머로 구성된다. 이 아키텍처는 이산 영역에서 자기회귀(autoregressive) 추론을 수행하며, 비자기회귀(non-autoregressive) 예측과 연속 잔차 업샘플링을 함께 결합한다. 실험 결과, 제안 방법은 이산 방식만 사용하는 방법과 비교하여 화자 특성 보존을 크게 개선하는 동시에 필요한 자기회귀 단계 수를 줄인다.
대규모 언어 모델(LLM)은 강력한 추론 능력을 보여주지만, 복잡한 다단계 설정에서 내부 추론 과정이 불안정할 수 있으며, 초기 은닉 상태 오류가 잘못된 예측으로 전파될 수 있습니다. 우리는 디코딩 전에 은닉 표현을 반복적으로 업데이트하는 강화 학습 기반 잠재 정제 프레임워크인 ReLAR를 제안합니다. ReLAR는 컴팩트한 잠재 추론 상태를 유지하며, 학습된 깊이 및 행동 컨트롤러를 사용하여 정제 단계의 수와 방향을 적응적으로 결정합니다. 컨트롤러는 단계별 가능도(likelihood) 개선에 기반한 정책 그래디언트(policy gradient) 목적함수로 학습되며, 명시적인 사고의 연쇄(Chain-of-Thought) 생성 없이 효율적인 입력 의존적 추론을 가능하게 합니다. 의학, 수학, 다중 홉(multi-hop) 추론, 및 개방형 생성 벤치마크에 대한 실험 결과, ReLAR는 명시적 추론 기준선보다 훨씬 낮은 추론(inference) 오버헤드로 정확도, 생성 품질, 및 추론 안정성을 향상시키는 것으로 나타났습니다.
레이저, Ising 머신, 응집체 등 물리적 선택기가 결정 순간에 방출하는 고차원 시그니처를 활용해 선택과 메모리 접근을 단일 이벤트로 통합하는 어트랙터 키드 메모리(Attractor-Keyed Memory, AKM) 프레임워크를 제안한다. 보정 데이터로 구성한 선형 디코더 하나로 임의의 페이로드를 복원할 수 있으며, 런타임 오차를 디코딩 충실도($\sigma_{\min}(\Phi)$)와 라우팅 신뢰성($\Delta/T_{\text{eff}}$)의 두 독립 채널로 분리해 진단·개선할 수 있음을 이론적으로 증명하고 합성 speckle 시뮬레이션으로 검증한다.
토큰이 트랜스포머 블록에 진입하기 전에 이전 위치의 블록 출력과 현재 임베딩을 결합한 보정 네트워크(correction network)로 사전 문맥화하는 새로운 순환 신경망 아키텍처 Context-Ready Transformer를 제안한다. 학습 시에는 전체 시퀀스에 걸쳐 보정 과정을 K번 병렬 전개하고, 추론 시에는 순차 생성으로 자연스럽게 수렴된 보정을 제공하여, D=5 모델이 12층 트랜스포머 대비 1.7배 빠른 속도로 더 낮은 퍼플렉시티를 달성한다.
신경 언어 모델(NLM)이 합성 문법 학습 과정에서 어떤 통계적 지식을 먼저 습득하는지를 발달적 접근법으로 분석한 결과, 트랜스포머 모델은 학습 초기에 가장 추상적인 전역 통계 패턴을 먼저 습득하고 이후 상대적으로 지역적인 의존성을 학습하는 과잉 일반화(over-generalization) 경로를 따름을 발견했다. 이 관찰을 바탕으로 NLM의 통계적 학습과 언어 인지를 설명하는 새로운 프레임워크를 제안한다.
Speech 대규모 언어 모델(Speech LLM)은 음성 인코더 표현을 LLM 디코더로 라우팅하며, 이 디코더는 일반적으로 전체 파라미터의 90% 이상을 차지한다. 우리는 음성 태스크에 실제로 이 디코더 용량 중 얼마나 많은 부분이 필요한지 연구한다. 두 LLM 계열과 세 가지 규모(1-8B)에 걸쳐, 디코더 중복성은 대부분 사전학습된 LLM에서 상속됨을 보인다: 텍스트와 음성 입력은 유사한 중복 블록을 산출한다. 이어서 디코더 레이어를 가지치기하고 가지치기 후 회복을 분석하여 견고성을 높이는 방식으로 과잉 용량을 측정한다. 우리의 결과는 7-8B 모델이 디코더 레이어의 60%만으로도 양호한 ASR 성능을 유지함을 보여주며, 동일한 경향이 더 작은 규모에서도 나타나지만 가지치기 허용 범위는 줄어든다. 마지막으로 음성 번역으로 일반화하여, 동일한 레이어 블록이 음성 인코더, 태스크, 언어에 걸쳐 중복됨을 보인다. 이는 더 전역적인 중복 구조가 존재함을 시사하며, 단일 가지치기 다중 태스크 SpeechLLM 백본을 배포할 수 있게 한다.
암묵적 신경 표현(INR)은 최근 비디오 압축을 위한 유망한 접근법으로 등장하여, 빠른 디코딩과 함께 경쟁력 있는 레이트-왜곡(rate-distortion) 성능을 제공한다. 그러나 기존 신경 비디오 코덱은 복잡도와 확장성(scalability)의 균형을 맞추기 어렵다. 경량 모델은 서로 다른 비트레이트/품질 수준으로 스케일링할 때 압축 성능 저하를 겪는 경우가 많으며, 고성능 모델은 모델 복잡도가 일반적으로 품질에 따라 증가하기 때문에 확장성이 제한적이다. 다양한 비트레이트 전반에 걸쳐 일관된 복잡도를 유지할 수 있는 통합 아키텍처의 부재는 실제 다양한 배포를 심각하게 제한한다. 이러한 과제를 해결하기 위해, 저희는 다중 고해상도 특징 그리드를 활용하는 경량 INR을 사용하여 임의의 복잡도 수준에서 높은 확장성을 제공하는 새로운 INR 기반 비디오 코덱인 NVRC++를 제안한다. 이는 긴 비디오 시퀀스에 대해 고해상도 그리드에서 효율적인 과적합을 가능하게 하는 최적화 프레임워크와 결합되어, 과도한 계산 또는 메모리 오버헤드 없이 시공간 중복성을 활용한다. 또한 고차원 그리드 매개변수를 효율적으로 압축하기 위해 고급 엔트로피 모델을 설계했다. 그 결과 NVRC++는 네 가지 복잡도 수준(픽셀당 7kMACs부터 360kMACs까지)을 제공하며, 각 수준은 넓은 비트레이트 및 품질 범위를 포괄하면서 실시간 디코딩을 지원한다. 실험 결과 NVRC++는 SOTA INR 기반 비디오 코덱인 NVRC에 비해 최대 7.6배 빠른 디코딩 속도를 제공하면서도 유사한 성능을 달성함을 보여준다.
본 논문에서는 표면 아래 산란의 경로 추적(path tracing) 기반 렌더링을 위해 피부에 대한 분광 광학 역변환을 제안한다. 피부는 외관이 생물물리적 발색단(chromophore)의 혼합에 의해 결정되는 복잡한 다층 매질이다. 그러나 기존 방법은 매질 균질화(medium homogeneization)에 의존하며, 광학 파라미터는 반사율 텍스처로부터 알bedo 역변환을 통해 얻고 산란 거리와 이방성(anisotropy)은 수동으로 튜닝한다. 이로 인해 제작에 상당한 미술 숙련 수작업이 필요해지고, 피부에 대한 부정확한 산란 프로파일이 만들어진다. 이러한 문제를 해결하기 위해 기존 알bedo 역변환 기법을 일반화하고, 단일 RGB 확산 알bedo로부터 전분광(full-spectral) 피부 산란 파라미터를 예측하는 프레임워크를 제안한다. 우리 방법은 새로운 매질 혼합(mixture-of-media) 표현을 기반으로 하며, 이는 상관 없는 세 매질의 집계 산란을 혼합함으로써 피부의 다층 외관을 집계적으로 근사한다. RGB 확산 알bedo를 매질 혼합의 광학 특성(이방성, 산란 반경, 산란 알bedo)으로 매핑하는 연쇄 신경 디코더를 학습한다. 그다음, 통과할 매질을 무작위로 선택하는 것만으로 이 혼합을 최소한의 수정으로 순행(random-walk) 기반 경로 추적기에서 사용할 수 있음을 보인다.
대규모 비전-언어 모델(LVLM)은 정교한 추론을 보이지만 여전히 객체 환각(object hallucination)에 취약하다. 널리 받아들여지는 어텐션 강도 가정에서 벗어나, 우리는 더 깊은 동적 구조적 불일치를 밝힌다. 환각은 특정 어텐션 헤드가 위험한 매개변수(mediator)로 작용하여 시각적 증거와 분리되어 언어 사전(prior)에 고정되는 의사결정 핵심 단계에서 촉발된다. 이는 시각적 그라운딩(visual grounding)을 우회하는 병리적 지름길을 형성한다. 이를 분해하기 위해, 우리는 학습 없는 추론 시점 프레임워크인 Fox(Faithfulness and Observational-flow via eXpression-rectification)를 제안한다. Fox는 시각적 어텐션 엔트로피 프로브를 사용하여 구조적 불일치를 진단하고, 감독 없이 위험한 매개변수를 국소화한다. 그런 다음 수치적 로짓(logit) 포화(saturation)를 통한 표적 인과 개입을 실행하여 지름길 경로를 물리적으로 차단한다. 마지막으로, 충돌 게이트(conflict-gated) 협력 디코딩 전략이 개입적 충실성(interventional faithfulness)과 관찰적 유창성(observational fluency)을 조화시킨다. 광범위한 실험은 Fox가 SOTA 성능을 달성하며, 언어적 풍부함을 유지하면서 SID보다 29.1% 우수함을 보여준다. 코드는 https://github.com/Cc2021start/Fox 에서 제공된다.
궤적 예측은 자율주행 시스템의 핵심 구성 요소로서 많은 연구자들의 관심을 받아왔다. 기존 예측 알고리즘은 더 상세한 장면 특징을 추출하거나 더 합리적인 궤적 목적지를 선택하는 데 초점을 맞춘다. 그러나 목표 차량의 동적이고 변화하는 미래 움직임에 대해, 이러한 알고리즘은 미래 행동과 차선 제약에 대한 세밀하고 연속적인 기술을 제공하지 못하여 예측 정확도를 저하시킨다. 이 문제를 해결하기 위해, 우리는 병렬 어텐션 메커니즘을 통해 행동 의도 인식과 차선 제약 모델링을 시너지적으로 통합하는 새로운 이중 스트림(dual-stream) 아키텍처인 BLNet을 제안한다. 해당 프레임워크는 세밀한 행동 상태 쿼리(공간-시간 이동 패턴 포착)와 차선 쿼리(차선 토폴로지 제약 인코딩)를 생성하며, 각각 두 개의 보조 손실로 지도된다. 이후 두 단계 디코더는 먼저 궤적 제안을 생성한 다음, 통과한 차선의 연속성과 미래 운동 특징을 함께 통합하여 점 수준(point-level) 정제를 수행한다. nuScenes와 Argoverse라는 두 대규모 데이터셋에서의 광범위한 실험은, 본 네트워크가 기존 직접 회귀(direct regression) 및 목표 기반(goal-based) 알고리즘 대비 유의미한 성능 향상을 보인다는 것을 나타낸다.
자기회귀(AR) 디코딩과 확산 디코딩을 결합한 생성 시스템을 어떻게 평가해야 할까? 우리는 Speculative Refinement(SpecRef)를 통해 이 질문을 연구한다. SpecRef는 학습 없이 AR 초안(draft)으로 마스크된 확산 언어 모델을 웜스타트(warm-start)하고, 엔트로피 기반 선택적 마스킹을 사용하는 하이브리드 방법이다. HumanEval, MBPP, GSM8K, BBH, ARC-Challenge, HellaSwag의 여섯 벤치마크에서 세 가지 평가 프로토콜(실행 기반 pass@1, exact-match, 가능도(log-likelihood) 채점)로 SpecRef를 평가한 결과, 본 시스템을 넘어서는 여러 발견을 드러낸다: (1) 코드 벤치마크는 구조적 탐색과 논리적 정확성을 혼동한다. 구문적 스캐폴드(syntactic scaffold)를 제공하면 모델을 변경하지 않고도 정확도가 거의 0에서 20% 이상으로 상승하여, 기준선 실패의 상당 부분이 구조적임을 시사한다; (2) 다단계 수정이 이미 올바른 토큰을 손상시키는 정제 긴장(refinement tension) 현상으로, 단일 모델 평가로는 보이지 않는 벤치마크 포화 한계가 드러난다; (3) 가능도와 생성적 평가는 동일한 모델 쌍에 대해 서로 다른 모델 순위를 산출하여, 서로 다른 역량을 측정함을 시사한다; (4) 표준 Python 후처리(post-processing)가 비-AR 생성기에 대해 코드 평가를 조용히 깨뜨린다. 이러한 관찰은 다단계 또는 비-자기회귀(non-autoregressive) 생성 파이프라인 전반에 적용되며, 더 진단적인 평가 관행을 가리킨다.
트랜스포머는 많은 설정에서 뛰어난 성능을 보이지만, 자동 계획(automated planning) 분야에서의 적용은 제한적이다. PlanGPT와 같은 선행 연구, 즉 최신 디코더 전용(decoder-only) 트랜스포머는 쉬운 계획 문제에서 어려운 문제로의 외삽(extrapolation)에 어려움을 겪는다. 이는 다시 문제의 대칭성(symmetry)에서 기인한다. 계획 과제는 식별자 이상의 의미를 지니지 않는 임의의 변수명으로 표현될 수 있다. 이로 인해 순수 트랜스포머가 효율적으로 학습할 수 없는 동등한 표현의 조합 폭발이 발생한다. 우리는 트랜스포머를 대칭 인식(symmetry-aware)으로 만들고 이를 통해 유도 바이어스(inductive bias)의 부족을 보완하기 위한 새로운 대조 학습(contrastive learning) 목표를 제안한다. 이를 구조적 개선과 결합하여, 트랜스포머가 계획 생성(plan-generation) 또는 휴리스틱 예측(heuristic-prediction)을 위해 효율적으로 학습될 수 있음을 보인다. 여러 계획 도메인에 걸친 결과는 우리의 대칭 인식 학습이 PlanGPT의 한계를 효과적이고 효율적으로 해결함을 보여준다.