PyTorchKR Papers

최신 논문

총 9,642편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.10925v2cs.HC

제어 가능한 LLM 생성을 위한 단어에서 위젯으로

From Words to Widgets for Controllable LLM Generation

자연어는 여전히 사람들이 대규모 언어 모델(LLM)과 상호작용하는 주된 방식이다. 그러나 사용자는 프롬프팅을 통해 주관적 선호(예: 어조, 스타일, 강조)를 정확하게 표현하고 제어하는 데 종종 어려움을 겪는다. 우리는 제어 가능한 LLM 생성을 위한 새로운 대화형 프롬프팅 기법인 Malleable Prompting을 제안한다. 이 기법은 자연어 프롬프트 속 선호 표현을 GUI 위젯(예: 슬라이더, 드롭다운, 토글)으로 구체화하여, 사용자가 이를 직접 설정해 생성을 유도할 수 있게 하며, 각 제어가 출력에 미치는 영향을 시각화하여 반복 간 귀속과 비교를 지원한다. 이 상호작용을 가능하게 하기 위해, 우리는 선호 표현과 해당 위젯 값에 따라 생성 중 토큰 확률 분포를 조절하는 LLM 디코딩 알고리즘을 도입한다. 사용자 연구를 통해, Malleable Prompting이 참가자가 목표 선호를 더 정확하게 달성하도록 돕고, 자연어 프롬프팅만 사용할 때보다 더 제어 가능하고 투명하다고 인식된다는 것을 보여준다.

arXiv:2607.11919v1cs.NE

기억하시나요? 메모리 중심 멀티모달 AI를 향하여

Do You Remember? Toward Memory-Centric Multimodal AI

인간의 기억은 충실한 기록이 아니라 재구성적이다. 현재의 멀티모달 LLM(MLLM)은 이러한 능력이 부족하다. 고정된 비전 인코더를 통해 이미지를 처리하고, 일회성 텍스트 출력을 생성한 뒤 내부 표현을 버리기 때문이다. 우리는 MLLM에 재구성적 기억을 도입하는 3단계 아키텍처인 DoYouRemember를 제안한다. (1) VQ-VAE가 이미지를 이산적 비전 토큰으로 압축하고, (2) LoRA 파인튜닝된 LLM이 비전 토큰과 텍스트 토큰에 공동 어텐션하며, (3) 확산 디코더(Diffusion Decoder)가 LLM의 은닉 상태로부터 이미지를 재구성한다. 1,000개의 3D 얼굴 피부 텍스처 맵과 99,000개의 라벨 없는 얼굴 이미지에서, LLM 은닉 상태에는 복구 가능한 비전 정보가 거의 전혀 포함되어 있지 않음을 발견한다. LLM 이전(pre-LLM) VQ-VAE 토큰으로부터 선명한 재구성을 생성하는 동일한 디코더가 LLM 이후(post-LLM) LLM 은닉 상태로부터는 순수 잡음만을 생성하며, 이는 LLM이 이미지를 이해하지만 기억하지는 못함을 보여준다. 역전파 하에서 공유 기억 행렬 M을 학습하는 것은 그래디언트 상쇄(O(1/√N) 감쇠)로 인해 체계적으로 실패한다. 세 가지 근본 원인을 식별하고, 지역 EMA 업데이팅이 세 가지 모두를 해결함을 보인다. 각 이미지는 64개 슬롯 중 상위 8개만 업데이트하여 슬롯 간 다양성을 유지한다. 결과 M(22.9만 파라미터, 16배 압축)은 보지 못한 테스트 이미지에서 VQ 상한에 근접한다. 1,024개 슬롯으로 스케일링하면 이를 넘어선다(LPIPS 0.056 대 0.071). M의 연속 표현이 VQ 양자화 오차를 피하기 때문이다. 이러한 발견을 정보 이론적 틀 아래 통합한다. 기억은 손실 압축이고, 회상은 압축 해제이며, 환각은 결함이 아니라 손실 압축 해제의 고유한 속성이다.

arXiv:2607.11910v1cs.NE

SeqGPT: 다중 패널 복합 구조 역설계를 위한 제약 트랜스포머 에이전트

SeqGPT: A Constrained Transformer Agent for the Inverse Designof Multi-Panel Composite Structures

복합재 적층 순서를 연속 목표(예: 적층(Lamination) 또는 좌굴(Buckling) 파라미터)에 맞추면서 이산 제조 제약을 만족시키도록 최적화하는 문제는, 특히 수치 최적화 접근법(이중 단계(bi-step), 이중 수준(bi-level) 구성)이 사용될 때 복합재 설계에서 흔히 발생하는 어려운 조합 역문제이다. 다패널 구성에서는 서로 다른 패널 적층 간의 전역 호환성/연속성 요구사항인 블렌딩(blending)으로 인해 이러한 복잡성이 더욱 심화된다. 본 연구는 계산 비용이 큰 반복 방법을 대체하기 위해 개발된 조건부 트랜스포머 에이전트인 SeqGPT를 제안한다. 전역 연속성과 제조 가능성을 설계상 모두 보장하기 위해 하이브리드 신경-기호 디코딩 전략을 구현하였다. SeqGPT는 조건부 분포를 예측하여 제약 빔 서치(Constrained Beam Search)를 안내하며, 블렌딩 규칙을 위반하는 모든 가지는 엄격하게 가지치기된다. 18패널 말굽(horseshoe) 벤치마크에 대한 수치 실험은 SeqGPT가 거의 즉시 해를 생성하며 진화 알고리즘 방법과 유사한 좌굴 성능을 달성함을 보여주며, 최신 방법(state of the art) 대비 상당한 속도 향상을 제공한다.

arXiv:2607.11970v1cs.LG

MU-MISO 시스템에서 직접 파일럿-빔포머 설계를 위한 자기 진화형 문맥 내 학습

Self-Evolving In-Context Learning for Direct Pilot-to-Beamformer Design in MU-MISO Systems

우리는 다중 사용자 다중 입력 단일 출력(MU-MISO) 시스템에서 파일럿 기반 빔포밍의 성능을 향상시키기 위한 개선된 문맥 내 학습(ICL) 프레임워크를 개발한다. 제안된 방식은 ICL-트랜스포머 백본을 파일럿 인코더-디코더 네트워크(EDN) 및 빔포머 EDN과 통합한다. 우리 ICL 네트워크의 중요한 특징은 모델별 컨텍스트 데이터셋 구성을 통해 재학습 없이 여러 채널 모델을 처리할 수 있다는 점이다. 수렴과 견고성을 개선하기 위해, 우리는 세 가지 핵심 혁신을 도입한다: (a) 감독 LMMSE 라벨 모방에서 비지도 합속도(sum-rate) 최대화로 매끄럽게 전환하는 커리큘럼 학습(CL) 전략, (b) CL 기반 학습 동안 모든 채널 모델에 대한 컨텍스트 데이터셋을 동적으로 확장하고 정제하는 자기 진화 메커니즘, 그리고 (c) 여러 불일치를 일반 ICL 프레임워크에 통합하고 명시적 채널 보정을 우회하는 불일치 인식(mismatch-aware) 확장. 절제 연구는 문맥 내 아키텍처와 개선된 학습 전략의 효과를 검증한다. 다양한 통신 환경에 대한 시뮬레이션 결과는 제안된 방식이 그래디언트 기반 매개변수 업데이트 없이 보이는 채널 모델과 보이지 않은 채널 모델 모두에 빠르게 적응할 수 있으며, 지능적 컨텍스트 구성을 통해 불일치 문제를 완화할 수 있음을 보여준다. 또한 우리 방식은 WMMSE 벤치마크와 최근 트랜스포머 기반 방법을 포함한 파일럿 기반 설정에서 기존 빔포밍 방식들을 일관되게 능가한다.

arXiv:2607.11897v1cs.LG

Semidirect Fourier Delta Attention: 구성적 Chunk-WY 커널을 갖춘 위상 제어 델타 메모리

Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels

선형 어텐션은 소프트맥스 어텐션의 증가하는 KV 캐시를 고정된 순환 상태로 대체하지만, 이러한 압축은 정확한 상태 추적과 긴 문맥 메모리를 제한한다. 우리는 Kimi Delta Attention의 위상 제어 일반화인 \emph{Semidirect Fourier Delta Attention}(SFDA)을 제안한다. 이는 실수 대각 감쇠를 블록 회전 푸리에 제어로 대체한다: \[ S_t=(I-β_t k_tk_t^*)Λ_tS_{t-1}+β_tk_tv_t^*, \qquad Λ_t=\diag(α_t\odot e^{iθ_t}). \] 주요 결과는 곱 \(A_t=Λ_t-u_tr_t^*\)에 대한 구성적 청크-WY 분해이며, 이는 \[ A_t\cdots A_1=Γ_t-Y_tM_tW_t^* \]를 제공하고 고정된 청크 내부에서 랭크 증가를 제한한다. 이는 정확한 아핀 청크 전달, 형식적 안정성 및 복잡도 상한, 그리고 위상-저랭크 메모리의 간결한 특성화를 이끈다. 우리는 대수를 수치적으로 검증하고, 토이 상태 추적 실험에서 SFDA가 위상이 비활성화된 KDA 기준선이 거의 무작위 수준에 머무는 반면 순환 메모리를 학습함을 보인다. 융합 커널과 대규모 언어 모델 비교는 향후 연구로 남긴다.

arXiv:2412.09122v4cs.CV

LVMark: 잠재 영상 확산 모델을 위한 강건한 워터마크

LVMark: Robust Watermark for Latent Video Diffusion Models

영상 확산 모델의 급속한 발전으로 사실적인 영상 생성이 가능해지면서 무단 사용에 대한 우려가 커지고, 모델 소유권을 보호하는 기법에 대한 수요가 증가하고 있다. 기존 워터마킹 방법은 두 가지 핵심 한계를 가진다. 기존 워터마크 디코더로 인해 시간적 일관성을 간과하고, 생성된 영상의 시각적 품질을 저하시킨다. 이러한 문제를 해결하기 위해, 우리는 Latent Video Diffusion Watermarking(LVMark)이라는 잠재 영상 확산 모델용 강건한 워터마킹 방법을 제안한다. 생성된 영상에 맞춘 새로운 워터마크 디코더를 제안하며, 이는 인접 프레임 간의 일관성을 학습한다. 3차원 웨이블릿 도메인의 저주파 성분과 영상의 색상 특징을 결합하여, 악의적 공격 하에서도 정확한 메시지 디코딩을 보장한다. 또한 생성된 영상의 시각적 충실도를 유지하기 위해 잠재 디코더를 학습한다. 중요도 기반 가중치 변조 전략을 사용하여 시각적 외관에 미치는 영향을 최소화하는 계층에 워터마크를 삽입한다. 확산 모델의 워터마크 디코더와 잠재 디코더를 모두 최적화하여 시각적 품질과 비트 정확도 사이의 트레이드오프를 효과적으로 균형 있게 맞춘다. 실험 결과, 우리 방법은 영상 확산 모델에 보이지 않는 워터마크를 삽입하며, 왜곡 하에서도 512비트 용량으로 강건한 디코딩 정확도를 보장함을 보여준다.

arXiv:2607.12780v1quant-ph

가까워도 충분하지 않을 때: 양자 회로 합성의 자기회귀형 드리프트

When Close Enough Is Not Enough: Autoregressive Drift in Quantum Circuit Synthesis

오류 허용(fault-tolerant) 컴퓨팅을 위한 양자 회로 최적화는 T 게이트와 같은 비용이 큰 비-Clifford 자원을 최소화하면서 정확한 기능적 동등성(functional equivalence)을 요구한다. 우리는 구조화된 회로 토큰화(structured circuit tokenization)를 갖춘 4480만 매개변수 규모의 컴팩트한 인코더-디코더 트랜스포머를 사용해 이 문제를 연구하며, 매개변수화(parameterized) 회로(2–6큐비트)와 Clifford+T 회로(3–6큐비트)에서 평가한다. 매개변수화 회로에서는 트랜스포머로부터 구조, 고전 최적화로부터 각도를 얻는 하이브리드 접근법이 3–6큐비트 회로에서 중앙값 충실도(median fidelity) 1.000을 달성한다. Clifford+T 회로에서는 모든 게이트가 이산적이고 사후 처리(post-processing)가 불가능한데, 모델은 유효한 구문(syntax)과 정확한 T-Count 통계를 학습하지만, 목표 길이가 길어질수록 정확한 동등성(exact equivalence)이 급격히 저하된다—9개 이하 게이트 회로에서는 88%에서 26개를 넘는 회로에서는 거의 0에 이른다. 우리는 이 실패를 자기회귀형 드리프트(autoregressive drift)에 기인한다고 추적한다: 초기 토큰의 이탈이 왼쪽에서 오른쪽으로의 디코딩 과정에서 회복 불가능하게 연쇄적으로 확산된다. 드리프트를 부분적으로 완화하는 두 가지 레버가 있다: 다수 후보를 생성하고 동등성 검증(equivalence verification)을 통해 선택하는 추론(inference) 시점 전략은 정확 일치(exact-match)율을 7%에서 22.5%로 끌어올리고, 학습 데이터를 2.5배 확장하면 39.5%까지 올라간다. 그러나 목표 길이에 따른 저하는 지속된다—더 많은 데이터가 있더라도, 정확한 동등성은 짧은 회로에서 94%에서 26개를 넘는 게이트에서는 4% 미만으로 떨어진다. 설정 간 대비가 우리의 핵심 발견이다: 근사 출력(approximate outputs)이 사후 처리로 구제될 수 있을 때 트랜스포머는 성공한다; 정확한 이산적 정확성(discrete correctness)이 요구될 때는 자기회귀형 드리프트가 신뢰성을 제한하며, 추론 시점 탐색과 데이터 스케일링은 효과적인 레버인 반면 학습 측면의 미세조정(fine-tuning)과 모델 수준의 다양화(diversification)는 그렇지 않다.

arXiv:2607.11951v1cs.AI

GRID: 엔터프라이즈 SQL 생성을 위한 문법 레일 디코딩

GRID: Grammar-Railed Decoding for Enterprise SQL Generation

대규모 언어 모델(LLM)은 SQL을 작성할 수 있지만, 엔터프라이즈 배포에는 그럴듯한 텍스트 이상이 요구된다. 출력은 구문적으로 유효해야 하며, 역할별·스키마별 정책을 준수해야 하고, (최선을 다하는 수준이 아닌) 증명 가능한 보장을 담아야 하며, 생성이 길어져도 느려지면 안 되고, 모든 결정에 대한 규정 준수 수준의 기록을 남겨야 한다. 우리는 GRID(Grammar-Railed Decoding, 문법 레일 디코딩)를 제안한다. 이는 토큰 시퀀스가 아니라 파서 구성(렉서 스캔 상태 × LALR(1) 스택)에 정확한 다음 토큰 마스크를 키잉하는 문법 제약 디코딩 엔진이며, 점진적으로 전진하는 LALR(1) 파서 자체를 viable-prefix 오라클로 사용한다. LLM 토큰은 바이트 수준 트라이 탐색으로 문법 터미널에 연결되며, 문맥 독립/문맥 의존 분할을 통해 캐시 키 건전성이 구조적으로 성립한다. 역할 기반 접근 제어(RBAC)는 언어에 컴파일된다. 역할 투영이 문법의 생성 규칙을 부분집합으로 만들고 스키마 어휘가 식별자 터미널을 제한하므로, 금지된 동사와 식별자는 마스크 수준에서 도달할 수 없다. 네 가지 보장(건전성, 완전성, 종료성, 토큰당 거의 일정한 비용)은 명시적 전제 조건과 함께 제시되며, 각각 테스트 또는 벤치마크와 짝을 이룬다. Rust 커널은 토큰당 마스크를 중앙값 3.6–6.7μs로 가져오며, 두 토크나이저에서 오거부 0건으로 llguidance의 p50·p90을 앞선다. 토큰당 가드 비용은 n=16,000에서 위치에 무관하게 일정하다. Spider에서 제약 디코딩은 0.5B에서 실행 정확도 +13점의 가치가 있으며, 증명적으로 마스크로 강제할 수 없는 잔여(컬럼 수준 정책)에 대한 체커 안내 수리 1회 패스는 7B 모델을 94.5% 실행 가능으로 끌어올린다. 해시 연쇄 토큰별 감사 추적은 100% 변조 탐지와 함께 비트 단위로 동일하게 재현된다. 마스크가 할 수 없는 것(분포 충실도, 컬럼 수준 RBAC, 비-LALR(1) 언어)과 측정된 비용이 남는 지점을 솔직히 밝힌다.

arXiv:2607.10931v1q-bio.NC

교차 피험자 디코딩을 위한 빠른 전뇌(Whole-Brain) 기하학 인식 기능적 정렬

Fast Whole-Brain, Geometry-Aware Functional Alignment for Cross-Subject Decoding

뇌 활동 디코딩은 뇌 과정을 특성화하고 인지의 기반이 되는 기능적 구조를 이해하는 데 유용하다. 그러나 뇌 반응 패턴의 개인 간 변동성은 개인을 넘어 일반화되는 디코더 개발을 제한한다. 이 문제의 해결책은 기능적 정렬(functional alignment)로, 집단 수준 디코더를 학습하기 전에 개인 간 기능 데이터를 정렬하는 것이다. 핵심 과제는 계산 효율성을 유지하면서 기능적 특징을 정렬하고 해부학적 구조를 보존하는 균형을 맞추는 것이다. 우리는 fMRI를 위한 새로운 기능적 정렬 방법인 SpectralOT를 소개하며, 이는 정렬을 정규화하기 위해 기능 데이터를 따라 Laplace-Beltrami 고유 모드에 피질 기하학을 임베딩한다.

arXiv:2607.11703v1cs.CL

대규모 언어 모델에서의 생성과 지각: 토큰 확률 접근법

Production and Perception in LLMs: A Token Probability Approach

언어 생성과 지각 간의 비대칭성은 심리언어학에서 잘 문서화되어 있다. 대규모 언어 모델(LLM)이 기능적으로 유사한 구분을 나타내는지는 여전히 열린 질문으로 남아 있으며, 특히 LLM이 입력 및 출력 처리 모두에 동일한 기저 메커니즘(다음 토큰 예측)을 사용한다는 점에서 더욱 그러하다. 이 탐색적 연구에서 우리는 메타언어적 프롬프팅 대신 직접적인 토큰 확률 측정을 통해 생성-지각 구분을 조작화한다. 기본 Llama-3.1-8B 모델을 사용하여 생성 프롬프트로 시를 생성한 후, 동일한 토큰들을 재구성된 생성 프롬프트와 지각 지향 프롬프트로 재점수화하였다. 네 가지 생성 프롬프트와 세 가지 지각 프롬프트를 사용한 확장 실험에서, 생성-지각 거리는 생성-생성 거리를 일관되고 실질적으로 초과하였으며, 조건 간 범위가 겹치지 않았고 전체 평균 비율은 약 1.8이었다. 생성-생성 통제 조건에서의 거의 천장에 달하는 상관관계는 이 효과가 프롬프트 표면 변이가 아닌 의사소통적 프레이밍에 특이적임을 확인해 주며, 해당 효과가 기본 및 인스트럭션 튜닝 변형 모두를 포함하는 다섯 가지 오픈-가중치 모델(Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3, Qwen2.5-7B-Instruct)에서 재현됨을 보였다. 시간적 분석에서는 지각 프롬프트가 시퀀스 초반에 가장 강한 영향을 미치며, 생성된 컨텍스트가 축적됨에 따라 발산이 감소하지만 이 감소의 구체적인 형태는 프롬프트 쌍마다 다양한 것으로 나타났다. 이러한 결과들은 디코더 전용 아키텍처 내에서도 프롬프트 프레이밍만으로 LLM 확률 분포에 생성-지각 구분이 유도됨을 시사한다.

arXiv:2607.11131v1cs.CL

TIGER: 멀티모달 추측적 디코딩을 위한 수락 정렬 기반 텍스트 조건부 비주얼 게이팅 라우팅

TIGER: Text-Conditioned Visual Gated Routing with Acceptance Alignment for Multimodal Speculative Decoding

추측적 디코딩(speculative decoding)은 경량 초안 모델(drafter)이 여러 토큰을 제안하고 더 큰 타겟 모델이 이를 검증하는 방식으로 자기회귀 생성을 가속화한다. 텍스트 전용 대규모 언어 모델(LLM)에서는 효과적이지만, 비전-언어 모델(VLM)에서는 초안 모델이 시각적으로 중요한 내용에서 자주 이탈하기 때문에 추측적 디코딩의 이득이 제한적이며, 기존 멀티모달 가속 방법들은 무관한 시각적 증거를 직접 처리하거나 속도 향상을 결정하는 검증 모델의 수락 접두 문맥 길이를 최적화하지 않는다. 우리는 멀티모달 추측적 디코딩을 위한 텍스트 조건부 비주얼 게이팅 라우팅(Text-conditioned vIsual GatEd Routing) 프레임워크인 TIGER를 제안한다. TIGER는 전체 비주얼 토큰 집합이나 고정된 압축 인터페이스를 노출하는 대신, 초안 모델의 현재 텍스트 상태에 기반하여 컨텍스트와 관련된 희소한 비주얼 토큰 집합을 동적으로 선택한다. 학습과 추론 시 효율성을 더 잘 정렬하기 위해, KL 앵커링을 활용한 증류 워밍스타트 위에서 수락된 접두 문맥 길이 기반 검증 모델 유도 보상을 사용하는 수락 정렬 그룹 기반 정책 학습으로 초안 모델을 최적화한다. 이를 통해 초안 모델이 타겟 모델을 모방하는 것뿐만 아니라, 더 긴 접두 문맥에서 검증을 통과하는 추측적 연속 생성을 만들어내도록 유도한다. 실험 결과, TIGER는 정확한 검증 측 추측적 디코딩 환경에서 수락된 접두 문맥 길이와 추측적 속도 향상에서 일관된 이득을 제공하며, 비주얼 라우팅 분석에서 비교 가능한 다운스트림 정확도로 유리한 품질-지연 시간 트레이드오프를 달성한다.

arXiv:2607.10661v1cs.CL

점진적 트리 드래프팅 기반 추측적 디코딩을 통한 자기회귀 언어 모델의 병렬성 활용

Unlocking Parallelism in Autoregressive Language Models via Speculative Decoding with Progressive Tree Drafting

추측적 디코딩(speculative decoding)은 메모리 병목 현상을 완화함으로써 대규모 언어 모델(LLM) 추론을 크게 가속화했습니다. 그러나 전통적인 추측적 디코딩은 일반적으로 보조 드래프트 모듈에 의존하여 상당한 학습 및 통신 오버헤드를 초래합니다. 최근 방법들은 대상 모델 자체 내에서 드래프트를 생성하려 시도하지만, 구조적 조율의 부재로 인해 모델의 잠재적 병렬 용량을 충분히 활용하지 못하는 경우가 많습니다. 본 논문에서는 모델의 병렬 잠재력을 활용하기 위해 구조화된 안내 기반 병렬 드래프팅 전략을 채택하는 **점진적 트리 드래프팅(Progressive Tree Drafting, PTD)**을 제안합니다. PTD는 점진적 트리 구조와 단계별 가지치기 메커니즘을 결합함으로써, LLM이 단일 순전파에서 여러 의미적 경로를 탐색하도록 능동적으로 유도하여 드래프트의 다양성과 일관성을 모두 보장합니다. 실험 결과, PTD는 별도의 학습 없이 모델에 구애받지 않으면서도 다양한 벤치마크에서 최대 2배의 디코딩 속도 향상을 달성함을 보여줍니다. 코드는 https://github.com/MINE-USTC/PTD 에서 확인할 수 있습니다.

arXiv:2607.11096v1cs.CV

차분 기반 게이팅: U-Net 디코더를 위한 적응적 특징 융합

Difference-Driven Gating: Adaptive Feature Fusion for U-Net Decoder

U-Net 스타일 모델은 다양한 응용 분야에서 널리 사용되어 왔다. 이 모델들의 핵심 단계는 탑다운(top-down) 디코더를 사용하여 저수준 특징을 재구성하는 것이다. 이 재구성에는 고수준 의미 정보와 저수준 세부 정보의 정밀한 융합이 요구된다. 기존의 어텐션 기반 융합 방법들은 일반적으로 탑다운 디코더 특징(전역)만으로부터 어텐션 가중치를 도출하거나, 탑다운 디코더 특징과 바텀업(bottom-up) 인코더 특징 간의 상관관계(지역)로부터 어텐션 가중치를 도출한 뒤, 이 가중치를 사용하여 인코더 특징을 조절한다. 본 연구에서는 두 특징 스트림 간의 차분으로부터 어텐션 가중치를 도출하는 새로운 패러다임을 탐구한다. 이를 위해 두 가지 차분 기반 게이팅 방법을 제안한다: 전역 특징과 지역 특징 간의 절댓값 차분을 직접 사용하여 적응적 게이팅 맵을 생성하는 특징 차분 게이팅(FDG, Feature-difference Gating)과, 정보 엔트로피를 통해 각 스트림의 표현 확실성을 측정하고 부호화된 엔트로피 차분으로부터 어텐션 가중치를 도출하는 엔트로피 차분 게이팅(EDG, Entropy-difference Gating)이다. 두 방법 모두 전역 특징과 지역 특징을 동시에 조절하는 결합된 게이팅 맵을 생성한다. 의료 이미지 분할, 원격 감지 이미지 구름 제거, 음성 분리를 포함한 다양한 태스크에 대한 실험 결과, 두 방법 모두 기존의 어텐션 기반 융합 방법을 능가하였으며, EDG가 더 우수한 성능을 보였다. 이 결과는 U-Net 스타일 구조에서의 다중 스케일 특징 융합을 위한 새로운 패러다임을 제시한다.

arXiv:2607.11034v1cs.CV

RTFVE: 실시간 얼굴 비디오 향상

RTFVE: Realtime Face Video Enhancement

화상 회의 애플리케이션은 개인 및 업무 용도 모두에서 채택이 급증하고 있다. 그러나 전 세계 많은 사용자들이 직면한 대역폭 제한으로 인해 이러한 애플리케이션의 최적 활용이 저해될 수 있다. 심층 학습(deep learning)은 저비트레이트 비디오를 향상시키는 솔루션을 제공하지만, 오늘날 대부분의 모델은 최신 압축 표준과 통합하기 어렵거나 고성능 GPU와 같은 특수 하드웨어를 필요로 하여 실용성이 낮다. 이러한 문제를 해결하기 위해, 임의의 비디오 디코더와 손쉽게 통합할 수 있고 일반 CPU에서 실시간으로 실행 가능한 실시간 얼굴 비디오 향상(RTFVE) 모델을 제안한다. 실험 결과, 본 모델은 여러 저비트레이트 설정에서 압축 비디오 기준선 대비 지각적 품질을 향상시키는 것으로 나타났다. 소스 코드는 https://github.com/varun-jois/RTFVE에서 공개될 예정이다.

arXiv:2607.10535v1cs.CV

클러스터 절단을 통한 자기회귀 텍스트-이미지 생성의 샘플 다양성 향상

Improving Sample Diversity in Autoregressive Text-to-Image Generation via Cluster Truncation

확산 모델이 텍스트-이미지(T2I) 생성에서 최첨단 이미지 품질을 달성하는 반면, 최근 연구들은 이 모델들이 샘플 다양성 붕괴 문제를 겪고 있음을 보여주었다. 본 연구에서는 자기회귀(AR) 이미지 생성 모델이 이미지 품질과 샘플 다양성 간의 파레토 프런티어를 개선할 수 있는지 탐구한다. 최근 품질과 효율성의 발전으로 AR 모델은 확산 기반 이미지 생성의 유력한 대안으로 부상하였다. 이미지-텍스트 인터리브 생성과 같은 새로운 활용 사례를 가능하게 할 뿐만 아니라, AR 모델의 순차적 생성 방식은 텍스트 생성에서 다양성 향상을 위해 개발된 광범위한 토큰 기반 디코딩 전략과의 호환성을 제공한다. AR 패러다임에서의 더 나은 다양성-품질 트레이드오프 가능성에 착안하여, 본 논문은 AR 이미지 생성 모델에서의 샘플 다양성에 관한 최초의 체계적 연구를 제시한다. 우리는 AR 이미지 생성의 두 가지 핵심 특성, 즉 지속적으로 높은 토큰 수준의 엔트로피와 시각적 토큰 공간에서의 상당한 중복성이, 다양성 향상을 위한 기존 토큰 수준 디코딩 방법의 효과를 제한함을 보인다. 이에 우리는 토큰 수준이 아닌 클러스터 수준에서 엔트로피 기반 절단 샘플링을 수행하는 새로운 디코딩 전략인 $p$-less cluster를 제안한다. 우리는 이미지 품질, 프롬프트 정합성, 다양성을 포괄하는 종합적인 지표 모음을 사용하여 네 가지 자기회귀 T2I 모델과 두 가지 데이터셋에서 우리의 접근법과 기준선 디코딩 방법을 평가한다. 실험 결과, $p$-less cluster는 이미지 품질과 프롬프트 정합성을 유지하면서 대부분의 평가된 자기회귀 T2I 모델과 데이터셋에서 가장 높은 다양성을 달성함을 보여준다.

arXiv:2607.10370v1cs.CV

임의의 캐릭터 토폴로지 간 신경망 기반 모션 블렌딩

Neural Motion Blending Across Arbitrary Character Topologies

캐릭터 애니메이션에서 모션 블렌딩(motion blending)은 기존 예시들 사이를 보간하여 새로운 모션을 합성하는 것을 가능하게 한다. 현재 방법들은 일반적으로 고정된 스켈레톤 토폴로지에 제한되어, 캐릭터 간에 동일하거나 거의 동일한 골격 구조를 요구한다. 우리는 이종(heterogeneous) 스켈레톤 간 모션 블렌딩을 위한 새로운 프레임워크를 제시한다. 제안된 아키텍처는 모션 상태의 프레임별 잠재 표현(latent representation)을 추출하는 의미론적 인코더(semantic encoder)와, 이 잠재 코드에 조건화되어 캐릭터별 모션을 재구성하는 확산 기반(diffusion-based) 디코더를 결합한다. 추론 시, 두 입력 모션의 잠재 표현을 보간함으로써 블렌딩된 모션을 얻는다. 우리는 동일한 스켈레톤 토폴로지와 서로 다른 스켈레톤 토폴로지 모두에서 정의된 모션을 사용하여 Truebones Zoo 데이터셋으로 해당 방법을 학습하고 평가하며, 다양한 시나리오에서 자연스럽고 그럴듯한 블렌딩을 달성할 수 있음을 입증한다.

arXiv:2607.10214v1cs.CV

ScratNet: 반도체 스크래치 분할을 위한 정밀도 정제 기능을 갖춘 Swin 기반 다중 스케일 확장 네트워크

ScratNet: A Swin-Based Multi-Scale Dilated Network with Precision Refinement for Semiconductor Scratch Segmentation

반도체 제조 공정에서 표면 스크래치 결함은 불규칙한 형태, 낮은 대비, 다양한 스케일로 인해 심각한 도전 과제를 야기한다. 전통적인 검사 방법은 특히 복잡한 이미징 환경에서 이러한 결함을 신뢰성 있게 탐지하는 데 어려움을 겪는 경우가 많다. 합성곱 신경망(CNN) 기반의 심층 학습 접근법이 정확도를 향상시켰으나, 세밀한 엣지 세부 사항을 포착하는 데 실패하는 경우가 종종 있다. 이러한 한계를 해결하기 위해, 우리는 수정된 Swin 트랜스포머 백본과 맞춤형 디코더를 통합한 새로운 엔드투엔드 스크래치 분할 프레임워크인 ScratNet을 제안한다. 디코더는 지역 및 전역 문맥을 모두 포착하는 다중 스케일 확장 집계(MDA) 모듈, 공간적 세부 정보를 복원하는 스템 통합 모듈(SIM), 그리고 비등방성 합성곱을 사용하여 경계 선명도를 향상시키는 정밀도 정제(PR) 브랜치를 포함한다. 이러한 단계 적응형 특징 집계 및 경계 인식 정제를 통해 ScratNet은 얇고 불규칙한 결함에 대해 우수한 정확도를 달성한다. 광범위한 실험을 통해 ScratNet이 기존 방법들을 지속적으로 능가하며, 고정밀 제조에서 자동화된 스크래치 검사를 위한 확장 가능하고 견고한 솔루션을 제공함을 입증한다.

arXiv:2607.11445v1cs.LG

신경 보조 운동 제어를 위한 이벤트 기반 신경 디코딩

Event-based Neural Decoding for Neuroprosthetic Motor Control

상당수의 환자들이 장애, 질병, 또는 사고로 인해 이동성 저하를 경험한다. 심층 신경망을 기반으로 하는 현대의 보철 장치는 이러한 환자들의 삶의 질을 크게 향상시킬 잠재력을 지니고 있으나, 높은 지연 시간, 에너지 소비, 그리고 공간적 요구사항으로 인해 광범위한 보급이 저해되고 있다. 외부 고성능 프로세서와의 유선 연결은 환자의 이동성을 제한하는 반면, 무선 연결은 해당 프로세서로 전송할 수 있는 정보의 양을 제한한다. 스파이킹 신경망(spiking neural network)은 압축 통신과 저전력 추론의 가능성을 제공하지만, 다양한 응용 분야에서 최신 심층 학습 모델에 비해 성능이 뒤처지는 경우가 많다. 본 연구에서는 과제 성능과 효율성을 효과적으로 균형 있게 조율하는 고성능 신경 디코딩 방법을 제안한다. 이벤트 기반 게이트 순환 유닛(gated recurrent unit)은 그레이디드 스파이크(graded spike)를 활용한 희소(sparse) 통신 패턴을 생성하며, 과제 성능 면에서 기존 스파이킹 신경망을 능가한다. 효율적인 학습 방법과 희소 추론을 활용한 본 모델은 온디바이스(on-device) 신경 디코딩을 위한 새로운 가능성을 제시한다.

arXiv:2607.11211v1cs.LG

FastTPS: AI 가속기를 위한 LLM 토큰 단계 최적화 방법

FastTPS: An Optimized Method for LLM Token Phase for AI accelerators

대규모 언어 모델(LLM)의 인기가 높아지면서 효율적인 추론에 대한 지속적인 수요가 증가하고 있다. 그러나 디코더 전용 LLM 추론의 토큰 단계에서 토큰이 순차적으로 처리되기 때문에, 내재적인 낮은 병렬성으로 인해 처리량이 감소하고 인공지능(AI) 가속기의 연산 유닛 활용도가 저하된다. 특히 상당한 메모리 오버헤드를 수반하는 긴 시퀀스 입력을 처리할 때 이러한 문제가 두드러진다. 최근 다수의 방법이 잠재적 해결책으로 제안되었으나, 수치적 편차가 발생한다는 문제가 있다. 본 논문은 일반 AI 가속기에서 LLM 추론의 토큰 단계를 가속화하기 위한 고성능이면서 정밀도 손실이 적은 방법인 FastTPS를 제안한다. FastTPS는 세 가지 핵심 구성 요소를 포함한다: (1) 메모리 접근 오버헤드를 줄이고 어텐션의 완전 융합을 가능하게 하는 AI 가속기 기반 리로딩 없는 KV Cache 연결, (2) 타일링 최적화된 FLAT 기반의 고효율·고정밀도 'RoPE' 어텐션, (3) 세밀한 파이프라인 스케줄링을 적용한 고도 융합 MLP. 실험 결과, FastTPS는 토큰 단계의 메모리 병목 현상을 크게 완화하며, AMD Ryzen AI 300 시리즈 NPU에서 BF16 정밀도로 Phi3-mini-4k-instruct 추론 시 미융합 대비 6배의 속도 향상을 달성하면서 피크 메모리 대역폭 활용률 93%를 유지함을 확인하였다.

arXiv:2607.10044v1cs.LG

FlashTrie: 생성적 검색을 위한 GPU 가속 제약 빔 서치

FlashTrie: A GPU-Accelerated Constrained Beam Search for Generative Retrieval

제약 디코딩(constrained decoding)은 생성적 검색(generative retrieval)에서 필수적이며, 쿼리로부터 직접 생성된 문서 식별자가 사전 정의된 유효 ID 라이브러리와 정확히 일치해야 한다. 대규모 환경에서는 트라이(trie)와 빔 서치(beam search)를 결합하여 디코딩을 제약하는 경우가 많지만, 대부분의 구현은 CPU에서 실행된다. 제한된 병렬성으로 인해 빔 너비가 증가할수록 트라이 순회 및 후보 검증(validation)이 서빙 병목이 된다. 우리는 GPU에서 제약 빔 서치를 최적화하여 이 한계를 해결하는 FlashTrie를 제안한다. FlashTrie는 비트 압축으로 메모리 사용량을 줄이는 동시에 전체 인덱스를 GPU 고대역폭 메모리에 유지하여 메모리 지연을 감소시키는 정수 인식 간결 트라이(integer-aware succinct trie) 레이아웃을 도입하고, 단계별 호스트 오케스트레이션 없이 빔 확장, 검증(validation), 가지치기(pruning)를 온디바이스에서 완전히 수행하는 협력적 CUDA 커널(kernel)을 활용한다. 또한 CPU 방식의 불규칙 조회 및 힙 유지 관리를 GPU 친화적 병렬 프리미티브로 대체하여 워프 활용률을 높이고 분기를 줄인다. 이러한 설계들은 검색 품질을 유지하면서 디코딩 지연 시간을 크게 줄이고 처리량을 향상시킨다. 최대 빔 너비 1000, 8억 개 키워드 라이브러리 환경에서 FlashTrie는 트라이 탐색 지연 시간을 3ms 미만으로 줄여, 고도로 최적화된 멀티스레드 CPU 기준선(baseline) 대비 최대 24배의 속도 향상을 달성한다. 이러한 개선을 통해 FlashTrie는 스폰서 검색(sponsored search)과 같은 지연 시간이 중요한 응용에서 빔 크기를 최대 5배까지 확장할 수 있다. 인기 상용 검색 엔진에서 진행한 대규모 온라인 A/B 실험에서 통계적으로 유의미한 +0.71%의 매출 향상을 달성하며, 이전에는 오프라인에서만 가능했던 규모의 실시간 제약 디코딩을 실현하였다. FlashTrie 코드는 리뷰 과정 완료 후 공개될 예정이다.