PyTorchKR Papers

최신 논문

총 9,642편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21932v1cs.CV

CoSA: 원격 감지 변화 탐지를 위한 상관관계 유도 변화 어텐션과 학습 가능한 잔차 게이팅

CoSA: Correlation-Guided Change Attention with Learnable Residual Gating for Remote Sensing Change Detection

이중 시점(bi-temporal) 영상 기반 원격 감지 변화 탐지(CD)는 도시 모니터링, 재난 평가, 환경 관리 등의 응용에 중요하지만, 희소한 변화, 노이즈가 있는 레이블, 외관 변화가 있는 조건에서는 견고한 국소화가 여전히 어려운 과제로 남아 있다. 본 논문에서는 Context Sampling Attention(CoSA)을 제안한다. 이는 경량 디코더 측 정제 모듈로, 이중 시점 특징 상관관계를 적응적 변화 인식 특징 강화를 위한 제어 신호로 명시적으로 활용한다. 이는 명시적 시간적 제어 없이 암묵적 특징(feature)가중에 의존하는 기존 어텐션(attention) 메커니즘과 다르다. 구현된 FC-Siam 설정에서 CoSA는 쌍을 이룬 디코더 특징 간 정규화된 동일 위치 교차 상관관계를 계산하고, 낮은 상관관계를 변화 게이트로 변환한 뒤, 학습 가능한 잔차 스케일링을 통해 원본 1/8 및 1/16 특징 스케일에서 결과 게이팅 잔차를 주입한다. 이 설계는 계산 비용이 큰 전역 어텐션에 의존하지 않고도 안정적 영역과 모호한 영역을 효과적으로 구별할 수 있게 한다. LEVIR-CD, S2Looking, DSIFN, CLCD 네 개의 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험에서 강력한 기준선(baseline) 대비 일관된 성능 향상을 보였으며, changed-class F1에서 1.5-2.6%의 개선을 달성하는 동시에 매개변수(parameter) 오버헤드는 무시할 수 있는 수준이었다. 소거(ablation) 연구는 다중 스케일 배치와 학습 가능한 잔차 게이팅이 모두 최고 성능에 중요함을 확인했다. 이 결과는 CoSA가 Siamese 변화 탐지 프레임워크에서 시간적 변별력을 향상시키는 실용적이고 효과적인 정제 패러다임을 확립함을 보여준다.

arXiv:2606.18249v2cs.CV

공유 컨텍스트-비주얼 토크나이저를 통한 통합 멀티모달 자기회귀 모델링은 통합의 핵심 열쇠입니다

Unified Multimodal Autoregressive Modeling with Shared Context-Visual Tokenizer is Key to Unification

통합 멀티모달 모델링은 단일 시스템 내에서 비주얼 이해와 생성을 통합하는 것을 목표로 합니다. 그러나 기존 접근 방식은 일반적으로 두 개의 이질적인 비주얼 토크나이저에 의존하여 표현 공간을 분할하고 진정한 통합 모델링을 저해합니다. 본 논문에서는 단일 이산 비주얼 토크나이저가 이해와 생성 사이의 핵심 다리 역할을 하는 통합 자기회귀 프레임워크인 UniAR를 제안합니다. 이를 통해 모델은 추가적인 재인코딩 없이 자신이 생성한 비주얼 토큰을 직접 해석할 수 있는 공유 컨텍스트를 활용할 수 있습니다. UniAR는 다중 레벨 특징 융합과 룩업 프리(lookup-free) 비트와이즈 양자화 방식을 통해 사전학습된 비전 인코더를 적용하여, 최소한의 비용으로 유효 비주얼 어휘를 확장하면서 고수준 의미와 저수준 세부 정보를 모두 보존합니다. 이를 기반으로 통합 자기회귀 모델은 병렬 비트와이즈 예측(parallel-bitwise-prediction)을 채택하여 공간적으로 그룹화된 다중 레벨 비주얼 코드를 공동으로 예측함으로써, 비주얼 시퀀스 길이를 획기적으로 줄이고 생성 속도를 높입니다. 마지막으로, 디퓨전 기반 비주얼 디코더는 이산 비주얼 토큰을 처리하여 고충실도 이미지를 디코딩합니다. 대규모 사전학습, 이어지는 지도 미세조정 및 강화학습을 통해 UniAR는 이미지 생성 및 편집에서 최첨단 성능을 달성했으며, 멀티모달 이해 벤치마크에서도 경쟁력 있는 성과를 보입니다. 프로젝트 페이지는 https://sharelab-sii.github.io/uniar-web 에서 확인할 수 있습니다.

arXiv:2606.18721v1cs.CV

표 구조 인식에서 포인터 손실 재고: 공간적 국소성을 위한 기하학적 인지 포인터 손실

Rethinking the Pointer Loss in Table Structure Recognition: Geometry-Aware Pointer Loss for Spatial Locality

포인터 네트워크를 사용하는 표 구조 인식(TSR)은 태그를 감지된 텍스트(또는 셀) 영역에 정렬하면서 HTML 시퀀스를 예측함으로써 인상적인 결과를 달성합니다. 그러나 우리의 분석에 따르면 포인터 네트워크가 실패할 때, 오류의 79.6%가 공간적으로 인접한 셀(맨해튼 거리 <= 2) 사이에서 발생합니다. 이에도 불구하고 표준 교차 엔트로피 손실은 모든 부정 후보에 동일한 가중치를 부여합니다. 본 연구에서는 정답(ground truth)에 대한 공간적 근접성을 기반으로 교차 엔트로피 목적 함수의 가중치를 재조정하는 기하학적 인지 포인터(GAP) 손실을 제안합니다. 역거리 가중치(inverse distance weighting)를 적용함으로써, GAP은 모델이 가장 어려워하는 부분에 그래디언트 흐름을 집중시킵니다: 즉, 인접한 이웃 셀이 먼 셀보다 더 강한 그래디언트를 받습니다. 우리의 접근 방식은 손실 계산에 대한 간단한 수정만 필요하며, 동일한 모델 아키텍처를 유지하면서 추가적인 추론 비용이 전혀 들지 않습니다. PubTabNet과 SynthTabNet에 대한 광범위한 실험을 통해 GAP이 인접 셀 오류를 일관되게 줄여 새로운 최첨단(SOTA) 성능을 달성함을 입증했습니다. 우리의 연구 결과는 손실 수준에서 기하학적 귀납적 편향(geometric inductive biases)을 통합하는 것이 견고한 TSR을 위한 간단하면서도 효과적인 접근 방식이 될 수 있음을 시사합니다. 우리의 코드는 https://github.com/teamreboott/GAP 에서 확인할 수 있습니다.

arXiv:2606.18790v1cs.SD

루프 폐쇄: 기호 음악 생성에서 해석 가능한 활성화 조향을 위한 PID 피드백 제어

Closing the Loop: PID Feedback Control for Interpretable Activation Steering in Symbolic Music Generation

트랜스포머 기반 아키텍처는 복잡한 기호 시퀀스 생성을 크게 발전시켰으나, 이산 신호 속성에 대한 세밀하고 해석 가능한 제어를 달성하는 데에는 여전히 큰 격차가 존재합니다. 본 논문은 멀티트랙 뮤직 트랜스포머(MMT)의 기계적 해석 가능성을 조사하고, 추론 시점 활성화 조향(activation steering)을 통해 이 격차를 해소하기 위한 재학습 없는 결정론적 속성 변조 프레임워크를 제안합니다. 평균 차이(DiffMean) 방법론을 활용하여, 잔차 스트림 내에서 신호 속성, 구체적으로 피치(Pitch)와 지속 시간(Duration)에 대한 잠재 방향을 분리합니다. 우리는 이 영역에서 선형 표현 가설을 검증하여, 조향 크기와 속성 변화 사이의 높은 상관관계를 달성했습니다. 다중 속성 조향에서 발생하는 내재된 특징 얽힘을 해결하기 위해, 그람-슈미트 직교화(Gram-Schmidt Orthogonalization)를 활용하는 듀얼 스티어링 프레임워크를 도입합니다. 실험 결과, 이 기하학적 분리가 단순 벡터 덧셈과 비교하여 개념적 간섭과 신호 열화를 줄여줌을 보여주며, 강력한 자기회귀 조건 하에서도 독립적인 결정론적 제어를 가능하게 합니다.

arXiv:2606.18431v1cs.LG

예측을 넘어: LLM 추론을 위한 꼬리 인지 스케줄링

Beyond Prediction: Tail-Aware Scheduling for LLM Inference

LLM 서빙은 극단적인 길이 가변성을 보이므로, 실제로 크기 기반 스케줄링을 수행하기 어렵습니다. 최근 LLM 스케줄러는 예측된 디코딩 길이나 순위를 사용하여 SJF/SRPT를 근사하며, 주로 TTFT 및 TBT와 같은 평균 중심 지표를 보고합니다. 우리는 이러한 예측 기반 정책이 분포 변화, 돌발적 도착(bursty arrivals), GPU 메모리 압박 상황에서 취약할 수 있으며, 완벽한 디코딩 길이 정보가 주어져도 사용자 경험을 좌우하는 꼬리 지연시간(P90-P99)에 대한 제어가 제한적임을 보여줍니다. 우리는 명시적 길이 예측을 가벼운 통계 신호에 의해 구동되는 소프트 우선순위 부스팅(soft priority boosting)으로 대체하는, 분포 인지(distribution-aware)형 비예측 스케줄링 프레임워크를 소개합니다. 우리의 설계는 워크로드 혼합 간의 메모리 결합 디코딩 동역학을 고려하기 위해 스케줄링과 캐시 인지 선점(cache-aware preemption)을 공동으로 최적화합니다. 프로덕션 및 오픈 소스 트레이스(traces)에 대한 평가 결과, 우리의 방법은 완벽한 길이 정보를 가진 SRPT 대비 P99 TTLT를 최대 35-50% 감소시켰으며, 추론 중심 및 채팅 중심 작업을 포함한 워크로드 전반에서 TTFT를 34-47% 감소시켰습니다. 이러한 결과는 온라인 LLM 서빙에서 꼬리 지연시간을 최적화하기 위한 강건한 대안을 입증합니다.

arXiv:2606.18315v1cs.LG

고스트 어트랙터 네트워크: 폐루프 순차 생성을 위한 분지 구조 동적 디코더

Ghost Attractor Networks: Basin-Structured Dynamical Decoders for Closed-Loop Sequential Generation

폐루프 순차 생성에서 안정적인 분지(basin) 기하를 갖춘 동적 디코더로 Ghost Attractor Networks를 제안하며, 학습된 퍼텐셜(potential)과 드리프트(drift) 하에서 잠재 상태가 분지-어트랙터 구조로 진화하고 고스트 어트랙터 탈출로 모드 전환이 이루어집니다. 로봇 행동 디코더로 평가한 결과 230만 매개변수 Ghost는 10.7억 매개변수 Diffusion Transformer와 오프라인 정확도가 대등하면서 매개변수는 462배, 지연은 32배 적고, LIBERO-10 폐루프 벤치마크에서 지속적 잠재 앙상블링으로 95.7% 성공률을 달성했습니다.

arXiv:2602.05992v3cs.CL

DSB: 디퓨전 대규모 언어 모델을 위한 동적 슬라이딩 블록 스케줄링

DSB: Dynamic Sliding Block Scheduling for Diffusion LLMs

디퓨전 대규모 언어 모델(dLLM)의 고정 블록 스케줄은 의미적 난이도를 반영하지 못해 불확실한 위치의 조기 확정과 경계 근처 쉬운 토큰의 지연을 유발한다. 학습 없는 동적 슬라이딩 블록(DSB)과 이에 맞춘 DSB Cache를 제안해 블록 크기와 경계를 동적으로 조절하며, 여러 모델·벤치마크에서 생성 품질과 추론 효율을 일관되게 개선했다.

arXiv:2606.18246v1cs.CL

가변 너비 트랜스포머

Variable-Width Transformers

모델 크기, 특히 깊이와 너비의 스케일링은 트랜스포머 기반 언어 모델에서 상당한 진전을 이끌었습니다. 그러나 대부분의 아키텍처는 서로 다른 층이 잠재적으로 고유한 계산 역할을 수행함에도 불구하고, 모든 층에 걸쳐 일정한 너비를 유지하며 고정된 매개변수 및 연산 예산을 균등하게 할당합니다. 본 연구에서는 X자형(×-shaped) 트랜스포머 아키텍처를 제안하여 네트워크 깊이에 따른 비균일 용량 할당을 실증적으로 조사합니다. 이 설계는 매개변수가 없는 잔차 크기 조정 메커니즘을 활용하여 중간 층은 좁히고 초기 및 후기 층은 넓게 유지합니다. 2억 개에서 20억 개 매개변수(밀집) 및 30억 개 매개변수(전문가 혼합, MoE)에 이르는 디코더 전용 언어 모델 전반에서, 우리의 트랜스포머는 언어 모델링 손실 측면에서 매개변수 수가 일치하는 균일한 기준 모델들을 일관되게 능가합니다. 평균 층 너비를 줄임으로써 이 아키텍처는 전체적으로 더 적은 FLOPs를 필요로 하며(손실이 일치하도록 피팅된 스케일링 곡선 하에서 22% 감소), 더 작은 KV 캐시 메모리 및 I/O 비용(15% 감소)을 요구합니다. 분석 결과, 이 병목 구조는 잔차 스트림에서 질적으로 다른 표현을 만들어냄을 보여줍니다. 전체적으로, 우리의 결과는 비균일 너비 할당이 언어 모델의 더 자원 최적의 스케일링을 이끌어낼 수 있음을 입증합니다.

arXiv:2606.17537v1eess.AS

빠른 음성 인식을 위한 비자기회귀 최소 베이즈 위험(MBR) 디코딩

Non-Autoregressive Minimum Bayes' Risk Decoding for Fast Speech Recognition

비자기회귀(NAR) 디코딩은 출력 토큰을 병렬로 생성하므로, 왼쪽에서 오른쪽으로 순차적으로 생성하는 자기회귀(AR) 디코딩보다 음성 인식이 더 빠릅니다. 그러나 NAR 디코딩은 이전에 생성된 토큰을 조건으로 두어 불확실성을 해소할 수 없기 때문에 인식 성능이 저하됩니다. 이 문제를 해결하기 위해, 우리는 최소 베이즈 위험(MBR) 디코딩에 기반한 새로운 NAR 디코딩 프레임워크인 NAR-MBR 디코딩을 제안합니다. 이 방법은 출력 확률을 최대화하는 대신 NAR 모델의 출력 확률 분포에서 샘플링한 표본들로부터 계산된 기대 효용을 최대화합니다. 특히 NAR 모델의 특성을 활용하면 단일 순전파(forward) 연산으로 여러 샘플을 효율적으로 얻을 수 있습니다. LibriSpeech, Switchboard, AMI 및 웹 프레젠테이션 코퍼스에 걸친 실험에서, 우리의 NAR-MBR 디코딩은 기존 NAR 디코딩보다 우수한 성능을 보였으며 AR 디코딩보다 더 빠르게 동작했습니다.

arXiv:2606.00024v3cs.CL

ART: 효율적인 대규모 언어 모델(LLM) 디코딩을 위한 어텐션 런타임 종료

ART: Attention Run-time Termination for Efficient Large Language Model Decoding

대규모 언어 모델(LLM)의 긴 문맥(long-context) 디코딩은 키-값(Key-Value, KV) 캐시에 접근하고 처리하는 비용에 의해 제한됩니다. 어텐션 출력이 키와 값에 공동으로 의존한다는 증거가 있음에도 불구하고, 값을 통합하는 것이 과도한 오버헤드를 초래하기 때문에 대부분의 기존 KV 관리 방법은 키 전용(key-only) 가지치기에 의존합니다. 본 논문에서는 커널 실행 중 누적된 어텐션 출력을 추적하고 추가적인 기여가 무시할 수 있게 되면 후속 KV 블록 접근을 종료하는 가벼운 런타임 메커니즘인 어텐션 런타임 종료(ART)를 제안합니다. ART는 KV 선택을 대체하는 것이 아니라, 기존의 밀집(dense) 또는 희소(sparse) 어텐션 정책 위에서 중복된 KV 순회(traversal)를 동적으로 종료합니다. 중간 어텐션 출력의 크기와 방향의 변화를 모두 모니터링하는 안정성 기반(stability-based) 기준을 도입하고, 결과적으로 발생하는 절단 오차(truncation error)에 대한 이론적 특성화를 제공합니다. LongBench 및 RULER Needle-in-a-Haystack 작업에 대한 실험 결과, ART는 결과 품질을 저하시키지 않으면서 기존 KV 캐시 방법의 생성 처리량(throughput)을 최대 20%까지 증가시키는 것으로 나타났습니다.

arXiv:2606.17972v1cs.CV

SegDINO: 효율적인 의료 이미지 분할을 위한 DINO 내 다중 스케일 구조 도입

SegDINO: Introducing Multi-Scale Structure into DINO for Efficient Medical Image Segmentation

자기 지도(self-supervised) DINO 모델은 강력한 전이 가능한 시각 표현을 제공하지만, 이미지 분할에 직접 적용하는 것은 여전히 어렵습니다. 기존 접근 방식은 복잡한 업샘플링(upsampling)을 갖춘 무거운 디코더에 의존하여 상당한 매개변수 및 계산 오버헤드를 초래합니다. 우리는 DINO 특징에 스케일(scale)을 도입하는 것이 디코더 용량을 늘리는 것보다 훨씬 더 중요하다는 것을 관찰했습니다. 본 연구에서 우리는 DINOv3 백본(backbone)과 경량 스케일 모델링을 통합한 효율적인 분할 프레임워크인 SegDINO를 제안합니다. SegDINO는 중간 DINO 특징을 의사 다중 스케일 계층 구조로 재구성하는 토큰 피라미드 적응(Token Pyramid Adaptation, TPA)과 효율적인 스케일 내 정제 및 하향식 다중 스케일 전파를 위한 스케일 인지 디코딩(Scale-Aware Decoding, SAD)을 도입합니다. 또한 우리는 SegDINO가 어려운 소병변(small-lesion) 케이스를 처리하는 능력을 평가하기 위해 전문가가 주석을 단 췌장 종양이 포함된 284명의 환자로 구성된 새로운 CT 데이터셋인 PanCT를 구축했습니다. PanCT와 3개의 공개 벤치마크(benchmark)에 대한 광범위한 실험을 통해 SegDINO가 높은 효율성으로 최첨단(state-of-the-art) 결과를 달성함을 입증했습니다. 코드는 https://github.com/script-Yang/segdino_v2에서 확인할 수 있습니다.

arXiv:2606.17953v1cs.CV

MLLMs: 정답을 맞혔다가 틀리다: 후반 층 텍스트 바이어스의 추적 및 수정

MLLMs Get It Right, Then Get It Wrong: Tracing and Correcting Late-Layer Textual Bias

시각 정보가 텍스트와 모순될 때, 멀티모달 대규모 언어 모델(MLLMs)은 이미지가 그렇지 않다는 명확한 증거를 제시하더라도 지속적으로 텍스트를 선호합니다. 이러한 바이어스는 시각적 그라운딩(grounding)이 필요한 애플리케이션에 위험을 초래하지만, 그 원인은 여전히 불분명합니다. 본 논문에서 우리는 놀라운 사실을 발견했습니다. 모델은 종종 초기에는 정답을 맞히는데, 중간 층(intermediate layers)에서 올바른 시각 기반 예측을 형성한 뒤, 마음을 바꾸어 최종 출력에서는 텍스트를 선호한다는 것입니다. 우리는 이를 "후반 층 텍스트 오버라이드(override)"라고 부릅니다. 시각 정보는 인코딩되지만 단순히 출력까지 살아남지 못할 뿐입니다. 더욱 흥미롭게도, 우리는 예측이 어떻게 변하는지가 그것이 정답인지 여부를 드러낸다는 것을 발견했습니다. 실패 사례의 85%는 텍스트 쪽으로 이동하는 반면, 성공 사례의 89%는 시각 쪽으로 이동합니다. 이러한 방향성 시그니처는 간단하지만 강력한 개입(intervention)을 가능하게 합니다. 자신감 있는 시각 예측이 억제되는 것을 감지했을 때, 우리는 그것을 복원합니다. 우리는 추론 시간에 오버라이드된 예측을 복구하는 학습이 필요 없는 방법인 CALRD (Conflict-Aware Layer Reference Decoding)를 제안합니다. 다양한 아키텍처의 5개 MLLM에 대한 실험은 별도의 학습이나 외부 지식 없이 표준 성능을 대부분 유지하면서 충돌 벤치마크에서 최대 9.4%의 절대적 개선을 입증했습니다. 이는 모델이 이미 알고 있었지만 유지하지 못했던 것을 복구합니다.

arXiv:2606.17874v1cs.CV

순서 독립적 셀 수준 표현을 통한 자기회귀 멀티태스크 표 인식의 구조적 의존성 재고

Revisiting Structural Dependency in Autoregressive Multi-Task Table Recognition via Order-Independent Cell-Level Representations

멀티태스크 표 인식은 통합된 프레임워크 내에서 표 구조 예측, 셀 위치 추정, 셀 내용 인식을 공동으로 해결합니다. 기존 접근 방식은 종종 표 구조를 생성하기 위해 자기회귀 디코더에 의존하고, 셀 위치 추정 및 내용 인식을 위해 은닉 상태를 재사용합니다. 이러한 자기회귀 생성 과정은 셀 표현을 순서 의존적으로 만들 수 있으며, 이는 셀 간의 전역적 일관성을 저하시킵니다. 본 논문은 비인과적 어텐션(non-causal attention)을 통해 순서 독립적인 셀 특징을 생성하는 구조적 정제 모듈을 제안합니다. 이 설계는 정제된 특징에 인코딩된 전역 컨텍스트를 기반으로 각 셀을 조건화하는 동시에 셀 내용의 병렬 추론을 가능하게 합니다. 두 개의 대규모 데이터셋에 대한 실험은 전체 추론 시간을 약 3배 줄이면서 셀 위치 추정 및 엔드투엔드 인식에서 일관된 개선을 보여줍니다.

arXiv:2606.17410v1cs.CV

인간과 비전-언어 모델 간의 어텐션 정렬

Attention Alignment Between Humans and Vision-Language Models

시각 지각은 하향식 목표와 상향식 감각 기제에 의존합니다. 비전-언어 모델은 이 두 가지를 모두 구현하므로, 각 구성 요소를 우리가 어디를 보는지를 유도하는 요인에 대한 분리 가능한 가설로 간주할 수 있습니다. 우리는 두 가지 작업(일반적 묘사 및 사회적 캡셔닝) 동안 200개의 이미지에서 기록된 인간 시선 고정 히트맵과 6개의 비전-언어 모델에서 나온 공간 어텐션 맵을 비교했습니다. 이 6개의 모델은 CNN 대비 ViT 인코더와 LSTM 대비 트랜스포머 디코더를 교차한 2x2 요인 설계와 Molmo 7B-D 및 Qwen3.5 9B를 포괄했습니다. 디코더와 인코더 아키텍처 모두 정렬에 영향을 미쳤지만, 디코더 선택이 더 지배적임을 발견했습니다. LSTM 대 트랜스포머 디코더는 정렬을 40~50퍼센트 포인트 증가시켰습니다(인간 노이즈 천장의 80~87% 대비 40~59%). 대조적으로, CNN 대 ViT 인코더는 디코더 계열에 따라 5~20포인트의 2차적인 이점을 기여했으며, 전체적으로 CNN-LSTM이 가장 높은 정렬을 보였습니다(85~87%). 정렬 이점에도 불구하고 LSTM 디코더 어텐션 맵은 공간적으로 확산되어 있었고 작업 차별화가 최소였습니다. 반면 정렬이 가장 낮은 ViT-트랜스포머는 가장 날카로운 공간 집중과 가장 강한 작업 차별화를 보였습니다. 반공간 무시(hemispatial-neglect) 시뮬레이션은 어텐션 제거가 트랜스포머 디코더보다 LSTM 디코더에 더 큰 영향을 미친다는 것을 확인했습니다. TRIBE 시뮬레이션 합성 신경 반응을 사용한 탐색적 확장에서 시선 정렬과 신경 관련성은 분리되었습니다: 시선 정렬이 낮음에도 불구하고 CNN-트랜스포머 어텐션 맵은 합성 뇌 활동을 더 잘 예측했으며, 어텐션 맵은 초기 시각 피질을 가장 잘 예측했습니다. 종합하면, 하향식 및 상향식 구성 요소는 행동 및 합성 신경 데이터에서 예측하는 내용에 있어 상충 관계에 있습니다.

arXiv:2406.07435v2cs.CV

앨리어싱을 경계하십시오 -- 신호 보존은 견고한 이미지 복원에 필수적입니다

Beware of Aliases -- Signal Preservation is Crucial for Robust Image Restoration

이미지 복원 네트워크는 일반적으로 인코더와 디코더로 구성되며, 각각 노이즈가 섞이거나 왜곡된 데이터에서 이미지 콘텐츠를 집계하고 깨끗하고 왜곡되지 않은 이미지를 복원하는 역할을 담당합니다. 데이터 집계와 고해상도 이미지 생성은 모두 앨리어싱이 포함될 위험이 따르는데, 즉 표준 아키텍처는 검증 데이터에서 높은 PSNR 값을 달성하기 위해 모델 입력을 재구성하는 능력을 위태롭게 만듭니다. 그 대가는 낮은 모델 견고성입니다. 본 연구에서는 최첨단 재구성 트랜스포머에 단순히 앨리어싱 없는 경로를 제공하는 것만으로도 복원 성능에 대한 비용을 낮게 유지하면서 모델 견고성을 향상시킬 수 있음을 보여줍니다. 우리는 이를 위해 BOA-Restormer를 제안합니다. 이는 트랜스포머 기반 이미지 복원 모델로, 모델 전체에 걸쳐 앨리어싱 없는 경로를 보장하고 잠재적으로 모든 관련 고주파 정보를 보존하기 위해 다운샘플링 및 업샘플링 연산의 일부를 주파수 영역에서 수행합니다.

arXiv:2606.17648v1cs.AI

Brewing에서 해결까지: 대규모 언어 모델(LLM)의 코드 추론 내부 수명 주기 추적

From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs

표준 정확도 메트릭만으로는 대규모 언어 모델(LLM)이 변수 추적은 수행하면서 의미적으로 동등한 루프에서는 실패하는 이유를 설명할 수 없습니다. 우리는 코드 추론의 내부 수명 주기를 연구합니다. 이 과정에서 모델은 먼저 답변을 생성(Brewing)하여, 답변이 자체적으로 디코딩 가능해지기 훨씬 전 여러 층(layer)에서 선형적으로 복원 가능하게 만듭니다. 그 후 모델은 해결됨(Resolved), 과도하게 처리됨(Overprocessed), 잘못 해결됨(Misresolved), 미해결(Unresolved)의 네 가지 해결 결과 중 하나로 분기합니다. 이 수명 주기를 이해하는 것은 중요합니다. 왜냐하면 유사한 작업 정확도가 표면적 평가로는 감지할 수 없는 근본적으로 다른 실패 모드를 은폐할 수 있기 때문입니다. 우리는 층별 선형 탐지(linear probing)와 문맥 제거 디코딩(Context-Stripped Decoding, CSD)을 결합한 이중 진단 프레임워크를 소개하고, 이를 Qwen, Llama, DeepSeek 아키텍처에 걸친 16개 모델의 6개 코드 추론 작업군에 적용합니다. 네 가지 결과 모두 모든 작업군에서 상당한 비중을 차지합니다. 전체적으로 해결됨(Resolved) 비율은 41.5%에 불과하며, 여러 작업은 30% 미만입니다. 구조, 깊이, 연산자에 대한 제어된 탐색을 통해 작업별 실패 병목이 드러납니다. 예를 들어, 호출 깊이가 1에서 3으로 증가함에 따라 함수 호출 해결(Resolved) 비율은 61.1%에서 2.5%로 급락합니다. 아키텍처와 규모에 걸쳐 생성(Brewing) 스캐폴드는 안정적으로 유지되며, 16개 모델 모두에서 정규화된 생성 지속 시간은 24-42%를 차지하는 반면, 해결 성공률은 능력에 따라 달라집니다. 이는 스캐폴드가 테스트된 디코더 전용 트랜스포머 계열 전반에 걸쳐 안정적인 경험적 규칙성임을 나타내는 반면, 해결 성공률은 능력, 규모, 학습(training)과 함께 변화함을 시사합니다. 코드: https://github.com/euyis1019/llm-brewing

arXiv:2606.17104v1cs.AR

신규 AI 가속기에서의 LLM 추론에 대한 프리필/디코드 인지 평가

Prefill/Decode-Aware Evaluation of LLM Inference on Emerging AI Accelerators

대규모 언어 모델(LLM)이 지연 시간 및 비용에 민감한 환경에 점점 더 많이 배포됨에 따라, 추론 효율성은 핵심 시스템 과제가 되었습니다. GPU가 현재 배포를 주도하고 있지만, LLM 추론에 대한 이점을 주장하는 AI 가속기가 증가하고 있으나, 실제로 어떤 조건에서 이러한 가속기가 GPU를 능가하는지는 여전히 불분명합니다. 최근 추론 시스템은 실행을 프리필(Prefill) 및 디코드(Decode) 단계로 분해하는데, 이는 각각 고유한 계산 특성과 지연 시간 지표를 나타내며, 일반적으로 첫 번째 토큰까지의 시간(TTFT)과 출력 토큰당 시간(TPOT)으로 측정됩니다. 본 논문에서는 공통 모델인 Llama2-7B를 사용하여 GPU와 신규 AI 가속기 전반의 LLM 추론 성능에 대한 단계 인지(phase-aware) 평가를 제시합니다. 프리필 및 디코드 성능을 별도로 측정함으로써, 가속기의 이점이 단계와 지표에 따라 다르다는 것을 밝혀냈습니다. 결과에 따르면 GPU는 계산 집약적인 프리필 단계에서 일관되게 우수한 성능을 보이는 반면, GroqRack은 디코드 단계에서 현저히 낮은 TPOT을 달성합니다(현재 배치는 지원되지 않음). 그러나 배치 크기가 증가함에 따라 GPU는 디코드 처리량(throughput)에서 다시 우위를 점합니다. 이러한 발견은 각 플랫폼이 단계에 따른 고유한 강점을 보여줌을 시사합니다. 또한, 서로 다른 가속기 플랫폼 간의 이기종 프리필/디코드 분리(disaggregation)를 추가로 분석하여, 성능 이득과 그러한 이득이 실현되는 워크로드 및 네트워크 조건을 식별합니다.

arXiv:2606.17409v1cs.LG

생성형 메커니즘 합성을 위한 이산형 자기회귀 트랜스포머

Discrete Autoregressive Transformer for Generative Mechanism Synthesis

평면 경로 합성(planar path synthesis)은 커플러 곡선(coupler curve)이 지정된 궤적과 일치하는 메커니즘을 요구하며, 곡선에서 링키지(linkage)로의 매핑은 4절, 6절, 8절 링키지 위상(topology) 전반에 걸쳐 본질적으로 일대다(one-to-many) 관계입니다. 본 연구는 100만 개 이상의 메커니즘으로 구성된 선별된 말뭉치(corpus)에 대한 시뮬레이션 기반 평가를 통해 이 설계 문제를 다루며, 순기구학(forward kinematics) 및 기하학적 정렬 후 Chamfer 거리와 동적 시간 왜곡(dynamic time warping)을 보고합니다. 합성 과정을 조건부 자기회귀 시퀀스 모델링(conditional autoregressive sequence modeling)으로 공식화하였습니다. 관절 좌표는 토큰으로 균일하게 양자화되며, 목표 곡선의 변분 오토인코더(VAE) 잠재 표현(latent)과 명시적인 메커니즘 유형 토큰을 입력으로 받는 디코더 전용 트랜스포머(transformer)에 의해 생성됩니다. 학습(training)은 토큰 교차 엔트로피(cross-entropy)와 빈(bin) 간의 순서 구조를 반영하는 가우스 스무딩된 빈 보조 손실(loss)을 결합하여 수행됩니다. 추론(inference) 시에는 제한된 잠재 노이즈 스케줄을 사용하여 각 노이즈 수준에서 모든 메커니즘 유형을 디코딩하며, 기하학적 오차가 가장 낮은 상위 5개 후보를 선정하여 데이터셋(dataset) 조회 없이도 다양하고 정확한 메커니즘 계열을 도출합니다. 홀드아웃 테스트(held-out tests) 결과 총 평균 Chamfer 거리는 0.0132, 평균 동적 시간 왜곡은 0.153이었습니다. VAE 공간 내 학습 세트 이웃 잠재 표현을 조건으로 사용하는 잠재 $k$-최근접 이웃($k$-nearest-neighbor) 기준선(baseline)은 동일한 디코더를 사용하여 동일한 위상 구조(matched-topology)에 대해 평균 Chamfer 거리 0.0071 및 평균 동적 시간 왜곡 0.117을 달성했습니다.

arXiv:2606.12160v2cs.CL

인스트럭션 튜닝된 LLM에 적용한 디코딩 시간 진실성 방법에 대한 통제 연구

A Controlled Study of Decoding-Time Truthfulness Methods on Instruction-Tuned LLMs

디코딩 시간 진실성 방법(층 대비 디코딩, 추론 시간 개입, 학습된 로짓 어댑터)은 기본 언어 모델에 적용했을 때 TruthfulQA에서 10~30점의 향상을 보여주었습니다. 그러나 최신 인스트럭션 튜닝된 LLM은 이미 훨씬 더 높은 베이스라인(61~76%)을 달성하여, 이러한 방법들이 실제로 여전히 효과적인지에 대한 의문이 제기됩니다. 우리는 6가지 통제 평가 프레임워크(분포 외 학습, 다중 심사 검증, 단순 디코딩 베이스라인, 교란 변수 통제, 부트스트랩 신뢰 구간, 시드 분산)를 설계하고, 5개 모델(1B~70B), 3개 벤치마크, 15개 방법에 걸쳐 적용했습니다. 우리는 엄격한 통제 하에서 이전에 보고된 향상 폭이 크게 축소됨을 발견했습니다. 전체 TruthfulQA 벤치마크(N=817)에서 어떤 토큰 수준 방법도 통계적으로 유의미한 향상을 달성하지 못했으며, 최상의 학습된 어댑터는 그리디(greedy)보다 -2.0점 낮은 점수를 기록했습니다(p=.23). 우리는 이러한 불일치를 개별적으로 또는 공동으로 설명하는 5가지 평가 민감도(데이터 오염, 심사자 선택, 누락된 베이스라인, 교란 변수, 통계적 노이즈)를 식별했습니다. HaluEval QA 및 TriviaQA에 대한 교차 벤치마크 검증은 이러한 패턴이 TruthfulQA를 넘어 확장됨을 확인합니다. 숙고형 프롬프팅 방법(사고의 연쇄, 자기 비판)은 평가된 영역에서 더 견고해 보이며, CoT는 학습 없는 단일 패스 방법으로서 벤치마크 전반에 걸쳐 +5.6~19%p를 달성했습니다. 우리는 7가지 평가 체크리스트를 공개하고 미래의 진실성 연구에 대한 시사점을 논의합니다.

arXiv:2606.12687v1cs.LG

예측은 귀속이 아니다: 그래프 기반 신경 마케팅 믹스 모델에서 디코더 우회 현상의 국소화

Forecasting Is Not Attribution: Localizing Decoder Bypass in Graph-Based Neural Marketing Mix Models

마케팅 믹스 모델(MMM)에서 낮은 예측 오차가 귀속(attribution)의 신뢰성을 보장하지 않는다는 문제를 지적하고, 디코더가 그래프를 우회하는 현상을 방지하는 DICE-MMM 진단 및 학습 프레임워크를 제시한다. 이 방법은 그래프 복구와 예측 정확도를 분리하여 평가함으로써 기존 방법보다 안정적인 그래프 복구 성능을 달성한다.