PyTorchKR Papers

최신 논문

총 22편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2602.23833v3eess.IV

DICOM 시리즈 분류를 위한 이미지와 메타데이터 통합 재고: 교차 어텐션과 딕셔너리 학습

Revisiting Integration of Image and Metadata for DICOM Series Classification: Cross-Attention and Dictionary Learning

DICOM 영상 시리즈의 자동 식별은 대규모 의료 영상 분석, 품질 관리, 프로토콜 표준화, 그리고 신뢰할 수 있는 후속 처리에 필수적이다. 그러나 DICOM 시리즈 분류는 이질적인 슬라이스 내용, 가변적인 시리즈 길이, 그리고 완전히 누락되거나 불완전하거나 일관성이 없는 DICOM 메타데이터로 인해 여전히 어려운 과제로 남아 있다. 우리는 이러한 모든 문제를 명시적으로 고려하면서 이미지 콘텐츠와 획득 메타데이터를 공동으로 모델링하는 엔드투엔드 멀티모달 프레임워크를 제안한다. (i) 이미지와 메타데이터는 모달리티 인지 모듈로 인코딩되며, 양방향 교차 모달 어텐션 메커니즘을 사용하여 융합된다. (ii) 메타데이터는 학습 가능한 특징 딕셔너리와 값 조건부 변조에 기반한 희소하고 결측 인지 인코더에 의해 처리된다. 이 접근법은 설계상 어떠한 형태의 결측치 대치도 필요로 하지 않는다. (iii) 시리즈 길이와 이미지 데이터 차원의 가변성은 등간격으로 샘플링된 슬라이스에 대해 동작하는 2.5D 시각 인코더와 어텐션을 통해 처리된다. 우리는 공개적으로 이용 가능한 Duke Liver MRI 데이터셋과 대규모 다기관 자체 코호트에서 제안된 접근법을 평가하며, 도메인 내 성능과 도메인 외 일반화를 모두 평가한다. 모든 평가 설정에서 제안된 방법은 관련된 이미지 전용, 메타데이터 전용, 멀티모달 2D/3D 베이스라인을 일관되게 능가한다. 결과는 메타데이터 희소성과 교차 모달 상호작용을 명시적으로 모델링하는 것이 DICOM 시리즈 분류의 견고성을 향상시킨다는 것을 보여준다.

arXiv:2607.13731v2cs.LG

DAGR: 차이 인식 목표 크로스 어텐션을 통한 상태 조건부 목표 표현

DAGR: State-Conditioned Goal Representations via Difference-Aware Goal Cross-Attention

목표 조건부 강화학습(Goal-conditioned reinforcement learning)의 성패는 목표가 어떻게 인코딩되는지에 달려 있습니다. 대조(contrastive), 메트릭(metric), 시간적 거리(temporal-distance) 및 정보이론적 인코더들은 각자의 목적함수에서 의견 차이를 보이지만, 한 가지 점에서는 일치합니다. 바로 그 어떤 인코더도 현재 상태를 보지 못한다는 점이며, 따라서 임베딩은 목표의 어느 부분이 여전히 행동을 필요로 하는지 표시할 수 없고, 정책은 두 인코더를 역산하여 해당 단서를 복원해야만 합니다. 본 논문에서는 다중 스케일 게이트 크로스 어텐션을 통해 임의의 후기 융합(late-fusion) 인코더의 정적 임베딩을 상태 조건부 임베딩으로 정제하는 DAGR을 제안합니다. 게이트 잔차(gated residual) 연결은 정제된 표현이 기본 표현 근처에 머물도록 유지하며, 차이 인식(difference-aware) 어텐션 규칙은 토큰별 상태-목표 불일치 정도를 바탕으로 점수에 바이어스를 부여합니다. 이러한 정제가 무엇을 보장할 수 있는지는 단 하나의 조건, 즉 게이트가 닫혔을 때 해당 블록이 입력을 그대로 반환하는지 여부에 의해 결정됩니다. 본 연구에서는 일반적인 포스트-정규화(post-norm) 배치가 이 조건을 위배함을 증명하고, 동결된 체크포인트에 미치는 영향을 측정하며, 해당 조건을 복원함으로써 결과적인 손실의 일부를 회복합니다. OGBench에서 DAGR은 내비게이션 성능을 향상시키며, 다른 영역에서는 기본 모델과 대등하거나 다소 뒤처지는 성능을 보입니다. 어블레이션 연구에 따르면 이러한 성능 향상은 본 방법의 이름에 포함된 차이 바이어스보다는 게이트 잔차에서 비롯된 것으로 나타났습니다. 코드는 https://github.com/leixingxing1/DAGR 에서 확인할 수 있습니다.

arXiv:2605.09737v3cs.LG

교차 어텐션(Cross-Attention) 층을 활용한 시스템 프롬프트 앵커링

System-Prompt Anchoring with Cross-Attention Layers

교차 어텐션(cross-attention)은 선택된 정보 소스로부터 모델의 연산 과정으로 이어지는 전용 경로를 제공하지만, 해당 경로가 삽입되는 위치의 영향은 아직 충분히 연구되지 않았습니다. 본 연구에서는 정보 소스가 특권적인(privileged) 시스템 프롬프트 구간일 때 이 문제를 조사합니다. 우리는 인과적 디코더(causal-decoder) 백본을 동결한 상태로 유지하면서, 시스템 프롬프트와 텍스트 사이에 교차 어텐션 층(Cross-Attention Layer, CAL) 블록을 삽입합니다. 1.5B 백본 모델에 대해 10가지 구성을 탐색한 결과, 성능은 작업에 따라 달라지며 배치 위치에 강하게 영향을 받는 것으로 나타났습니다. 대체로 후반부에 배치할수록 더 효과적이고 매개변수 효율적입니다. 8B 스케일링 연구에서는 전체적으로 가장 우수한 구성만을 학습(training)시켜 매개변수 수가 일치하는 적응(adaptation) 베이스라인들과 비교합니다. 평가된 벤치마크 전반에서 효과는 여전히 작업 의존적입니다. 즉, 교차 어텐션은 일반 작업 성능을 대체로 보존하면서도 지시사항 준수(instruction-following) 및 보안(security) 동작을 변화시킵니다. 종합적으로, 이러한 실험들은 교차 어텐션을 통해 시스템 프롬프트 정보를 주입할 때 배치 위치가 중요한 설계 변수임을 규명합니다.

arXiv:2610.01723v1cs.CV

확산 모델의 암기 완화에 대한 재고: 텍스트 조건화 강화

Rethinking Memorization Mitigation in Diffusion Models: Reinforcing Text Conditioning

텍스트-이미지 확산 모델(diffusion model)은 이미지 합성에서 괄목할 만한 발전을 이루었으나, 개별 학습(training) 예제를 거의 그대로 재현하는 암기(memorization) 현상을 보일 수 있습니다. 효과적인 암기 완화는 대안적인 묘사를 유도하기 위해 유용한 프롬프트(prompt) 정보를 보존해야 합니다. 본 연구에서는 추가적인 노이즈 제거기(denoiser) 평가 없이, 가우시안 평활화(Gaussian smoothing)를 통해 교차 어텐션(cross-attention)을 재분배한 후 콘텐츠 토큰(token)의 기여도를 강화하고 패딩의 기여도를 감쇄하는 학습 불필요(training-free) 방식을 제안합니다. 이러한 개입을 통해 더 강력한 콘텐츠 조건화는 유사한 수준의 학습 이미지 유사도에서도 프롬프트 정렬(alignment)을 향상할 수 있습니다. 국소 분석(local analysis)을 통해 재분배가 국소화된 어텐션 질량을 줄이는 동시에 강화가 공유된 값(value) 정보를 보존하는 조건을 규명합니다. Stable Diffusion v1.4 및 v2.0에서 평가된 모든 평활화 너비는 학습 이미지 유사도 대비 프롬프트 정렬 및 이미지 선호도 모두에 대한 실증적 파레토 최적(Pareto frontier) 선상에 위치합니다. Stable Diffusion에서 선택된 구성은 추가적인 튜닝 없이도 DeepFloyd IF의 템플릿 재현을 감소시킵니다. 이러한 결과는 프롬프트와 일관된 대안적 생성을 위해 조건화 할당과 강도를 함께 제어해야 함을 뒷받침합니다.

arXiv:2607.24298v1cs.CV

UMI3D: Simultaneous Focus Cross-Attention 라우팅을 통한 비제약 다중 이미지 입력 기반 견고한 3D 생성

UMI3D: Robust 3D Generation on Unconstrained Multi-Image Inputs via Simultaneous Focus Cross-Attention Routing

최근 3D 파운데이션 모델은 단일 이미지로부터 고품질 에셋을 생성할 수 있지만, 비제약 다중 이미지 입력에서는 성능이 현저히 저하되며, 종종 왜곡된 geometry, 과도하게 평활화된 텍스처, 혼란스러운 색상을 생성한다. 우리는 이러한 실패가 제한된 모델 용량에서 비롯된 것이 아니라, 단일 이미지 교차 어텐션(cross-attention)과 다중 이미지 설정 간의 불일치에서 기인한다고 주장한다. 기존 모델은 각 디노이징 단계에서 각 3D voxel이 어떤 이미지를 신뢰해야 하는지 결정할 체계적인 방법이 부족하다. 최근 단일 이미지 3D 파운데이션 모델을 재검토한 결과, 각 voxel을 가장 정보가 풍부한 이미지로 명시적으로 라우팅하는 것만으로도 불일치하는 다중 이미지 입력에서 강력한 성능을 발휘할 수 있음을 보인다. 이 관찰에 기반하여, 우리는 비제약 다중 이미지 3D 생성을 위해 교차 어텐션을 재구성하는 학습 없는(training-free) 플러그 앤 플레이(plug-and-play) 프레임워크인 UMI3D를 제안한다. 핵심인 Simultaneous Focus Cross-Attention(SFC-Attn)은 각 디노이징 단계에서 모든 조건화 이미지를 활성화하면서, 각 voxel이 자신을 가장 잘 설명하는 단일 이미지에 집중할 수 있게 한다. 이 라우팅을 가능하게 하기 위해, 외부 매칭, 세그멘테이션, 또는 correspondence 모델 없이 voxel-이미지 친화도를 측정하는 모델 내재적(model-intrinsic) 지표인 Voxel Reference Score(VRS)를 도출한다. 광범위한 실험을 통해 UMI3D가 다양한 작업에서 단일 이미지 3D 생성 프레임워크의 다중 이미지 잠재력을 발휘함을 보여준다. 프로젝트 페이지: UMI3D-Project.github.io.

arXiv:2607.23493v1cs.CV

다중모달 정서 해석을 위한 토큰-영역 유도 교차 어텐션 융합

Token-Region Guided Cross-Attention Fusion for Multimodal Affect Interpretation

소셜 네트워크상의 다중모달 콘텐츠에 대한 자동 분석은 디지털 시대에 대중 정서와 정보 확산을 이해하기 위한 핵심 과제가 되었다. 그러나 인터넷 밈 분류는 시각적 단서와 내장된, 종종 스타일화된 텍스트 간의 복잡한 상호작용으로 인해, 특히 벵골어와 같은 저자원 언어에서는 여전히 계산적으로 어려운 과제로 남아 있다. 본 논문은 Multimodal Cross-Attention Fusion 프레임워크를 도입하여 벵골어 밈에서의 정치적 의도 탐지 문제를 다룬다. 먼저 비전-언어 모델(Vision-Language Model)을 활용하여 노이즈가 많은 밈 이미지로부터 고품질 OCR 텍스트를 추출한다. 이어서 시각 및 텍스트 특징을 인코딩하고, 의미 토큰을 시각 영역과 정렬하는 교차 모달 다중 헤드 어텐션 메커니즘을 통해 이를 융합한다. 또한 도메인 특화 정치 어휘집을 지식 사전(knowledge prior)으로 통합하는 방안을 탐구한다. PoliMemeDecode1 데이터셋에 대한 실험 평가 결과, 우리의 어텐션 기반 융합은 단일 모달 기준선 및 표준 연결(concatenation) 방법을 크게 능가하며, 약 0.94의 최첨단 Macro-F1을 달성하였다. 해석 가능성 분석은 또한 모델이 텍스트 의미를 시각적 증거에 효과적으로 그라운딩(grounding)하도록 학습함을 확인한다.

arXiv:2607.22625v1cs.AI

TokenMem: 동결 LLM을 위한 충실한 지식 주입

TokenMem: Faithful Knowledge Injection for Frozen LLMs

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)에 외부 지식을 더해 성능을 높이지만, 지식 충돌 문제가 있습니다. 검색된 정보가 파라미터 메모리와 모순될 때, 공유된 셀프-어텐션(self-attention) 경로가 예측 불가능한 출력을 만들어냅니다. 우리는 TokenMem을 제안합니다. TokenMem은 전용 크로스-어텐션(cross-attention) 채널을 통해 동결 LLM에 지식을 주입하는 경량 메모리 시스템으로, 잔차 스트림(residual stream)에서 파라미터 메모리와의 경쟁을 우회합니다. TokenMem은 2단계 커리큘럼을 통해 얇은 게이팅 어댑터(약 3–7M 파라미터)만 학습합니다. 먼저 일반적인 지식 활용을 학습하고, 이어서 반사실적(counterfactual) 지식 하에서 충실한 준수(faithful compliance)를 강화합니다. 세 가지 모델 패밀리에 걸친 다섯 모델(Qwen3-4B/8B/14B, LLaMA-3.1-8B, OLMo-3-7B)에 대한 통제 실험에서 TokenMem은 반사실적 벤치마크에서 69–70%의 지식 준수(Knowledge Compliance, KC)를 달성했으며, 바닐라 RAG의 20–52%와 비교해 최대 49퍼센트포인트 차이를 보였습니다. ablation 연구는 2단계 커리큘럼이 핵심적임을 보여줍니다. Phase 2를 제거하면 KC가 거의 0에 가까워집니다. 메커니즘 분석은 게이트 어댑터가 명시적 감독 없이 충돌 인식(conflict-aware), 층별(layer-specific) 주입 전략을 학습함을 밝혀냅니다.

arXiv:2512.20666v2cs.LG

지배적 vs. 피지배적: 디퓨전 모델의 개념 수준 생성 붕괴

Dominant vs. Dominated: Concept-Level Generative Collapse in Diffusion Models

텍스트-이미지 디퓨전 모델은 다양하고 고품질의 이미지를 생성하는 능력으로 상당한 주목을 받아왔다. 그러나 다중 개념 생성에서는 하나의 개념 토큰이 출력을 지배하고 다른 개념은 억제되는 경우가 많으며, 우리는 이 현상을 Dominant-vs-Dominated(DvD) 불균형이라고 부른다. 이 실패 모드를 체계적으로 연구하기 위해 DominanceBench를 도입하고, 데이터 관점과 내부 메커니즘 관점 모두에서 근본 원인을 조사했다. 디퓨전 모델 학습 중 개념 학습을 모방한 통제된 미세조정 연구는, 시각적으로 동질적(저변동)인 개념별 학습 이미지에서 학습된 개념이 다른 개념과 결합될 때 더 강한 지배성을 보인다는 것을 보여준다. 크로스-어텐션 분석은 지배적 토큰이 초기 디노이징 단계에서 어텐션을 집중시키고, 이어 경쟁 개념의 표현이 감소함을 나타낸다. 헤드 ablation 분석은 또한 이러한 지배성이 특정 위치에 국한되지 않고 어텐션 헤드 전반에 분산되어 있음을 보여준다. 종합하면, 이러한 발견은 DvD를 체계적인 개념 수준의 실패 모드로 규명하고, 더 신뢰할 수 있고 제어 가능한 다중 개념 생성을 위한 기반을 제공한다. DominanceBench는 논문 발표 시 공개될 예정이다.

arXiv:2601.09118v2cs.CV

LPCAN: RGB-D 데이터를 이용한 레일 표면 결함 탐지를 위한 경량 피라미드 크로스-어텐션 네트워크

LPCAN: Lightweight Pyramid Cross-Attention Network for Rail Surface Defect Detection Using RGB-D Data

이 논문은 높은 계산 복잡도, 과도한 매개변수 수, 그리고 최적이 아닌 정확도를 포함한 현재 비전 기반 레일 결함 탐지 방법의 한계를 다룬다. 우리는 효율적이고 정확한 결함 식별을 위해 RGB-D 데이터를 활용하는 경량 피라미드 크로스-어텐션 네트워크(LPCANet)를 제안한다. 이 아키텍처는 RGB 특징 추출을 위한 백본으로 MobileNetv2를 통합하고, 깊이 처리를 위한 경량 피라미드 모듈(LPM)과, 다중 모달 융합을 위한 크로스-어텐션 메커니즘(CAM), 그리고 향상된 구조 분석을 위한 공간 특징 추출기(SFE)를 결합한다. 세 가지 비지도 RGB-D 레일 데이터셋(NEU-RSDDS-AUG, RSDD-TYPE1, RSDD-TYPE2)에 대한 포괄적인 평가 결과, LPCANet은 단 990만 개의 매개변수, 2.50 G FLOPs, 162.60 fps 추론 속도로 최첨단 성능을 달성한다. 18개의 기존 방법과 비교했을 때 LPCANet은 최고 성능 기준선 대비 $S_α$에서 +1.48\%, IOU에서 +0.86\%, MAE에서 +1.77\%의 유의미한 개선을 보인다. 절제 연구는 CAM과 SFE의 핵심적 역할을 확인하며, 비레일 데이터셋(DAGM2007, MT, Kolektor-SDD2)에 대한 실험은 일반화 능력을 검증한다. 제안된 프레임워크는 전통적 접근법과 심층 학습 접근법을 효과적으로 연결하여 산업 결함 검사에 실질적인 실용적 가치를 제공한다. 향후 연구는 실시간 배포를 위한 추가적인 모델 압축에 초점을 맞출 것이다.

arXiv:2603.14709v3cs.LG

모든 검색 결과가 유용한 것은 아니다: 시계열 예측을 위한 입력 인식형 RAG의 크로스-어텐션

Not All Retrievals are Useful: Cross-Attention for Input-Aware RAG in Time Series Forecasting

검색-증강 생성(RAG)은 외부 지식 기반을 활용해 제로샷 시계열(TS) 예측을 향상시키지만, 기존 접근법은 검색된 샘플과 쿼리를 융합할 때 입력 수준의 관련성을 간과한다. 우리는 모든 검색 결과가 동등하게 유용한 것은 아니며, 관련 없는 결과가 성능을 저하시킬 수 있다고 주장한다. 이를 위해 쿼리-검색 크로스-어텐션을 통해 쿼리와 관련된 검색 샘플에 선택적으로 어텐션하는 제로샷 RAG 기반 예측 프레임워크인 Cross-RAG를 제안한다. 쿼리와 검색된 샘플 간의 입력 수준 관련성을 모델링함으로써 Cross-RAG는 1) 쿼리 자체, 2) 검색된 샘플, 3) 이들 간의 관계적 상호작용이라는 세 가지 정보원을 공동으로 통합한다. 특히 이러한 입력 인식형 설계는 검색 샘플 수 $k$가 증가함에 따라 Cross-RAG가 안정적으로 유지되도록 하며, 크로스-어텐션이 없는 기존 방법들은 관련 없는 검색으로 인한 성능 저하를 피하기 위해 $k$를 세심하게 튜닝해야 한다. 광범위한 실험을 통해 Cross-RAG가 다양한 TSFM 백본과 여러 RAG 방법에서 제로샷 예측 성능을 일관되게 개선함을 보였으며, 추가 분석은 다양한 검색 시나리오 전반에서 그 효과를 확인한다. 코드는 https://github.com/seunghan96/cross-rag/ 에서 제공된다.

arXiv:2607.13925v1cs.CV

저조도 영상 향상에서 신뢰 가능한 명도-색채 융합을 위한 임계값 크로스-어텐션

Thresholded Cross-Attention for Reliable Intensity-Chromaticity Fusion in Low-Light Image Enhancement

저조도 영상 향상(LLIE)은 노이즈 억제, 색 재현성, 효율성 사이의 신중한 균형이 필요하다. 최근 HVI 기반 방법들은 명도와 색채를 분리하여 색상 얽힘을 완화하지만, 두 스트림을 다시 융합하는 과정의 신뢰성은 최종 품질을 크게 좌우하는 간과된 요인이다. 우리는 크로스-스트림 어텐션의 신뢰도가 층에 강하게 의존하므로, Top-K 희소 어텐션의 고정 할당량 선택이 이에 부적합하여 일부 층에서는 정보가 풍부한 의존성을 버리고 다른 층에서는 노이즈가 많은 의존성을 유지한다고 관찰했다. 이 관찰에 동기를 받아, 우리는 또 다른 색 표현을 도입하기보다 HVI 공간에서 신뢰 가능한 명도-색채 융합을 목표로 하는 임계값 크로스-어텐션(Thresholded Cross-Attention)을 중심으로 구축된 네트워크 TCA-Net을 제안한다. 핵심적으로 TCA는 고정된 Top-K 할당량을 고정 신뢰도 임계값으로 대체하며, 유지되는 개수는 입력 및 층에 따라 적응적으로 결정되어, 신뢰도가 높은 크로스-스트림 상호작용만 유지하고 신뢰할 수 없는 상호작용은 억제한다. 이 핵심을 둘러싼 두 가지 상보적 설계는 융합 전후 정리를 담당한다: 위상 유도 푸리에 상호작용 모듈(Phase-guided Fourier Interaction Module)은 융합 이전 명도 스트림에 구조 인식 밝기 초기화를 제공하고, 분리된 이중 스트림 안내 모듈(Decoupled Dual-Stream Guidance Module)은 재구성 과정에서 색채 누출을 억제하기 위해 잔차 명도 특징을 구성한다. 스케일 인식 일관성 정규화(Scale-Aware Consistency Regularization)는 학습 중 스케일 교란 하에서 구조적 견고성을 더욱 향상시킨다. LOL-v1, LOL-v2, Sony-Total-Dark, LSRW-Huawei에 대한 광범위한 실험은 TCA-Net이 경쟁력 있는 복원 정확도, 향상된 색 재현성, 그리고 소형 매개변수 규모를 제공함을 보여준다.

arXiv:2607.13812v1eess.IV

TCAM-Diff: 트라이플레인 인식 교차 어텐션 의료 확산 모델

TCAM-Diff: Triplane-Aware Cross-Attention Medical Diffusion Model

우리는 고해상도 3D 데이터를 인코딩하고 생성하는 데 필요한 메모리 요구량을 줄이는 새로운 3D 의료 영상 생성 모델인 TCAM-Diff를 제안한다. 이 모델은 밀집 볼륨(dense volume)으로부터 트라이플레인(triplane) 표현을 학습하기 위해 디코더 전용 오토인코더(decoder-only autoencoder) 방식을 이용하며, 과적합을 방지하기 위해 일반화(generalization) 연산을 활용한다. 이후 트라이플레인 인식 교차 어텐션(cross-attention) 확산 모델을 사용하여 이러한 특징을 효과적으로 학습하고 통합한다. 또한 확산 모델이 생성한 특징은 사전학습(pre-trained) 디코더 모듈을 사용하여 3D 볼륨으로 빠르게 변환할 수 있다. BrainTumour 128 x 128 x 128, Pancreas 256 x 256 x 256, Colon 512 x 512 x 512의 서로 다른 규모를 갖는 세 가지 의료 데이터셋에서의 실험은 뛰어난 결과를 보여준다. 재구성(reconstruction) 품질 평가에는 MSE와 SSIM을 사용하였고, 생성 품질 평가에는 바셔슈타인 생성적 적대 신경망(Wasserstein Generative Adversarial Network, W-GAN) critic을 활용하였다. 기존 접근법과의 비교에서, 우리 방법은 유사한 크기의 잠재 공간(latent space)을 갖는 다른 인코더-디코더 방식보다 더 나은 재구성 및 생성 결과를 제공함을 보여준다.

arXiv:2607.13458v1cs.CV

트랜스포머 기반 장면 텍스트 인식을 위한 2차원 회전 위치 임베딩

2D Rotary Position Embedding for Scene Text Recognition with Transformers

장면 텍스트 인식(STR)은 곡률, 회전, 원근 왜곡 등 텍스트 외형의 다양성 때문에 여전히 어려운 과제로 남아 있다. 최근 트랜스포머 기반 접근법은 성능이 좋지만, 일반적으로 텍스트 이미지의 2차원 공간 구조를 무시하는 1차원 위치 인코딩에 의존한다. 시각 트랜스포머를 위한 회전 위치 임베딩(RoPE)의 축 방향 2차원 확장은 존재하지만, 대체로 정방형이고 등방성인 이미지 내용을 가정하며 인코더 자기-어텐션(self-attention) 내에서만 회전을 적용한다. 장면 텍스트는 두 가정 모두를 위반한다. 크롭은 뚜렷이 비등방성(anisotropic)이고, STR 모델은 인코더-디코더 구조이므로 디코더는 크로스-어텐션(cross-attention)을 통해 쿼리를 인코더의 2차원 배치와 연관짓어야 한다. 우리는 2D-RoPE-STR을 제안한다. 이는 (1) 텍스트 종횡비에 맞춘 비등방성 행/열 차원 할당과 (2) 인코더-디코더 크로스-어텐션으로의 회전 결합(rotary coupling) 확장을 통해 축 방향 2D-RoPE를 이 설정에 맞게 조정하며, 자기회귀(autoregressive) 디코딩 단계가 2차원 배치에 따른 인코더 토큰에 어텐션할 수 있게 한다. 이는 이전 인코더 전용 공식화가 다루지 않았던 설정이다. 두 변경 모두 본질적으로 매개변수 추가 없이(parameter-free) 적용되며, 위치 인코딩 모듈 외의 구조적 재설계가 필요하지 않다. 또한 우리는 상대적 2차원 위치가 어디에서 왜 도움이 되는지 식별하는 진단 프로토콜(위치 인코딩만을 분리하는 통제된 ablation 쌍, 이미지 수준 net-win 불일치 분석, 인코더 어텐션 시각화)을 도입한다. 이는 읽기 순서가 수평 직선에서 벗어나는 곡선, 회전, 원근 왜곡 배치에서 해당된다. 6개의 표준 벤치마크(IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP)에서 성능 향상은 바로 이러한 불규칙 배치에 집중되며, ablation은 1D RoPE 및 2D 사인·학습 가능 대안과 각 설계 선택을 분리한다.

arXiv:2604.01206v2cs.CL

RELISH: 잠재 반복 상태 헤드를 활용한 LLM 회귀

RELISH: LLM REgression with a Latent Iterative State Head

본 논문에서는 대규모 언어 모델을 이용한 텍스트 회귀를 위해 설계된 새롭고 경량화된 아키텍처인 RELISH(REgression with a Latent Iterative State Head)를 제안한다. RELISH는 수치 목표값을 텍스트로 디코딩하거나 여러 생성 출력을 집계하는 방식 대신, 동결된 LLM 표현으로부터 스칼라 값을 직접 예측한다. 구체적으로, 토큰 수준 표현에 대한 크로스-어텐션을 통해 학습된 잠재 상태를 반복적으로 정제한 뒤, 선형 회귀기로 최종 상태를 점 추정값에 매핑한다. 6개의 데이터셋, 4가지 LLM 백본, 2가지 LLM 학습 체제에 걸쳐 RELISH는 자기회귀적 디코딩, 회귀 인식 추론, 기존 예측 헤드 방법을 포함한 세 가지 주요 LLM 회귀 계열의 모든 기존 기준선을 일관되게 능가한다. 이러한 성능 향상에도 불구하고, RELISH는 동결된 LLM 백본에서 학습 가능한 매개변수를 약 340만~370만 개만 필요로 하여(추가 오버헤드 0.01~0.04%에 불과) 매개변수 효율성이 매우 높으며, 모델 크기에 따라 증가하는 LoRA 기반 대안(0.26~0.42%)보다 훨씬 적다. 코드는 https://github.com/SamSoup/RELISH 에서 공개되어 있다.

arXiv:2607.09417v1cs.CV

SVF-CR: 멀티모달 양가성 및 망설임 인식을 위한 동기화된 시각-얼굴 교차 정제

SVF-CR: Synchronized Visual-Facial Cross-Refinement for Multimodal Ambivalence and Hesitancy Recognition

양가성(Ambivalence)과 망설임(Hesitancy)은 언어적 내용, 얼굴 행동, 시각적 맥락, 음향적 단서의 조합을 통해 표현되는 미묘한 행동 상태이다. 따라서 효과적인 인식을 위해서는 유익한 단일 모달 표현을 추출하는 것뿐만 아니라, 시간적으로 정렬된 행동 증거가 모달리티 간에 어떻게 상호작용하는지를 모델링하는 것도 필요하다. 본 논문에서는 양가성 및 망설임 인식을 위한 쌍별(pairwise) 멀티모달 증거 융합을 갖춘 동기화된 시각-얼굴 교차 정제 프레임워크(SVF-CR)를 제안한다. 제안된 방법은 먼저 동일한 시간 분할을 사용하여 전체 비디오 세그먼트 토큰과 잘린 얼굴 세그먼트 토큰을 추출한다. 동기화된 시각 토큰과 얼굴 토큰은 모달리티 내 셀프 어텐션과 양방향 시각-얼굴 교차 어텐션(cross-attention)을 통해 정제되며, 이를 통해 전체 비디오 컨텍스트와 지역적 얼굴 행동이 증거 구성 전에 서로를 상호 정제할 수 있다. 이후 일관성(consistency) 및 불일치(discrepancy) 모델링을 사용하여 세그먼트 수준의 시각-얼굴 증거를 구성하고, 이어서 시간적 셀프 어텐션과 어텐션 풀링을 적용한다. 텍스트 및 음향 특징은 컨텍스트 셀프 어텐션을 통해 가볍게 정제되며, 최종 의사결정 단계에서 쌍별 증거 융합을 사용하여 강화된 시각-얼굴 증거와 융합된다. BAH(Behavioral Ambivalence/Hesitancy) 공개 평가 분할에 대한 실험 결과, 제안된 동기화된 시각-얼굴 교차 정제가 전역 시각-얼굴 토큰 융합 및 동기화된 증거 기준선(baseline) 모두에 비해 공개 macro-F1을 향상시키며, 공개 macro-F1 0.7156을 달성함을 보였다. 코드는 https://github.com/hiinnnii/BAH-Challenge-ECCV2026_SVF-CR 에서 확인할 수 있다.

arXiv:2607.08337v1cs.LG

AutoAnchor: 매니폴드 서로게이트로서의 크로스-어텐션을 활용한 Stable Diffusion 언러닝

AutoAnchor: Stable Diffusion Unlearning Using Cross-Attention as a Manifold Surrogate

텍스트-이미지 디퓨전 모델에서 유해·저작권 콘텐츠 생성을 제거하는 언러닝(unlearning) 과정이 불안정해지는 원인을 매니폴드 가설로 이론화하고, 크로스-어텐션 일관성 손실을 매니폴드 근접성의 대리 지표로 활용해 앵커를 자동 합성하는 두 단계 프레임워크 AutoAnchor를 제안한다. 실험 결과, AutoAnchor는 목표 개념 제거에서 CLIP 점수 최대 31.04%, 비목표 유용성에서 최대 4.18% 향상을 달성하며 기존 언러닝 방법에도 플러그인 형태로 통합 가능하다.

arXiv:2606.27671v1cs.CV

도시 전자기장 지도 예측을 위한 다중 모달 조건 고해상도 트랜스포머

Multi-Modal Conditioned High-Resolution Transformer for Urban Electromagnetic Field Map Prediction Download PDF

도시 환경에서 전자기장(EMF) 강도를 예측하는 것은 셀룰러 네트워크 계획에 필수적이지만, 물리 기반 시뮬레이터를 사용하면 계산 비용이 크다. 건물 배치 이미지와 안테나 구성으로부터 500×500 EMF 지도를 생성하는 다중 조건 밀집 예측 프레임워크를 제안한다. 우리 아키텍처는 고해상도 트랜스포머(HRFormer) 백본을 사용하며, 두 가지 상보적 조건화 메커니즘을 갖는다. Feature-wise Linear Modulation(FiLM)은 스칼라 안테나 매개변수를 모든 백본 단계에 주입하고, 크로스 어텐션(cross-attention)은 가장 깊은 단계에서 1차원 방사 패턴 토큰과 공간 특징을 융합한다. 또한 안테나로부터의 거리, 근접성, 방위를 인코딩하는 송신기 상대 공간 채널을 도입하여, 좌표 일관 test-time augmentation(TTA)을 가능하게 하고 이를 통해 테스트 MAE를 6.3% 감소시킨다. EMF 지도 전반에 걸친 예측 난이도 불균형을 해결하기 위해, 마스크 L1, 다중 스케일 구조적 유사성(MS-SSIM), 고신호 픽셀에 가중치를 부여하는 focal L1 항을 결합한 복합 손실을 설계하여 모든 지표에서 개별 손실 구성 요소보다 우수한 성능을 달성한다. 최고 성능 모델은 테스트 MAE 0.0461을 달성하여, 단순 UNet 기준선 대비 25.2%, HRFormer만 사용한 기준선 대비 31.8% 개선을 보인다.

arXiv:2503.02064v2eess.IV공식 코드 · Papers with Code

CrossFusion: A Multi-Scale Cross-Attention Convolutional Fusion Model for Cancer Survival Prediction

Cancer survival prediction from whole slide images (WSIs) is a challenging task in computational pathology due to the large size, irregular shape, and high granularity of the WSIs. These characteristics make it difficult to capture the full spectrum of patterns, from subtle cellular abnormalities to complex tissue interactions, which are crucial for accurate prognosis. To address this, we propose CrossFusion, a novel multi-scale feature integration framework that extracts and fuses information from patches across different magnification levels. By effectively modeling both scale-specific patterns and their interactions, CrossFusion generates a rich feature set that enhances survival prediction accuracy. We validate our approach across six cancer types from public datasets, demonstrating significant improvements over existing state-of-the-art methods. Moreover, when coupled with domain-specific feature extraction backbones, our method shows further gains in prognostic performance compared to general-purpose backbones. The source code is available at: https://github.com/RustinS/CrossFusion

arXiv:2606.20532v1cs.AI

지시는 음성을 어떻게 형성하는가? 스타일 캡션 기반 텍스트 음성 변환을 위한 크로스 어텐션 귀인

How Do Instructions Shape Speech? Cross-Attention Attribution for Style-Captioned Text-to-Speech

스타일 캡션 기반 텍스트 음성 변환(TTS) 시스템은 자연어를 사용하여 음성 특성을 제어하지만, 개별 단어가 음향 출력에 미치는 영향은 여전히 불분명합니다. 이를 이해하는 것은 표현력 있는 TTS의 실패 모드를 진단하고 제어 가능성을 개선하는 데 중요합니다. 본 연구에서는 음성 확산 모델을 위한 크로스 어텐션 귀인(cross-attention attribution)을 제안하며, DAAM 프레임워크를 처음으로 음성 도메인에 적용하여 CapSpeech-TTS에 활용합니다. 제안하는 방법은 25개 층과 24개 ODE 단계에 걸쳐 토큰당 히트맵을 추출합니다. 30개의 텍스트 대본 생성을 각각 조건화하는 120개의 스타일 캡션으로 구성된 총 3,600개의 (스타일 캡션, 텍스트 대본) 조합을 분석하여, 캡션 토큰이 파형을 형성하는 방식을 규명합니다. 결과는 다음을 보여줍니다: (1) 스타일 토큰은 내용/기능 토큰보다 시간적 분산이 낮아 전역적 조건화를 확인하며; (2) 스타일 어텐션은 F0(기본 주파수) 및 에너지와 상관관계가 있고; (3) 스타일 조건화는 초기 단계와 깊은 층에서 정점을 이루며; (4) 어텐션 엔트로피는 층 17에서 최소가 되는데, 이는 스타일 중요도의 정점과 일치하며 가장 스타일이 중요한 단계에서 네트워크 선택성이 최대임을 나타냅니다. 이는 자연어가 음성 확산 모델 내 크로스 어텐션에 미치는 영향을 연구한 첫 번째 사례입니다.

arXiv:2603.13941v3cs.CV

다중모드 시맨틱 세그멘테이션을 위한 고해상도 RGB와 저해상도 하이퍼스펙트랄 입력의 양방향 크로스 어텐션 융합

Bidirectional Cross-Attention Fusion of High-Resolution RGB and Low-Resolution Hyperspectral Inputs for Multimodal Semantic Segmentation

이종 센서를 활용하는 다중모드 시맨틱 세그멘테이션은 공간 해상도와 채널 차원이 서로 다른 모달리티 간의 상호 보완적인 정보를 조화시켜야 합니다. 특히, 고해상도 RGB 이미징은 상세한 공간 구조를 제공하지만 시각적으로 유사한 재료를 구별하는 데 종종 실패하는 반면, 하이퍼스펙트랄 이미징(HSI)은 식별력 있는 스펙트럼 특징을 제공하지만 공간 해상도가 낮습니다. 본 논문에서는 국소적이고 양방향인 크로스 어텐션을 통해 고해상도 RGB와 저해상도 HSI를 원본 그리드에서 정렬하여 사전 업샘플링이나 조기 스펙트럼 붕괴를 방지하는 양방향 크로스 어텐션 융합(BCAF)을 제안합니다. BCAF는 RGB용 표준 Swin Transformer와 스펙트럼 셀프 어텐션을 통한 3D 토큰화로 스펙트럼 구조를 보존하는 HSI에 적용된 Swin 백본이라는 두 개의 독립적인 백본을 사용합니다. 평가는 RGB-HSI 융합을 대상으로 수행되었지만, BCAF는 모달리티에 독립적이며 더 낮은 해상도와 높은 채널 수를 가진 보조 센서와 정합된 RGB에도 적용할 수 있습니다. 벤치마크 SpectralWaste 데이터셋에서 BCAF는 초당 55장의 이미지 속도로 75.4%의 성능을 달성하여 강력한 성능을 보여주었습니다. 또한 새로운 산업용 데이터셋인 K3I-Cycling(Fordatis에 첫 번째 RGB 서브셋이 이미 공개됨)을 추가로 평가했습니다. 이 데이터셋에서 BCAF는 재료 세그멘테이션(종이, 금속, 플라스틱 등)에서 62.3% mIoU, 플라스틱 유형 세그멘테이션(PET, PP, HDPE, LDPE, PS 등)에서 66.2% mIoU를 달성했습니다. 이러한 결과는 원본 그리드의 공간적 세부 사항과 스펙트럼 구조를 보존하는 것이 실시간 제약 조건 하에서 다중모드 세그멘테이션을 향상시킴을 보여줍니다. 코드와 모델 체크포인트는 https://github.com/jonasvilhofunk/BCAF_2026에서 공개적으로 제공됩니다.