PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09061v1cs.CV

시각적 추론에서의 지역성과 길이 일반화에 관하여

On Locality and Length Generalization in Visual Reasoning

인간 시각 시스템의 두드러진 특징은 단일 전역 연산이 아닌 일련의 국소 중심와(foveated) 관찰을 통해 시각 정보를 처리한다는 점이다. 이는 이미지를 전역적으로 단번에 입력받는 오늘날의 대부분의 인기 있는 컴퓨터 비전 모델과 인간 시각을 근본적으로 구별짓는다. 따라서 자연스럽게 제기되는 질문은, 지역적·순차적 비전 모델이 전역 모델보다 생물학적으로 더 타당할 뿐만 아니라 근본적인 계산상의 이점도 제공할 수 있는가이다. 본 연구에서는 이 질문을 시각적 상태 추적(visual state tracking)과 길이 일반화(length generalization)의 관점에서 탐구한다. 언어 모델의 길이 일반화에 관한 최근 연구들에서 영감을 받아, 이미지 전반에 걸쳐 국소 정보를 집계해야 하는 단순 시각 과제로 학습된 비전 모델의 동작을 연구한다. 실험 결과, 언어 모델과 유사하게 비전 모델도 전역적 지름길(shortcut)을 활용하도록 학습될 수 있으며, 이로 인해 과제 길이나 복잡도에 대한 일반화에 실패할 수 있음을 밝혔다. 또한, 엄격하게 국소적인 지각에 기반한 순환 비전 정책(recurrent vision policy)이 이러한 실패를 완화하여 모델이 해당 과제들에서 일반화할 수 있도록 함을 보인다. 본 연구의 결과는 지역적 어텐션이 강건한 조합적 일반화(compositional generalization)를 위해 간과된 필수 요건일 수 있음을 시사한다.

arXiv:2510.16325v4cs.CV

UltraImageGen: Efficient Ultra-High-Resolution Image Generation with Hierarchical Local Attention

UltraImageGen은 FLUX, SD3 같은 최신 텍스트-이미지 확산 모델이 어텐션의 이차 복잡도로 인해 2MP 이하 해상도에 제한되는 문제를 해결하기 위해, 고해상도 잠재 변수를 고정 크기 로컬 윈도우로 분할하는 계층적 로컬 어텐션과 저해상도 전역 가이던스를 결합한 프레임워크다. 고해상도 학습 데이터 없이 256×256~1K×1K 데이터만으로 LoRA를 적응시켜, 8K 이상 해상도에서 밀집 어텐션 대비 10배 이상 추론 속도 향상과 대폭 낮은 메모리 사용량으로 최고 수준의 화질을 달성했다.

arXiv:2605.00768v3cs.CL

트랜스포머에서 지역 어텐션의 표현력 특성화

Characterizing the Expressivity of Local Attention in Transformers

트랜스포머는 언어 모델링을 위한 가장 널리 쓰이는 신경 아키텍처이다. 트랜스포머의 핵심은 전역(global) 어텐션 메커니즘이며, 이는 모델이 다음 토큰을 생성하기 전에 이전의 모든 토큰으로부터 정보를 집약하게 한다. 어텐션의 한 흔한 변형은 지역(local) 어텐션이라 불리며, 각 토큰이 선행 토큰들의 유한한 윈도우에서만 정보를 집약하도록 제한하여 전역 어텐션의 이차(quadratic) 비용을 선형(linear)으로 줄인다. 이 제한은 보통 효율성 때문에 도입되지만, 모델 품질을 향상시키는 것으로도 밝혀졌으며, 이 현상은 지금까지 만족스러운 설명이 없었다. 우리는 인식기(recognizer) 표현력의 관점에서 이 현상에 대한 형식적 설명을 제공한다. 고정 정밀도의 전역 어텐션 트랜스포머가 단일 과거(past) 연산자를 포함하는 선형 시간 논리(linear temporal logic)의 한 단편(fragment)에 대응함이 밝혀졌다. 또한 지역 어텐션을 추가하면 두 번째 시간 연산자가 도입되어 인식 가능한 정규 언어(regular languages)의 클래스를 엄격히 확장함을 증명한다. 더 나아가 전역 어텐션과 지역 어텐션은 표현력 측면에서 상보적이다: 어느 쪽도 다른 쪽을 포괄하지 않으며, 이 둘을 결합하면 가장 풍부한 단편이 된다. 형식 언어 인식과 자연어 모델링 실험이 이론을 뒷받침하며, 전역-지역 하이브리드 트랜스포머가 전역만 사용하는 트랜스포머보다 우수함을 보여준다.