PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.22695v2cs.AI

선형 표현 가설에 관한 서베이

A Survey on the Linear Representation Hypothesis

"선형 표현 가설(LRH, Linear Representation Hypothesis)"이라는 용어는 인공지능, 뇌과학, 인지과학의 다양한 하위 분야 전반에 걸쳐 등장해 왔습니다. 그러나 이전 연구들은 LRH를 반증 가능한 과학적 가설로 일관되게 다루지 않았습니다. 본 연구에서는 이러한 불일치를 분석하고, 기존의 이론적·방법론적 결과들이 어떻게 해석되어야 하는지에 미치는 영향을 살펴봅니다. 이러한 분석을 바탕으로, 선형 표현에 관한 주장은 모델, 표현의 위치, 특징(feature) 정의 및 평가 데이터셋에 대한 면밀한 검토를 통해서만 명확하게 정의될 수 있다고 주장합니다. 따라서 우리는 이러한 의존성을 명시화하여 해당 가설을 반증 가능한 과학적 주장으로 평가할 수 있도록 하는, 더욱 엄밀하게 정식화된 LRH를 제안합니다. 마지막으로, 연구 커뮤니티의 추가적인 관심이 필요한 몇 가지 중요한 미해결 과제들을 제시합니다.

arXiv:2610.10722v1cs.CV

LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용

LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation

본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.

arXiv:2609.27158v1cs.LG

선형 표현 가설에는 군 작용이 필요하다

The Linear Representation Hypothesis Needs a Group Action

특정 학습된 모델을 넘어 일반화되는 표현(representation)에 대한 주장을 펼치려면, 두 표현이 언제 동등하다고 간주되어야 하는지 명시해야 합니다. 선형 표현 가설(Linear Representation Hypothesis)은 종종 이러한 동등성을 명시하지 않은 채 논의됩니다. 서로 다른 동등성 개념은 서로 다른 구조를 보존하므로, 동일한 표현을 연구하는 것처럼 보이는 지표(metric), 프로브(probe), 개입(intervention)이 실제로는 서로 다른 가설에 대응할 수 있습니다. 따라서 우리는 선형 표현 가설이 단일한 가설이 아니라 표현 동등성에 의해 구별되는 일련의 주장 군(family of claims)이라고 주장합니다. 우리는 모델 아키텍처에 의해 부과되는 동등성을 고려하면서 표현 대상, 이를 생성하는 절차, 궁극적으로 주장되는 특성을 명시하여 군 작용(group action)을 통해 이 아이디어를 정식화합니다. 이 프레임워크는 지표, 판독 시점(reading point), 분석 단계에 걸쳐 가정이 어떻게 달라질 수 있는지를 명확히 하며, 우리는 이를 활용해 일반적인 표현 측정치와 최근의 해석 가능성 분석을 점검합니다.