PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2512.00665v2stat.ML

역혼합 플로우를 위한 자급자족 독립 성분 분석

Self-sufficient Independent Component Analysis for Demixing Flows

본 연구에서는 비선형 독립 성분 분석(ICA)을 사용하여 데이터로부터 얽힘이 풀린(disentangled) 신호를 학습하는 문제를 다룬다. 자기지도학습(self-supervised learning)의 발전에 착안하여, 우리는 '자급자족적(self-sufficient)' 신호를 학습할 것을 제안한다. 즉, 복원된 신호의 나머지 값들이 주어졌을 때 다른 신호들을 관찰하더라도 결측값의 조건부 분포가 변하지 않아야 한다는 것이다. 우리는 이 문제를 조건부 KL 발산(KL divergence) 최소화 문제로 정식화한다. 제안하는 알고리즘은 모수적 소스 밀도(parametric source densities)나 관측 가능도(observation likelihood)를 규정하지 않는다는 점에서 사전 분포 무관(prior-free) 및 가능도 무관(likelihood-free) 방식이다. KL 발산 최소화 문제를 해결하기 위해, 각 반복(iteration)마다 역혼합 플로우(de-mixing flow) 모델을 학습하는 순차적 알고리즘을 제안하며, 정확한 속도 및 모집단 투영 조건을 갖춘 이상적인 바세르슈타인 그래디언트 플로우(Wasserstein-gradient-flow) 변형에 대해 총 상관(total correlation)의 국소적 감소를 증명한다. 이 접근 방식은 KL 발산 최소화 시 흔히 발생하는 문제인 불안정한 적대적 학습을 완전히 피한다. 토이 데이터셋과 실제 데이터셋에 대한 실험을 통해 제안 방법의 효과성을 입증한다.

arXiv:2607.14081v2cs.LG

최적 수송을 통한 선형 독립 성분 분석

Linear Independent Component Analysis via Optimal Transport

선형 독립 성분 분석(ICA)은 선형 혼합 신호로부터 결합 독립적인 소스 신호들을 복원합니다. 이를 달성하기 위해 고전적인 ICA 알고리즘은 정보 이론을 통해 독립성과 연결되는 네겐트로피(negentropy)로 측정된 비가우스성(non-Gaussianity)을 최대화하고자 시도합니다. 정확한 네겐트로피 최적화는 다루기 힘들기 때문에(intractable), 4차 큐뮬런트나 모수적 로그 우도와 같은 대리 대조 함수(proxy contrast function)에 의존합니다. 우리는 그 대신 표준 가우스 분포까지의 제곱 $L_2$-바서슈타인 거리(squared $L_2$-Wasserstein distance)를 ICA 대조 함수로 사용할 것을 제안합니다. 우리는 표준 정규 분포와 데이터의 선형 투영 사이의 바서슈타인 거리가 투영이 독립 성분을 복원할 때 최대화되며, 소스에 대한 정규성 조건 하에서 이 최댓값이 명시적인 마진을 통해 모든 실제 혼합 신호와 분리됨을 보입니다. 또한 결과로 도출되는 추정량의 유리한 특성들을 밝혀냅니다. 매끄러운 밀도를 갖는 소스의 경우 닫힌 형태의 분산을 가지며 $\sqrt{N}$-일치성(consistent) 및 점근적 정규성을 보이는 반면, 원자(atom)를 갖는 소스의 경우 대조 함수가 참 방향에서 꺾임(kink)을 형성하여 1로 수렴하는 확률로 추정량이 정확해집니다. 제안하는 OT-ICA 알고리즘은 그래디언트 기반 최적화를 통해 이러한 투영을 찾습니다. 시뮬레이션 데이터에 대한 실증적 평가는 OT-ICA가 대리 기반 방법들보다 우수한 성능을 보이며, 잠재 변수의 다양한 분포 혼합에 대해 비가우스성을 측정할 때 $W_2^2$ 대조 함수가 대리 대조 함수보다 더 강건한 신호를 제공함을 보여줍니다. 선형 인과 얽힘 풀기(linear causal disentanglement)와 EEG 인공물 제거에 대한 적용 및 부록에 상세히 기술된 추가 적용 사례들은 OT-ICA가 분포 가정 없이도 응용 ICA 작업에 사용될 수 있음을 입증합니다.

arXiv:2606.11722v1cs.LG

ICA 렌즈: 별도의 사전 학습 없이 언어 모델 해석하기

ICA Lens: Interpreting Language Models Without Training Another Dictionary

언어 모델 표현에서 해석 가능한 방향을 찾는 것은 모델 동작을 이해하고 제어하는 데 중요합니다. 희소 오토인코더(SAE)가 이 목적을 위한 표준 도구가 되었지만, 기본적인 1차 렌즈로 사용하려면 큰 과완전 사전(overcomplete dictionary)을 학습(training), 저장, 평가해야 하는 경우가 많습니다. 이러한 병목 현상은 빠른 탐험(exploration)을 제한하며 근본적인 질문을 제기합니다: 또 다른 신경망 사전을 학습시키기 전에 활성화 기하학(activation geometry)에서 얼마나 많은 해석 가능한 구조가 이미 드러나는가? 우리의 직관은 간단합니다. 많은 해석 가능한 방향은 토큰에 대해 선택적이며, 이러한 방향은 무작위 방향보다 덜 가우시안(Gaussian) 분포를 따릅니다. 따라서 우리는 비가우시안 방향을 찾는 고전적인 방법인 독립 성분 분석(ICA)을 언어 모델 해석 가능성을 위한 간결한 렌즈로 재조명합니다. 연구 결과, ICA는 대규모 언어 모델(LLM) 해석 가능성에 대해 과소평가되어 왔습니다. 이는 이전 사용 사례들이 종종 LLM 활성화에서 취약한 기존 ICA 구현에 의존했고, 복원된 방향을 검사하고 평가하기 위한 체계적인 도구가 부족했기 때문입니다. 이러한 격차를 해소하기 위해 우리는 ICALens를 소개합니다. 이는 LLM 표현에 대한 안정적이고 효율적이며 검증 가능한 ICA 분석을 위한 첫 번째 실용적인 워크플로우입니다. ICALens는 최적화된 GPU 병렬 FastICA 파이프라인을 LLM 특화 안정성 레시피 및 더 나은 적합도 진단과 결합하여, 효율적이고 신뢰할 수 있는 층(layer)별 분석을 가능하게 합니다. GPT-2 Small, Gemma 2 2B, Qwen 3.5 2B Base에 걸쳐, ICALens는 층별 그래디언트(gradient) 기반 사전 학습 없이 간결하고 인간이 해석 가능한 방향을 효율적으로 복원합니다. SAEBench에서 ICA는 희소 프로빙(sparse probing)에서 공개 SAE와 대등한 성능을 보이며, 소규모에서 중규모 예산 하에서 타겟팅된 프로브 섭동(targeted probe perturbation)에서는 이를 능가합니다. 이러한 결과는 ICA가 약한 기준선(baseline)으로 간주되어서는 안 되며, 언어 모델(model) 표현을 탐험하기 위한 효율적이고 상호 보완적인 1차 렌즈로 간주되어야 함을 시사합니다.