PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.01925v3cs.CL

ImplicitBBQ: 특성 기반 단서를 통한 대규모 언어 모델의 암묵적 바이어스 벤치마킹

ImplicitBBQ: Benchmarking Implicit Bias in Large Language Models through Characteristic Based Cues

대규모 언어 모델(LLM)은 인구통계학적 정체성이 명시적으로 언급될 때 편향된 출력을 점점 더 억제하지만, 정체성이 간접적으로 전달될 때는 여전히 암묵적 바이어스를 보일 수 있다. 기존 벤치마크는 이름 기반 대리 변수를 사용해 암묵적 바이어스를 탐지하는데, 이는 많은 사회·인구통계적 특성과 약한 연관성만을 갖고 연령이나 사회경제적 지위 같은 차원으로는 확장할 수 없다. 우리는 ImplicitBBQ를 제안한다. 이는 특성 기반 단서, 즉 암묵적으로 신호를 보내는 인구통계학적 연관 속성을 통해 암묵적 바이어스를 평가하는 QA 벤치마크로, 연령, 성별, 지역, 종교, 카스트, 사회경제적 지위를 아우른다. 11개 모델을 평가한 결과, 모호한 맥락에서의 암묵적 바이어스는 오픈 가중치 모델에서 명시적 바이어스보다 6배 이상 높다. 주목할 점은, 이 바이어스가 인구통계학적 특성에 따라 고르지 않게 분포한다는 것이다. 카스트가 가장 심각한 반면 성별은 가장 적게 영향을 받는다. 안전성 프롬프팅(safety prompting)과 사고의 연쇄(Chain-of-Thought) 추론은 이 격차를 실질적으로 좁히지 못한다. 암묵적 바이어스를 79% 줄이는 퓨샷(few-shot) 프롬프팅조차도 카스트 바이어스를 다른 어떤 차원보다 4배 높은 수준에 남긴다. 이러한 결과는 현재의 정렬(alignment) 및 프롬프팅 전략이 바이어스 평가의 표면적인 부분만 다루며, 인구통계학적 연관 고정관념은 대체로 해결하지 못하고 있음을 시사한다. 우리는 모델 제공자와 연구자가 잠재적 완화 기법을 벤치마킹할 수 있도록 코드와 데이터셋을 공개한다.

arXiv:2607.12332v1cs.LG

무한소 초기화 하에서 대각 선형 신경망의 그래디언트 흐름 역학과 암묵적 바이어스

Gradient Flow Dynamics and Implicit Bias of Diagonal Linear Networks under Infinitesimal Initialization

무한소 초기화 하에서 회귀 작업에 대한 대각 선형 신경망의 그래디언트 흐름 역학을 연구한다. Pesme & Flammarion (2023)의 정리 1을 확장하여, 분석을 심층 대각 선형 신경망과 더 넓은 범주의 2층 대각 선형 신경망(정의 4.1에 정의된 것) 모두에 대해 일반화한다. 구체적으로, 이러한 모델의 학습 궤적이 제안된 알고리즘 1에 의해 동등하게 특성화될 수 있음을 보인다. 나아가 이 알고리즘이 수정된 $ \mathcal{l}_1 $ 노름 최소화 문제의 해로 수렴함을 증명한다. 그 결과, 무한소 초기화 영역에서 두 신경망 구조 모두의 암묵적 바이어스가 수정된 $ \mathcal{l}_1 $ 노름에 해당함을 확립한다. 또한 구조적 불변 다양체(Structural Invariant Manifold, SIM)(Zhao et al., 2026)를 이러한 역학을 지배하는 핵심 기하 구조로 식별함으로써, 학습 과정을 형성하는 근본 메커니즘에 대한 통찰을 제공한다.

arXiv:2607.07156v2cs.LG

암묵적 바이어스의 해부: 신경망 학습에서의 정보 할당

The Anatomy of Implicit Bias: Information Allocation in Neural Network Training

암묵적 바이어스(implicit bias)는 일반적으로 최적화 과정이 특정 최종 해(solution)와 그 기하학적 구조를 선호하는 경향으로 설명된다. 이 관점은 모델이 최종적으로 수렴하는 지점을 설명하는 데 도움을 주지만, 학습 과정에서 이 바이어스가 어떻게 형성되는지에 대한 직접적인 설명은 부족하다. 본 논문은 학습 시점의 정보 할당(information allocation) 관점을 제안한다. 이 관점에서 최적화는 매개변수 경로, 좌표 채널, 샘플 영역에 걸쳐 오차 신호에 대한 쓰기 패턴을 형성한다. 본 논문은 관측 가능한 할당 진단 지표 집합을 구축한다. 이 진단 지표들에는 그래디언트 수요(gradient demand), 실제 업데이트 주입량, 지수 이동 평균(exponential moving averages)에 의해 유발되는 좌표 이득, 채널 수준 업데이트 비율, 샘플별 손실 분포가 포함된다. 학습 진행 상황과 내부 할당을 분리하기 위해, 본 논문은 붕괴-지속(collapse–persistence) 분석을 도입한다. 동일한 학습 손실 조건 하에서, 외부 손실 통계는 붕괴하지만 내부 할당 비율이 분리된 상태로 유지된다면, 해당 요인은 학습 신호의 내부 할당을 변경하는 것이다. 전반적으로, 본 논문은 암묵적 바이어스의 분석을 최종 해의 기하학적 구조에서 학습 시점의 신호 할당으로 확장한다. 핵심 주장은, 암묵적 바이어스가 최종 해에만 반영되는 것이 아니라, 학습 과정에서 어떤 매개변수 경로, 좌표 채널, 샘플 영역이 오차 신호를 먼저 그리고 더 강하게 수신하는지에도 반영된다는 것이다. 이 관점을 바탕으로, 본 논문은 다양한 학습 요인들을 통합된 정보 할당 진단 프레임워크에 배치한다. 이 프레임워크는 학습 시점 암묵적 바이어스에 대한 메커니즘 수준의 설명을 제공하며, 학습 진행과 신호 할당을 별도로 제어하는 미래의 최적화 방법을 위한 기반을 마련한다.

arXiv:2607.06013v1cs.LG

Stability Annealing Selects the Implicit Bias of Smoothed Sign Descent: A Rate-Indexed Barrier Path on Separable Data

수치 안정 상수를 지수적으로 어닐링(annealing)하는 smoothed-sign descent의 암묵적 편향(implicit bias)을 분리 가능 데이터의 선형 분류 설정에서 이론적으로 분석하여, 정규화 반복이 마진 슬라이스 위의 Burg-type 볼록 장벽 최소화 문제의 해로 수렴함을 증명하였다. 이 수렴은 오목 쌍대 목적 함수에 대한 엔트로픽 미러 어센트(entropic mirror ascent)와 KL 재귀를 통해 엄밀히 규명되며, 실험을 통해 부동소수점 수준의 쌍대 항등식 검증과 rate-indexed 장벽 경로를 확인하였다.

arXiv:2607.03613v1cs.LG

다변량 렐루 네트워크에서 SGD의 암묵적 편향: 유효 너비 붕괴

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

다변량 회귀를 위한 광폭 2층 ReLU 네트워크를 잡음이 있는 SGD로 학습할 때, 평균장(mean-field) 체제에서 학습 동역학이 Wasserstein 그래디언트 흐름으로 근사되며 이 정상 측도(stationary measure)의 구조를 분석한다. 네트워크가 무한히 과매개변수화되어 있음에도 불구하고, 학습된 예측자의 입력 가중치와 바이어스가 최대 $2\mathcal{P}-1$개의 유한한 방향으로 정렬되는 유효 너비 붕괴(effective width collapse)가 발생하며, 학습된 표현의 복잡도가 학습 데이터의 조합론적 기하학에 의해 결정됨을 증명한다.

arXiv:2606.28464v1cs.LG

심층 모노미얼 네트워크에서의 특이 학습과 오컴의 면도날

Singular Learning and Occam's Razor in Deep Monomial Networks

신경망 최적화에서 그래디언트 역학은 모델 아키텍처로부터 발생하는 임계점의 영향을 받는다. 이러한 임계점은 모델 매개변수화의 야코비안(Jacobian)이 계수 결핍(rank-deficient)인 곳에서 나타나며, 특이 학습 이론(Singular Learning Theory)에서 연구되는 가장 두드러진 특이점에 해당한다. 우리는 Mason 정리와 같은 다항 대수 도구를 활용하여, 모노미얼 활성화 함수를 사용하는 심층 완전 연결 네트워크에서 이러한 임계점을 분석한다. 충분히 큰 활성화 차수에 대해, 임계성은 정확히 서브네트워크, 즉 일부 뉴런이 비활성 상태이거나 중복된 매개변수 구성에서만 발생함을 증명한다. 이는 심층 신경망의 암묵적 바이어스(implicit bias)에 대한 수학적 관점을 제시하며, 이러한 모델이 더 단순한 함수로 수렴하는 경향을 설명한다.

arXiv:2602.11557v2cs.LG

미니배치 확률적 그래디언트를 활용한 최속강하법의 암묵적 바이어스

The Implicit Bias of Steepest Descent with Mini-batch Stochastic Gradient

SignSGD와 Muon 같이 널리 사용되는 다양한 최적화 방법들은 서로 다른 노름(norm) 유도 기하학 하에서 최속강하법(steepest descent)의 사례로 해석될 수 있다. 본 연구에서는 다중 클래스 분류(multi-class classification) 문제에서 미니배치 확률적 최속강하법의 암묵적 바이어스를 분석하고, 일반적인 원소별(entry-wise) 노름 및 Schatten-$p$ 노름 하에서 배치 크기, 모멘텀, 분산 감소(variance reduction)가 극한적 최대 마진(max-margin) 거동과 수렴 속도에 어떻게 영향을 미치는지 특성화한다. 모멘텀이 없는 경우, 최악의 경우 수렴과 성공적인 분류는 전체 배치(full-batch) 그래디언트를 사용할 때만 보장될 수 있음을 보인다. 반면, 모멘텀은 배치-모멘텀 트레이드오프를 통해 소규모 배치에서도 근사적 최대 마진 해로의 수렴을 가능하게 하지만, 수렴 속도는 느려진다. 본 접근법은 기존 결과를 개선하는 완전히 명시적이고 차원에 무관한(dimension-free) 수렴률을 제공한다. 또한 분산 감소를 적용하면 임의의 배치 크기에서도 정확한 전체 배치 암묵적 바이어스를 회복할 수 있음을 증명하지만, 수렴 속도는 더 느리다. 마지막으로, 모멘텀이 없는 배치 크기 1의 최속강하법을 추가적으로 분석하고, 구체적인 데이터 예제를 통해 이것이 근본적으로 다른 바이어스로 수렴함을 밝혀, 순수 확률적 업데이트의 핵심적인 한계를 드러낸다. 전체적으로, 본 통합 분석은 확률적 최적화가 전체 배치 거동과 일치하는 시점을 명확히 하고, 확률적 그래디언트 최속강하 알고리즘의 학습 거동에 대한 심층 탐구의 토대를 마련한다.