PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.13566v2cs.AI

과학적 발견을 위한 AI의 3계층 프레임워크

A Three-Layer Framework for AI in Scientific Discovery

현재 과학적 발견에서의 AI에 대한 논의는 종종 두 가지 눈에 띄는 역량에 의해 지배된다: 기존 지식에 대한 탐색(search)과 최적화, 시뮬레이션, 자동화를 통한 실행(execution). 둘 다 중요하지만, 어느 쪽도 발견의 핵심 행위인 모델의 형성과 진화를 완전히 포착하지는 못한다. 본 논문은 발견에서의 AI에 대한 3계층 관점을 제안한다. 1계층은 대규모 언어 모델(LLM)에 의한 탐색(search)과 검색(retrieval)이다. 2계층은 본 논문의 핵심 혁신으로, 질적 추론(qualitative reasoning)을 통한 모델 형성(model formation)이다: 현재 프레임워크가 구조적으로 부적절함을 인식하고, 시행착오(trial and error)가 아니라 무엇이 빠져 있으며 어디에서 찾을 수 있는지에 대한 구조적 통찰(structural insight)을 통해 더 넓은 표현 공간(representational space) 안에서 문제를 이해하는 능력. 3계층은 실행, 최적화, 정교화(refinement)이다. 핵심 주장은 2계층이 가장 중요하면서 동시에 가장 덜 개발된 영역이라는 것이다. 모델 형성 없는 탐색은 기존에 물려받은 프레임워크에 갇혀 있고, 개념적 수정(conceptual revision) 없는 실행은 기존 공식화(formulation)를 증폭할 뿐이다. 우리는 세 가지 사례 연구를 통해 2계층 추론을 설명한다: S. S. Chern의 Gauss-Bonnet 정리의 내재적(intrinsic) 증명, Lyapunov 함수를 통한 Nesterov 가속 경사(Nesterov Accelerated Gradient) 수렴 문제의 해결, 그리고 2026년 OpenAI의 Erdős 단위 거리(Erdős unit distance) 추측의 자율적 반증(autonomous disproof). 각 사례는 동일한 구조적 특징을 보인다: 부적절해진 프레임워크, 빠진 개념적 객체(conceptual object), 예상치 못한 인접 분야에서 찾은 해결.

arXiv:2606.30226v1cs.LG

헤시안 고유벡터 변위 및 국소화를 통한 옵티마이저 의존적 학습 동역학 특성 분석

Characterizing Optimizer-Dependent Training Dynamics Through Hessian Eigenvector Displacement and Localization

헤시안 고유벡터의 변위(displacement)와 역참여율(Inverse Participation Ratio)을 통해 SGD와 Adam의 학습 동역학 차이를 분석한 결과, SGD는 상위 곡률 방향이 점진적으로 안정화되는 반면 Adam은 학습 전반에 걸쳐 고유벡터가 지속적으로 재조직화되고 소수 파라미터에 곡률이 집중되는 국소화 현상을 보임을 확인하였다.