PyTorchKR Papers

업데이트된 논문

총 13편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2506.03199v3q-bio.QM

염색체 불안정성 예측을 위한 양자 인지 기계학습

Quantum Cognition Machine Learning for Forecasting Chromosomal Instability

순환 종양 세포(CTC)의 형태로부터 염색체 불안정성을 정확하게 예측하면, 액체 생검 진단에서 전이 가능성이 높은 CTC를 실시간으로 검출할 수 있다. 그러나 단일 세포 디지털 병리 데이터의 높은 차원성과 복잡성 때문에 이는 상당한 난제이다. 본 연구에서는 양자에서 영감을 받은 계산 프레임워크인 양자 인지 기계학습(QCML)을 적용하여 전이성 유방암 환자의 CTC에서 형태로 예측되는 염색체 불안정성을 추정한다. QCML은 양자역학 원리를 활용하여 데이터를 힐베르트 공간의 상태 벡터로 표현함으로써, 별도의 특징 선택 없이도 맥락 인지형 특징 모델링, 차원 축소, 향상된 일반화를 가능하게 한다. QCML은 표본 외 검증 CTC에서 시험했을 때 기존 기계학습 방법보다 우수한 성능을 보였으며, CTC 유래 형태 특징으로부터 예측된 대규모 상태 전이(pLST) 상태를 식별하는 데 더 높은 정확도를 달성하였다. 이러한 예비 결과는 QCML이 고차원·저표본 생물의학 환경에서 우수한 성능을 지닌 새로운 기계학습 도구로 적용될 수 있음을 뒷받침한다. QCML은 인지와 유사한 학습을 모사하여 CTC 형태로부터 생물학적으로 의미 있는 염색체 불안정성 예측을 식별할 수 있게 하며, 액체 생검에서 CTC 분류를 위한 새로운 도구를 제공한다.

arXiv:2609.38840v3cs.LG

scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기

scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning

단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.

arXiv:2602.02190v3stat.ML

확률 측도의 PCA: 희소 및 조밀 표본추출 영역

PCA of probability measures: Sparse and Dense sampling regimes

확률 측도에 대해 PCA를 수행하는 일반적인 접근법은 이를 표준 함수형 PCA 기법을 적용할 수 있는 힐베르트 공간에 임베딩하는 것이다. 하나의 측도의 임베딩을 $m$개의 표본으로부터 추정할 때의 수렴 속도는 잘 알려져 있으나, 여러 측도를 다루는 설정은 기존 문헌에서 다루어지지 않았다. 본 논문에서는 $n$개의 확률 측도가 관측되고 각각이 $m$개의 표본을 통해 관측되는 이중 점근 영역에서 PCA를 연구한다. 우리는 경험적 공분산 연산자와 PCA 초과 위험에 대해 $n^{-1/2} + m^{-\alpha}$ 형태의 수렴 속도를 유도하며, 여기서 $\alpha>0$은 선택한 임베딩에 따라 달라진다. 이는 측도의 개수 $n$과 측도당 표본 수 $m$ 사이의 관계를 규명하며, 수렴 거동에서 희소(작은 $m$)에서 조밀(큰 $m$)로의 전이가 나타남을 보여준다. 더 나아가, 조밀 영역의 속도가 경험적 공분산 오차에 대해 미니맥스 최적임을 증명한다. 수치 실험은 이러한 이론적 속도를 검증하고, 적절한 부표본추출이 계산 비용을 줄이면서도 PCA 정확도를 보존함을 보여준다.

arXiv:2607.01571v2cs.LG

추론의 기하학적 특징: 과제 난이도에 대한 스펙트럼적 관점

Geometric Signatures of Reasoning: A Spectral Perspective on Task Hardness

사고의 연쇄(CoT) 추론은 대규모 언어 모델(LLM)이 중간 추론 단계를 생성하여 복잡한 문제를 풀 수 있게 한다. 이러한 추론 사슬의 길이와 내용에는 많은 관심이 기울여져 왔지만, 그 내부 기하에 대해서는 훨씬 덜 알려져 있다. 우리는 트랜스포머 모델의 은닉 상태 공간에서 CoT 궤적의 기하를 연구하며, 각 추론 사슬을 $\mathbb{R}^d$ 상의 이산 곡선으로 형식화하고 스펙트럼, 위치, 운동학적 기하 범함수를 통해 특성화한다. 궤적 복잡도의 척도로 유효 차원 $d_\rho$를 도입하고, 더 어려운 과제일수록 더 큰 유효 차원을 보임을 실험적으로 보인다. 마지막으로 궤적의 운동학적 특징, 즉 평균 위치, 위치 분산, 초기 및 최종 은닉 상태, 평균 속도, 평균 속력, 속력 분산이 생성이 완료되기 전에 풀이의 정답 여부를 예측하는 데 사용될 수 있음을 탐구하며, 이는 향후 조기 종료 전략에 활용될 수 있다. 실험적으로 MATH500 데이터셋의 86개 수학 추론 문제와 세 가지 Qwen2.5 모델 규모(0.5B, 1.5B, 7B)에서 $d_\rho$는 각각 $0.90$, $0.94$, $0.96$의 난이도 예측 AUROC를 달성한다. 일곱 가지 운동학적 및 위치 특징은 생성된 토큰의 처음 $20\%$만으로 정답 여부를 예측하며, 규모 전반에서 AUROC는 $0.77$에서 $0.88$ 사이이다. 이러한 정답성 특징은 보류된 질문 간에도 전이되어, 모델의 내부 추론 궤적의 형태가 과제 난이도와 풀이 품질 모두를 들여다볼 수 있는 원리적 창임을 확립한다.

arXiv:2512.17473v4eess.SP

비선형 행렬 분해를 위한 교차 방향 승수법

Alternating Direction Method of Multipliers for Nonlinear Matrix Decompositions

우리는 비선형 행렬 분해(NMD)를 해결하기 위해 교차 방향 승수법(ADMM)에 기반한 알고리즘을 제시합니다. 입력 행렬 $X \in \mathbb{R}^{m \times n}$과 인수분해 랭크 $r \ll \min(m, n)$가 주어지면, NMD는 $X \approx f(WH)$를 만족하는 행렬 $W \in \mathbb{R}^{m \times r}$와 $H \in \mathbb{R}^{r \times n}$을 찾습니다. 여기서 $f$는 요소별(element-wise) 비선형 함수입니다. 우리는 음수가 아닌 희소 데이터 근사에 적합한 정류 선형 유닛(ReLU) 활성화 $f(x) = \max(0, x)$, 확률적 회로 표현에 적용 가능한 요소별 제곱 $f(x) = x^2$, 그리고 추천 시스템과 관련된 MinMax 변환 $f(x) = \min(b, \max(a, x))$를 포함하여 여러 대표적인 비선형 모델에서 우리의 방법을 평가합니다. 제안된 프레임워크는 최소제곱법(least squares), $\ell_1$ 노름, 쿨백-라이블러 발산(Kullback-Leibler divergence)을 포함한 다양한 손실(loss) 함수를 유연하게 지원하며, 다른 비선형성과 메트릭으로 쉽게 확장될 수 있습니다. 우리는 실제 데이터셋(dataset)에서 이 접근 방식의 적용 가능성, 효율성, 적응성을 입증하여 광범위한 응용 분야에 대한 잠재력을 강조합니다.

arXiv:2607.06089v2math.ST

타원형 마할라노비스 판별 분석을 위한 폐형식 분수 방사형 링크

Closed-form fractional radial links for elliptical Mahalanobis discriminant analysis

우리는 두 클래스가 공유된 반경 생성자 $g$를 갖는 타원형 분포일 때의 이진 분류를 연구한다. 이때 로그 우도비는 두 제곱 마할라노비스 반경의 가법 함수이며, 반경 링크는 $\varphi=\log g$이다. 가우시안 클래스에서는 $\varphi$가 아핀이며 규칙은 이차 판별분석(QDA)으로 환원되고, 그렇지 않으면 베이즈 링크는 항등이 아니다. 이 링크를 스플라인 평활기로 적합하는 대신, 우리는 반경의 클래스 내 분포로부터 그 족을 유도하고 유한 분수 거듭제곱 사영을 추정한다. 반경 분포로부터 링크가 식별 가능하며, 플러그인 추정량이 유한 적률 조건에서 $\sqrt{n}$-일치성과 점근 정규성을 가지고, 유도된 분류기가 반복된 시브(sieve) 극한에서 점근적으로 베이즈 최적임을 증명한다. $d\ge2$이고 비중첩 클래스 모수인 경우, 항등 링크는 아핀(가우시안) 생성자에서만 충분하다. 이 브리지, GAM 소속, 그리고 이 이분법의 아핀 방향은 Lean 4에서 검증되었다. 우리는 Ghosh et al. (2025)의 전역 마할라노비스-GAM을 동일한 입력 예산으로 mgcv REML 스플라인을 사용해 재구현하여 비교한다. 두 UCI 벤치마크에서 유도된 링크는 적합된 GAM과 대등하다. 세 자산군의 금융 시계열 여섯 개에서, 시간 의존성을 존중하는 검증을 사용하면 적합된 GAM보다 유의하게 나쁜 경우가 없으며, CAD/USD에서는 더 낫고 나머지 다섯 개에서는 대등하다. 꼬리가 가장 두꺼운 세 시계열(원유 $[+0.023,+0.069]$, S&P 500 $[+0.039,+0.125]$, JPY/USD $[+0.009,+0.047]$)에서는 QDA를 능가하고 나머지에서는 대등하다. 닫힌 형태의 기준값을 갖는 속도 시뮬레이션은 $\sqrt{n}$ 속도를 재현하며, 공분산 이질성 하에서 QDA의 위험 하한과 유도된 링크의 소멸하는 초과 위험을 대비하여 보여 준다. 따라서 유도된 링크는 평활 모수 선택 없이도 조정된 GAM에 필적하며, 생성자가 가우시안에서 벗어나는 경우 QDA를 개선한다.

arXiv:2607.10430v2q-bio.NC

인공 신경망에서 표현 학습을 통한 창발적 일반화

Emergent Generalization by Representation Learning in Artificial Neural Networks

차원 축소는 고차원 신경 활동의 기저에 있는 저차원 구조인 신경 다양체를 식별하는 데 강력한 것으로 입증되었다. 이러한 저차원 표현은 집단 수준 부호화의 해석 가능성을 높여 왔다. 그러나 이러한 저차원 표현이 생물학적으로 의미가 있고 학습 시스템에서 기능적 이점을 제공하는지, 아니면 단지 뉴런 수준의 활동을 반영할 뿐인지는 신경과학에서 여전히 논쟁 중이다. 우리는 순환 신경망이 저차원 표현을 학습하도록 강제하는 명시적 정보 병목이 시계열 예측 과제에서 회전 일반화와 분포 외 일반화에 필수적임을 보인다. 인과적 창발에 대한 정보 이론적 측정치를 사용하여 암기에서 일반화로의 전이 전반에 걸친 이 표현의 동역학을 규명한 결과, 예측 손실이 단조롭게 감소하는 동안에도 초기 감소, 최소값, 이후 최대값까지의 상승을 보이는 비단조적 궤적을 발견했다. 이 궤적은 과제 복잡도에 따라 변하며, 창발적 구조의 크기는 일반화 성능을 신뢰할 수 있게 예측한다. 교대 미로 과제를 학습하는 쥐의 해마 CA1과 내측 전전두엽 활동을 분석하면 행동 수행을 따라가는 유사한 비단조적 창발 동역학이 나타난다. 이러한 결과는 종합하면 신경망이 간결하고 분산되며 창발적인 표현을 학습하는 능력이 일반화에 기능적 이점을 제공함을 시사하며, 인지에서 학습된 표현이 인과적 역할을 한다는 주장을 뒷받침한다.

arXiv:2510.01335v3cs.LG

HomID: 비등방성 임베딩을 갖는 동차 다양체 기반 내재적 차원 추정기 벤치마킹

HomID : Benchmarking Intrinsic Dimension Estimators on Homogenous Manifolds with Anisotropic Embeddings

다양체 가설은 데이터가 주변 차원보다 작은 내재 차원(ID)을 갖는 다양체 위에 놓여 있다고 본다. 그러나 현실적인 데이터셋에 대해 서로 다른 추정기가 내놓는 ID 추정값에는 경험적 합의가 없다. 따라서 표적화된 스트레서(stressor)로 ID 추정기(IDE)를 시험하는 것이 중요하다. 본 연구에서는 비등방성의 역할을 고려한다. 이를 위해 ID 추정기를 벤치마킹하기 위한, 비등방성 임베딩을 갖는 동차 공간의 모음인 HomID를 제안한다. 표준 벤치마크에서 우수한 성능을 보이는 방법들이 동일한 자원 할당 하에서 HomID에서는 체계적으로 성능이 저하됨을 관찰한다. 또한 이러한 벤치마크에 비등방성 왜곡을 가해도 성능 저하가 발생함을 관찰한다. 마지막으로, 제어된 비등방성 왜곡이 이들 방법이 의존하는 분포에 체계적인 변화를 유발함을 보이며, 이를 통해 두 가지 특정 IDE에서 나타나는 추정 오차의 구체적인 메커니즘을 제시한다. 프로젝트 코드는 https://github.com/a-writes-code/homid 에서 이용할 수 있다.

arXiv:2607.07888v2cs.LG

OLS 회귀를 위한 데이터 분할에 대한 분산 스케칭

Distributed Sketching on Data Partitions for OLS Regression

본 논문은 분산 스케치에 기반한 최소제곱(OLS) 회귀의 확장 가능한 접근법을 연구한다. 대규모 데이터 집합의 작은 스케치를 여러 워커에 분산하고, 각 워커가 자신의 스케치로부터 로컬 OLS 추정량을 구성하며, 로컬 추정량들을 평균하여 전역 추정량을 얻는다. 기존 연구는 각 스케치가 전체 데이터로부터 생성된다고 가정하지만, 이 스케치 단계는 계산 비용이 높아 때로는 표준 OLS보다 더 높다. 이에 우리는 데이터를 분할한 부분집합으로부터 각 스케치를 생성할 것을 제안하며, 이로써 워커 수가 늘어날수록 스케치 비용이 감소한다. 고정 설계 설정에서 전역 추정량의 정확한 초과 손실을 규명한다. 이 손실은 기존 연구에서 확립된 손실보다 크지만, 부분집합 공분산 간의 평균 Burg 발산이 작을 때는 그에 가깝게 유지된다. 제안한 분할 설계에서는 워커가 많을수록 발산이 커지는 경향이 있으므로, 이는 추정량의 계산 효율성과 통계적 효율성 사이의 상충 관계를 드러낸다.

arXiv:2606.18587v2cs.CL

지역 및 전역 어텐션을 위한 이중 차원성

Dual Dimensionality for Local and Global Attention

디코더 전용 Transformer는 이전 토큰들의 KV 캐시에 대해 어텐션을 계산한다. Key와 Value는 예측 대상과의 거리에 관계없이 일반적으로 동일한 차원으로 표현된다. 그러나 자연어에서는 다음 단어가 바로 앞의 토큰들에 의해 가장 강하게 영향을 받는다. 우리는 지역 토큰과 먼 토큰이 표현 용량에 대해 비대칭적인 요구를 가진다고 가설을 세운다. 즉, 지역 토큰은 즉각적인 출력 예측에 더 중요하므로 더 풍부한 표현이 필요한 반면, 먼 토큰은 주로 장거리 기억으로 기능하므로 더 낮은 차원의 표현으로 충분할 수 있다. 우리는 이 아이디어를 거리 적응형 표현(Distance-Adaptive Representation, DAR)으로 정식화한다. DAR은 지역 컨텍스트 윈도우 내에서는 전체 차원 표현을 유지하고, 그 윈도우를 벗어난 토큰에는 축소된 차원(예: 원래 차원의 1/2 또는 1/4)의 표현을 할당한다. 여러 사전학습 규모(70M~410M 파라미터)와 1B 규모 모델에서의 지속적 지도 미세조정에서 이 접근법은 전체 차원 기준선의 성능에 근접한다. 반면 모든 토큰 위치에 걸쳐 차원을 균일하게 줄이면 성능이 더 나빠진다. 이러한 결과는 key와 value의 차원이 토큰 위치에 관계없이 균일해야 한다는 통상적인 가정에 의문을 제기한다. 우리는 또한 DAR의 효율적인 구현을 개발하여, 평가한 모델에서 MLA 기준선과 비슷한 모델 품질을 달성하면서 8K 컨텍스트에서 평균 KV 캐시 크기를 68.8% 줄이고 128K 컨텍스트에서 최대 $1.9\times$의 디코딩 속도 향상을 얻었다. 본 연구 결과는 추론 중 KV 캐시를 줄이기 위해 토큰 거리에 따라 표현 용량을 할당하는 어텐션 아키텍처 설계의 새로운 방향을 시사한다.

arXiv:2607.03487v2cs.LG

상호 정보량 추정을 위한 다양하고 포괄적인 벤치마크를 향하여

Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation

상호정보량 추정은 기계학습과 통계학의 핵심 문제이지만, 기존 벤치마크는 대개 단순화된 저차원 분포에서 추정기를 평가하므로 복잡하고 현실적인 데이터에서의 성능은 대체로 탐구되지 않았다. 우리는 기존 벤치마크를 특수한 경우로 포괄하는 통합 코퓰러 이론적 관점에 기반한 종합 벤치마킹 프레임워크로 이 간극을 해소한다. 이 프레임워크 안에서 두 가지 상보적인 테스트 계열을 제안한다. 하나는 합성 변환과 플로 기반 변환을 사용하여 정답 상호정보량, 차원, 주변분포 복잡도를 체계적으로 변화시키는 코퓰러 우선 계열이고, 다른 하나는 실제 이미지 데이터를 통제된 의존 구조와 결합하여 고전적인 동일 클래스 짝짓기 패러다임을 확장한 주변분포 우선 계열이다. 이 모음을 사용하여 비모수, 변분, 생성의 세 가지 추정기 부류를 폭넓게 평가한다. 통념과 달리 결과는 보편적인 승자가 없음을 보여주며, 각 범주는 특정 설정에서 다른 모든 추정기를 체계적으로 능가할 수 있다. 이러한 사례를 분석하여 근본적인 추정 장벽을 규명하고, 이러한 특정 한계를 더 효과적으로 시험하는 새로운 테스트를 제안한다. 오픈소스 코드는 https://github.com/VanessB/mutinfo 에서 공유한다.

arXiv:2511.02496v3cs.LG

표현 품질의 빠진 축으로서의 기하: 데이터 부족 상황에서의 변분 기하 정보 병목

Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity

우리는 데이터가 부족한 학습에서 표현 품질의 명시적 구성 요소로서 잠재 기하를 연구한다. 인코더 (\phi)에 대해 (Q_{\beta,\gamma}(\phi)=I(\phi(X);Y)-\beta\mathcal C(\phi)-\gamma d_{\mathrm{int}}(\phi))를 정의하며, 이는 과제 관련 정보에 곡률과 내재적 잠재 차원에 대한 페널티를 결합한 것이다. 이에 따라 기하는 사후 진단에 그치지 않고 병목 기준의 일부가 된다. 매끄러운 다양체, 손실 전이, 추정량 집중에 관한 가정 아래에서, 내재 차원과 피복 복잡도가 명시적으로 들어가는 비점근적 저레이블 일반화 경계를 도출한다. 또한 정보-기하 프런티어를 규명하고 경험적 대리 목적함수의 일치성을 증명한다. 이 분석은 잠재 피복수, 손실 클래스 엔트로피, 균등 편차를 통해 인코더 기하를 학습과 연결한다. 우리는 이 이론을 변분 병목 학습에 곡률 및 차원 페널티를 추가한 \texttt{V-GIB}로 구현한다. 실제 저레이블 벤치마크에서 (1%)–(20%) 레이블 비율에 걸쳐 \texttt{V-GIB}를 ERM, VIB 및 절제 실험과 비교한다. 결과는 특히 FashionMNIST와 CIFAR-10을 비롯한 여러 영역에서 성능이 향상되고 기하적 복잡도가 감소함을 보여 주며, 동시에 보편적으로 우세한 고정 정칙화 항은 존재하지 않음을 확인한다.

arXiv:2609.28060v2cs.CL

자기지도 음성 모델을 이용한 L2 발음 편차 측정용 원어민 기준 좌표 기하학

A Native-Reference Coordinate Geometry for L2 Pronunciation Deviation Using Self-Supervised Speech Models

Self-supervised speech models encode rich phonetic information, but it remains unclear how to transform this information into interpretable metrics for second-language (L2) pronunciation assessment in spontaneous speech. We propose a native-reference coordinate geometry in which phone-class averages from native speech define a low-dimensional reference subspace, and L2 speech is evaluated by its distance to matching native phone-class coordinates. Unlike prior distance-based approaches, our method does not require parallel recordings with matched linguistic content or dedicated pronunciation labels. Across different self-supervised encoders and modeling choices, the resulting native-reference distances show negative Spearman correlations up to -0.5 with speaking proficiency, indicating that higher-proficiency speakers tend to have smaller distances to the corresponding native phone-class coordinates.