PyTorchKR Papers

최신 논문

총 334편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2604.19530v3cs.LG

추론 시점 확률적 어텐션을 이용한 과학 파운데이션 모델의 보정

Calibrating Scientific Foundation Models with Inference-Time Stochastic Attention

트랜스포머 기반 과학 파운데이션 모델은 위험도가 높은 환경에 점점 더 많이 배치되지만, 현재의 아키텍처는 결정론적 출력을 내며 보정된 예측 불확실성에 대한 지원이 제한적이다. 우리는 소프트맥스 가중치를 단일 집중도 매개변수로 제어되는 정규화된 다항 표본으로 대체하여 어텐션을 무작위화하고 재학습 없이 예측 앙상블을 생성하는, 경량의 표본 평균 추론 시점 수정 방법인 확률적 어텐션(Stochastic Attention)을 제안한다. 이 매개변수를 설정하기 위해 확률적 어텐션 출력을 목표값과 일치시키는 보정 목적함수를 도입하며, 이는 효율적인 일변량 사후 조정 문제로 귀결된다. 우리는 이 메커니즘을 날씨 및 시계열 예측용 과학 파운데이션 모델과 회귀 과제에서 평가한다. 기준 방법들과 비교한 벤치마크 전반에서 확률적 어텐션은 가장 우수한 고유 보정 성능과, 비슷한 보정 수준에서 가장 날카로운 예측 구간을 달성하며, 적응 비용은 차선의 기준 방법보다 거의 세 자릿수 낮다. 코드는 https://github.com/UQUH/StochasticAttention 에서 이용할 수 있다.

arXiv:2512.14329v3cs.CE

웨어러블 기반 생성형 디지털 아바타를 이용한 과제 조건부 뇌졸중 후 보행 예측

Wearable-informed generative digital avatars predict task-conditioned post-stroke locomotion

뇌졸중 후 보행 능력을 동적으로 예측할 수 있다면 더 개별화된 재활이 가능하겠지만, 현재의 평가는 대체로 정적인 장애 점수를 제공할 뿐 환자가 경사로 보행이나 계단 오르기와 같은 특정 과제를 수행할 수 있는지는 알려 주지 못한다. 본 연구는 웨어러블 관성 센서로부터 뇌졸중 생존자의 보행 제어를 재구성하고 새로운 환경에서의 과제 조건부 뇌졸중 후 보행을 예측하는, 웨어러블 기반 데이터-물리 하이브리드 생성 프레임워크를 제시한다. 5개의 IMU로 기록한 단일 20 m 평지 보행 시행으로부터, 이 프레임워크는 건강한 움직임 사전분포와 하이브리드 모방 학습을 이용해 물리 기반 디지털 아바타를 개인화하고, 경사 보행과 계단 이동에 대해 동역학적으로 실현 가능한 환자별 움직임을 생성한다. 뇌졸중 입원 환자 11명에서 예측된 자세는 실질적으로 달성 가능한 정확도의 경사 오르기에서 약 95%, 계단 오르기에서 80%를 각각 달성하여 신뢰할 만한 과제별 보행 예측을 보여 주었다. 다기관 무작위 예비 타당성 연구(n = 21; 28일)에서, 과제 선택과 난이도 조절을 지원하는 시나리오별 보행 예측을 이용한 군은 대조군보다 Fugl-Meyer 하지 점수의 향상이 더 컸다(평균 변화 6.0점 대 3.7점; p < 0.05). 이러한 결과는 웨어러블 기반 생성형 디지털 아바타가 개별화된 보행 재활 계획을 보강하고, 동적으로 개인화된 뇌졸중 후 운동 회복 전략으로 나아가는 길을 제공할 수 있음을 시사한다.

arXiv:2611.09176v1cs.AI

TailDART: 금융 시계열 예측을 위한 연산 효율적 파운데이션 모델

TailDART: Compute-Efficient Foundation Models for Financial Time-Series Forecasting

시계열 파운데이션 모델(TSFM)은 정보 밀도가 높은 물리 시스템 전반에서 강력한 제로샷 전이 성능을 보이지만, 과도하게 매개변수화된 TSFM을 계량 금융에 적용하는 것은 낮은 신호 대 잡음비, 비정상성, 과도한 자기회귀 디코딩 지연으로 인해 근본적으로 제약된다. 표현 학습과 기관의 운영상 제약을 조화시키기 위해, 본 연구는 금융 시계열 예측용으로 설계된 268만 개 매개변수의 밀집 파운데이션 모델 TailDART를 제시한다. 경량 백본에 그룹 쿼리 어텐션을 통합함으로써 이 아키텍처는 키-값 캐시의 메모리 대역폭 부담을 크게 줄이고, 기존 최신 TSFM 대비 최대 48.1%의 대폭적인 추론 가속을 달성하여 저지연·고처리량 스트리밍 실행을 가능하게 한다. 나아가 다양한 시간 해상도에 걸친 다중 자산 벤치마크는 소형 모델도 시장 예측에서 경쟁력을 유지할 수 있음을 보여준다. TailDART는 훨씬 큰 베이스라인의 예측 정확도에 필적하면서 고변동성 국면에서 더 우수한 오차 복원력을 보인다.

arXiv:2607.12455v4cs.AI

EVOQUANT: 견고한 정량 트레이딩을 위한 자기 진화형 검증기 유도 전략 최적화

EVOQUANT: Self-Evolving Verifier-Guided Strategy Optimization for Robust Quantitative Trading

정량 전략 최적화는 여전히 대부분 수동으로 이루어지며, 도메인 전문가가 약한 신호를 식별하고, 리스크 관리 규칙을 조정하며, 반복적인 수정을 지속적으로 검증해야 한다. 대규모 언어 모델(LLM)은 이 과정을 가속할 수 있지만, 이를 직접 의존하여 트레이딩 전략을 재작성하면 환각(hallucination)으로 인한 수정, 전략 표류(strategy drift), 백테스트 과적합이 발생하는 경우가 많다. 우리는 정량 트레이딩에서의 전략 최적화를 위한 자기 진화형 검증기 유도(self-Evolving Verifier-guided) 프레임워크인 EVOQUANT를 제안한다. 우리 방법은 LLM을 활용해 성능 병목을 심층 진단하고, 의미적으로 통제된 후보 수정안을 생성하며, 다단계 검증 파이프라인을 통해 최적 전략을 선택하고, 최적화 경험을 재사용 가능한 지식으로 증류(distillation)하여 지속적인 자기 개선을 가능하게 한다. 우리는 대표 전략 일곱 개—A주 시장 네 개와 암호화폐 시장 세 개—를 사용해 방법을 평가한다. 실험 결과, 검증된 모든 전략에서 Sharpe ratio가 크게 향상됨을 보여준다: 평균 테스트 Sharpe는 -0.298에서 0.538로 증가했으며, 최고 성능 전략은 상대적으로 199% 개선을 달성했다. 더 엄격한 조건에서의 ablation 연구와 스트레스 테스트는 프레임워크의 효과와 견고함을 추가로 검증한다. 전반적으로, 본 연구는 정량 전략 최적화를 비용이 큰 수동 시행착오에서 자동화되고 검증 가능한 반복적 패러다임으로 전환하며, 금융 전략 연구에 대규모 언어 모델을 적용하는 새로운 경로를 제시한다.

arXiv:2611.09579v1stat.CO

다항식 카오스 전개를 위한 국소 적응형 정합 예측

Locally Adaptive Conformal Prediction for Polynomial Chaos Expansions

본 연구는 다항식 카오스 전개를 위한 국소 적응형 jackknife+ 정합 예측 프레임워크를 개발한다. 여기서 비정합 점수는 기저 모델의 로그 변환된 leave-one-out 잔차로 학습된 보조 다항식 카오스 전개로 정규화된다. leave-one-out 보조 모델이 중첩된 leave-one-out 잔차로 학습되면 jackknife+ 정합 예측의 커버리지 보장이 적응형 구간에도 그대로 유지됨을 보인다. 최소제곱법으로 적합된 고정 기저 다항식 카오스 전개에서는 필요한 모든 양을 닫힌 형태로 유도하며, 보장을 보존하는 적응형 구간을 모델 재학습 없이 단일 모델 적합으로 얻는다. 여러 번의 모델 적합이 필요한 희소 다항식 카오스 전개에 대해서는, 형식적 커버리지 보장을 희생하는 대신 적응성의 계산 부담을 제한하는 휴리스틱 단순화를 제안한다. 알려진 이분산 잡음을 가진 학술용 벤치마크와 공학 시뮬레이션 데이터셋에 대한 수치 실험은, 제안 방법이 목표 커버리지를 달성하면서 국소 예측 불확실성에 적응하는 구간을 제공하여 통계적으로 상당히 더 효율적임을 보여 준다. 이러한 이점은 비적응형 방법의 성능이 크게 저하되는 입력 공간의 고불확실성 영역에서 특히 두드러진다.

arXiv:2611.08937v1cs.LG

대리 모델 품질 점수: 모델 선택을 위한 새로운 복합 성능 지표

Surrogate Quality Score: A Novel Composite Performance Metric for Model Selection

공학적 의사결정에 고충실도의 최신 기계학습 기반 모델에 대한 의존이 커지면서, 모델 선택을 위한 견고하고 체계적인 접근이 필요해졌다. 학습되지 않은 지점에서의 높은 예측 정확도는 최종 모델의 필수적인 특성이지만, 모델 복잡도, 예측 가능성, 설명 가능성, 확장성, 물리 인식성과 같은 다른 속성도 응용 맥락과 사용자 요구에 따라 똑같이 중요하거나 관련된 기준이 될 수 있다. 본 연구에서는 예측 정확도와 모델 복잡도를 동시에 고려하는 모델 선택용 새로운 복합 성능 지표인 Surrogate Quality Score(SQS)를 제안한다. SQS는 정규화된 척도들의 가중 곱을 통해 이 두 속성을 휴리스틱하게 통합하여 전반적인 모델 품질을 반영하는 단일 점수를 산출한다. SQS의 사용자 지정 파라미터는 정확도와 복잡도 간 절충을 명시적으로 제어할 수 있게 하여, 모델 선택 과정에 인간의 판단과 선호를 반영한다. 우리는 SQS의 정식화를 폭넓게 논의하고 정당화하며, 예시를 통해 그 유용성을 보인다. 예측 정확도와 모델 복잡도를 결합함으로써 SQS는 두 속성에 기반한 체계적이고 객관적인 모델 선택 방식을 제공한다.

arXiv:2611.08701v1cs.LG

거래 정책은 거래 대상을 알아야 하는가? 미시구조 불변성과 실행 정책의 제로샷 전이

Does a Trading Policy Need to Know What It Trades? Microstructure Invariance and Zero-Shot Transfer of Execution Policies

실행 알고리즘은 자산별로 보정되는데, 이는 알고리즘이 마주하는 대기열, 거래율, 매수-매도 호가 스프레드가 자산마다 수십 배에서 수천 배까지 다르기 때문이다. 강화학습에서 이는 규모가 매우 다른 맥락 사이의 제로샷 일반화에 해당하며, 미시구조 불변성은 이론으로 고정된 정규화를 제안한다. 즉 각 자산 고유의 시간, 수량, 가격 단위로 측정하면 시장은 서로 비슷해 보인다. 공개 Nasdaq 데이터의 정확한 주문 단위 재생에서, 우리는 2019년 954개 종목으로 정책을 한 번만 학습시켜 대기열에서 기다릴지 스프레드를 가로지를지 선택하게 하고, 이를 변경 없이 2020-21년의 보지 못한 1,964개 종목, 2025-26년의 2,629개 종목, 암호화폐 쌍, 그리고 두 번째 거래소에서 평가한다. 첫째, 종목을 최근 거래율, 거래 규모, 스프레드, 가격 증분(틱)으로만 보는 정책은 해당 종목이 학습 데이터에 포함된 정책과 비교해 주당 0.015 스프레드 이내의 비용 차이(학습이 절감하는 비용의 5분의 1)를 보이며, 해당 종목 자체의 이력은 도움이 되지 않는다. 모든 에피소드를 동등하게 계산할 때 이 정책은 두 번째 거래소에서 학습된 정책과도 비슷한 수준의 차이 이내이고, 암호화폐에서는 더 넓은 차이 이내이다. 둘째, 수수료 이전 평균 비용에서 불변 단위는 원시 단위, z-점수, 자산 기술자보다 우수하지만 그 차이는 1 베이시스 포인트 미만이다. 이들 장점의 대부분은 학습기가 단순 입력으로도 받을 수 있는 정보와 공통 비용 규모에서 나오며, 시험한 어떤 표현도 보지 못한 스프레드 영역으로 외삽하지 못한다. 셋째, 통합 비교 대상에 대한 전이 격차가 거의 0이라는 것은 표현이 올바르다는 약한 증거에 불과하다. 우리는 이러한 비교 대상이 열악한 표현이 잃는 것의 작은 일부만 탐지함을 보이고, 이를 합성 시장과 진자 실험에서 확인한다.

arXiv:2611.08494v1cs.LG

경로 의존 손상 예측을 위한 유한요소 시뮬레이션 내 일관적 순환 신경망 내장

Embedding Consistent Recurrent Neural Networks in Finite Element Simulations for Path-Dependent Damage Prediction

유한요소(FEM) 해석기 내부에서 학습된 대리 모형으로 판금 국소화 물리를 포착하려면, 비선형 명시적 코드에서 제어하기 어려운 해석기의 변형률 증분 횟수와 무관하게 대리 모형이 일관된 예측을 제공해야 한다. 우리는 학습된 순환 신경망(RNN) 손상 기준을 Fortran으로 재구현하고, 이를 Abaqus/Explicit 사용자 재료 서브루틴(VUMAT) 내부에 해석기와 함께 네트워크 상태를 진행시키는 실시간 증분별 파괴 기준으로 내장하여 이 문제를 다룬다. SimpleRNN과, 변형률 경로가 세분화됨에 따라 증분 횟수에 따라 표류하지 않고 예측이 수렴하도록 전이 함수를 설계한 제안된 일관적 RNN(ConsRNN)의 두 아키텍처를 비교한다. 두 모델 모두 이중선형 변형률 경로로 학습되고 다양한 시간 이산화와 비선형 이력 하에서 평가된다. SimpleRNN의 예측은 증분 횟수가 늘어남에 따라 표류하여 내장에 부적합한 반면, ConsRNN은 세분화에 따라 수렴하나, 다중선형 경로에서는 고정 해상도 정확도가 SimpleRNN에 비해 상당히 낮다. 구조 규모에 적용했을 때, 내장된 ConsRNN 대리 모형은 고정된 강판에서 요소 삭제를 지배하며 기존의 2-매개변수 파괴 기준과 동일한 최대 하중 및 최대 변위에 도달한다. 최대 하중 이전에는 삭제되는 요소가 없어 두 해석이 동일한 구성 경로를 공유하므로 이러한 최대점 이전의 일치는 구조상 예상된 것이며, 응답은 최대점 이후 연화 구간에서만 갈라진다. 이 결과는 명시적 FEM 해석기에 순환 대리 모형을 내장하는 데 이산화 일관성이 결정적인 성질임을 확립하며, 맞춤형 비표준 전이 순환 셀을 구조 규모에서 처음으로 내장한 사례를 보고한다.

arXiv:2605.22848v3cs.CE

불확실성을 고려한 신경망 에뮬레이션으로 대규모에서 기후 회복력이 높은 옥수수 형질 규명

Uncertainty-aware neural emulation reveals climate-resilient maize traits at scale

기후 변화는 전 세계 옥수수 수확량을 위협하지만, 미래 조건에서 생산성을 유지하는 유전적 형질을 파악하려면 유전자형, 토양, 기후의 조합으로 이루어진 방대한 공간을 탐색해야 하며, 과정 기반 작물 모델로는 이를 대규모로 시뮬레이션하기에 비용이 너무 크다. 본 연구에서는 기작 기반 작물 시뮬레이터(APSIM)를 빠르고 불확실성을 고려하는 탐색 엔진으로 전환하는 통합 확률적 에뮬레이션 프레임워크를 개발한다. 200만 건의 시뮬레이션으로 구축되고 현실적인 기후 시퀀스를 생성하는 생성형 기상 모델과 결합된 이 에뮬레이터는, 원래 계산 비용의 일부만으로 13개의 옥수수 생육 출력을 높은 충실도로 재현하면서 모든 예측에 대해 보정된 신뢰도를 제공한다. 이를 10만 개의 형질 구성, 6개 지역, 2100년까지 이어지는 미래 기후 전망에 적용하여, 2100년 미래 조건에서 회복력을 유지하는 1,114개의 형질 조합과, 2040년, 2060년, 2080년, 2100년의 네 가지 미래 전망 시기 모두에서 회복력을 유지하는 더 엄격한 부분집합인 246개의 구성을 식별하였다. 이러한 회복력 있는 구성은 형질 공간의 뚜렷한 영역을 차지하며, 높은 복사 이용 효율과 발달 및 생식 형질의 특징적인 변화를 함께 갖는다. 형질 중요도 분석은 또한 복사 이용 효율이 미래 기후에서 수확량을 좌우하는 지배적 요인임을 보여 주며, 예상 수확량은 지역과 기후 모델에 따라 크게 달라 기후 변화에 대한 옥수수의 반응에 강한 공간적 이질성이 있음을 시사한다.

arXiv:2611.08153v1cs.AI

다중 모달 토카막 과제를 위한 생성형 파운데이션 모델

A Generative Foundation Model for Multimodal Tokamak Tasks

토카막 실험은 파형, 프로파일, 자기장, 스칼라 등 다양한 측정값을 기록하며, 이는 플라즈마 재구성, 변화 예측, 관련 제어 신호 복원, 붕괴 위험 추정에 사용된다. 대부분의 모델은 하나의 과제와 고정된 입출력 집합을 대상으로 별도로 구축되며, 방전에 관한 전역적이고 신호 간 정보를 추출하기 위해 전체 다중 모달 관측 집합을 구조화하는 대신 미리 정해진 일부 진단 장치에 의존한다. 이러한 한계는 각 과제의 입출력 스키마에 적응하고 이질적인 목표 신호를 함께 모델링하여, 구성마다 별도 모델을 재학습하지 않아도 되는 재사용 가능한 파운데이션 모델의 필요성을 낳는다. 본 연구에서는 TokaMark 벤치마크를 액추에이터 동작 역추론과 붕괴 예측의 두 과제군으로 확장하여, 명시적 스키마와 평가 프로토콜을 갖춘 여섯 개 그룹의 MAST 과제 20개를 구성한다. 이어서 공유 조건부 확산 Transformer를 통해 스키마에서 선택된 목표를 공동으로 생성하고, 신호별 코덱으로 고유의 시계열, 프로파일, 자기장, 스칼라를 보존하는 생성형 토카막 파운데이션 모델 GenToka를 제안한다. 파운데이션 사전학습과 과제별 적응은 여섯 개 그룹 전체에 걸쳐 신호 간 구조를 전이한다. MAST 측정값에 대한 평가에서 GenToka는 TokaMind 대비 매크로 평균 정규화 평균제곱근오차를 그룹 1-4에서 4.7%, 그룹 5에서 17.7% 감소시키며, 검증 데이터로 선택한 공통 임계값에서 그룹 6의 매크로 평균 윈도우 수준 F1을 8.4% 향상시킨다. GenToka는 공유된 측정값으로부터 플라즈마 상태 재구성, 액추에이터 추론, 붕괴 경고를 연결함으로써 실험용 토카막을 위한 재사용 가능한 생성형 다중 모달 경로를 제공하며, 더 통합된 데이터 기반 핵융합 플라즈마 예측 및 제어 연구를 뒷받침한다.

arXiv:2611.06979v1cs.LG

베이지안 M/EEG 소스 이미징에서의 불확실성 보정

Uncertainty calibration in Bayesian M/EEG source imaging

M/EEG 소스 이미징은 정확한 위치 추정과 신뢰할 수 있는 불확실성 추정을 필요로 하지만, 사후 신용 영역이 경험적으로 보정되었는지는 거의 평가되지 않는다. 본 논문은 닫힌 형태의 조건부 가우시안 사후 요약을 갖는 경험적 베이지안 역문제 방법의 불확실성 정량화와 보정을 위한 시뮬레이션 기반 프레임워크를 제시한다. sLORETA 깊이 가중을 적용한 베이지안 최소 노름(BMN)과 희소 기저 장 전개(S-FLEX)를 적용한 희소 베이지안 학습(SBL)을 비교한다. S-FLEX는 복셀 단위 SBL이 퇴화된 분산을 내는 위치에서도 유지된 계수가 0이 아닌 주변 사후 분산에 기여하도록 한다. BMN에 대해서는 증거 최대화를 통해 소스 분산과 잡음 분산의 결합 갱신식을 유도한다. 적응적 잡음 학습이 거의 보정된 불확실성을 산출하는지 검증한다. 두 방법 모두 잔여 보정 오류를 보이며, 이에 따라 경험적 포함률을 이용해 신용 영역 수준을 사후적으로 등위 재보정하는 방안이 동기화된다. 시뮬레이션은 오라클 잡음, 기준 추정 잡음, 적응적으로 학습된 잡음을 사용하여 신호 대 잡음비(SNR), 소스 희소성 수준, 피험자별 머리 모델 전반에 걸쳐 고정 방향 및 자유 방향 모델을 평가한다. 재보정 이전에 SBL+S-FLEX는 BMN+sLORETA보다 더 낮은 Wasserstein 위치 추정 오차, 더 작은 사후 불확실성, 명목 신뢰도에 더 가까운 포함률을 보인다. 등위 재보정은 두 방법 모두를 개선하며, 보수적인 BMN+sLORETA 사후 분포에서 이득이 더 크다. SNR, 희소성, 머리 모델이 불일치하는 경우의 전이는 여전히 조건에 의존한다. 잡음 설정은 각 추정기 내에서 대체로 일관된 복원 및 불확실성 경향을 보인다. 실제 청각 MEG 데이터에서 SBL+S-FLEX는 BMN+sLORETA보다 더 국소적인 위치 추정과 더 좁은 불확실성을 제공하며, 이는 양측 청각 소스를 식별하는 데 더 큰 통계적 검정력이 있음을 시사한다.

arXiv:2610.33258v2cs.CL

두 가지 불확실성은 하나가 아니다: 저비용 구조화 콘텐츠 조정에서의 불일치 대 의사결정 위험

Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation

콘텐츠 조정은 단계적이고 논쟁의 여지가 있는 인간의 판단을 수십억 건의 항목에 대해 이진적 행위(게시 유지/삭제)로 압축하며, 이러한 규모에서는 모든 게시물에 최첨단 LLM을 실행하는 것이 경제적이지 않다. 고정된 "System One" 모델이라는 새로운 부류는 텍스트 대신 유형화되고 보정된 결정을 호출당 약 0.000025달러, 약 100ms에 반환한다. 우리는 이러한 모델 하나에 대해 사람이 레이블링한 댓글 142,658개를 사용한 최초의 독립 감사를 수행하고, 공통 프로브 집합에서 14개의 최첨단 추론 모델(GPT-5.x, Claude, Gemini 3, Grok 계열)과 비교 평가한다. 두 가지 발견이 두드러진다. 첫째, 저비용 모델은 정확도 면에서 경쟁력이 있다. 제로샷 분류 AUROC(0.83)는 14개 최첨단 시스템 중 13개와 통계적으로 구분되지 않으며(대응 부트스트랩, n=56; 동등성의 증명이 아니라 동등성 기각의 실패이다) 비용은 1~3자릿수 낮고, 보정 수준도 그중 여러 모델보다 나쁘지 않다. 둘째, "신뢰도"는 서로 분리되는 두 불확실성을 혼합한다. 하나는 사람 간 불일치(주석자들이 풍자와 암호화된 언어에서 갈리는 경우)이고, 다른 하나는 의사결정 위험(자동 조치가 잘못되었을 때 비용이 큰 경우)이다. 비대칭적인 조정 손실 하에서 이 둘은 서로 반대되는 에스컬레이션 신호를 요구하므로, 단일 신뢰도 수치로는 둘 다 충족할 수 없다. 이 모델은 추가 질문의 비용이 거의 0이므로, 판단을 병렬 하위 질문으로 분해하고 그 분산을 읽으면 모델의 고유 신뢰도가 놓치는 사람 간 불일치 신호를 복원할 수 있다. 그러나 이 해결책은 한정적이어서, 불일치를 인식하지 못하는 가장 약한 모델에만, 그리고 분해가 불일치의 원천과 일치할 때에만 도움이 되며, 전문 독성 모델과 가장 강력한 LLM에는 필요하지 않고 그 효과는 분포에 민감하다. 우리는 측정 도구, 캐시된 실행 결과, 분석을 공개할 것이다.

arXiv:2508.21285v4q-fin.GN

LLM의 금융 브레인 스캔

A Financial Brain Scan of the LLM

우리는 희소 오토인코더(SAE)를 사용해 대규모 언어 모델을 "브레인 스캔"하여 내부 활성화를 해석 가능한 개념에 매핑하고, 특정 특징에 대한 표적 "스티어링"을 가능하게 한다. 모델에 특정 선호를 갖도록 프롬프트를 주면 의도하지 않은 많은 개념이 활성화되어 인과 추론이 복잡해짐을 보인다. 반면 SAE는 목표 개념을 더 매끄럽고 더 분리된 방식으로 스티어링할 수 있게 한다. 나아가 스캔 결과, 모델의 내부 특징 기여도와 모델이 스스로 생성한 설명 사이에 뚜렷한 괴리가 있음이 드러나며, 이는 이러한 설명이 모델의 추론에 대한 신뢰할 수 없는 지침임을 보여준다. 마지막으로 SAE는 기존 모델에 대한 경량 개입 수단을 제공하여 해석 가능한 임베딩을 생성하고, 연구자가 특정 경제적 편향을 완화할 수 있게 한다.

arXiv:2505.22252v2cs.LG공식 코드 · Papers with Code

B-XAIC 데이터셋: 화학 데이터를 이용한 그래프 신경망용 설명 가능한 AI 벤치마킹

B-XAIC Dataset: Benchmarking Explainable AI for Graph Neural Networks Using Chemical Data

딥러닝 모델 예측의 근거를 이해하는 것은 분자 설계가 특성을 결정하는 화학정보학과 신약 개발에서 매우 중요하다. 그러나 이 분야에서 설명 가능한 AI(XAI)에 대한 현재의 평가 체계는 인공적인 데이터셋이나 단순화된 과제에 의존하는 경우가 많고, 실제 시나리오의 복잡성을 포착하지 못하며 설명 충실도와의 직접적인 연관성이 부족한 데이터 기반 지표를 사용한다. 이를 해결하기 위해, 우리는 실제 분자 데이터와, 부여된 레이블에 대한 정답 근거가 알려진 다양한 과제로 구성된 새로운 벤치마크인 B-XAIC를 소개한다. B-XAIC를 이용한 포괄적인 평가를 통해 분자 영역에서 그래프 신경망(GNN)을 위한 기존 XAI 방법의 한계를 밝힌다. 이 벤치마크는 XAI의 충실도에 대한 더 깊은 통찰을 얻는 데 유용한 자원을 제공하며, 더 신뢰할 수 있고 해석 가능한 모델의 개발을 촉진한다.

arXiv:2611.05582v1cs.LG

차분 프라이버시 자기 어텐션 변분 오토인코더의 프라이버시-크기 트레이드오프 탐구

Exploring the Privacy--Size Tradeoff for Differentially Private Self-Attentive Variational Autoencoders

데이터는 공유될 때 가장 유용한 경향이 있지만, 공유할 가치가 가장 큰 데이터는 종종 프라이버시 의무로 제한된다. 차분 프라이버시(DP)로 학습된 생성기의 합성 데이터는 이 둘을 조화시키는 한 가지 방법이지만, 그 유용성은 프라이버시 예산 $\varepsilon$과 생성기가 보는 데이터의 양에 달려 있으며, 후자는 합성 데이터의 대부분의 데이터 공유 응용에서 통제 가능한 매개변수이다. 우리는 DP-SGD로 학습되는 정형 데이터용 자기 어텐션 변분 오토인코더 SAVANT를 제시하며, 우리가 아는 한 어텐션, VAE, DP를 하나의 정형 데이터 모델에 결합한 최초의 사례이다. 두 개의 공개 데이터셋에서 프라이버시 예산과 데이터셋 크기에 걸쳐 두 가지 주변 분포 메커니즘인 PrivBayes 및 MST와 함께 평가하고, 실제 데이터 대신 합성 데이터로 학습할 때 하위 분류기가 잃는 유용성을 측정한다. 동일한 DP 보장 하에서 일반적으로 데이터가 많을수록 유용성이 높다는 것을 확인했다. 주변 분포 메커니즘의 경우 엄격한 예산이 초래하는 손실의 대부분을 데이터가 흡수하며, 잡음 스케일링 논증은 DP-SGD가 데이터를 예산과 더 불리한 비율로 교환함을 시사한다. 측정된 귀무 분포를 기준으로 판단한 두 개의 독립적인 멤버십 추론 공격은 집계 수준의 멤버십 신호를 발견하지 못했다.

arXiv:2611.05439v1cs.LG

동적 시뮬레이션을 위한 암시적 풀이 학습

Learning Implicit Solves for Dynamic Simulations

동역학계의 고충실도 시뮬레이션은 과학적 발견과 공학 설계의 핵심이지만 여전히 계산 부담이 크다. 본 논문에서는 암시적 풀이를 학습하고 시간 적분기를 내재화하는 암시적 신경 연산자 풀이기(Implicit Neural Operator Solver, INOS)를 소개한다. INOS는 정적 평형 해로부터 신경 연산자를 사전학습하고 이를 Newmark-$\beta$ 적분 내에서 재사용한다. 각 시간 증분에서 적분기가 유효 평형 문제를 구성하고, 사전학습된 신경 연산자가 다음 단계의 해 필드를 추론하며, Newmark 관계식이 동적 상태를 전진시킨다. 선형 및 비선형 탄성동역학의 수치 예제에서 동적 궤적에 대한 지도 없이도 정확한 전체 필드 예측이 가능함을 보인다. 비교 결과, 제로샷으로 평가된 INOS는 동적 시뮬레이션으로 학습된 신경 풀이기 기준 모델보다 높은 예측 정확도를 달성한다. 또한 INOS는 비선형 시뮬레이션에서 순차적 고전 유한요소 풀이기 대비 4,600$\times$ 이상의 속도 향상을 제공한다. INOS는 동적 조건의 변화를 본질적으로 수용하며, 사전학습된 연산자를 공간 및 시간 이산화 전반에서 재사용할 수 있게 한다. 추가 평가에서는 안정적인 백만 단계 롤아웃을 보인다. 이러한 결과는 INOS가 정확하고 효율적이며 견고한 동적 모델링을 위한 재사용 가능한 신경 암시적 풀이기임을 입증한다.

arXiv:2606.26421v2cs.LG

Otter Weather: 숙련되고 계산 효율적인 중기 기상 예측

Otter Weather: Skillful and Computationally Efficient Medium-Range Weather Forecasting

최첨단 중기 AI 기상 모델은 기존의 수치 기상 예측(NWP)을 능가할 수 있으나 막대한 학습 예산을 필요로 한다. 이는 자원이 부족한 집단의 사용을 제한하고 빠른 모델 반복을 심각하게 저해한다. 여기서 우리는 AI를 통한 고성능 기상 예측을 대중화하도록 설계된 고효율 시공간 예측 모델인 Otter Weather를 개발한다. 표준 WeatherBench 프로토콜을 사용하여 1.5° 해상도의 ERA5 재분석 데이터로 평가한 결과, Otter 계열은 성능-연산 파레토 경계를 크게 진전시킨다. 결정론적 버전은 24시간 예보 시차에서 최고의 NWP 기준선을 9.6% 능가하면서 학습에 3.5 A100-일 미만이 필요하다. 이는 경량 AI 모델 대비 2배의 효율 향상을, 자원 집약적인 최첨단 아키텍처 대비 100배의 연산 감소를 제공한다. 우리는 연속 순위 확률 점수(CRPS)를 통한 학습으로 이러한 효율 향상을 확률 예측으로 확장한다. 더 큰 아키텍처로 확장한 Otter-XL은 IFS ENS 기준선 대비 9.7%의 CRPS 개선을 달성한다. 이는 유사한 연산 예산에서 비교 가능한 경량 모델 대비 예측 성능이 거의 두 배 증가함을 의미한다. Otter-XL은 또한 GenCast와 같은 최첨단 아키텍처를 2% 이상 능가하면서 연산은 한 자릿수 적게 사용한다. 마지막으로 Otter를 복잡한 음향 산란 PDE 과제에 그대로 적용하면 최첨단 파운데이션 모델링 접근법을 능가하며, 이는 여기서 이룬 진전이 다양한 과학 분야에 적용될 수 있음을 시사한다.

arXiv:2611.05103v1cs.LG

분자 사전 네트워크

Molecular Prior Networks

소분자와 단백질 표적 간의 친화도를 예측하는 일은 신약 개발의 핵심 문제 중 하나로 남아 있다. 습식 실험의 상당한 비용 때문에 약물-표적 친화도의 기계학습 모델은 보통 수십에서 수백 개 분자 규모의 비교적 작은 데이터셋으로 학습된다. 서로 다른 표적과 화학 계열 사이의 일반화가 본질적으로 어렵기 때문에, 기존 단백질-리간드 친화도 데이터셋은 일반적으로 새 프로젝트에 사용되지 않는다. 한편 Prior-data Fitted Networks를 포함한 표 형식 기반 모델은 대체로 합성인 대규모 데이터셋 모음으로 학습된 뒤, 트랜스포머가 네트워크의 단 한 번의 순전파로 기계학습 문제를 푸는 데 쓰일 수 있음을 최근 보여 주었다. 이러한 연구에서 영감을 받아, 우리는 트랜스포머 모델의 단 한 번의 순전파로 레이블이 있는 지지 분자로부터 질의 분자의 레이블을 예측하는 새로운 친화도 모델링 접근법을 제안한다. 이 모델은 수천 개의 기존 친화도 데이터셋으로 학습되어 서로 다른 표적, 화학 계열, 데이터셋 크기에 걸친 분자 활성의 일반적 패턴을 포착할 수 있다. 가장 작은 지지 집합에서 우리 모델은 FS-Mol 벤치마크의 회귀 변형에서 최신 기술 수준과 대등하며, 과제별 학습이 없어 기존 방법보다 빠르다. 메타 학습된 특징 공간에서의 커널 회귀에 해당하는 우리 아키텍처의 축소 변형과의 비교는, 트랜스포머 모델의 예측 성능이 단순한 분자 유사성만으로는 부분적으로만 설명됨을 보여 준다.

arXiv:2611.04007v1cs.LG

팽팽함-느슨함 전이를 아우르는 텐세그리티 프리스트레스의 물리 기반 식별

Physics-Informed Identification of Tensegrity Prestress across Taut-Slack Transitions

프리스트레스는 텐세그리티 구조물의 안정성, 강성, 동적 거동을 좌우하지만, 희소한 구조 측정값으로부터 직접 관측할 수 없고 사용 수명 동안 감소할 수도 있다. 강한 가진 하에서는 케이블이 느슨해져 동역학이 비평활해질 수 있다. 기존 식별 방법은 팽팽한 영역에 한정되며, 텐세그리티를 위한 물리 기반 신경망은 알려진 부재 파라미터로부터 응답을 예측하는 순문제만 해결한다. 본 연구는 역문제를 정식화한다. 신경망은 질량 행렬이 상수이고 힘 밀도가 선형으로 들어가는 구속된 데카르트 좌표계에서 운동방정식 잔차를 이용해 학습된다. 힘 밀도, 감쇠, 축 강성은 학습 가능한 파라미터이며, 인장 전용 케이블 법칙은 유지된다. 피셔 정보 분석은 역산에 앞서 어떤 부재 파라미터를 하나의 기록으로 결정할 수 있는지 보여 준다. 이 방법은 최대 다섯 개 모듈의 평면 텐세그리티 프레임과 3차원 프리즘의 시뮬레이션, 그리고 생체모방 다리와 실물 크기 텐세그리티 심플렉스의 측정 기록에서 검증된다. 단일 모듈 프레임에서는 자유 좌표의 절반에서 얻은 잡음 섞인 가속도로부터, 팽팽함-느슨함 전이가 있는 기록과 없는 기록 모두에서 식별 가능한 힘 밀도가 1.5% 이내로 복원된다. 전이가 있는 기록은 팽팽한 기록에서는 결정되지 않는 부재를 결정한다. 16개 케이블의 2경간 교량인 5모듈 프레임에서는 힘 밀도 오차의 중앙값이 4.2%로 완만하게 증가한다. 측정 기록에서 식별된 스프링 강성은 독립적으로 측정된 값과 평균 0.1% 이내로 일치하며, 13개 수준에서 식별된 심플렉스 프리스트레스는 케이블 힘 변환기와 제곱평균제곱근 2.9%로 일치한다.

arXiv:2611.03963v1cs.CE

ProteoCraft: Protein Design as Proposal-Verification Search

Protein-protein interactions underpin nearly all biological processes. Yet, designing proteins with desired interactions remains challenging due to the structural complexity governing molecular recognition. This study views protein design as a search optimization problem over a combinatorial sequence space under expensive structural evaluation. Toward this goal, we introduce a novel tree-based search framework, ProteoCraft, that employs approximate structural gradients from diffusion-based structure predictors as effective proposal policies to specify where the search should explore. Complete no-gradient inference of folding models separately assigns values to the resulting sequences, determining what is good. ProteoCraft allocates this verification budget through a coarse-to-fine paradigm: multi-site edits first explore distinct sequence basins, then verified promising states undergo strict single-site refinement. Across fourteen de novo binder-design settings spanning eight target proteins, five immune-relevant TCR-facing targets, and four localized CDR redesign tasks, ProteoCraft improves design quality and high-confidence yield. These improvements persist under independent AF2-IG and Rosetta-based interface evaluation. Prospective experimental validation further yielded an 82.9% binding hit rate for PD-L1 miniproteins, with a best measured KD of 0.879 nM, and confirmed binding of designed IFNAR2 VHH. Our code is available at https://github.com/smiles724/ProteoCraft_v1.