PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.03927v2cs.LG

FFR: 회귀를 위한 포워드-포워드 학습

FFR: Forward-Forward Learning for Regression

포워드-포워드(Forward-Forward, FF) 알고리즘은 순수하게 국소적인 층(layer)별 최적화를 통해 신경망을 학습(training)시킴으로써 역전파(backpropagation, BP)에 대한 계산 효율적이며 생물학적으로 타당한 대안을 제공합니다. 그러나 FF는 대조적인 양성-음성 샘플 쌍을 통한 분류(classification)를 목적으로 본질적으로 설계되었으며, 이를 회귀로 확장하는 데에는 근본적인 난제들이 존재합니다. 즉, 연속적인 타깃 공간에는 대조 학습을 위한 자연스러운 "반대(opposites)"가 결여되어 있고, 표준 적합도(goodness) 함수는 타깃의 크기나 순서에 대한 정보를 담고 있지 않습니다. 본 논문에서는 우리가 아는 한 FF를 실제 회귀 문제로 확장하고 다양한 실제 데이터셋에 걸쳐 경쟁력 있는 성능을 입증한 최초의 프레임워크인 FFR(Forward-Forward for Regression)을 제안합니다. FFR은 세 가지 핵심적인 혁신을 도입합니다: (1) 대조 쌍 대신 거리 인식 순서형 감독 하에서 분할된 뉴런 그룹 간의 경쟁 학습을 활용하는 순서형 경쟁 적합도 함수, (2) 얕은 층은 거친 순서 구분을 학습하고 깊은 층은 미세 회귀로 정제하며 층간 협업을 위한 다중 스케일 특징(feature) 집계를 포함하는 계층화된 사다리 아키텍처, (3) 다중 스케일 예측기가 공동으로 강건한 예측과 1회 전달(single-pass) 불확실성 점수를 제공하는 불확실성 추정을 동반한 계층적 예측. 광범위한 실험 결과는 FFR이 6개의 실제 회귀 벤치마크에서 BP 정확도의 평균 98.5%를 회복하는 동시에, 최대 학습 메모리를 깊이 8에서 BP의 27%, 깊이 32에서 BP의 8% 수준으로 절감하고 반복(iteration)당 시간을 BP의 약 72% 수준으로 단축하며, 모든 무역전파(BP-free) 경쟁 모델들을 크게 능가함을 보여줍니다.

arXiv:2607.09196v3cs.LG

테이블탑 RPG 게임 디자인에서 몬스터 레벨 예측을 위한 머신러닝 적용

Application of machine learning to monster level prediction in tabletop RPG game design

균형 잡힌 적대 캐릭터를 설계하는 것은 테이블탑 롤플레잉 게임(TTRPG) 개발에서 핵심적이면서도 노동 집약적인 작업이다. Pathfinder와 같은 시스템에서 각 몬스터는 그 힘을 요약한 순서형 레벨로 표현되는 수많은 수치 속성으로 기술된다. 본 연구에서는 몬스터의 속성으로부터 이 레벨을 예측하는 태스크를 테이블형 순서형 회귀(tabular ordinal regression)로 정의하여, 머신러닝이 디자이너를 지원할 수 있는지 조사한다. 우리는 공개된 Pathfinder Second Edition 데이터에서 도출한, 본 연구가 아는 한 TTRPG 몬스터 레벨 예측을 위해 특별히 구축된 최초의 데이터셋을 소개한다. 이를 활용하여 반올림 방식을 적용한 고전적 회귀 모델, 전용 테이블형 순서형 회귀 알고리즘, 순서 인식 손실을 사용하는 신경망을 비교한다. 실제 디자인 워크플로를 반영하기 위해, 여러 보완적 지표와 함께 시간 순서 및 확장 윈도우 프로토콜 하에서 모든 모델을 평가한다. 결과적으로 트리 기반 앙상블이 선형 모델 및 신경망 방식보다 우수한 성능을 보이며, 거의 완벽한 순서형 랭킹과 높은 예측 정확도를 달성하였다. 특징 중요도 및 오류 분포와 같은 설명 가능한 AI(Explainable AI) 분석은 모델이 인간의 직관과 일치하며 게임 규칙에 기반한 패턴을 따름을 보여준다. 이러한 결과들은 머신러닝이 디자이너의 판단을 신뢰성 있게 근사하고 몬스터 밸런싱 및 더 넓은 TTRPG 시스템 설계를 위한 효과적인 컴퓨터 지원 도구로 기능할 수 있음을 보여준다.

arXiv:2607.23575v1cs.CV

D3O: 서열 회귀를 위한 동적 분포 증류

D3O: Dynamic Distribution Distillation for Ordinal Regression

서열 회귀는 레이블이 이산적이면서도 본질적으로 순서를 갖는 시나리오에서 널리 사용된다. 그러나 실제로 서열 레이블은 주관적인 인간 판단을 통해 기저의 연속적 의미를 이산화하여 얻는 경우가 많으며, 이로 인해 모호한 경계와 어노테이션 노이즈가 발생한다. 이러한 불확실성은 고정된 지도 목표에 의존하는 기존 방법들에 도전을 제기하며, 주관적 어노테이션 하에서 편향된 순서를 강화할 수 있다. 이 한계를 해결하기 위해, 우리는 정적 지도를 자기 증류(self-distillation)를 통한 학습 주도적 서열 레이블 분포 진화로 대체하는 동적 분포 증류 프레임워크인 D3O를 제안한다. 구체적으로, 비전-언어 정렬(vision-language alignment)을 활용하여 클래스 간 모호성과 인스턴스 수준의 불확실성을 모두 포착하는 정제된 레이블 분포를 복원하는 대조적 서열 인식 레이블 향상 모듈을 도입한다. 또한, 네트워크 계층 구조 전반에 누적 서열 구조를 전파하여 중간 표현에서 일관된 서열 기하학을 보장하는 CDF 기반 교차층 상호작용 증류 메커니즘을 설계한다. 4개의 일반적인 서열 회귀 태스크에 대한 광범위한 실험은 제안한 D3O가 기존 접근법을 일관되게 능가하며, 특히 심각한 클래스 불균형과 노이즈가 있는 지도 하에서 그러함을 보여준다. 이 결과는 고정 목표를 넘어서 견고한 서열 표현을 학습하는 데 있어 동적 지도의 효과를 강조한다. 코드는 공개될 예정이다.

arXiv:2607.08109v1cs.LG

대조 순서 학습: 순서형 회귀를 위한 범용 프레임워크

Contrastive Order Learning: A General Framework for Ordinal Regression

대조 학습과 순서 학습의 한계를 동시에 극복하기 위해, 순위 차이에 기반한 소프트 친화도·불일치 가중치를 활용하는 대조 순서 손실(ConOrd)을 도입하여 배치 내 모든 샘플 쌍에 걸친 세밀한 순서형 관계 모델링을 가능하게 한다. 얼굴 나이 추정, 블라인드 이미지·비디오 품질 평가 등 다양한 순서형 회귀(ordinal regression) 벤치마크에서 최고 수준의 성능과 우수한 일반화 성능을 달성함을 실험적으로 입증한다.

arXiv:2607.08103v1cs.LG

확률적 순서 학습: 노이즈 데이터를 활용한 순위 추정 접근법

Stochastic Order Learning: An Approach to Rank Estimation Using Noisy Data

노이즈가 포함된 순서형 레이블 하에서의 순위 추정 문제를 확률적 순서화(stochastic ordering) 문제로 재정식화하여, 각 인스턴스를 단일 결정론적 순위 대신 여러 그럴듯한 순위와 확률적으로 연관시키는 확률적 순서 학습(SOL) 프레임워크를 제안한다. SOL은 인스턴스-센트로이드 상호작용을 구조화하는 판별 손실(discriminative loss)과 인스턴스 간 확률적 순서 관계를 강제하는 stochastic order loss라는 두 가지 상호 보완적인 목표를 통해 임베딩 공간을 학습하며, 다양한 데이터셋에서 여러 유형과 수준의 레이블 노이즈 하에 신뢰할 수 있는 순위 추정 성능을 입증한다.

arXiv:2606.25769v1cs.LG

Deep Neural Networks with Ordinal Loss for Medical Applications

의료 예측의 순서형 라벨은 중증도 간 거리와 과대·과소 추정 방향에 따라 비대칭적인 오분류 비용을 갖는데, 표준 다중 클래스 교차 엔트로피는 이를 반영하지 못한다. Ordinal Cross-Entropy(OCE)는 순서형 비용 행렬을 교차 엔트로피에 통합해 네트워크 구조를 바꾸지 않고도 확률적 해석과 최적화 이점을 유지하며, 벤치마크에서 기존 순서형 회귀 방법보다 예측 오류 비용과 보정(calibration) 성능이 더 우수함을 보였다.