PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27523v1cs.CV

M3D-Net: 유방촬영 분류를 위한 공간 문맥, 특징 재사용, 차분 어텐션의 계층적 조율

M3D-Net: Hierarchical Coordination of Spatial Context, Feature Reuse, and Differential Attention for Mammography Classification

유방 영상 분류는 국소적 세부와 전역 조직 문맥을 모두 필요로 하지만, 표현이 깊어질수록 이러한 단서는 약해질 수 있다. 본 연구는 해상도 인식 연산자 배치를 통해 다중 스케일 좌표 어텐션, 유계 동적 특징 재사용, 차분 어텐션을 계층적으로 조율하는 유방촬영 인코더 M3D-Net을 제안한다. 스테이지 내 검색은 이전 특징에 대한 접근을 유지하고, 좌표 인식 집계는 국소 및 전역 문맥을 통합하며, 차분 어텐션은 거친 해상도에서 동작한다. AISSLab 유방촬영 데이터에서 이미지 전용 분류를, BrEaST 초음파에서는 적응된 영상-임상 모델을 평가하였다. EdgeNeXt, RepViT, TransXNet과 비교할 때 제안 구현은 기록된 검증 정확도와 학습 후반 정확도가 가장 높고, 종점 교차 엔트로피 손실이 가장 낮았다. 검증 정확도는 각각 97.78%와 80.39%에 달한다. 이 결과는 다양한 유방 영상 설정에서 계층적 조율에 대한 추가 평가를 뒷받침하나, 반복 시드, 구성 요소 통제, 독립 평가는 여전히 필요하다.

arXiv:2601.12145v3cs.LG

Threshold Differential Attention for Sink-Free, Ultra-Sparse, and Non-Dispersive Language Modeling

소프트맥스 어텐션의 어텐션 싱크(attention sink)와 확률 질량 분산 문제를 해결하기 위해, 임계값 차분 어텐션(TDA, Threshold Differential Attention)은 길이 의존적 게이트 기반의 행 단위 극값 임계화와 차분 트랜스포머의 억제적 뷰를 결합한 새로운 어텐션 메커니즘을 제안한다. TDA는 이론적으로 행당 허위 생존자 수를 O(1)로 제어함을 증명하며, 실험적으로 99% 이상의 완전한 영값(sparsity)을 달성하면서 표준 및 긴 컨텍스트 벤치마크에서 경쟁력 있는 성능을 유지한다.

arXiv:2606.22248v1cs.LG

SamatNext v0.2-B: 소형 코드 모델의 커리큘럼 유지를 위한 RMS 정규화 하이브리드 디코더 탐색 연구

SamatNext v0.2-B: An Exploratory Study of RMS-Normalized Hybrid Decoders for Curriculum Retention in Small Code Models

표준 자기회귀(autoregressive) 트랜스포머 디코더는 변화하는 커리큘럼 분포에 대한 순차적 미세조정 과정에서 상당한 망각을 보이는 경우가 많다. 본 기술 보고서는 RMS 정규화와 출력 스케일 보정을 사용하여 Differential-Attention 스타일 층과 DeltaNet에서 영감을 받은 단순화된 선형 상태 믹서 층을 교대로 배치한 실험적 356M 매개변수 하이브리드 시퀀스 디코더인 SamatNext v0.2-B를 평가한다. 제어된 단계별 Python 코드 커리큘럼 하에서 모델을 연구하고, 매개변수가 일치하는 트랜스포머 기준선과 비교한다. 이 설정에서 SamatNext v0.2-B는 제어된 Stage 5 홀드아웃에서 100.0% 통과율을 달성하면서 인접한 Stage 3 의미적 동작의 98.8%를 유지하고, Stage 2E 초기 구문 홀드아웃에서 12.0%에 도달한다. 가장 강력한 트랜스포머 기준선은 Stage 5에서 97.6%에 도달하지만 Stage 3 동작의 6.0%만 유지한다. 두 아키텍처 모두 장기 초기 단계 유지에서 여전히 취약하므로, 이 결과는 이 제어된 설정에서 유지/가소성(plasticity) 트레이드오프가 변화했음을 보여주는 증거로 해석해야 하며, 치명적 망각(catastrophic forgetting)에 대한 일반적인 해결책으로 해석해서는 안 된다. 코드, 모델 사양, 평가 스크립트, 결과 표는 독립적인 검증을 위해 제공된다.