자기지도 학습(SSL)은 일반적으로 백본(backbone) 인코더 뒤에 작은 다층 퍼셉트론(MLP) 프로젝션 헤드가 이어지는 구조에 의존하며, 이 프로젝션 헤드는 통상 학습 후 버려지고, 백본의 품질은 레이블이 있는 데이터에 대한 비용이 큰 선형 프로빙(linear probing)으로 평가된다. 우리는 프로젝터를 버리는 것을 포함한 이 접근법이 상당히 계산적으로 낭비적이라고 주장한다. 대신, 우리는 MLP 헤드를 방사 기저 함수 네트워크(RBFN)로 대체할 것을 제안하며, RBFN의 해석 가능한 중심(center) 및 형태(shape) 매개변수를 활용하여 레이블이나 별도의 분류기 없이 표현(representation) 품질을 판단할 수 있다. 이를 위해 학습 중 학습된 커널 중심과 형태로만부터 유도된 새로운 레이블 없는 품질 지표인 Scale-Normalized Separation(SNS)을 도입한다. MoCo, SimCLR, BYOL, SwAV, SimSiam 다섯 가지 대표적인 SSL 아키텍처와 네 가지 이미지 분류 데이터셋에서, RBFN 프로젝션 헤드가 표준 MLP 프로젝터의 경쟁력 있는 드롭인(drop-in) 대체재임을 보여준다. 우리는 가우시안 방사 기저 함수(Gaussian radial basis function)로 활성화된 세 개의 RBF 층으로 구성할 것을 권장한다. 게다가 SNS는 확립된 로지스틱 회귀(logistic regression) 지표와 강함에서 매우 강함까지의 양의 상관관계를 보이며, 학습된 RBFN 프로젝터가 백본 표현 품질의 신뢰할 수 있는 대리(proxy) 지표로 작용할 수 있음을 보여준다. 또한 표현 학습에 대한 재현 가능한 연구를 촉진하기 위해 Google Open Images V7을 기반으로 한 새로운 PyTorch 호환 이미지 분류 데이터셋을 공개한다.
자원이 제한된 엣지 기기에 최신 머신러닝(ML) 솔루션을 배포하는 과정에서는 다양한 구현상의 과제가 부각됩니다. 이는 자율 주행 작업과 같이 안전이 중요한 요소를 포함하는 극한의 엣지 애플리케이션에서 특히 두드러집니다. 본 논문에서는 엣지 환경에서 거리(metric) 기반 분류 및 온라인 적응을 수행하기 위한 효율적인 하드웨어 기판으로서 금속 산화물 저항변화메모리(RRAM) 기반 아날로그 연관 메모리(ACAM)를 활용한 인공 신경망(ANN) 설계를 선보입니다. 제안된 설계는 ACAM 모듈을 구축하는 데 사용되는 커스텀 템플릿 픽셀(TXL) 셀을 기반으로 하며, 각 TXL 셀은 설정 가능한 수용야(receptive field) 뉴런 역할을 합니다. 이 셀들은 방사 기저 활성화 함수(RBF)를 사용하여 프로그래밍된 수용야와 입력 간의 거리를 계산합니다. TXL은 고차원 입력과 저장된 모든 프로토타입 간의 거리를 계산하기 위해 고집적 배열로 구성될 수 있어, 빠르고 에너지 효율적인 유사도 검색을 효과적으로 수행합니다. 이 하드웨어 엔진은 도메인 변화(domain shift)를 추적하도록 수용야 파라미터를 튜닝할 수 있는 실시간(on-the-fly) 학습을 가능하게 합니다. 제안된 TXL-RBF 분류기 시뮬레이션을 통해 10MHz에서 동작할 때 셀당 연산당 185fJ를 소비하면서 MNIST 데이터셋에서 89.1%의 정확도를 달성할 수 있음을 보입니다.
다중 기초자산 옵션 가격 결정을 위한 Black-Scholes 편미분방정식(PDE)을 풀기 위해, 방사형 기저함수 신경망(RBFNN)과 물리 정보 신경망(PINN)을 결합한 PIRBFNN을 제안한다. PDE 잔차 기반 적응적 뉴런 삽입 전략을 통해 비평활 payoff 조건을 포함한 다차원 옵션 모델을 효율적으로 처리하며, 단일 자산 유럽형 풋옵션, 이중 자산 교환 옵션, 4자산 바스켓 콜옵션 실험에서 유효성을 입증하였다.
포인트의 비정형 및 불규칙한 특성은 정확한 포인트 클라우드 품질 평가(PCQA)에 있어 중요한 도전 과제를 야기하며, 특히 정확한 지각적 특징 대응(correspondence)을 설정하는 데 있어 그렇습니다. 이를 해결하기 위해 우리는 멀티스케일 암시적 구조 유사성 측정(MS-ISSM)을 제안합니다. 기존의 점 대 점 매칭과 달리, MS-ISSM은 방사 기저 함수(RBF)를 활용하여 국소 특징을 연속적으로 표현하며, 왜곡 측정을 암시적 함수 계수의 비교로 변환합니다. 이 접근 방식은 불규칙한 데이터에 내재된 매칭 오류를 효과적으로 회피합니다. 또한, 우리는 멀티스케일 특징 차이를 지각 점수로 강건하게 매핑하는 ResGrouped-MLP 품질 평가 네트워크를 제안합니다. 네트워크 아키텍처는 잔차 블록과 채널별 어텐션(attention) 메커니즘과 통합된 그룹화된 인코딩 전략을 채택하여 기존의 평탄한 다층 퍼셉트론(MLP)에서 탈피했습니다. 이러한 계층적 설계는 모델이 고(High), 중(Medium), 저(Low) 스케일에 걸쳐 가장 두드러진 왜곡 특징에 적응적으로 집중하면서 휘도, 색도 및 기하학의 고유한 물리적 의미를 보존할 수 있게 합니다. 여러 벤치마크에 대한 실험 결과, MS-ISSM이 신뢰성과 일반화 측면 모두에서 최첨단 메트릭을 능가함을 입증합니다. 소스 코드는 다음에서 확인할 수 있습니다: https://github.com/ZhangChen2022/MS-ISSM.