본 논문은 기존 신경망 층(layer)의 기반이 되는 아핀 변환(affine transformation)에 대한 대안을 예비적으로 연구한다. 제안된 소프트 지배 층(Soft Dominance Layer)에서는 각 출력 유닛이 입력 좌표를 학습 가능한 기준 벡터(reference vector)와 비교하고, 완만한 부등식 응답(smooth inequality response)들을 집계한다. 시그모이드(sigmoid) 완화를 통해 비교 연산을 미분 가능하게 만들며, 샤프니스 매개변수(parameter) $α$가 경성 임계값(hard threshold) 결정으로의 전환을 조절한다. 이 연구의 목적은 아핀 층을 대체하려는 것이 아니라, 이 기본 연산(primitive)의 학습 가능성(trainability)과 직접적인 임계값 해석을 살펴보는 것이다. 단일 실행(single-run) MNIST 실험에서, 소프트 지배(Soft Dominance)의 관찰된 최고 정확도는 어닐링(annealing) 없이 $0.9061$, 어닐링을 적용했을 때 $0.9173$이었으며, 이는 MLP 기준선(baseline) $0.9827$과 비교된다. 이러한 서술적(descriptive) 결과는 신뢰할 수 있는 구성 순위나 통계적으로 입증된 어닐링의 이점을 입증하지는 않는다. 학습된 기준 벡터는 공간적 구조를 나타내며, 이는 구조화된 학습에 대한 정성적 증거를 제공한다. 이 개념 증명(proof of concept)을 넘어선 견고성(robustness)과 실용적 관련성을 평가하기 위해서는 반복 시드(repeated-seed) 실험과 더 광범위한 데이터셋(dataset)이 필요하다.
우리는 합성곱 신경망(CNN)을 위한 매개변수 효율적 미세조정 방법인 CoLoRA(Convolutional Low-Rank Adaptation)를 소개한다. CoLoRA는 커널 업데이트를 경량의 depthwise 및 pointwise 성분으로 분해하여 LoRA를 합성곱 층으로 확장한다. 이 설계는 전체 합성곱 미세조정과 비교해 학습 가능한 합성곱 업데이트 매개변수의 수를 80% 이상 줄이면서도, 학습된 업데이트를 사전학습된 합성곱 커널에 병합할 수 있게 하여 원래 모델 크기와 추론 복잡도를 유지한다. MedMNIST 데이터셋, 특히 OCTMNISTv2에 대한 실험은 VGG16과 ResNet50에 적용한 CoLoRA가 학습 가능한 매개변수 수를 크게 줄이면서도 경쟁력 있는 분류 성능을 달성함을 보여준다. 전이학습, 어댑터, BitFit, 합성곱 LoRA 변형과의 비교는 예측 성능, 학습 가능한 매개변수, 학습 비용 간의 트레이드오프를 추가로 규명한다. CIFAR-100과 Cats vs. Dogs에 대한 추가 실험은 제안한 적응 전략이 비의료 이미지 분류 과제에도 전이됨을 보여주는 예비 증거를 제공한다. 최대 GPU 메모리 측정은 또한 매개변수 효율성이 비례적인 학습 메모리 절감으로 직결되지 않으며, 메모리 소비가 적응된 합성곱 층의 배치에 크게 좌우됨을 보여준다. 전반적으로 CoLoRA는 합성곱 모델에 대한 전체 미세조정의 매개변수 효율적이고 배포 효율적인 대안을 제공한다.
문항 반응 이론(Item Response Theory, IRT)은 모델의 잠재 능력과 개별 벤치마크 문항의 특성을 분리함으로써 대규모 언어 모델(LLM) 벤치마크를 평가하기 위한 프레임워크로 최근 제안되었습니다. PSN-IRT를 포함한 기존 신경 IRT 접근 방식들은 이러한 값들을 점추정(point estimate) 방식으로 추정하므로, 불확실성 정량화 및 다운스트림 통계적 추론에 한계가 있습니다. 본 논문에서는 사후(post-hoc) 마지막 층 라플라스 근사(Laplace approximation)를 통해 재학습 없이도 학습된 PSN-IRT 모델에 근사 베이지안 사후 추론을 보강하여 모델 능력 및 문항 난이도에 대한 보정된 불확실성을 복원하는 Laplace-PSN-IRT를 소개합니다. 도출된 사후분포는 신용 구간 산출, 모델 간 확률적 비교, 피셔 정보(Fisher information) 기반 문항 선택으로의 매개변수 불확실성 전파를 가능하게 합니다. 표준 LLM 벤치마크 리더보드의 12개 모델 간 쌍별 비교(pairwise comparison)에서 점추정 순위가 다름에도 불구하고 대다수가 통계적으로 구별되지 않음을 보여줍니다. 나아가 점추정 피셔 정보는 단일 기준 능력에서 평가되기 때문에 다수의 벤치마크 문항에 대해 0에 가까워질 수 있는 반면, 사후 기대 피셔 정보는 전체 능력 범위에 걸쳐 실질적으로 훨씬 더 안정적으로 유지됨을 보여줍니다. 마지막으로 사후 기대 피셔 정보는 대부분의 실험 환경에서 작은 벤치마크 부분집합으로부터 전체 벤치마크 능력 순위를 더 정확하게 복원하며, 가장 작은 부분집합에 대해서도 점추정 성능과 대등한 수준을 유지합니다. 저자들은 홀드아웃(held-out) 예측 커버리지를 활용해 근사 사후분포의 보정(calibration)을 검증하였으며, 문항 변별도를 고정으로 취급하면서 문항 난이도를 확률 변수로 모델링하는 것이 이 아키텍처에서 잘 보정된 불확실성을 생성함을 확인했습니다.
Max-D-SW(Max-D-Sliced Wasserstein)는 기존 Max-Sliced Wasserstein 거리를 단일 방향 최적화에서 정규직교 기저(orthonormal basis) 전체로 확장한 측도로, 특히 중꼬리 분포(heavy-tailed distribution)에서 다차원 척도법(MDS)의 패턴 인식 성능을 크게 향상시킨다. 또한 표본 복잡도(sample complexity) 이론적 분석을 통해 Max-D-SW가 통계적으로 다루기 쉬움을 증명하는 한편, 더 나은 표본 복잡도가 MDS 성능 향상으로 직접 이어지지는 않음을 보인다.