현대 AI의 괄목할 만한 성공은 스케일링 법칙(scaling laws)과 밀접하게 연관되어 왔으나, 고품질 데이터의 공급이 유한해짐에 따라 더 적은 데이터로 더 많이 학습하는 데이터 효율성이 점점 더 중요한 연구 분야가 되고 있습니다. 모델의 귀납적 바이어스(inductive bias)는 데이터 효율성을 좌우하는 핵심 요소이지만, 상태 공간 모델(SSM)과 같은 기초 시퀀스 모델은 종종 고정된 태스크 무관 바이어스에 의존합니다. 이러한 고정된 사전 확률(prior)이 태스크의 내재적 구조와 일치하지 않을 경우, 모델은 관련 신호를 학습하기 전에 자체적인 바이어스를 극복하기 위해 추가적인 표본을 필요로 할 수 있습니다. 본 연구에서는 선형 시불변(LTI) SSM의 귀납적 바이어스를 이해하고 정렬하기 위한 원리적 프레임워크를 소개합니다. 먼저 SSM 유도 커널(kernel)을 통해 이러한 바이어스를 정형화하고, 그 스펙트럼이 모델의 주파수 응답에 의해 결정됨을 이론적 및 실증적으로 보입니다. 이러한 특성 규명을 바탕으로, 다운스트림 학습(training) 전에 초기 SSM 바이어스를 태스크의 스펙트럼 특성에 맞추어 정렬하는 빠른 파워 스펙트럼 매칭 방식인 태스크 의존적 초기화(TDI)를 제안합니다. 통제된 합성 실험, 학습 가능한 단일 층(layer) SSM, 그리고 다양한 실제 벤치마크에 대한 심층 SSM 전반에서, TDI는 태스크 관련 스펙트럼 구조가 존재하고 기본 SSM 바이어스가 스펙트럼 측면에서 불일치할 때 주로 데이터 효율적 일반화를 개선할 수 있습니다. 본 연구 결과는 태스크 적응형 귀납적 바이어스를 위한 이론적 관점과 실용적 도구를 모두 제공하여, 더욱 데이터 효율적인 시퀀스 모델링을 향한 방향을 제시합니다.
이미지 데이터의 급격한 증가로 대규모 데이터셋이 생성되면서, 모델 학습에 소요되는 시간 및 메모리 비용에 대한 우려가 커지고 있다. 그러나 대표적인 학습 서브셋을 선택하는 것은 여전히 어려운 과제인데, 개별 샘플의 기여도가 불분명하고 모델 동작이 데이터셋 및 실행에 따라 달라지기 때문이다. 우리는 코어셋 선택과 여러 실행에 걸친 앙상블 집계를 결합한 프레임워크로 이러한 문제를 해결한다. 코어셋 선택을 위해, 선택된 점수를 기반으로 학습 데이터를 구간으로 분할하고 각 구간에서 샘플링하는 SCOre-Stratified Selection(SCOSS)을 제안한다. 앙상블은 독립적으로 샘플링된 학습 서브셋에서 각각 수행된 여러 실행의 예측을 결합한다. 기준선으로는 원본 버전과 클래스 균형 버전을 각각 가진 적당한(moderate) 선택과 무작위 선택을 사용한다. 우리는 서로 다른 샘플링 비율 하에서 Simple Graph Convolution(SGC)과 서포트 벡터 머신(SVM) 분류기로 프레임워크를 평가한다. 실험 결과, SCOSS는 기준선과 경쟁력 있으며 SGC에 있어 종종 최선의 선택이고, 정확도와 효율성 간의 유리한 트레이드오프를 가능하게 한다. 세밀한(fine-grained) 데이터셋에서는 레이블된 샘플을 더 적게 사용할 때 SCOSS를 적용한 SGC가 SVM을 능가한다. 코드와 보충 자료는 http://scoss.lucasvalem.com에서 공개적으로 이용 가능하다.
능동 학습(Active Learning)에서 기존 코어셋(coreset) 방법이 회전·스케일 등 데이터 대칭성을 무시해 레이블 예산을 낭비하는 문제를 해결하기 위해, 변환 군(transformation group)이 유도하는 궤도(orbit) 단위로 샘플을 선택하는 군-불변 코어셋 프레임워크 GRINCO를 제안한다. CIFAR-10, STL-10, MNIST 등의 이미지 벤치마크에서 회전 유도 중복이 클수록 기존 코어셋 기법 대비 레이블 효율이 뚜렷하게 향상됨을 실험으로 확인하였다.
커리큘럼 학습은 샘플이 난이도에 따라 점수가 매겨지는 방식과 더 어려운 샘플이 학습에 도입되는 속도라는 두 가지 설계 선택 사항을 결합하므로, 관찰된 성과를 어느 한 쪽 요소에 귀속시키기 어렵습니다. 우리는 두 가지 평가 프로토콜을 통해 이러한 요소들을 분리합니다: 커리큘럼 학습과 무관하게 스코어링 함수를 검증하는 단계별 테스트 부분집합과, 무작위로 순서가 지정된 데이터에 동일한 페이싱 스케줄을 적용하는 기준선(baseline)입니다. Transfer Teacher 프레임워크(TTF) 내에서, 우리는 이러한 프로토콜을 사용하여 정답 클래스 신뢰도와 오답 클래스에 대한 확률 분포를 모두 고려하는 혼동 인식 난이도 점수를 평가합니다. ResNet-18과 VGG-16을 사용한 CIFAR-10에서 제안된 점수는 인간의 직관과 일치하는 모델이 해석 가능한 난이도 순위를 생성합니다. 그러나 전체 데이터에서는 커리큘럼 순서나 안티-커리큘럼 순서 모두 표준 학습보다 정확도를 향상시키지 못하며, 이는 스코어링 함수만 개선하는 것으로는 TTF에서 커리큘럼 학습의 알려진 실패 모드를 극복하기에 불충분함을 나타냅니다. 대조적으로, 우리는 혼동 인식 커리큘럼 순서가 일관된 데이터 효율성 이점을 가져온다는 것을 발견했으며, 20% 데이터 구간에서 무작위 순서보다 최대 8.7%p 더 높은 성능을 보여 TTF가 데이터 효율적인 학습 방법으로서의 잠재력을 시사합니다.