조합(composition)을 통한 분포 외(OOD) 일반화는 시스템이 입출력 연관으로부터 불변 속성을 발견하고 이를 새로운 입력과 보지 못한 과제로 전이할 수 있어야 한다. 조합적 학습을 확인하려면 OOD 평가만으로는 부족하며, 학습된 특징이 진정으로 조합적이고 시스템이 그 조합 규칙을 인코딩하는지도 검증해야 한다고 주장한다. 이를 위해 조합 가능한 고수준 추상화로 생성하고 OOD 지표가 명확히 정의된 두 과제에서 MLP, CNN, 트랜스포머 등 세 가지 표준 아키텍처와 객체 중심(slot 기반) 아키텍처가 OOD에서 일반화하지 못함을 보인다. 이 과제들과 함께 조합적 표현이 형성되는지 드러내도록 해석 가능한 최종 은닉층을 갖춘 두 가지 새로운 어텐션 기반 아키텍처를 제안한다. 그중 하나는 한 과제에서 거의 완벽한 OOD 성능을 가능하게 하는 설계된 귀납적 바이어스를 담는다. 결과적으로 적절한 바이어스와 거의 완벽한 OOD 정확도가 있어도, 모델이 체계적 일반화(systematic generalisation)에 필요한 조합적 특징 구조를 학습하지 못할 수 있음을 보인다. 해석 가능한 층은 OOD 성능의 성공이 재사용 가능한 조합적 원시(primitive)의 발견이 아니라 과제 특이적 바이어스에 의해 이끌린다는 점을 드러낸다. 이러한 발견은 OOD 벤치마크만으로는 신경망에서의 조합성(compositionality) 평가에 불충분함을 시사한다.
추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)에는 제한된 그리드 샘플로부터 패턴을 요약하고 출력 그리드를 예측해야 하는 과제들이 포함되어 있다. 최근 많은 언어 모델 기반 접근법들이 이를 텍스트 기반 추론 과제로 변환하려고 시도해 왔다. 그러나 오픈소스 모델 기반 방법들은 일반적으로 만족스럽지 못한 결과를 보였고, 폐쇄형 모델에 의존하는 방법들은 비용이 너무 크다. 현재의 노력은 주로 데이터 증강, 즉 보다 포괄적인 지도 미세조정을 위한 ARC 유사 데이터 구축에 집중되어 있다. 본 연구에서는 ARC 유사 문제를 해결하기 위해서는 긍정 샘플 지도뿐만 아니라 부정 샘플을 구분함으로써 모델 추론을 개선할 수 있는 능력도 필요하다고 주장한다. 이를 위해 선호 정렬(preference alignment)의 아이디어를 차용하여, 선호 쌍을 구성해 모델이 이를 구분할 수 있게 하는 방법인 DiARC를 제안한다. 구체적으로 부정 샘플을 구성하는 세 가지 방법을 제안하는데, 여기에는 출력 수준의 시각적 변환, DSL 수준의 규칙 역전, 과제별 규칙 편집이 포함된다. 이렇게 생성된 부정 샘플은 관찰된 예시는 변경하지 않은 채 유익한 근접 오답(near-miss) 대안을 제공한다. 여러 ARC 유사 벤치마크에 걸친 실험 결과, DiARC는 기준선 모델 대비 성능을 일관되게 향상시킴을 보여준다. 코드는 https://github.com/szu-tera/DiARC에서 공개되었다.
Abstraction and Reasoning Corpus(ARC)는 모델이 퓨샷(few-shot) 예제에서 추상적 변환 규칙을 학습한 뒤 새로운 작업으로 일반화할 수 있게 하므로, 인공 일반 지능(AGI)으로 가는 중요한 경로로 여겨집니다. 그러나 지배적인 ARC 방법론은 순수 언어 기반이거나 비전 전용(vision-only, 즉 VARC)입니다. 전자는 대규모 언어 모델(LLM)에 크게 의존하여 수십억 개의 파라미터를 소비합니다. 후자는 종종 고수준 시맨틱을 포착하는 데 어려움을 겪어 픽셀 수준 패턴에 대한 과적합으로 이어집니다. 이러한 격차를 해소하기 위해, 우리는 언어 안내 특권 정보 활용 학습(Learning Using Privileged Information, LUPI) 분기를 통해 시각적 추론을 강화하는 새로운 프레임워크인 L-VARC를 제안합니다. 구체적으로, DeepSeek-V3에 통합된 작업 무관(task-agnostic) 프롬프트를 입력하여 시맨틱 압축 모듈(Semantic Compression Module)을 설계합니다. 이를 통해 크라우드소싱 언어 설명 데이터셋인 원본 LARC를 실질적으로 정제하고 구조화하여 표준 텍스트 인코더(예: CLIP)의 컨텍스트 윈도우(context window) 길이 제약에 맞출 수 있습니다. 또한 시각적 특징을 시맨틱 임베딩과 정렬하여 ARC 모델의 학습을 안내하는 크로스 어텐션(cross-attention) 프로젝터(Cross-Attention Projector)를 설계합니다. 특히 LUPI 분기는 학습 과정에서만 사용되며 추론 시에는 폐기되므로, 단 1,800만 개의 파라미터만을 가진 경량 모델을 얻습니다. 광범위한 실험을 통해 L-VARC가 언어적 사전지식(priors)을 효과적으로 활용하여 시각적 추론을 향상시키고 최첨단(state-of-the-art) 성능을 능가함을 보여줍니다. 제거 연구(ablation study)는 L-VARC 프레임워크의 두 가지 신규 설계의 기여를 추가로 확인합니다. 코드는 https://github.com/GZHU-DVL/L-VARC에서 확인할 수 있습니다.
우리는 원형 반응 변수를 갖는 회귀 문제에 준비 예측 기법을 적용하여, 데이터 교환 가능성 가정 하에 임의의 원형 예측 모델에 대해 적응형 호 길이와 유한 표본 커버리지 보장을 갖는 예측 집합을 생성합니다. 선형 반응 변수를 위해 설계된 기존 예측 모델의 높은 성능을 활용하여, 임의의 선형 반응 회귀 모델을 원형 반응 변수에 적합한 모델로 변환하는 일반적인 투영 절차를 분석합니다. 이 투영 절차에서 랜덤 포레스트를 기본 모델로 사용할 경우, 예측 집합 구성 시 별도의 보정 샘플이 필요 없도록 랜덤 포레스트의 OOB(Out-of-Bag) 메커니즘을 활용합니다. 합성 및 실제 데이터셋에서 결과적으로 도출된 투영 랜덤 포레스트 모델은, 기존의 두 가지 대안 모델이 생성한 분할 준비 예측 집합보다 더 짧은 중앙값 호 길이를 가지는 더 효율적인 OOB 준비 예측 집합을 생성합니다.