추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)는 신경망이 적은 수의 시연(demonstration)으로부터 과제별 변환을 추론할 수 있는지를 평가하는 데 점점 더 많이 사용되고 있다. 최근의 ARC 모델들은 아키텍처뿐만 아니라 사전학습 데이터, 데이터 증강, 테스트 시점 설정, 최적화 예산을 포함한 더 넓은 학습 및 평가 프로토콜에서도 차이를 보이며, 이로 인해 아키텍처의 이점에 대한 결론이 논쟁의 여지가 있다. 본 연구에서는 ARC-AGI-1에 대한 공통된 귀납적 프로토콜 하에서, 비전에서 영감을 받은 VARC 모델과 재귀 기반 TRM 모델의 성능이 사전학습 및 테스트 시점 학습(test-time training, TTT) 예산에 의해 어떻게 영향을 받는지를 연구한다. 각 테스트 과제에 대해 다섯 가지 사전학습 예산과 네 가지 TTT 예산을 교차시킨다. 각 예산은 과제 변형 수와 총 샘플 제시 횟수를 지정하며, 이를 통해 통제된 학습 예산을 정의한다. TTT 샘플 제시 횟수를 늘리면 두 모델 모두에서 모든 설정에서 표준 ARC pass@2 지표가 향상되는 것을 관찰하였다. TTT 과제 변형 수를 늘리는 것은 TRM에만 일관되게 도움이 되는 반면, VARC는 변형 수가 더 적을 때 더 좋은 성능을 보이는 경우가 많다. 또한 VARC는 사전학습 없이도 경쟁력을 유지하는 반면, TRM은 사전학습으로부터 훨씬 더 많은 이점을 얻는다. 이러한 결과는 사전학습과 TTT 예산이 ARC 평가에 영향을 미친다는 것을 보여주며, 비교 가능한 예산 수준에서 결과를 보고할 필요성을 제기한다.
추상 및 추론 코퍼스(ARC)는 AI 모델의 일반적인 추상적 추론과 유동 지능을 평가하는 대표적인 벤치마크가 되었습니다. 그러나 표준 ARC 평가는 테스트 입력에 대해 올바른 출력 격자를 생성하는 단일 능력만을 고려합니다. 우리는 이러한 편협한 형식이 진정한 추상적 기술 습득이 가능하게 해야 하는 다양한 능력들을 평가하지 못한다고 주장합니다. 본 논문에서는 정의, 분류(Classification), 제약 조건 생성, 편집, 역변환의 다섯 가지 차원에 걸쳐 과제의 기저에 있는 추상적 규칙에 대한 이해도를 평가함으로써 ARC를 확장한 벤치마크인 PotARCin을 소개합니다. PotARCin은 프로그래밍 방식의 메서드를 적용하여 새로운 과제 인스턴스를 생성하고 주어진 ARC 과제에 대한 입력을 변환함으로써 고정된 입력-출력 쌍을 넘어선 동적 생성 샘플링을 가능하게 합니다. ARC-AGI-1 학습(training) 셋에서 평가된 5개의 최신 최고 성능 모델 전반에서, 표준 ARC 평가와 PotARCin 평가 간에 25~52%포인트의 성능 격차를 확인하였으며, 표준 정확도로는 유사하게 순위가 매겨지던 모델들이 다차원 평가에서는 순위가 재정렬됨을 발견했습니다. 나아가 생성 샘플링의 효과, 손상 유형의 난이도, 자기 일관성 문제를 조사하여, 모델이 규칙을 올바르게 서술했음에도 자신이 공식화한 규칙과 모순되는 결과를 자주 도출함을 보입니다. 또한 우리는 모델들이 5개 차원 전체에서 1~8%의 정확도를 기록한 별도의 수작업 테스트 셋인 P-ARC를 도입하여, 추상적 추론 능력에 대한 보다 총체적인 평가의 중요성을 강조합니다.
우리는 엄격한 테스트 시간 및 하드웨어 제약 하에서 ARC-AGI-2 태스크를 해결하기 위한 협력적 다중 에이전트 프레임워크인 ARCANA를 제안한다. ARCANA는 각 태스크를 반복적인 인식, 가설 생성, 기호적 실행, 그리고 반성적 정제 단계로 분해한다. 지각적 그라운딩 에이전트는 원시 그리드로부터 객체 중심 장면 그래프를 구성하고, 잠재 프로그램 정책은 다양한 DSL 프로그램을 제안하며, 기호적 실행기는 데모에서 후보를 검증하고, 반성적 에이전트는 다음 턴을 위한 실패 기반 피드백을 합성한다. 이 에이전트들은 공유된 미분 가능 블랙보드를 통해 통신하며, 학습된 메타 컨트롤러에 의해 스케줄링된다. 이 설계는 구조화된 프로그램 탐색과 적응적 다중 턴 수정을 결합하여, 도전적인 추상 변환 태스크에서 추론 효율성과 솔루션 품질을 향상시킨다.
ARC-AGI-2 추상 추론 벤치마크에서 텍스트·이미지·코드 채널을 독립적 탐색 연산자로 활용해 다양한 후보를 생성하고, 단일 긴 컨텍스트 프롬프트 안에서 모든 추론 트레이스를 통합 비교하는 전체론적 판별 방법을 제안한다. 이 접근법은 다수결 투표와 달리 다수 답이 오답인 경우에도 소수 정답 가설을 안정적으로 복원하며, ARC Prize 검증 리더보드에서 72.9%를 달성해 GPT-5.2 Pro(54.2%)와 Gemini 3 Pro(54.0%)를 18.7%p 초과했다.
추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)에는 제한된 그리드 샘플로부터 패턴을 요약하고 출력 그리드를 예측해야 하는 과제들이 포함되어 있다. 최근 많은 언어 모델 기반 접근법들이 이를 텍스트 기반 추론 과제로 변환하려고 시도해 왔다. 그러나 오픈소스 모델 기반 방법들은 일반적으로 만족스럽지 못한 결과를 보였고, 폐쇄형 모델에 의존하는 방법들은 비용이 너무 크다. 현재의 노력은 주로 데이터 증강, 즉 보다 포괄적인 지도 미세조정을 위한 ARC 유사 데이터 구축에 집중되어 있다. 본 연구에서는 ARC 유사 문제를 해결하기 위해서는 긍정 샘플 지도뿐만 아니라 부정 샘플을 구분함으로써 모델 추론을 개선할 수 있는 능력도 필요하다고 주장한다. 이를 위해 선호 정렬(preference alignment)의 아이디어를 차용하여, 선호 쌍을 구성해 모델이 이를 구분할 수 있게 하는 방법인 DiARC를 제안한다. 구체적으로 부정 샘플을 구성하는 세 가지 방법을 제안하는데, 여기에는 출력 수준의 시각적 변환, DSL 수준의 규칙 역전, 과제별 규칙 편집이 포함된다. 이렇게 생성된 부정 샘플은 관찰된 예시는 변경하지 않은 채 유익한 근접 오답(near-miss) 대안을 제공한다. 여러 ARC 유사 벤치마크에 걸친 실험 결과, DiARC는 기준선 모델 대비 성능을 일관되게 향상시킴을 보여준다. 코드는 https://github.com/szu-tera/DiARC에서 공개되었다.
비전-언어 모델(VLMs)을 발전시키는 데 있어 한 가지 도전 과제는 봉가드 문제와 같은 추상적 추론 작업에서의 실패가 결함 있는 지각에서 비롯되는지, 아니면 잘못된 하향식 추론에서 비롯되는지를 결정하는 것입니다. 이러한 요인들을 분리하기 위해, 우리는 선형 분리 가능성 천장(LSC)을 중심으로 하는 진단 프레임워크를 소개합니다. LSC는 VLM의 원본 시각 임베딩에 선형 분류기를 적용했을 때 달성 가능한 성능입니다. 최첨단 VLM들에 이 프레임워크를 적용한 결과, 우리는 대부분의 모델이 자신들의 표현이 가진 선형 분리 가능성을 생성적으로 능가하지 못하는 광범위한 '정렬 격차'를 발견했습니다. 우리는 이 천장을 초과하는 소수의 모델들이 두 가지 메커니즘을 통해 이를 달성함을 확인했습니다: 시각 표현을 더 선형 분리 가능한 형식으로 추가로 정제하거나, 비선형 의사결정 논리를 수행하는 것입니다. 우리는 이러한 병목 현상이 근본적인 제약이 아니라 해결 가능한 시각 정렬 문제임을 입증합니다. 우리의 방법은 표준 다음 토큰 예측에 대조적 목적 함수를 추가하여 시각 다양체를 더 1차원 선형인 기하학 구조로 재구성함으로써, 이미지 간 비교를 개선하고 모델이 추상적 구성적 추론 작업에서 LSC를 유의미하게 초과할 수 있도록 합니다.
ARC는 문맥 내 규칙 유도를 테스트합니다: 몇 가지 입력-출력 데모(demonstrations)가 주어지면, 모델은 숨겨진 규칙을 추론하고 이를 새로운 쿼리(query)에 적용해야 합니다. 많은 접근 방식이 언어, 코드 또는 기호 프로그램(symbolic programs)을 통해 ARC 규칙을 표현하지만, ARC 자체는 시각-기호적(visual-symbolic)입니다: 규칙은 객체, 색상, 모양 및 공간 관계에 대한 그리드 전이(grid transitions)로 나타납니다. 우리는 이러한 규칙을 구조화된 상태(structured states)에 대한 조합 가능한 전이(composable transitions)로 학습하는 객체 중심(object-centric) 월드 모델링 아키텍처인 Loop-OWM을 소개합니다. 이는 색상 프로토타입 슬롯(color-prototype slots), 데모 조건(demonstration-conditioned) 작업 요약(task summaries), 그리고 밀도 전파(dense propagation)와 슬롯 조건(slot-conditioned) 보정(correction)을 갖는 루프 전이 모델(looped transition model)을 결합합니다. ARC-1과 ARC-2 모두에서 Loop-OWM은 유사하거나 더 적은 파라미터(parameters)로 비루프(non-looped) 및 루프(looped) 기준선(baselines)을 능가합니다. 이러한 결과는 ARC 규칙이 언어 설명(language descriptions)이나 탐색된 프로그램(searched programs)으로뿐만 아니라 시각-기호적(visual-symbolic) 월드 상태(world states)에 대한 전이(transitions)로도 학습될 수 있음을 시사합니다.