PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27288v1cs.AI

PotARCin: 추상적 추론 과제에서의 기술 습득에 대한 다차원적 평가

PotARCin: Multi-Dimensional Evaluation of Skill Acquisition in Abstract Reasoning Tasks

추상 및 추론 코퍼스(ARC)는 AI 모델의 일반적인 추상적 추론과 유동 지능을 평가하는 대표적인 벤치마크가 되었습니다. 그러나 표준 ARC 평가는 테스트 입력에 대해 올바른 출력 격자를 생성하는 단일 능력만을 고려합니다. 우리는 이러한 편협한 형식이 진정한 추상적 기술 습득이 가능하게 해야 하는 다양한 능력들을 평가하지 못한다고 주장합니다. 본 논문에서는 정의, 분류(Classification), 제약 조건 생성, 편집, 역변환의 다섯 가지 차원에 걸쳐 과제의 기저에 있는 추상적 규칙에 대한 이해도를 평가함으로써 ARC를 확장한 벤치마크인 PotARCin을 소개합니다. PotARCin은 프로그래밍 방식의 메서드를 적용하여 새로운 과제 인스턴스를 생성하고 주어진 ARC 과제에 대한 입력을 변환함으로써 고정된 입력-출력 쌍을 넘어선 동적 생성 샘플링을 가능하게 합니다. ARC-AGI-1 학습(training) 셋에서 평가된 5개의 최신 최고 성능 모델 전반에서, 표준 ARC 평가와 PotARCin 평가 간에 25~52%포인트의 성능 격차를 확인하였으며, 표준 정확도로는 유사하게 순위가 매겨지던 모델들이 다차원 평가에서는 순위가 재정렬됨을 발견했습니다. 나아가 생성 샘플링의 효과, 손상 유형의 난이도, 자기 일관성 문제를 조사하여, 모델이 규칙을 올바르게 서술했음에도 자신이 공식화한 규칙과 모순되는 결과를 자주 도출함을 보입니다. 또한 우리는 모델들이 5개 차원 전체에서 1~8%의 정확도를 기록한 별도의 수작업 테스트 셋인 P-ARC를 도입하여, 추상적 추론 능력에 대한 보다 총체적인 평가의 중요성을 강조합니다.