MaD Physics: Evaluating information seeking under constraints in physical environments
한국어 초록
과학적 발견은 본질적으로 자원 제약이 있는 과정으로, 물리적 및 비용적 제약으로 인해 측정의 질과 양 사이의 복잡한 트레이드오프를 탐색해야 합니다. 측정은 새로운 현상을 드러내어 우리의 이해를 향상시킴으로써 과학적 과정을 이끕니다. 과학적 발견을 위한 에이전트를 평가하는 기존 벤치마크는 정적인 지식 기반 추론 또는 제약이 없는 실험 설계 과제에만 초점을 맞추고 있어, 제약 하에서 측정을 수행하고 계획하는 능력을 포착하지 못합니다. 이러한 격차를 해소하기 위해, 우리는 측정의 질과 양에 대한 제약 하에서 정보성 있는 측정과 결론을 도출하는 에이전트의 능력을 평가하기 위한 벤치마크인 Measuring and Discovering Physics(MaD Physics)를 제안합니다. 이 벤치마크는 서로 다른 물리 법칙에 기반한 세 가지 환경으로 구성됩니다. 기존 지식으로부터의 오염을 완화하기 위해, MaD Physics는 변경된 물리 법칙을 포함합니다. 각 시험에서 에이전트는 할당된 예산을 소진할 때까지 시스템을 측정한 다음, 시스템의 미래 상태를 예측하기 위해 근본적인 물리 법칙을 추론해야 합니다. MaD Physics는 과학적 에이전트의 두 가지 근본 역량인 데이터로부터의 모델 추론과 제약 하의 계획을 평가합니다. 또한 MaD Physics가 멀티모달성 및 문맥 내 학습(In-Context Learning)과 같은 다른 역량을 평가하는 데 어떻게 활용될 수 있는지도 보여줍니다. 우리는 네 가지 Gemini 모델(2.5 Flash Lite, 2.5 Flash, 2.5 Pro, 3 Flash)을 사용해 MaD Physics에서 에이전트를 벤치마킹했으며, 그 결과 구조화된 탐색과 데이터 수집 능력의 한계를 확인하고 과학적 추론을 개선하기 위한 방향을 제시합니다.
요약
과학적 발견은 단순히 정답을 맞히는 과정이 아니라, 제한된 비용과 물리적 조건 속에서 어떤 측정을 먼저 수행해야 하는지 판단하고 그 결과를 바탕으로 세계의 구조를 점차 정교하게 복원해 가는 탐색 과정에 가깝습니다. MaD Physics는 바로 이러한 관점을 반영하여, 기존 벤치마크가 충분히 다루지 못했던 제약 하 정보 탐색과 과학적 추론을 함께 평가하도록 설계된 Measuring and Discovering Physics 벤치마크입니다. 저자들은 과학적 에이전트의 성능을 정적 지식 기반 추론이나 제약이 없는 실험 설계만으로는 제대로 측정할 수 없다고 보고, 측정의 질과 양 사이에서 균형을 잡는 능력을 중심에 놓았습니다. 이를 위해 서로 다른 물리 법칙을 따르는 세 가지 환경을 구성하고, 기존 지식의 단순한 재현을 막기 위해 변형된 물리 법칙을 포함시켜 데이터 오염을 최소화했습니다. 각 시도에서 에이전트는 제한된 예산이 소진될 때까지 시스템을 측정하고, 이후 관측 결과로부터 잠재된 물리 법칙을 추론한 뒤 미래 상태를 예측해야 하므로, 정보 수집과 모델 추론이 하나의 연속된 의사결정 과정으로 연결됩니다. 이러한 설계는 과학적 추론이 단순한 패턴 인식이 아니라, 어떤 관찰이 가장 정보량이 높은지를 판단하는 계획 문제라는 점을 분명하게 보여줍니다. 이 벤치마크의 핵심 혁신은 과학적 에이전트가 갖추어야 할 두 가지 능력, 즉 데이터로부터 모델을 추론하는 능력과 제약 조건 아래에서 탐색을 계획하는 능력을 동시에 시험한다는 데 있습니다. 전자는 관측값으로부터 보이지 않는 법칙을 귀납적으로 복원하는 과정이며, 후자는 제한된 측정 자원을 가장 효율적으로 배분하는 전략적 판단에 해당합니다. 두 능력은 서로 독립적이지 않고, 더 좋은 탐색이 더 좋은 데이터를 만들며, 더 좋은 데이터가 더 정확한 법칙 추론을 가능하게 한다는 점에서 긴밀하게 맞물려 있습니다. MaD Physics는 이 상호작용을 정면으로 다룸으로써, 과학적 발견을 단순한 답변 생성이 아닌 구조화된 정보 획득과 추론의 결합으로 재정의합니다. 또한 이 벤치마크는 멀티모달(multimodal) 능력과 문맥 내 학습(In-Context Learning, ICL) 같은 추가 역량을 평가하는 데도 활용될 수 있어, 단일 과제에 머무르지 않는 확장성을 보여줍니다. 이는 에이전트가 다양한 형태의 관측을 해석하고, 제한된 예시만으로도 환경의 규칙을 빠르게 적응적으로 학습해야 하는 실제 연구 상황과도 잘 맞닿아 있습니다. 실험에서는 Gemini 2.5 Flash Lite, Gemini 2.5 Flash, Gemini 2.5 Pro, Gemini 3 Flash의 네 가지 모델을 평가했으며, 그 결과 현재의 대형 모델들이 제약이 있는 과학적 탐색에서 아직 충분히 안정적이지 않다는 점이 드러났습니다. 특히 구조화된 탐색(structured exploration)과 데이터 수집(data collection)에서 약점이 확인되었는데, 이는 모델이 단순히 설명을 잘 생성하는 능력과는 별개로, 어떤 지점을 측정해야 하는지 체계적으로 결정하는 능력에는 한계가 있음을 시사합니다. 다시 말해, 주어진 예산 안에서 가장 유익한 측정을 고르고 관측의 흐름을 조정하는 정책이 충분히 정교하지 않으면, 이후의 법칙 추론도 쉽게 흔들릴 수 있습니다. 이러한 결과는 과학적 AI의 성능 향상이 추론 능력의 확장만으로는 부족하며, 정보 획득 단계의 계획 능력과 탐색 전략을 함께 개선해야 한다는 점을 분명히 보여줍니다. 결국 MaD Physics는 과학적 인공지능이 단지 “무엇을 아는가”를 평가하는 수준을 넘어, “제한된 세계에서 무엇을 어떻게 측정해 알아내는가”를 검증하는 새로운 기준을 제시한다는 점에서 중요한 의미를 지닙니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.