대규모 언어 모델(LLM)을 활용한 AI 과학자 에이전트 구축이 최근 주목받고 있다. 과학적 발견은 근본적으로 관측에서 인과 관계를 밝혀내는 과정에 의존하므로, 인과적 사고 능력—즉 인과관계와 상관관계를 구분하고 숨겨진 바이어스를 인식하는 능력—은 LLM 에이전트에게 필수적이다. AI 과학자를 위한 벤치마크가 다수 존재하지만, 실제 과학적 발견에서 광범위하게 나타나는 선택 바이어스(selection bias), 측정 오차(measurement error), 숨겨진 교란 변수(hidden confounders)로 인한 도전을 명시적으로 포함한 벤치마크는 없다. 이를 위해 우리는 인터랙티브 게임을 통해 LLM 에이전트의 인과적 사고 능력을 평가하는 벤치마크인 CausalGame을 제시한다. CausalGame은 LLM 에이전트가 실험 프로토콜을 능동적으로 설계하고, 관측 데이터를 수집하며, 설명 보고서와 함께 최종 해답을 도출하도록 요구한다. 현실적인 과학적 발견의 도전을 모사하기 위해, 선택 바이어스, 측정 오차, 숨겨진 교란 변수를 포함하는 14가지 시나리오를 설계하였다. 30개의 LLM 에이전트 전체에 걸쳐 신뢰할 수 있는 인과적 사고를 보인 모델은 없었다. 최고 성능 모델도 분석적 최적값인 78~85% 대비 생존율이 68.0%에 그쳤으며, 인과 추론 평가 기준에서 점수를 획득한 세션은 5~7%에 불과하였다. CausalGame은 AI 과학자 에이전트의 인과적 사고를 평가하기 위한 확장 가능하고 통제된 테스트베드를 제공한다.
대규모 언어 모델(LLM)이 복잡하고 고위험 의사결정 상황에서 점점 더 널리 배치되면서, 허위 상관관계가 아닌 인과성에 그 추론을 그라운딩하는 것이 필수적이다. 그러나 기존 추론 벤치마크에서의 우수한 성능은 LLM의 진정한 인과 추론 능력을 보장하지 않는다. 높은 정확도가 기저의 실제 인과 구조를 분석하기보다 의미적 패턴을 암기한 데서 비롯될 수 있기 때문이다. 이러한 중요한 공백을 메우기 위해, 우리는 LLM 추론을 의미적 상관관계가 아닌 인과성에 그라운딩하는 새로운 LLM 패러다임이나 학습 알고리즘의 개발을 촉진하도록 설계된 새로운 인과 추론 벤치마크인 CausalFlip을 제안한다. CausalFlip은 교란(confounder), 연쇄(chain), 콜라이더(collider) 관계를 형성할 수 있는 사건 트리플 위에 구성된 인과 판단 문제로 이루어져 있다. 이를 바탕으로 각 사건 트리플마다 동일한 사건을 재사용하지만 상반된 인과 답을 내는 의미적으로 유사한 문제 쌍을 구성하며, 의미적 매칭에 크게 의존하는 모델은 체계적으로 오답으로 유도된다. 모델의 의미적 패턴 의존도를 추가로 탐색하기 위해, 기저 인과 관계나 추론 과정의 논리를 바꾸지 않고 중간 인과 추론 단계 앞에 인과적으로 무관한 텍스트를 붙이는 노이즈 접두 문맥(noisy-prefix) 평가를 도입한다. 우리는 답만 학습, 명시적 사고의 연쇄(Chain-of-Thought, CoT) 지도, 그리고 추론 과정에서 상관관계에 대한 명시적 의존을 완화하는 것을 목표로 한 제안된 내면화 인과 추론 접근법 등 여러 학습 패러다임에서 LLM을 평가한다. 결과는 명시적 CoT가 여전히 허위 의미적 상관관계에 속을 수 있으며, 추론 단계를 내면화하면 인과 그라운딩이 실질적으로 개선된다는 점을 보여준다. 이는 베이스 LLM의 잠재적 인과 추론 역량을 더 잘 이끌어내는 것이 유망함을 시사한다.
지도 비디오(instructional video)에서의 시간적 답변 그라운딩(TAGV) 작업은 자연어 질의에 응답하는 정확한 비디오 세그먼트를 찾는 것을 목표로 하며, 직접적인 비디오 답변 검색을 위해 점점 더 중요해지고 있습니다. 이 작업은 의미적으로 복잡한 질문을 이해해야 할 필요성과 원본 비디오(untrimmed video)와 짧은 대상 구간(target moment) 사이의 상당한 길이 불일치를 해결해야 하기 때문에 여전히 도전적인 과제입니다. 기존 방법들은 종종 무관한 콘텐츠에 민감하거나 시각적 추론 능력이 부족하다는 문제가 있습니다. 이러한 한계를 해결하기 위해 본 연구는 후보 인식 인과 추론(CACR) 프레임워크를 제안합니다. 제안하는 방법은 먼저 비전-언어 사전학습 기반 후보 선택(VBCS) 알고리즘을 사용하여 K개의 후보 세그먼트를 효율적으로 생성하고, 이후 거부 보상 메커니즘(rejection reward mechanism)으로 강화된 시간적 논리 추론 모듈을 적용하며, 이를 그룹 상대 정책 최적화(GRPO)를 통해 최적화하여 강건한 추론을 수행합니다. 6개의 벤치마크에 대한 광범위한 실험을 통해 본 방법이 평균 교차 비율(mIoU) 측면에서 최신 수준(SOTA)의 성능을 달성함을 확인하였으며, 이는 긴 영상에서의 추론 기반 검색에 대한 새로운 관점을 제공합니다.
시각적 인과 추론은 물리 세계를 이해하고 개입하기 위해 필수적이며, 시각 입력에서 인과 변수를 식별하고 개입 효과에 대해 추론하는 것을 요구한다. 최근의 진전에도 불구하고, 대규모 비전-언어 모델(VLM)은 이러한 과제에서 여전히 취약하며, 특히 다중 이미지 입력에 대한 개입적·반사실(counterfactual) 질의에서 그렇다. 대부분의 기존 탐색은 텍스트 프롬프트를 통해 인과 지식을 주입하여, 인과 메커니즘을 모델 실행 외부에 두고 추론 시 안정적인 제어를 제한한다. 이 문제를 해결하기 위해, 우리는 다중 이미지 입력에서 인과 그래프를 유도하고 이를 LLM 디코더에 주입된 RAMP 레이어가 인과 메시지 패싱을 위해 실행하는 구조화된 Causal Tokens로 변환함으로써 시각적 인과 추론을 내재화하는 BridgeVLM을 제안한다. 또한 지역/전역 수준 등 서로 다른 세분성에서 세밀한 인과 감독을 위한 통합 학습 인터페이스 M3S를 도입한다. BridgeVLM은 CausalVLBench의 개입 과제에서 54.4%의 정확도를 달성하며(프롬프트 수준 감독 대비 33.2%), Causal3D에서 43.6%에서 49.0%로 성능을 향상시키고, CausalVLBench에서 인과 구조 학습을 크게 개선한다($F_1$: 33.4% $\rightarrow$ 75.1%).
인과 학습 문헌에서 오랫동안 확인된 바와 같이, 성인은 여러 원인이 동시에 존재해야 효과가 발생하는 연접(conjunctive) 인과 규칙을 식별하는 데 어려움을 겪는 반면, 분리(disjunctive) 설정에서는 더 나은 성과를 보인다. 그러나 이러한 '연접 결함(conjunctive handicap)'의 대부분의 실증은 학습자가 증거 생성을 통제할 수 없는, 제한된 증거를 가진 수동적 관찰 패러다임에 의존한다. 본 논문은 성인에게 능동적 탐험을 통해 주체성(agency)이 부여될 때 이 바이어스가 지속되는지 묻는다. 수정된 'blicket detector' 과제를 사용하여, 성인 참가자들은 연접 또는 분리 규칙 구조 하에서 인과 객체를 식별하기 위해 자유롭게 개입했다. 능동적 탐험은 성인의 연접 인과 추론을 상당히 향상시키지만, 연접 규칙은 여전히 분리 규칙보다 추론에 더 많은 검사가 필요함을 보인다. 또한 동일한 설정에서 인간의 수행을 다양한 대규모 언어 모델(LLM)과 비교한다. 일부 최신(state-of-the-art) 모델은 가설 추론 정확도에서 인간 수준의 성능에 근접하지만, 종종 덜 효율적인 탐험 전략과 유사한 연접-분리 성능 격차를 보인다.