Domain Adaptable Prescriptive AI Agent for Enterprise
원문 초록
Despite advancements in causal inference and prescriptive AI, its adoption in enterprise settings remains hindered primarily due to its technical complexity. Many users lack the necessary knowledge and appropriate tools to effectively leverage these technologies. This work at the MIT-IBM Watson AI Lab focuses on developing the proof-of-concept agent, PrecAIse, a domain-adaptable conversational agent equipped with a suite of causal and prescriptive tools to help enterprise users make better business decisions. The objective is to make advanced, novel causal inference and prescriptive tools widely accessible through natural language interactions. The presented Natural Language User Interface (NLUI) enables users with limited expertise in machine learning and data science to harness prescriptive analytics in their decision-making processes without requiring intensive computing resources. We present an agent capable of function calling, maintaining faithful, interactive, and dynamic conversations, and supporting new domains.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
인과적 세계 모델은 모듈형 LLM 에이전트에 언제 도움이 되는가
When Do Causal World Models Help Modular LLM Agents
인과적 메모리 정책: 검색 개입을 통해 메모리 효용을 식별 가능하게 만들기
Causal Memory Policy: Making Memory Utility Identifiable by Intervening on Retrieval
메모리 증강 대규모 언어 모델(LLM)은 어떤 메모리를 유지할지 결정해야 하며, 최근 시스템들은 작업 성능에 미치는 각 메모리의 영향을 추정함으로써 이를 수행합니다. 그러나 이러한 추정치는 전적으로 검색된 메모리에 의존합니다. 메모리가 전혀 검색되지 않는 경우, 저장소 수준의 개입은 동일한 결과를 낳아 해당 메모리의 효용(utility)을 식별할 수 없는 상태로 남겨둡니다. 이는 메모리 연산만을 검사하는 진단 방식으로는 보이지 않는, 검색 수준의 양의성(positivity) 위반 문제입니다. 본 논문에서는 검색 자체에 개입하여 알려진 성향(propensity)으로 샘플링된 메모리를 위해 고정된 수의 컨텍스트 슬롯을 확보함으로써 식별 가능성을 복원하는 인과적 프레임워크인 인과적 메모리 정책(Causal Memory Policy, CMP)을 제안합니다. CMP는 균형 할당 설계(balanced assignment design) 하에서 자기 정규화 역성향 가중치(self-normalized inverse propensity weighting)를 통해 메모리 효용을 추정합니다. 저자들은 검색을 통한 메모리 효용의 인과적 인수분해, 추정량의 비편향성과 정확한 분산, 그리고 비가역적 연산 하에서의 최적 결정 규칙을 증명합니다. 실증적으로 식별 실패는 LongMemEval에서 필요한 메모리의 54%, LoCoMo에서 67%에 달하며, 이러한 실패는 실제 배포된 메모리 시스템에서도 지속됩니다. CMP는 필요한 메모리와 필요하지 않은 메모리 간의 구별 성능을 0.54 AUC에서 0.66 AUC로 향상시킵니다. 마지막으로, 식별된 메모리 효용만으로는 유지 결정에 충분하지 않음을 보입니다. 쿼리별 효용은 추정 대상이 된 쿼리에서 0.78 AUC에 도달하지만, 유지 정책이 활용할 수 있는 어떤 집계 방식도 보지 못한 쿼리(unseen queries)에 대한 메모리의 가치를 예측하지 못합니다. 코드는 https://anonymous.4open.science/r/cmp-release-D0C3/ 에서 확인할 수 있습니다.
대규모 언어 모델을 통한 해석적 구조 모델링의 한계 극복
Overcoming Challenges of Interpretive Structural Modeling with Large Language Models
해석적 구조 모델링(Interpretive Structural Modeling, ISM)은 다기준 의사결정을 위한 대표적인 방법론이다. 다른 방법론 대비 ISM의 강점은 인과 관계를 모델링하는 능력, 요인의 이진 척도, 그리고 이를 통해 도출되는 계층적 표현에 있다. 전통적으로 모델링 과정은 합의가 도출될 때까지 주제별 전문가(SME)와의 반복적인 상호작용을 통해 수행된다. 그러나 이러한 과정은 지루하고 노동 집약적이며, 무엇보다도 수백 개의 변수를 다루는 연구로 ISM을 확장하는 데 한계가 있다. 대규모 언어 모델(LLM)을 불완전한 전문가로 활용하는 기존의 인과 그래프 탐색 연구를 바탕으로, 본 연구는 ISM을 위한 통합적 LLM-ISM 접근 방식을 탐구한다. 쌍별(pairwise), k-wise, 행별(rowwise), 전체 그래프(full graph) 탐색 방법론을 비교 및 평가하였다. 그 결과, ISM을 위한 인과 그래프 탐색 방법론 중 행별(SHD=160, F1-score=0.77) 및 전체 그래프 방식(SHD=135, F1-score=0.73)을 활용했을 때 가장 우수한 성능을 보이는 것으로 나타났다.
하네스가 신호를 잃을 때: LLM 에이전트의 복구에 대한 인과적 평가
When Harnesses Lose the Signal: Causal Evaluation of Recovery in LLM Agents
대규모 언어 모델(LLM) 에이전트는 모델과 환경 간에 정보를 전달하고 실행 오류로부터 복구하기 위해 외부 하네스(harness)에 의존합니다. 그러나 복구는 대개 평균 작업 성공률로만 평가됩니다. 이는 중요한 상충 관계(tension)를 가립니다. 동일한 작업이 실패하는 궤적을 구제할 수도 있지만, 그렇지 않았으면 성공했을 궤적을 방해할 수도 있습니다. 본 연구에서는 복구를 인과적 의사결정 문제로 정형화합니다. 동일한 실행 상태에서 출발하여 복구가 있을 때와 없을 때 일어나는 결과를 비교하고, 구제와 피해를 분리하며, 복구의 가치가 시간에 따라 어떻게 변하는지 연구합니다. 그런 다음 복구 이전에 가용한 정보를 활용하여 개입이 가치 있는 시점을 결정하는 경량 정책인 인과적 개입 라우터(CIR, Causal Intervention Router)를 소개합니다. Qwen3-14B를 사용한 긴 호라이즌(long-horizon) ALFWorld 작업에서 CIR은 성공률을 70.33%에서 73.33%로 3.00%p 향상시킵니다. 또한 올바른 관측을 가진 평가된 모든 궤적은 변경하지 않고 그대로 유지합니다. 추가적인 대조 실험은 복구의 이점이 단순히 환경이 반환한 새로운 관측만으로는 설명될 수 없음을 보여줍니다. 이러한 결과는 복구를 평가하고 이를 선택적으로 적용하기 위한 실용적인 방법을 제공합니다.
RSIAgent: 새로운 환경에서 재귀적 자기 개선을 위한 자율 탐험
RSIAgent: Autonomous Exploration for Recursive Self-improvement in New Environments
디지털 에이전트는 종종 사전학습된 모델이 인터페이스, 도구, 실패 모드까지 완전히 반영하지 못하는 새로운 환경에 적응해야 한다. 본 논문은 자율적 메모리 구축을 통한 재귀적 자기 개선을 위한 무학습 다중-에이전트 프레임워크인 RSIAgent를 제안한다. RSIAgent는 커리큘럼, 액터(actor), 검증자(verifier) 에이전트를 조율하여 환경을 지속적으로 탐험하고 결과를 검증하며, 행동·조건·결과 사이의 재사용 가능한 인과 관계를 포함한 환경별 지식을 유지한다. 또한 broad-then-deep 탐험 전략을 채택하여, 다양한 환경 구조를 찾기 위한 병렬적 넓은 재귀적 자기 탐험과 어려운 사례, 숨겨진 제약, 경계 조건, 이전에 알려지지 않은 인과 의존성을 드러내기 위한 집중적인 깊은 자기 탐험을 결합한다. 이렇게 얻은 메모리는 고정(frozen)되며 모델 파라미터를 갱신하지 않고 하위(downstream) 과제에 바로 재사용할 수 있다. OSWorld-v2와 Agent's Last Exam 실험에서 RSIAgent는 강력한 오픈소스 모델을 크게 향상시켜 Kimi-K3와 GLM-5.3이 GPT-6을 포함한 최첨단 폐쇄형(closed-source) 모델을 능가하도록 한다.
실력 수준 증가가 고정된 체스 트랜스포머에서 더 깊은 어텐션 레이어를 동원한다
Increasing Skill Level Recruits Deeper Attention Layers in a Frozen Chess Transformer
체스는 결정론적 환경에서 복잡한 추론을 수반하므로, 트랜스포머 내부 연산 메커니즘을 연구하기에 유용한 설정이다. Maia-3 체스 트랜스포머는 경쟁 체스 실력의 척도인 Elo를 사전학습된 네트워크의 입력으로 받으며, 따라서 가중치를 바꾸지 않고도 네트워크가 조건화되는 실력을 변화시킬 수 있다. 여기서는 이 실력 다이얼을 돌리는 것이 self-attention에 어떤 영향을 미치는지 조사한다. Elo 700부터 2500까지 각 Elo에서 모든 어텐션 헤드를 어블레이션한 결과, 1) 실력이 높아질수록 측정한 모든 체스 기물과 수 유형에 대해 연산의 인과적 질량 중심이 단조적으로 더 깊은 층으로 밀려난다; 2) 깊이 이동은 다른 수 유형보다 특정 전술, 특히 나이트 포크(knight fork)에서 훨씬 크다; 3) 이동은 더 깊은 헤드가 더 전문화된 연산에 기용되는 동시에 하나의 공유된 얕은 헤드가 대략 일정한 기여를 유지하는 것으로 구성된다. 이 결과는 더 큰 트랜스포머에서 조건화 입력이 연산을 어떻게 재배치하는지에 대한 통찰을 제공할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.