arXiv:2401.01510

Answering from Sure to Uncertain: Uncertainty-Aware Curriculum Learning for Video Question Answering

Haopeng Li, Qiuhong Ke, Mingming Gong, Tom Drummond

제출 2024-01-03

원문 초록

While significant advancements have been made in video question answering (VideoQA), the potential benefits of enhancing model generalization through tailored difficulty scheduling have been largely overlooked in existing research. This paper seeks to bridge that gap by incorporating VideoQA into a curriculum learning (CL) framework that progressively trains models from simpler to more complex data. Recognizing that conventional self-paced CL methods rely on training loss for difficulty measurement, which might not accurately reflect the intricacies of video-question pairs, we introduce the concept of uncertainty-aware CL. Here, uncertainty serves as the guiding principle for dynamically adjusting the difficulty. Furthermore, we address the challenge posed by uncertainty by presenting a probabilistic modeling approach for VideoQA. Specifically, we conceptualize VideoQA as a stochastic computation graph, where the hidden representations are treated as stochastic variables. This yields two distinct types of uncertainty: one related to the inherent uncertainty in the data and another pertaining to the model's confidence. In practice, we seamlessly integrate the VideoQA model into our framework and conduct comprehensive experiments. The findings affirm that our approach not only achieves enhanced performance but also effectively quantifies uncertainty in the context of VideoQA.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22621v1cs.AI공통 태그 Question Answering, Scheduling

Opti-Q: 다중 LLM 질문 계획을 위한 제약 기반 최적화 프레임워크

Opti-Q: A Constraint-Based Optimization Framework for Multi-LLM Question Planning

대규모 언어 모델(LLM)은 강력한 질의응답(QA)을 가능하게 하지만, 예산 내 배포는 비결정성과 이질적인 자원 프로파일(비용, 지연시간, 에너지)로 인해 복잡해진다. 우리는 다중 LLM 오케스트레이션을 위한 실행 전 계획(plan-before-execute) 패러다igm을 구현하는, 데이터베이스에서 영감을 받은 비용 기반 옵티마이저 OPTI-Q를 제안한다. OPTI-Q는 LLM 호출을 실행 방향성 비순환 그래프(DAG)의 물리적 연산자로 모델링하고, 각 질문에 대해 사용자가 지정한 자원 제약 하에서 답변 품질(QoA)을 최적화하면서 금전적 비용, 지연시간, 에너지 간 트레이드오프를 고려하는 계획을 탐색한다. 계획에는 중간 답변을 컨텍스트로 전달하는 순차 연산자와, 모델을 동시에 실행하고 출력을 병합하는 병렬/블렌드 연산자가 포함될 수 있다. 각 후보 계획을 실행하지 않고 이 공간을 탐색하기 위해, OPTI-Q는 벤치마크와 실행 트레이스로 채워지고 갱신되는 통계 카탈로그 PERFDB를 사용하여 개별 연산자와 구성된 하위 계획 모두의 QoA와 자원 비용을 추정한다. 이 추정치를 활용하여 OPTI-Q는 파레토 프론티어 탐색을 수행하고 사용자 선호에 따라 최종 계획을 선택한다. 사용자가 지정한 예산 하에서 MMLU-Pro와 SimpleQA에서 OPTI-Q는 유사한 비용에서 베이스라인 대비 평균 QoA를 각각 약 58% 및 41% 향상시켰으며, 이는 데이터베이스 스타일 계획이 다중 LLM QA에서 더 나은 품질-자원 트레이드오프를 제공함을 보여준다.

arXiv:2607.15257v1cs.AI공통 태그 Question Answering, Scheduling

SearchOS-V1: 견고한 개방 도메인 정보 탐색 에이전트 협업을 향하여

SearchOS-V1: Towards Robust Open-Domain Information-Seeking Agent Collaboration

도구 통합 대규모 언어 모델(Tool-Integrated LLM)의 최근 발전으로 웹 검색은 정보 탐색 에이전트의 핵심 역량이 되었다. 그러나 상호작용 기록이 길어질수록 에이전트는 작업 진행 상황을 추적하는 데 점점 더 어려움을 겪는다. 검색 시도가 유용한 증거를 제공하지 못하면, 현재의 단일- 및 다중 에이전트 시스템은 반복적인 루프에 빠질 수 있으며, 검색 예산을 낭비하고 궁극적으로 최종 산출물의 품질과 완전성을 저하시킨다. 우리는 SearchOS를 소개하는데, 이는 취약한 암묵적 검색 진행 상태를 명시적이고 지속적이며 공유 가능한 상태로 전환하는 시스템 수준의 다중 에이전트 프레임워크이다. 먼저, 개방 도메인 정보 탐색을 그라운딩된 인용이 포함된 관계형 스키마 완성(relational schema completion)으로 공식화하는데, 에이전트는 엔티티를 발견하고 연결된 테이블 간 속성을 채우며, 각 값을 출처 증거에 고정한다. 이어서 Search-Oriented Context Management(SOCM)를 설계하는데, 이는 진화하는 상태를 Frontier Task, Evidence Graph, Coverage Map, Failure Memory로 외부화한다. SOCM 위에 구축된 SearchOS는 파이프라인 병렬 스케줄링 메커니즘을 적용하며, 서브 에이전트의 실행을 겹치게 하고 해결되지 않은 커버리지 공백을 대상으로 하는 작업으로 확보된 슬롯을 지속적으로 재채워 활용률과 처리량을 향상시킨다. 검색 에이전트의 실행을 스케줄링하고 제어하기 위해 SearchOS는 Search Tool Middleware Harness를 도입한다. 이는 모델과 도구 상호작용을 가로채 그라운딩된 증거를 기록하고 정지 또는 예산 소진에 대응하며, 전략 스킬과 접근 스킬로 구성된 재사용 가능한 계층적 스킬 시스템을 제공하여 에이전트의 검색 프로세스를 보강하고 실행 간 실패한 검색 패턴의 반복을 피한다. WideSearch와 GISA에서 SearchOS는 평가된 단일- 및 다중 에이전트 베이스라인 중 모든 지표에서 최고 성능을 기록하며, 견고한 정보 탐색 협업을 향한 길을 열어준다.

arXiv:2608.23986v4math.OC공통 태그 Scheduling

지능의 그림자 가격: LLM 추론에서의 품질 저하와 재시도 피드백

The Shadow Price of Intelligence: Quality Degradation and Retry Feedback in LLM Inference

대규모 언어 모델 제공자는 연산 자원이 제약되어 있으며, 혼잡에 대한 일반적인 대응은 서비스를 저하시키는 것이다. 즉, 질의를 더 작은 모델로 라우팅하거나, 추론 예산을 줄이거나, 컨텍스트 윈도를 단축한다. 만족스럽지 못한 답을 받은 사용자는 재시도하여 시스템이 바쁜 동안 부하를 늘리거나, 이탈하여 잠재적으로 고객 이탈로 이어진다. 우리는 추론 서비스를 서비스 품질이 제공자의 의사결정인 제어 문제로 모델링한다. 재시도를 서비스율에 포함한 2국면 유체 근사는 닫힌 형태의 궤적과 교차 시간을 제공하므로, 품질 등급에 대한 동적 계획법에 시뮬레이션이 필요하지 않다. 우리는 더 약한 등급이 작업당 에너지는 덜 쓰지만 작업당 용량은 더 쓰는 영역을 규명하고, 유체 모델에서 그러한 등급으로의 반응적 스로틀링이 큐가 해소되지 못하게 할 수 있음을 보인다. 이질적인 고객이 있는 경우 이 문제는 재시도로 부풀려진 용량 계수를 갖는 수송 문제가 되며, 최적 라우팅은 $c\mu$ 유형의 지수를 따르고, 용량 제약의 쌍대는 클래스와 시간별로 질의 하나를 더 처리하는 한계 비용을 제공한다. 우리는 공개 벤치마크 데이터로 보정한 다섯 가지 사례에서 이 방법을 예시한다.

arXiv:2610.00224v2cs.AI공통 태그 Question Answering

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2607.20289v2cs.RO공통 태그 Scheduling

배려적 선제: 지속적 공유 환경에서 장기 과업 계획 개선

Courteous Anticipation: Improving Long-Lived Task Planning in Persistent Shared Environments

본 논문은 지속적인 환경을 공유하는 로봇들이 보류된(held-out) 시퀀스로부터 한 번에 하나씩 과업을 할당받는 과업 계획 시나리오를 다룬다. 표준 과업 계획기는 미래 과업에 대한 예측이 없고 다른 로봇의 제약을 고려하지 않으므로 각 과업을 독립적으로 해결하여, 모든 로봇의 미래 비용을 증가시키는 종료 상태를 남기며, 이러한 부작용은 긴 과업 시퀀스에서 누적된다. 시퀀스 전체의 비용을 줄이려면 로봇은 현재의 행동이 환경을 공유하는 모든 로봇의 미래 과업 수행에 어떤 영향을 미칠지 예측해야 한다. 이에 본 논문은 모델 기반 계획기가 후보 계획을 제안하고, 로봇별로 독립적으로 학습된 추정기를 통해 추정한 즉각적 비용과 모든 로봇에 대한 집계된 기대 미래 비용을 함께 최소화하는 계획을 선택하는 배려형 예측 계획(courteous anticipatory planning)을 제시한다. 이러한 분해된 정식화는 조합적인 공동 롤아웃을 피하고 모듈식 배치를 지원하며, 로봇을 추가하려면 해당 로봇의 추정기만 훈련하면 된다. 비슷한 능력을 갖지만 책임이 다른 로봇들이 있는 가정 환경과, 로봇들의 서로 다른 능력으로 인해 다른 로봇이 해결할 수 없는 상태가 만들어지는 레스토랑 환경이라는 두 가지 지속적 PDDL 도메인에서 평가한다. 긴 과업 시퀀스에서 본 계획기는 2대 로봇 가정 환경에서 근시안적 계획 대비 총비용을 10.4%, 이기적 예측 계획 대비 4.5% 줄였으며, 3대 로봇 레스토랑 환경에서는 각각 20.5%와 6.7% 줄였다.

arXiv:2607.23379v2cs.CL공통 태그 Question Answering

활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대

When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles

활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.