arXiv:2310.17567

Skill-Mix: a Flexible and Expandable Family of Evaluations for AI models

Dingli Yu, Simran Kaur, Arushi Gupta, Jonah Brown-Cohen, Anirudh Goyal, Sanjeev Arora

제출 2023-10-26

원문 초록

With LLMs shifting their role from statistical modeling of language to serving as general-purpose AI agents, how should LLM evaluations change? Arguably, a key ability of an AI agent is to flexibly combine, as needed, the basic skills it has learned. The capability to combine skills plays an important role in (human) pedagogy and also in a paper on emergence phenomena (Arora & Goyal, 2023). This work introduces Skill-Mix, a new evaluation to measure ability to combine skills. Using a list of $N$ skills the evaluator repeatedly picks random subsets of $k$ skills and asks the LLM to produce text combining that subset of skills. Since the number of subsets grows like $N^k$, for even modest $k$ this evaluation will, with high probability, require the LLM to produce text significantly different from any text in the training set. The paper develops a methodology for (a) designing and administering such an evaluation, and (b) automatic grading (plus spot-checking by humans) of the results using GPT-4 as well as the open LLaMA-2 70B model. Administering a version of to popular chatbots gave results that, while generally in line with prior expectations, contained surprises. Sizeable differences exist among model capabilities that are not captured by their ranking on popular LLM leaderboards ("cramming for the leaderboard"). Furthermore, simple probability calculations indicate that GPT-4's reasonable performance on $k=5$ is suggestive of going beyond "stochastic parrot" behavior (Bender et al., 2021), i.e., it combines skills in ways that it had not seen during training. We sketch how the methodology can lead to a Skill-Mix based eco-system of open evaluations for AI capabilities of future models.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2501.13946v2cs.CL공통 태그 AI Agent공식 코드 · Papers with Code

에이전트 기반 AI 자연어 프레임워크를 활용한 환각 완화

Hallucination Mitigation using Agentic AI Natural Language-Based Frameworks

환각은 생성형 AI의 중대한 과제로 남아 있으며, AI 시스템에 대한 신뢰와 신뢰성을 훼손한다. 본 연구는 여러 전문 AI 에이전트를 조율하는 방식이 환각을 어떻게 완화할 수 있는지를 조사하며, 에이전트 간 상호작용에 자연어 처리(NLP)를 사용하는 시스템에 초점을 둔다. 우리는 환각을 유도하도록 의도적으로 설계된 310개의 프롬프트를 프런트엔드 에이전트에 입력하고, 그 출력을 검증되지 않은 주장을 탐지하고 명시적 면책 문구를 추가하며 추측성 내용을 명확히 하는 2단계 및 3단계 에이전트가 검토하고 개선하는 파이프라인을 설계한다. 우리는 사실 주장 밀도, 사실 근거 참조, 허구 면책 문구 빈도, 명시적 맥락화 점수라는 네 가지 새로운 핵심 성과 지표(KPI)를 도입하며, 이를 종합하여 총 환각 점수(THS)로 산출하고 전담 4단계 평가자 에이전트가 평가한다. 에이전트 간 맥락은 Open Floor Protocol(OFP, 구 OVON, Open Voice Network)이 전달하며, 그 구조화된 JSON 메시지를 통해 각 검토자는 환각 가능성에 대한 평가와 그 근거를 다음 단계로 전달한다. 310개 프롬프트 전체에서 THS는 프런트엔드 에이전트에서 최종 검토자까지 프롬프트당 평균 -0.131 개선되었으며(Cohen's d = 2.38), 310개 중 302개의 프롬프트에서 점수가 낮아졌다. 이러한 개선은 주로 명시적 면책 문구와 맥락화에서 비롯되며, 추측성 내용을 더 투명하게 하고 사실 주장과 명확히 구분되게 한다. 결과는 구조화된 NLP 기반 메타 정보 교환을 활용한 다중 에이전트 조율이 AI 생성 응답의 인식론적 틀을 크게 강화하고 설명 가능성을 향상시킬 수 있음을 보여준다.

arXiv:2406.07089v4cs.CV공통 태그 AI Agent공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

최근 멀티모달 대규모 언어 모델(MLLM)의 발전은 시각적 질의응답 및 장면 이해와 같은 원격 탐사 작업에서 가능성을 보여주었다. 그러나 기존 모델들은 기본적인 인스트럭션 팔로잉에 머물러 있으며, 다중 소스 데이터 통합, 세밀한 공간 추론, 도메인 전문 지식을 요구하는 실세계 시나리오에서는 한계를 보인다. 이러한 격차를 해소하기 위해, 우리는 구조화된 작업 계획 및 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트 RS-Agent를 제안한다. RS-Agent는 전형적인 원격 탐사 워크플로우에 맞춰 네 가지 구성요소로 이루어진다: 의도 이해 및 프로세스 계획을 위한 중앙 컨트롤러(Central Controller), 도구 실행을 위한 동적 툴킷, 작업별 전문가 가이던스를 위한 솔루션 공간(Solution Space), 그리고 도메인 지식 지원을 위한 지식 공간(Knowledge Space)이다. 또한 작업 유형을 식별하고 전문가 정의 솔루션을 검색함으로써 계획 수립을 향상시키는 Task-Aware Retrieval과, 검색된 지식의 관련성과 완전성을 높이는 가중 이중 경로 검색-증강 생성(RAG) 방법인 DualRAG를 새롭게 도입한다. RS-Agent는 광학 영상과 SAR(합성 개구 레이더) 영상을 포함한 다양한 촬영 모달리티를 기본 지원하며, SAR 전용 처리 도구를 실행 가능한 워크플로우로 자동 구성할 수 있다. 9개 데이터셋과 18개 원격 탐사 작업에 대한 실험 결과, RS-Agent는 최신 MLLM 대비 현저히 높은 성능을 달성하였으며, 95% 이상의 작업 계획 정확도와 장면 분류, 객체 계수, 원격 탐사 시각적 질의응답에서 우수한 결과를 보였다. 이 결과는 지능형 지리공간 분석을 위해 LLM 추론과 원격 탐사 전문성을 결합하는 것의 가치를 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.