arXiv:2305.14982

LAraBench: Benchmarking Arabic AI with Large Language Models

Ahmed Abdelali, Hamdy Mubarak, Shammur Absar Chowdhury, Maram Hasanain, Basel Mousi, Sabri Boughorbel, Yassine El Kheir, Daniel Izham, Fahim Dalvi, Majd Hawasly, Nizi Nazar, Yousseif Elshahawy, Ahmed Ali, Nadir Durrani, Natasa Milic-Frayling 외 1명

제출 2023-05-24

원문 초록

Recent advancements in Large Language Models (LLMs) have significantly influenced the landscape of language and speech research. Despite this progress, these models lack specific benchmarking against state-of-the-art (SOTA) models tailored to particular languages and tasks. LAraBench addresses this gap for Arabic Natural Language Processing (NLP) and Speech Processing tasks, including sequence tagging and content classification across different domains. We utilized models such as GPT-3.5-turbo, GPT-4, BLOOMZ, Jais-13b-chat, Whisper, and USM, employing zero and few-shot learning techniques to tackle 33 distinct tasks across 61 publicly available datasets. This involved 98 experimental setups, encompassing ~296K data points, ~46 hours of speech, and 30 sentences for Text-to-Speech (TTS). This effort resulted in 330+ sets of experiments. Our analysis focused on measuring the performance gap between SOTA models and LLMs. The overarching trend observed was that SOTA models generally outperformed LLMs in zero-shot learning, with a few exceptions. Notably, larger computational models with few-shot learning techniques managed to reduce these performance gaps. Our findings provide valuable insights into the applicability of LLMs for Arabic NLP and speech processing tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13627v1cs.CL공통 태그 Benchmarking, Few-Shot Learning

AMLworld-Compact: 비용 효율적인 LLM 평가 및 오류 진단을 위한 중요도 가중치 다운샘플링

AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis

AMLworld의 가장 작은 테스트 분할에서 대규모 언어 모델(LLM)을 평가하는 것은 100만 개가 넘는 타깃 각각에 별도의 그래프 프롬프트(prompt)가 필요하기 때문에 비용이 많이 듭니다. 샘플링을 통해 이러한 비용을 줄일 수 있지만, 크기가 작은 균형 잡힌 서브셋은 가중치가 적용되지 않은 정밀도(precision)와 F1 점수를 변화시킵니다. 본 논문에서는 모든 불법 테스트 거래를 보존하면서 지도학습 점수 층(strata)에서 정상 거래를 샘플링하는 평가 셋인 AMLworld-Compact를 소개합니다. 이 세트의 HT-Coreset 프로토콜은 HI-Small 및 LI-Small에서 평가 타깃을 각각 271배 및 611배 줄입니다. 호비츠-톰슨(Horvitz-Thompson) 가중치(weight)는 고정된 예측에 대해 편향되지 않은 전체 테스트 오차 행렬 카운트 추정치를 제공하며, 재현율(recall)은 정확하고 정밀도와 F1은 비율 추정치입니다. Graph Feature Preprocessor(GFP) 특징(feature)을 사용한 홀드아웃 연구에서, 한 부스팅 트리 계열이 구성당 500회 추출에 걸쳐 다른 부스팅 트리 계열을 평가하기 위한 층을 정의합니다. 공개된 크기에서 HT 가중치를 적용한 균일 샘플링의 F1 RMSE가 4.44~7.41%포인트인 것에 비해, 본 방식은 0.00~2.58%포인트였으며 보수적 구간은 여전히 넓게 유지됩니다. 평가된 그래프 프롬프트 하에서, 7개의 오픈 가중치 LLM은 모두 불법으로 예측하는 기준선(baseline)에 근접한 가중 정밀도를 보였습니다. 모델(model)당 1회 실행에서 추출한 1,000개의 HI-Small 퓨샷 출력에 대한 결과 층화 감사에서, 어휘 검사는 정답인 이진 판정의 84.5%와 오답인 이진 판정의 56.2%를 통과했으므로 이러한 표식이 정확성을 입증하지는 못합니다. 저자들은 평가 셋, 구축 코드 및 감사 도구를 https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval 및 https://github.com/nat-nischw/AMLworld-Compact 에 공개합니다.

arXiv:2610.13660v1cs.LG공통 태그 Benchmarking, Few-Shot Learning

ARC를 위한 사전학습과 테스트 시점 학습 예산의 중요성: VARC와 TRM에 대한 통제 연구

Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM

추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)는 신경망이 적은 수의 시연(demonstration)으로부터 과제별 변환을 추론할 수 있는지를 평가하는 데 점점 더 많이 사용되고 있다. 최근의 ARC 모델들은 아키텍처뿐만 아니라 사전학습 데이터, 데이터 증강, 테스트 시점 설정, 최적화 예산을 포함한 더 넓은 학습 및 평가 프로토콜에서도 차이를 보이며, 이로 인해 아키텍처의 이점에 대한 결론이 논쟁의 여지가 있다. 본 연구에서는 ARC-AGI-1에 대한 공통된 귀납적 프로토콜 하에서, 비전에서 영감을 받은 VARC 모델과 재귀 기반 TRM 모델의 성능이 사전학습 및 테스트 시점 학습(test-time training, TTT) 예산에 의해 어떻게 영향을 받는지를 연구한다. 각 테스트 과제에 대해 다섯 가지 사전학습 예산과 네 가지 TTT 예산을 교차시킨다. 각 예산은 과제 변형 수와 총 샘플 제시 횟수를 지정하며, 이를 통해 통제된 학습 예산을 정의한다. TTT 샘플 제시 횟수를 늘리면 두 모델 모두에서 모든 설정에서 표준 ARC pass@2 지표가 향상되는 것을 관찰하였다. TTT 과제 변형 수를 늘리는 것은 TRM에만 일관되게 도움이 되는 반면, VARC는 변형 수가 더 적을 때 더 좋은 성능을 보이는 경우가 많다. 또한 VARC는 사전학습 없이도 경쟁력을 유지하는 반면, TRM은 사전학습으로부터 훨씬 더 많은 이점을 얻는다. 이러한 결과는 사전학습과 TTT 예산이 ARC 평가에 영향을 미친다는 것을 보여주며, 비교 가능한 예산 수준에서 결과를 보고할 필요성을 제기한다.

arXiv:2609.39166v3cs.AI공통 태그 Zero-Shot Learning, Benchmarking

기억된 세계를 넘어서: 진화하는 세계에서의 지속적 내비게이션을 위한 예측적 4D 신념

Beyond the Remembered World: Predictive 4D Belief for Persistent Navigation in Evolving Worlds

지속적 공간 메모리는 체화된 에이전트(embodied agent)가 반복적인 방문에 걸쳐 익숙한 환경을 탐색할 수 있도록 돕습니다. 그러나 목표 대상은 관측되지 않는 동안에도 움직일 수 있으며 내비게이션 도중에도 이동할 수 있어, 에이전트가 도착할 즈음에는 기억된 위치의 신뢰성이 떨어지게 됩니다. 메모리 검색 및 상태 예측 기술의 발전에도 불구하고, 지속적으로 숨겨진 세계의 변화(world evolution)를 고려하고 제한된 시야 하에서 신념(belief)을 수정하는 일은 여전히 어려운 과제로 남아 있습니다. 본 연구에서는 에이전트가 간헐적인 관측으로부터 목표 위치를 추론하고, 검사 시점의 상태를 예측하며, 시각적 증거를 사용해 신념을 수정하는 '진화하는 세계 내비게이션(Evolving-World Navigation)'을 연구합니다. 우리는 구조화된 지속-재배치 모델을 통해 타임스탬프가 부여된 3D 객체 이력으로부터 시간 인덱싱된 신념을 구축하는 EvolvingNav를 제안합니다. 이 신념은 마지막으로 관측된 위치에서의 지속성과 다른 위치로의 재배치를 구분하며, 알려진 후보군 집합 외부의 확률 질량도 유지합니다. 이벤트 기반 필터는 시간이 경과함에 따라 현재 신념을 전파하고, 후보 검사 시점에서의 목표 점유율을 예측하며, 새로운 RGB-D 증거를 반영합니다. 부정적 관측(negative observation)은 캘리브레이션된 시야 조건부 탐지 확률에 따라 위치 가설의 가중치를 낮추고, 증거 추적 메커니즘은 동일한 관측의 중복 활용을 방지합니다. 동결된 제로샷(zero-shot) 비전-언어(vision-language) 제어기는 업데이트된 신념을 사용하여 행동을 선택하고 재계획을 수행합니다. 나아가 우리는 인간 활동 궤적을 기반으로 하며, 내비게이션 전후 및 도중의 제어된 변화를 포함하는 54개 장면과 803,680개 작업으로 구성된 벤치마크(benchmark)인 EvoWorld-Bench를 소개합니다. 시뮬레이션 및 실제 로봇 실험에서 EvolvingNav는 평가된 베이스라인 대비 내비게이션 성공률과 탐색 효율성을 향상시켰습니다. 쌍체 실험(paired experiments)에서는 학습 가능한 시간적 패턴 하에서 가장 뚜렷한 성능 향상을 보였으며, 소거 연구(ablation study)를 통해 불확실성 보존 및 시야 인식 증거 반영의 유효성을 입증했습니다.

arXiv:2609.39964v2cs.AI공통 태그 Zero-Shot Learning, Few-Shot Learning

AIMS: Sim-to-Real 멀티모달 ISAC을 위한 에이전틱 AI 프레임워크

AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC

멀티모달 통합 감지 및 통신(ISAC)은 지능형 무선 네트워크를 위한 환경 인지 및 안정적인 연결성을 가능하게 합니다. 데이터 기반의 멀티모달 ISAC 모델은 센싱과 무선 관측치 간의 관계를 학습하기 위해 레이블이 지정된 실제 데이터에 크게 의존하므로 확장 가능한 배포가 제한됩니다. 합성 데이터 생성이 이러한 부담을 줄여주지만, 기존 시뮬레이션 파이프라인을 목표 배포 환경에 적응시키려면 일관된 장면, 센싱, 무선 및 학습 구성이 필요하며, 결합된 구성 요소 간의 불일치는 시뮬레이션에서 실제 환경으로의(sim-to-real) 전이성을 저해합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 AIMS라는 sim-to-real 멀티모달 ISAC을 위한 에이전틱 인공지능(AI) 프레임워크를 제안합니다. 목표 태스크, 배포 조건, 실제 데이터 예산을 명시한 자연어 배포 요청이 주어지면, AIMS는 배포 맞춤형 sim-to-real 구성을 도출하고 이의 실행을 조율하여 배포 맞춤형 태스크 모델을 생성합니다. 2개 에이전트 아키텍처는 장면 구축과 태스크 학습을 상호 조율합니다. 장면 구축 에이전트는 공유된 물리적 상태로부터 지리적으로 그라운딩(grounding)되고 동기화된 센싱 및 무선 기록을 생성하는 반면, 장면 이해 에이전트는 태스크 관련 모달리티와 제로샷(zero-shot) 추론 또는 퓨샷(few-shot) 적응을 위한 전문가 혼합(MoE) 학습을 구성합니다. 구조화된 도메인 지식은 의존성을 인식하는 계획 수립을 안내하며, 검증 증거는 영향을 받는 결정에 대한 피드백 기반 수정을 지원합니다. 실제 DeepSense 6G 데이터셋에 대한 실험 결과, 고려된 시뮬레이션 및 융합 베이스라인 대비 차량 탐지 및 빔 예측 성능이 향상되었음을 입증합니다. 별도의 오케스트레이션 벤치마크는 다양한 배포 요청 전반에 걸쳐 태스크 해석, 의존성 추론 및 피드백 기반 재계획을 평가하여 구조화된 도메인 지식과 검증 피드백을 통해 계획의 정확성이 향상됨을 보여줍니다.

arXiv:2610.01389v1cs.AI공통 태그 Zero-Shot Learning, Benchmarking

AiSearch: VLM을 활용한 대화형 멀티모달 검색

AiSearch: Interactive Multi-Modal Search with VLMs

현대의 정보 검색(retrieval) 시스템은 자동화되는 동시에 사용자가 실시간으로 결과를 검색하고 개선할 수 있는 대화형(interactive) 특성을 갖추어야 합니다. 본 논문에서는 이미지 및 비디오에 대한 자연어 검색을 위해 비전-언어 모델(VLM)의 제로샷(zero-shot) 역량을 활용하는 유연한 멀티모달 검색 프레임워크인 AiSearch를 제시합니다. AiSearch는 사용자의 의도에 맞게 결과를 맞춤화하기 위한 사용자 피드백 기반의 대화형 검색 정교화를 지원하며, 여러 VLM 전반에 걸친 시각적 벤치마킹을 지원하여 사용자가 작업에 가장 적합한 모델을 선택할 수 있도록 합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.