arXiv:2404.12387

Reka Core, Flash, and Edge: A Series of Powerful Multimodal Language Models

Aitor Ormazabal, Che Zheng, Cyprien de Masson d'Autume, Dani Yogatama, Deyu Fu, Donovan Ong, Eric Chen, Eugenie Lamprecht, Hai Pham, Isaac Ong, Kaloyan Aleksiev, Lei LI, Matthew Henderson, Max Bain, Mikel Artetxe 외 10명

제출 2024-04-18

원문 초록

We introduce Reka Core, Flash, and Edge, a series of powerful multimodal language models trained from scratch by Reka. Reka models are able to process and reason with text, images, video, and audio inputs. This technical report discusses details of training some of these models and provides comprehensive evaluation results. We show that Reka Edge and Reka Flash are not only state-of-the-art but also outperform many much larger models, delivering outsized values for their respective compute class. Meanwhile, our most capable and largest model, Reka Core, approaches the best frontier models on both automatic evaluations and blind human evaluations. On image question answering benchmarks (e.g. MMMU, VQAv2), Core performs competitively to GPT4-V. Meanwhile, on multimodal chat, Core ranks as the second most preferred model under a blind third-party human evaluation setup, outperforming other models such as Claude 3 Opus. On text benchmarks, Core not only performs competitively to other frontier models on a set of well-established benchmarks (e.g. MMLU, GSM8K) but also outperforms GPT4-0613 on human evaluation. On video question answering (Perception-Test), Core outperforms Gemini Ultra. Models are shipped in production at http://chat.reka.ai . A showcase of non cherry picked qualitative examples can also be found at http://showcase.reka.ai .

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23915v1cs.CL공통 태그 Question Answering, MMLU

대규모 언어 모델에서 어조에 따른 추론 비용 이해

Understanding Tone-Dependent Inference Cost in Large Language Models

프롬프트 어조가 LLM 답변의 정확도와 출력 토큰 소비로 나타나는 추론 비용 모두에 어떤 영향을 미치는지 조사한다. 아첨하는 어조에서 위협적인 어조까지 7가지 서로 다른 어조로 프롬프트한 LLM 모델을 대상으로, 570문항 MMLU 데이터셋에서 정확도와 추론 비용 간의 트레이드오프를 이해하기 위해 실험을 수행했다. 결과는 모든 모델에서 출력 토큰 길이 변동이 정확도 변동을 상당히 초과했음을 보여준다. 어조 조건에 따라 출력 토큰 소비는 최대 44.3%까지 달랐다. 또한 답변의 정확도와 추론 과정에서의 평균 출력 토큰 길이 간 트레이드오프를 분석했다. ChatGPT 모델 4o와 5-nano의 경우 무례한 어조가 상당히 우세했다. Gemini 모델 2.5 Flash와 2.5 Flash Lite의 경우 파레토 최적 프론티어에서 무례한 어조와 중립적 어조가 우세했다. 프롬프트 어조가 답변 품질뿐 아니라 최신 LLM이 소비하는 과금 대상 추론 자원의 양에도 영향을 미침을 확인했다.

arXiv:2607.10990v1cs.CV공통 태그 Question Answering, Video Question Answering

TreeSoc: 축구 영상 이해를 위한 트리 구조 동적 추론 및 도구 시너지

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

비디오에서 복잡한 축구 장면을 자동으로 이해하는 것은 현재의 비전-언어(vision-language) 모델(VLM)에게 여전히 중요한 도전 과제로, 이러한 모델들은 얕은 교차 모달 정렬(cross-modal alignment)로 인해 다단계 추론 및 조율된 도구 통합에 근본적인 한계를 보인다. 우리는 축구 비디오 질의응답을 단일 패스 예측이 아닌 계층적 탐색 문제로 재정의하는 구조화된 추론 프레임워크 TreeSoc를 제안한다. 구체적으로, TreeSoc는 동적 깊이 우선 탐색(DFS) 메커니즘을 활용하여 복잡한 질의를 순차적으로 정렬된 하위 태스크로 분해하고, 명시적인 중간 상태를 통해 반복적인 추론 정제를 가능하게 한다. 이러한 트리 구조 분해는 적응형 도구 라우팅(tool routing)을 자연스럽게 지원하며, 각 추론 노드에서 도메인 특화 모듈이 선택적으로 활성화되어 그 출력이 통합됨으로써 문맥적으로 근거 있는 예측을 생성한다. SoccerBench에서 TreeSoc는 TextQA, ImageQA, VideoQA에서 각각 85.2%, 87.4%, 82.2%의 정확도로 최첨단 성능을 달성하였다. 또한 TreeSoc는 강력한 교차 도메인 일반화 능력을 입증하여 NExT-QA에서 74.16%의 정확도를 달성하였다. 이러한 결과는 구조화된 도구 증강 트리 추론이 강건한 비디오 이해를 위한 효과적인 패러다임임을 확립한다. 코드는 https://github.com/thanhnhan29/TreeSoc에서 확인할 수 있다.

arXiv:2607.11862v1cs.CV공통 태그 Question Answering, Video Question Answering

근거 기반 비디오 질의응답

Evidence-Backed Video Question Answering

현재의 비디오 대규모 언어 모델(Video LLM)은 질의응답(QA)에서 뛰어난 성능을 보이지만, 대부분 시각적 근거 없이 텍스트 답변만 제공하는 블랙박스 방식으로 작동한다. 기존의 설명 가능성 연구들은 텍스트 기반 근거나 희소한 바운딩 박스에 의존하며, 폐색(occlusion)이나 비강체 변형(non-rigid deformation)과 같은 복잡한 비디오 동역학을 포착하는 데 한계가 있다. 우리는 근거 기반 비디오 질의응답(E-VQA)이라는 새로운 태스크를 제안한다. 이 태스크는 모델이 의미론적 답변과 함께 시공간적 근거—즉, 시간 구간과 조밀하게 추적된 객체 분할 마스크릿(masklet)—를 동시에 출력할 것을 요구한다. 이를 지원하기 위해 판별적(discriminative) 및 생성적(generative) 픽셀 수준 그라운딩을 위한 최초의 인간 검증 벤치마크인 ST-Evidence를 도입한다. 최신 모델들에 대한 평가 결과, QA 정확도와 실제 시각적 인식 사이의 심각한 괴리가 드러났으며, 이는 스케일링만으로는 해소되지 않는다. 이를 해결하기 위해 고수준 추론과 세밀한 그라운딩을 연결하는 16만 규모의 데이터셋인 ST-Evidence-Instruct를 생성하는 확장 가능한 자동화 생성 파이프라인을 개발한다. 이 데이터로 그라운딩 기반 Video LLM을 미세조정하면 동일한 크기의 UniPixel 기준선 대비 상당한 성능 향상을 달성한다(예: 7B 모델에서 t-mean +27.2, J&F +13.8). 이는 설명 가능하고 근거 기반의 비디오 이해를 위한 강건한 기준선을 확립한다. 코드와 데이터는 https://github.com/SalesforceAIResearch/EVQA 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.