PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21445v2cs.CL

트리비아가 결코 사소하지 않을 때: 다국어 LLM의 일상 지식 실패

When Trivia Is Not Trivial: Everyday Knowledge Failures in Multilingual LLMs

퀴즈 룸, 트리비아 나이트, 퀴즈 쇼는 정통 사실부터 일상 문화에 이르기까지 폭넓은 주제에 걸쳐 인간의 지식을 시험한다. 본 논문에서는 대규모 언어 모델(LLM)이 이러한 환경에서 경쟁력 있는 성능을 보일 수 있는지 살펴보고자, 퀴즈 형식의 질문을 활용하여 일반적인 주제와 틈새 주제 모두에서 모델을 테스트한다. 우리는 288개 주제에 걸쳐 일상적이고 문화적으로 그라운딩된 롱테일 지식을 평가하도록 설계된 다국어 벤치마크인 TriviaRoomQA를 소개한다. 이 벤치마크는 6개 유럽 언어로 된 3,300개의 병렬 객관식 질문과, 보다 세밀한 사례 연구를 위한 5,340개의 프랑스어 전용 추가 질문을 포함한다. 우리는 7B에서 70B 매개변수에 이르는 유럽, 아시아, 북미 제공업체의 30개 오픈 가중치 LLM을 평가한다. 그 결과, 모델들은 역사, 지리, 수학과 같은 지식 집약적 주제에서는 강세를 보이지만, 유명인, 음악, 영화, 뉴스와 같은 일상 대중문화 주제에서는 상당히 취약하다는 점을 발견했다. 나아가 동일한 근본 질문에 대해서도 언어에 따라 모델 성능이 달라지며, 이는 사실적 지식에 대한 접근이 항상 언어에 독립적이지는 않음을 시사한다. 요약하자면, 우리의 데이터셋과 실험은 기존의 학술 기반 포화 벤치마크에서는 포착되지 않는 중요한 지식 격차를 보여준다.

arXiv:2410.10783v4cs.CV공식 코드 · Papers with Code

LiveXiv -- arXiv 논문 콘텐츠 기반의 멀티모달 라이브 벤치마크

LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content

웹에서 스크랩한 데이터를 활용한 멀티모달(multi-modal) 모델의 대규모 학습(training)은 여러 다운스트림 태스크에서 효과적으로 작동하는 데 필요한 세계 지식을 모델에 주입하는 탁월한 유용성을 보여주었습니다. 그러나 웹 데이터 스크래핑의 한 가지 단점은 모델의 능력을 평가(evaluation)하는 벤치마크(benchmark)가 잠재적으로 오염될 수 있다는 점입니다. 테스트 데이터 오염을 방지하고 이러한 파운데이션 모델의 진정한 역량을 테스트하기 위해, 본 연구에서는 과학 논문 arXiv를 기반으로 확장 가능하며 지속적으로 진화하는 라이브 벤치마크인 LiveXiv를 제안합니다. LiveXiv는 특정 시점의 도메인 특화 원고에 접근하여 시각적 질의응답(VQA) 쌍을 자동으로 생성할 것을 제안합니다. 이는 인간의 개입(human-in-the-loop) 없이 원고 내의 그래프, 차트, 표와 같은 멀티모달 콘텐츠를 활용하여 수행됩니다. 아울러, 진화하는 벤치마크에서 일부 모델의 평가 결과만을 활용하여 전체 모델의 성능을 추정하는 효율적인 평가 접근법을 도입함으로써 전체 평가 비용을 대폭 절감합니다. 본 벤치마크의 첫 번째 버전에서 여러 공개 및 독점 대규모 멀티모달 모델(LMM)을 평가하여 벤치마크의 난이도를 입증하고, 오염을 배제한 모델의 실제 능력을 드러냈습니다. 마지막으로 높은 품질을 보장하기 위해 수동으로 검증된 하위 집합을 수집하고 평가했습니다. 자동 주석 결과와 전체 결과를 비교한 결과, 성능 편차가 2.5% 미만으로 매우 미미함을 확인했습니다. 본 데이터셋(dataset)은 HuggingFace에 공개되어 있으며, 코드는 지정된 링크에서 제공될 예정입니다.

arXiv:2412.08907v3cs.CV

인터랙티브 글로벌 지오로케이션 어시스턴트를 향하여

Towards Interactive Global Geolocation Assistant

대규모 비전-언어 모델(LVLM) 기반의 인터랙티브 글로벌 지오로케이션 어시스턴트 GaGA를 소개하며, 시각적 모호성을 해결하기 위해 사용자와의 다중 턴 대화를 통해 동적으로 위치를 추론하는 계층적 인터랙션 프로토콜(Tiered Interaction Protocol)을 제안한다. 210개국에 걸쳐 487만 개의 지리 태그 메타 항목, 7만 개의 단서 샘플, 7.3만 개의 멀티턴 다이얼로그 샘플로 구성된 MG-Geo 데이터셋으로 학습된 GaGA는 GWS15k 벤치마크에서 국가 수준 4.57%, 도시 수준 2.92%의 정확도 향상을 달성하며 최신 성능(SOTA)을 기록했다.