BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer
원문 초록
Despite remarkable advancements in few-shot generalization in natural language processing, most models are developed and evaluated primarily in English. To facilitate research on few-shot cross-lingual transfer, we introduce a new benchmark, called BUFFET, which unifies 15 diverse tasks across 54 languages in a sequence-to-sequence format and provides a fixed set of few-shot examples and instructions. BUFFET is designed to establish a rigorous and equitable evaluation framework for few-shot cross-lingual transfer across a broad range of tasks and languages. Using BUFFET, we perform thorough evaluations of state-of-the-art multilingual large language models with different transfer methods, namely in-context learning and fine-tuning. Our findings reveal significant room for improvement in few-shot in-context cross-lingual transfer. In particular, ChatGPT with in-context learning often performs worse than much smaller mT5-base models fine-tuned on English task data and few-shot in-language examples. Our analysis suggests various avenues for future research in few-shot cross-lingual transfer, such as improved pretraining, understanding, and future evaluations.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋
Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying
빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.
BEANS-Next 및 ROOTS: 생체음향학을 위한 오디오-언어 기능의 확장
BEANS-Next and ROOTS: Broadening Audio-Language Capabilities for Bioacoustics
생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.
개인 입장 예측에서 테스트 시점 스케일링과 학습의 한계는 어디에 있는가?
Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction?
테스트 시점 스케일링(test-time scaling)과 사후 학습(post-training)은 코딩 및 수학적 추론 분야에서 대규모 언어 모델(LLM)의 성능을 향상시켰으나, 개인 입장 예측(individual stance prediction)에 대한 효과는 여전히 불분명하다. 본 연구에서는 개인의 과거 이력으로부터 새로운 토론에서 해당 인물의 입장을 예측함으로써 이 문제를 탐구한다. 널리 사용되는 테스트 시점 스케일링 전략과 지도 미세조정(supervised fine-tuning), 강화학습(reinforcement learning) 등의 사후 학습 기법을 평가하고, 생성, 선택, 학습 전반에 걸친 네 가지 실패 양상을 식별한다: (1) 반복된 샘플들이 잘못된 입장에 동의하는 부정확한 합의(incorrect consensus), (2) 생성 단계에서는 관찰된 입장을 포함하지만 선택 단계에서 이를 놓치는 선택 실패(selection failure), (3) 지도 미세조정이 모방 능력은 향상시키지만 예측에는 악영향을 미치는 응답 과적합(response overfitting), (4) 강화학습이 초기에 완만한 성능 향상을 보인 후 추가적인 개선이 제한되는 조기 정체(early plateau). 저자들은 500명의 Hacker News 사용자로부터 추출한 2,499개의 예측 태스크를 포함하는 STANCE-BENCH를 사용하여 이러한 실패 양상을 밝혀낸다. 이러한 분석을 바탕으로, 모든 후보 입장에 대한 직접 점수와 개인의 이력에서 얻은 지지 여부에 대한 명시적 평가를 결합하는 간단한 접근 방식을 탐색한다. 781개 태스크로 구성된 테스트 세트에서 이 접근 방식은 Qwen3-8B를 통해 21.83의 토론 특정 Macro F1을 달성하여 직접 채점의 19.27과 대비되는 성능을 보였다. 본 연구 결과는 후보 생성, 최종 선택, 개인별 근거 활용을 분리하여 평가할 필요성을 제시한다. 데이터셋은 https://github.com/stance-bench/Stance-Bench 에서 이용할 수 있다.
RxnOptBench: 유기 합성 방법론에서의 반응 조건 최적화를 위한 LLM 벤치마킹
RxnOptBench: Benchmarking LLMs for Reaction-Condition Optimization in Organic Methodology
수율과 입체선택성을 동시에 극대화하는 촉매, 리간드, 용매, 시약, 온도, 시간 및 분위기를 선택하는 화학 반응 조건 최적화(chemical reaction-condition optimization)는 대규모 언어 모델(LLM)의 지원이 점차 기대되고 있는 유기 합성 방법론 연구의 핵심적이면서도 고도의 판단을 요하는 하위 작업입니다. 그러나 기존의 화학 벤치마크는 반응 분류 라벨링, 역합성, 또는 SMILES 조작 등을 평가할 뿐, 모델이 실제 조건 스크리닝 표를 읽고 최적의 조합을 선택하도록 요구하지는 않습니다. 본 연구에서는 2025년에 출판된 유기 방법론 논문의 최적화 표에서 추출한 실제 습식 실험(wet-lab) 항목으로 모든 선택지와 선례를 구성한 벤치마크인 RxnOptBench를 소개합니다. 이 벤치마크는 보고된 수율과 거울상이성질체 과잉률(ee), 부분입체이성질체 비율(dr), 위치이성질체 비율(rr)을 결합하여 명시된 대표 효용(headline utility)으로부터 도출된 연속 상대 점수로 채점되며, 문헌 증거의 문맥 내 활용과 파라메트릭 암기를 분리하는 선례 유무(precedents-vs-no-precedents) 쌍 설계를 갖추고 있습니다. 9개의 프론티어 LLM과 3개의 화학 특화 LLM을 평가한 결과, 가장 우수한 모델조차도 상당한 개선의 여지를 남겼습니다. 화학 특화 모델은 다축 선택에서 무작위 기준선(random baseline) 수준으로 떨어졌으나, 오픈 가중치(open-weight) 모델은 독점 프론티어 모델과의 격차를 대부분 좁혔습니다. 본 연구에서는 최종적으로 사람이 검수한 벤치마크 테스트 세트와 평가 코드를 공개합니다.
다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?
Multilingual GSM-Symbolic: What determines capability transfer across languages?
한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.
ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다
ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time
에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.