arXiv:2302.04030

CrossCodeBench: Benchmarking Cross-Task Generalization of Source Code Models

Changan Niu, Chuanyi Li, Vincent Ng, Bin Luo

제출 2023-02-08

원문 초록

Despite the recent advances showing that a model pre-trained on large-scale source code data is able to gain appreciable generalization capability, it still requires a sizeable amount of data on the target task for fine-tuning. And the effectiveness of the model generalization is largely affected by the size and quality of the fine-tuning data, which is detrimental for target tasks with limited or unavailable resources. Therefore, cross-task generalization, with the goal of improving the generalization of the model to unseen tasks that have not been seen before, is of strong research and application value. In this paper, we propose a large-scale benchmark that includes 216 existing code-related tasks. Then, we annotate each task with the corresponding meta information such as task description and instruction, which contains detailed information about the task and a solution guide. This also helps us to easily create a wide variety of ``training/evaluation'' task splits to evaluate the various cross-task generalization capabilities of the model. Then we perform some preliminary experiments to demonstrate that the cross-task generalization of models can be largely improved by in-context learning methods such as few-shot learning and learning from task instructions, which shows the promising prospects of conducting cross-task learning research on our benchmark. We hope that the collection of the datasets and our benchmark will facilitate future work that is not limited to cross-task generalization.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking, In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2610.13627v1cs.CL공통 태그 Benchmarking, Few-Shot Learning

AMLworld-Compact: 비용 효율적인 LLM 평가 및 오류 진단을 위한 중요도 가중치 다운샘플링

AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis

AMLworld의 가장 작은 테스트 분할에서 대규모 언어 모델(LLM)을 평가하는 것은 100만 개가 넘는 타깃 각각에 별도의 그래프 프롬프트(prompt)가 필요하기 때문에 비용이 많이 듭니다. 샘플링을 통해 이러한 비용을 줄일 수 있지만, 크기가 작은 균형 잡힌 서브셋은 가중치가 적용되지 않은 정밀도(precision)와 F1 점수를 변화시킵니다. 본 논문에서는 모든 불법 테스트 거래를 보존하면서 지도학습 점수 층(strata)에서 정상 거래를 샘플링하는 평가 셋인 AMLworld-Compact를 소개합니다. 이 세트의 HT-Coreset 프로토콜은 HI-Small 및 LI-Small에서 평가 타깃을 각각 271배 및 611배 줄입니다. 호비츠-톰슨(Horvitz-Thompson) 가중치(weight)는 고정된 예측에 대해 편향되지 않은 전체 테스트 오차 행렬 카운트 추정치를 제공하며, 재현율(recall)은 정확하고 정밀도와 F1은 비율 추정치입니다. Graph Feature Preprocessor(GFP) 특징(feature)을 사용한 홀드아웃 연구에서, 한 부스팅 트리 계열이 구성당 500회 추출에 걸쳐 다른 부스팅 트리 계열을 평가하기 위한 층을 정의합니다. 공개된 크기에서 HT 가중치를 적용한 균일 샘플링의 F1 RMSE가 4.44~7.41%포인트인 것에 비해, 본 방식은 0.00~2.58%포인트였으며 보수적 구간은 여전히 넓게 유지됩니다. 평가된 그래프 프롬프트 하에서, 7개의 오픈 가중치 LLM은 모두 불법으로 예측하는 기준선(baseline)에 근접한 가중 정밀도를 보였습니다. 모델(model)당 1회 실행에서 추출한 1,000개의 HI-Small 퓨샷 출력에 대한 결과 층화 감사에서, 어휘 검사는 정답인 이진 판정의 84.5%와 오답인 이진 판정의 56.2%를 통과했으므로 이러한 표식이 정확성을 입증하지는 못합니다. 저자들은 평가 셋, 구축 코드 및 감사 도구를 https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval 및 https://github.com/nat-nischw/AMLworld-Compact 에 공개합니다.

arXiv:2610.13660v1cs.LG공통 태그 Benchmarking, Few-Shot Learning

ARC를 위한 사전학습과 테스트 시점 학습 예산의 중요성: VARC와 TRM에 대한 통제 연구

Pretraining and Test-Time Training Budgets Matter for ARC: A Controlled Study of VARC and TRM

추상화 및 추론 코퍼스(Abstraction and Reasoning Corpus, ARC)는 신경망이 적은 수의 시연(demonstration)으로부터 과제별 변환을 추론할 수 있는지를 평가하는 데 점점 더 많이 사용되고 있다. 최근의 ARC 모델들은 아키텍처뿐만 아니라 사전학습 데이터, 데이터 증강, 테스트 시점 설정, 최적화 예산을 포함한 더 넓은 학습 및 평가 프로토콜에서도 차이를 보이며, 이로 인해 아키텍처의 이점에 대한 결론이 논쟁의 여지가 있다. 본 연구에서는 ARC-AGI-1에 대한 공통된 귀납적 프로토콜 하에서, 비전에서 영감을 받은 VARC 모델과 재귀 기반 TRM 모델의 성능이 사전학습 및 테스트 시점 학습(test-time training, TTT) 예산에 의해 어떻게 영향을 받는지를 연구한다. 각 테스트 과제에 대해 다섯 가지 사전학습 예산과 네 가지 TTT 예산을 교차시킨다. 각 예산은 과제 변형 수와 총 샘플 제시 횟수를 지정하며, 이를 통해 통제된 학습 예산을 정의한다. TTT 샘플 제시 횟수를 늘리면 두 모델 모두에서 모든 설정에서 표준 ARC pass@2 지표가 향상되는 것을 관찰하였다. TTT 과제 변형 수를 늘리는 것은 TRM에만 일관되게 도움이 되는 반면, VARC는 변형 수가 더 적을 때 더 좋은 성능을 보이는 경우가 많다. 또한 VARC는 사전학습 없이도 경쟁력을 유지하는 반면, TRM은 사전학습으로부터 훨씬 더 많은 이점을 얻는다. 이러한 결과는 사전학습과 TTT 예산이 ARC 평가에 영향을 미친다는 것을 보여주며, 비교 가능한 예산 수준에서 결과를 보고할 필요성을 제기한다.

arXiv:2610.10663v1cs.SD공통 태그 Benchmarking, In-Context Learning

BEANS-Next 및 ROOTS: 생체음향학을 위한 오디오-언어 기능의 확장

BEANS-Next and ROOTS: Broadening Audio-Language Capabilities for Bioacoustics

생체음향학(bioacoustics)과 행동학(ethology)은 광범위한 오디오 이해 과제를 포괄하며, 이들 중 다수는 대규모 오디오-언어 모델의 최근 발전으로부터 혜택을 받을 수 있습니다. 그러나 지금까지 이 분야의 발전은 종 및 울음소리 유형 분류와 같이 라벨 중심의 생물학적 범주 인식에 주로 초점을 맞춘 좁은 범위의 과제에서만 평가되어 왔습니다. 본 연구에서는 음향 인지, 생물학적 범주 인식, 장면 이해, 문맥 내 학습(ICL)에 걸친 생체음향학 과제 분류 체계에 기반한 벤치마크인 BEANS-Next를 소개합니다. BEANS-Next를 통해 기존 모델들이 기존 평가에서 강조된 과제군을 벗어나면 제한적인 성능을 보이며, 이로 인해 더 폭넓은 생체음향학 응용 분야에서의 유용성이 제약된다는 점을 보여줍니다. 이러한 더 넓은 과제 영역에서의 발전을 지원하기 위해, 확장 큐레이션된 실제 데이터와 이전에 충분히 활용되지 않았던 행동 및 음향 메타데이터를 기반으로 구축되고, 라벨링이 불충분한 경우 오디오 파생 정보 및 확장 가능한 합성 생성으로 보완된 대규모 학습(training) 자원인 ROOTS를 함께 소개합니다. 이 데이터셋(dataset)으로 학습하면 BEANS-Next의 모든 과제 그룹에 걸쳐 상당한 진전이 이루어져, 오디오-언어 모델이 생체음향학 및 행동학을 위한 범용 보조 도구로서의 잠재력에 한층 더 다가설 수 있음을 입증합니다. 해당 분야의 발전을 가속화하기 위해 벤치마크, 데이터셋, 데이터 파이프라인을 오픈 소스로 공개합니다.

arXiv:2609.33155v2cs.CL공통 태그 Benchmarking, In-Context Learning

개인 입장 예측에서 테스트 시점 스케일링과 학습의 한계는 어디에 있는가?

Where Do Test-Time Scaling and Training Fall Short in Individual Stance Prediction?

테스트 시점 스케일링(test-time scaling)과 사후 학습(post-training)은 코딩 및 수학적 추론 분야에서 대규모 언어 모델(LLM)의 성능을 향상시켰으나, 개인 입장 예측(individual stance prediction)에 대한 효과는 여전히 불분명하다. 본 연구에서는 개인의 과거 이력으로부터 새로운 토론에서 해당 인물의 입장을 예측함으로써 이 문제를 탐구한다. 널리 사용되는 테스트 시점 스케일링 전략과 지도 미세조정(supervised fine-tuning), 강화학습(reinforcement learning) 등의 사후 학습 기법을 평가하고, 생성, 선택, 학습 전반에 걸친 네 가지 실패 양상을 식별한다: (1) 반복된 샘플들이 잘못된 입장에 동의하는 부정확한 합의(incorrect consensus), (2) 생성 단계에서는 관찰된 입장을 포함하지만 선택 단계에서 이를 놓치는 선택 실패(selection failure), (3) 지도 미세조정이 모방 능력은 향상시키지만 예측에는 악영향을 미치는 응답 과적합(response overfitting), (4) 강화학습이 초기에 완만한 성능 향상을 보인 후 추가적인 개선이 제한되는 조기 정체(early plateau). 저자들은 500명의 Hacker News 사용자로부터 추출한 2,499개의 예측 태스크를 포함하는 STANCE-BENCH를 사용하여 이러한 실패 양상을 밝혀낸다. 이러한 분석을 바탕으로, 모든 후보 입장에 대한 직접 점수와 개인의 이력에서 얻은 지지 여부에 대한 명시적 평가를 결합하는 간단한 접근 방식을 탐색한다. 781개 태스크로 구성된 테스트 세트에서 이 접근 방식은 Qwen3-8B를 통해 21.83의 토론 특정 Macro F1을 달성하여 직접 채점의 19.27과 대비되는 성능을 보였다. 본 연구 결과는 후보 생성, 최종 선택, 개인별 근거 활용을 분리하여 평가할 필요성을 제시한다. 데이터셋은 https://github.com/stance-bench/Stance-Bench 에서 이용할 수 있다.

arXiv:2610.02242v1physics.chem-ph공통 태그 Benchmarking, In-Context Learning

RxnOptBench: 유기 합성 방법론에서의 반응 조건 최적화를 위한 LLM 벤치마킹

RxnOptBench: Benchmarking LLMs for Reaction-Condition Optimization in Organic Methodology

수율과 입체선택성을 동시에 극대화하는 촉매, 리간드, 용매, 시약, 온도, 시간 및 분위기를 선택하는 화학 반응 조건 최적화(chemical reaction-condition optimization)는 대규모 언어 모델(LLM)의 지원이 점차 기대되고 있는 유기 합성 방법론 연구의 핵심적이면서도 고도의 판단을 요하는 하위 작업입니다. 그러나 기존의 화학 벤치마크는 반응 분류 라벨링, 역합성, 또는 SMILES 조작 등을 평가할 뿐, 모델이 실제 조건 스크리닝 표를 읽고 최적의 조합을 선택하도록 요구하지는 않습니다. 본 연구에서는 2025년에 출판된 유기 방법론 논문의 최적화 표에서 추출한 실제 습식 실험(wet-lab) 항목으로 모든 선택지와 선례를 구성한 벤치마크인 RxnOptBench를 소개합니다. 이 벤치마크는 보고된 수율과 거울상이성질체 과잉률(ee), 부분입체이성질체 비율(dr), 위치이성질체 비율(rr)을 결합하여 명시된 대표 효용(headline utility)으로부터 도출된 연속 상대 점수로 채점되며, 문헌 증거의 문맥 내 활용과 파라메트릭 암기를 분리하는 선례 유무(precedents-vs-no-precedents) 쌍 설계를 갖추고 있습니다. 9개의 프론티어 LLM과 3개의 화학 특화 LLM을 평가한 결과, 가장 우수한 모델조차도 상당한 개선의 여지를 남겼습니다. 화학 특화 모델은 다축 선택에서 무작위 기준선(random baseline) 수준으로 떨어졌으나, 오픈 가중치(open-weight) 모델은 독점 프론티어 모델과의 격차를 대부분 좁혔습니다. 본 연구에서는 최종적으로 사람이 검수한 벤치마크 테스트 세트와 평가 코드를 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.