배경: 대규모 언어 모델(LLM) 에이전트는 소프트웨어 및 데이터 엔지니어링 보조 도구로 점점 더 많이 사용되고 있으나, 로컬에 배포 가능한 오픈 웨이트 에이전트에 대한 근거는 여전히 제한적이다. 기존 평가는 완전한 엔지니어링 산출물보다 텍스트 응답이나 단편적인 코드를 중시하는 경우가 많다. 목적: 본 연구는 로컬 LLM 에이전트가 올바르고 신뢰할 수 있는 데이터 엔지니어링 산출물을 생성할 수 있는지 평가하고, 폐루프 작업 공간과 입력 구조 지식 각각의 기여를 분리하며, 실행 시간, 비용, 실패 양상 측면의 상충 관계를 검토한다. 방법: 본 연구는 스크립트, 표, 구조화된 파일, 그림, 보고서 등 산출물에 대한 결정론적 검사기를 갖춘 15개의 모빌리티 데이터 엔지니어링 과제로 구성된 벤치마크를 제안한다. 여섯 개 모델 계열의 16개 구성을 세 가지 조건(채팅 전용, 채팅-스키마, 도구를 갖춘 에이전트)에서 평가하며, 모델, 조건, 과제마다 5회 반복하여 소비자용 GPU에서 총 3,600건의 채점된 시도를 얻었다. 결과: 4비트 40억 파라미터 모델은 77.3%, 약 6.5 GB 이내의 90억 파라미터 모델은 80.0%, 다른 계열의 120억 파라미터 모델은 81.3%에 도달하였으며, 최고 점수 구성은 98.7%로 15개 과제 중 14개를 5회 반복 모두에서 해결하였다. 20억 파라미터를 초과하는 모델에서 작업 공간 루프는 정보 없이 한 번에 생성하는 방식보다 통과율을 24.0~65.3 퍼센트포인트 높였으며, 15개 과제 중 11개에서 그 기여가 입력 구조 요약의 기여를 넘어섰다. 결론: 소비자용 GPU 한 대에 적재되는 오픈 웨이트 모델도 작업 공간 루프가 주어지면 데이터 엔지니어링 업무의 상당 부분을 지원할 수 있으나, 사용 가능한 구성과 불가능한 구성은 여전히 모델 성능에 의해 나뉘며 중요도가 높은 출력은 검증이 필요하다. 본 벤치마크는 모빌리티에 특화되어 있고 검사기 기반이므로, 평가된 구성의 특성을 보여줄 뿐 데이터 엔지니어링 실무 전반을 대표하지는 않는다.
Crawling parallel texts $\unicode{x2014}$texts that are mutual translations$\unicode{x2014}$ from the Internet is usually done following a brute-force approach: documents are massively downloaded in an unguided process, and only a fraction of them end up leading to actual parallel content. In this work we propose a smart crawling method that guides the crawl towards finding parallel content more rapidly. Our approach builds on two different models: one that infers the language of a document from its URL, and another that infers whether a pair of URLs link to parallel documents. We evaluate both models in isolation and their integration into a crawling tool. The results demonstrate the individual effectiveness of both models and highlight that their combination enables the early discovery of parallel content during crawling, leading to a reduction in the amount of downloaded documents deemed useless, and yielding a greater quantity of parallel documents compared to conventional crawling approaches.
Few-shot learning is commonly evaluated under protocols that pre-train a model on a large auxiliary set whose classes are disjoint from the target episodes yet drawn from the same visual domain. This paper examines whether such protocols truly reflect low-data learning. We systematically compare no pre-training, class-disjoint in-domain pre-training, supervised out-of-domain pre-training, and label-free out-of-domain pre-training across eight datasets, three few-shot architectures, and multiple way-shot settings. Our results show that class disjointness alone is insufficient to remove the influence of target-domain data. In-domain pre-training improves over no pre-training by 33.41 percentage points on average, whereas supervised out-of-domain pre-training yields 23.75 percentage points, revealing a 9.66-point optimistic bias associated with domain overlap. Although out-of-domain pre-training is more realistic in applications where target-domain data are scarce, its effectiveness depends strongly on the compatibility between source and target domains. We further show that labeled source data are not strictly required, with an augmentation-based label-free strategy reaching an average gain of 27.71 percentage points and closely matching supervised out-of-domain pre-training at 27.97 percentage points. Finally, we introduce a descriptor-based source-selection strategy that estimates source-domain suitability before pre-training, reaching a median gap of only 1.37 percentage points to oracle selection. These findings highlight the need to move beyond in-domain pre-training as the default few-shot evaluation protocol, since it can overestimate performance in realistic scenarios where target-domain data are scarce.