점진적으로 더 어려운 추론 문제를 생성하려면 태스크 분포가 진화함에 따라 적응하는 합성 절차가 필요합니다. 기존의 태스크 수준 재귀는 생성된 문제를 시드(seed)로 재사용하지만 구축 하네스(construction harness)는 변경하지 않고 그대로 유지합니다. 본 논문에서는 추론 데이터 합성에서 재귀적 하네스 자기 개선(recursive harness self-improvement, RSI)을 위한 프레임워크인 태스크-하네스 공진화(task-harness co-evolution)를 제안합니다. 온라인 자기 개선은 생성 과정 중 솔버(solver)의 중간 실패를 재사용 가능한 스킬로 변환합니다. 사후(post-task) 자기 개선은 각 배치 이후 스킬, 프롬프트, 워크플로를 수정하며, 제한된 비용 증가 범위 내에서 더 어렵고 유효한 태스크를 생성할 때만 후보를 채택합니다. 모델 가중치와 검증 기준은 고정된 상태로 유지됩니다. 수학, 코딩, 과학 전반에서 14회의 진화 라운드에 걸쳐 평균 솔버 정확도가 100.0%에서 54.8%로 감소합니다. 어블레이션 연구에 따르면 두 업데이트 일정을 결합할 경우 고정 하네스 재귀나 단일 일정만을 사용할 때보다 더 어려운 태스크가 생성됨을 보여줍니다. 이렇게 생성된 데이터는 다운스트림 SFT 및 GRPO 성능을 향상시킵니다. 특히 합성된 1만 개의 수학 예제로 파인튜닝(fine-tuning)된 27B 학생 모델은 APEX에서 62.5%의 mean-16 정확도를 달성하여 일부 최첨단(frontier) 참조 모델과 경쟁력 있는 성능을 보입니다. 이러한 결과는 다운스트림 학습 가치를 지닌 점점 더 도전적인 데이터를 생성하기 위해 태스크와 함께 합성 하네스를 적응시키는 방식을 뒷받침합니다.
양자 프로그래밍 프레임워크의 복잡성 증가는 기존 대규모 언어 모델(LLM) 기반 코드 어시스턴트의 중요한 한계를 드러냈다. 범용 모델은 전문적인 양자 코딩 과제에 직면하면 PennyLane 전용 게이트 이름을 환각하고, 디바이스 설정을 잘못 배치하며, 구조적으로 유효하지 않은 회로를 생성한다. 본 논문은 PennySynth를 제안한다. 이는 13,389개의 PennyLane 지시-코드 쌍으로 구성된 큐레이션된 지식 베이스에 LLM 추론을 조건화하여 이러한 공백을 해소하는 검색-증강 생성(RAG) 프레임워크이다. 이 지식 베이스는 공식 PennyLane 저장소, 커뮤니티 GitHub 소스, QHack 대회 아카이브에 대해 추출, 검증, 중복 제거의 3단계 파이프라인을 통해 구축되었다. PennySynth는 자연어-코드 검색을 위해 학습된 st-codesearch-distilroberta-base를 사용하는 코드 인식 임베딩 전략을 도입하여, 범용 기준선과 비교해 평균 검색 코사인 유사도를 0.45에서 0.726으로 높였다. 2022, 2023, 2024년 QHack 대회 3년간에 걸친 74개 과제에서 평가한 결과, PennySynth는 QHack 2022, 2023, 2024에서 각각 64%, 68%, 52%의 pass@5를 달성했으며, 검색 없이 사용한 Claude Sonnet 4.6 대비 각각 +28, +25, +28 퍼센트포인트 향상을 보였다. 또한 qml.* 토큰 패턴의 가중치를 높이는 양자 적응형 CodeBLEU 지표를 도입하고, 구조적 코드 유사도와 기능적 정확성이 양자 코드 품질의 서로 다른 측면을 포착함을 보였다. 통제된 ablation 연구 결과, 코드 인식 임베딩이 검색 성능의 주요 동인이며, 데이터셋 확장과 소스 구성은 검색 품질이 충분히 정밀할 때 추가적인 이득을 제공함을 밝혔다.
아프리카 경제권의 산업 기계류에 관한 공개적이고 모델 학습에 바로 활용 가능한 데이터는 매우 부족하다. 이로 인해 해당 환경에 기반한 수치 과제에서 정량적 분석을 수행하거나 언어 모델을 학습시키기가 어렵다. 우리는 이 문제의 일부를 해결하기 위해 두 가지를 공개한다. 첫 번째는 나이지리아 기계류 사용 및 고장 데이터셋으로, 28개 지표에 걸친 89개의 기계 수준 레코드를 포함하며 2006년부터 2025년까지 나이지리아의 제조업 및 석유·가스 부문을 다룬다. 모든 레코드는 공개 출처를 명시하고 코드북으로 해석된다. 두 번째는 이러한 희소한 수치 값으로부터 사고의 연쇄(CoT) 추론 예시를 구축하는 방법이다. 결과물은 프롬프트, 완성, 추론 추적으로 구성된 94개의 행이다. 각 행의 프롬프트는 해당 레코드가 출처로 삼는 실제 지표, 하위 부문, 연도, 출처를 명시한다. 데이터 적응 작업은 Adaption Labs가 수행하였다. 이 과정에서 우리는 언어 모델이 데이터셋을 구축하는 데 활용될 때 흔히 나타나는 문제를 기술한다. 프롬프트가 실제 수치와 일치하면서도 실제 도메인에 대해서는 아무것도 언급하지 않을 수 있다. 이를 수정하면 도메인 기반 프롬프트의 비율이 이전 릴리스의 78개 중 1개에서 94개 중 94개로 높아지고, 모든 검색 답변이 출처 값과 일치함을 보인다(84개 중 84개). 데이터, 추론 층, 그리고 행별 출처 파일을 CC-BY-4.0 라이선스 하에 공개한다. 한계에 대해서도 명확히 밝힌다. 89개의 레코드와 단 하나의 관측치만을 가진 17개의 지표로 구성된 이 데이터셋은 대규모 학습 데이터셋이 아닌 참조 및 시드 데이터셋이다. 대부분의 추론 행은 다단계 계산보다는 검색에 해당한다.
ToolGrad는 기존의 쿼리 우선 도구 사용(tool-use) 데이터 합성이 DFS 탐색 등으로 주석 실패와 비효율을 낳는 문제를, 텍스트 그라디언트로 유효한 도구 사용 체인을 먼저 구성한 뒤 사용자 쿼리를 합성하는 답변 우선(answer-first) 에이전트 프레임워크로 뒤집는다. 이 방식으로 생성한 ToolGrad-500은 더 복잡한 도구 사용, 낮은 비용, 거의 100% 통과율을 달성했고, 이를 학습한 모델은 비용이 큰 기준 데이터셋과 독점 대규모 언어 모델(LLM)보다 우수한 성능을 보였다.
SWE-Future는 $T_0$ 이전 저장소 정보만으로 기능 구현·버그 수정·리팩터링 등 미래 작업 유형을 예측하고, 이후 풀 리퀘스트는 검증에만 쓰며 과거 PR 재현 없이 미래 지향 코딩 작업을 합성하는 예측 조건부 데이터 합성 방법이다. 80개 저장소 소급 검증에서 주요 의미 일치 지표로 58.1% 미래 작업 관련성을 달성했고, 검증된 예측 유형으로 61개 저장소에 걸친 200개 코딩 에이전트 작업 데이터셋을 구축했다.
심층 검색 에이전트 학습에는 검색을 통해 충분한 증거가 확보될 때까지 답변을 알 수 없는 검증 가능한 질문이 필요합니다. 기존 합성 방법들은 그래프 구조를 풍부하게 하여 겉보기 난이도를 높이는 경우가 많지만, 구조적 복잡성만으로는 실제 검색 난이도가 보장되지 않습니다. 의도한 검색 과정이 더 저렴한 식별 경로를 통해 붕괴될 수 있기 때문입니다. 우리는 지름길 인식 난이도 프레임워크(shortcut-aware difficulty framework)를 통해 이러한 격차를 형식화하고, 증거 공동 커버리지(evidence co-coverage), 단일 단서 선택성(single-clue selectivity), 노출된 상수(exposed constants), 사전 지식 결합(prior-knowledge binding)이라는 네 가지 조작 가능한 지름길 위험 요소를 식별했습니다. 실제 효과를 진단하기 위해 해결 비용(solving cost), 답변 도달 시간(answer hit time), 사전 지름길 비율(prior-shortcut rate)을 포함하는 궤적 서명(trajectory signatures)을 사용합니다. 이 프레임워크의 지도를 받아, 지름길 저항성 학습 데이터 합성 프레임워크인 FORT를 소개합니다. FORT는 엔티티 선택, 증거 그래프 구축, 질문 공식화, 적대적 정제(adversarial refinement) 전반에 걸쳐 지름길 위험을 통제하여 지름길 저항성 학습 데이터를 구성합니다. 실험 결과 FORT는 기존 오픈 소스 심층 검색 데이터셋보다 더 긴 답변 전 검색과 더 적은 지름길 패턴을 유도함을 보여줍니다. 결과적으로 생성된 궤적을 사용하여 지도 미세조정(SFT)만으로 FORT-Searcher를 학습시켰으며, 이 모델은 도전적인 심층 검색 벤치마크에서 유사한 규모의 오픈 소스 검색 에이전트 중 최고의 전반적인 성능을 달성했습니다. 관련 리소스는 https://github.com/RUCAIBox/FORT-Searcher에서 제공될 예정입니다.