PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02700v1cs.LG

진화하는 오류로부터의 학습: 온-정책 증류를 위한 적응형 반복 복구

Learning from Evolving Errors: Adaptive Iterative Repair for On-Policy Distillation

온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.

arXiv:2606.19725v1cs.SE

OpenSIL 펌웨어에서 대규모 언어 모델이 생성한 유닛 테스트를 위한 라이브러리 인식 테스트 더블 및 반복적 복구

Library-Aware Doubles and Iterative Repair for Large Language Model-Generated Unit Tests in OpenSIL Firmware

저수준 C 펌웨어의 변경 사항을 검증하는 것은 비용이 많이 듭니다. 유닛 테스트(UT)가 누락된 헤더, 해결되지 않은 심볼, 의존성 불일치로 인해 컴파일 및 링킹이 자주 실패하는 엄격한 빌드 제약 조건 하에서 취약하기 때문입니다. 본 연구는 Advanced Micro Devices(AMD)에서 유지 관리하는 Open-Source Silicon Initialization Library(openSIL) 펌웨어 코드베이스를 위한 자동화된 UT 작성 워크플로우를 소개합니다. 이 워크플로우는 대규모 언어 모델(LLM)이 유도하는 멀티 에이전트 파이프라인을 통해 수동 작업을 줄입니다. 이 워크플로우는 테스트 스캐폴드의 자동 생성, 스텁(stub), 목(mock), 페이크(fake)의 라이브러리 인식 생성 또는 재사용, 그리고 빌드 로그와 라인 커버리지 피드백에 기반한 반복적인 컴파일-디스패치 복구 루프를 결합합니다. 우리는 컴파일 성공률, 복구 반복 횟수, 디스패치 성공률, 라인 커버리지를 사용하여 이 접근 방식을 평가하며, 시간, 비용, 토큰 사용량을 2차 측정 지표로 활용합니다. 테스트 대상 76개 함수 중 워크플로우는 73개 함수에 대해 컴파일 가능한 UT를 생성했습니다. 라인 커버리지 지도나 검색 증강이 없는 구성에서 평균 라인 커버리지는 73.9%에 달했습니다. 두 구성 모두에서 평가된 48개 함수 하위 집합에서는, 라인 커버리지 지도만 사용했을 때 평균 라인 커버리지가 98.8%에 달했고, 벡터 데이터베이스 검색과 결합했을 때 94.7%를 기록했습니다. 결과에 따르면 자동화된 생성 및 복구 파이프라인은 수동 디버깅 노력을 줄이면서 제약된 펌웨어 환경에서 UT 생성 효율성과 커버리지를 상당히 향상시킬 수 있습니다.