PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.20881v1cs.AI

코드 추론에서 내재 보상은 언제 효과적인가? 종합 연구

When Do Intrinsic Rewards Work for Code Reasoning? A Comprehensive Study

검증 가능 보상 강화학습(RLVR)은 대규모 언어 모델의 추론에서 상당한 진전을 이끌었지만, 특히 코딩 작업에서는 비용이 많이 들거나 실현 불가능한 정답(ground-truth) 감독에 의존한다. 최근 연구는 다수결 투표나 신뢰도 기반 점수처럼 모델 자신의 신호로부터 보상을 도출하는 방식으로 이 문제를 해결하며, 수학적 추론 벤치마크에서 눈에 띄는 성공을 거두었다. 그러나 코드 생성은 서로 다른 도전 과제를 제기한다. 프로그램은 구조적으로 복잡하고, 의미적으로 동등한 해답이 구문적으로 다를 수 있으며, 검증은 일반적으로 실행을 필요로 한다. 이러한 내재 보상 방법이 코드에 효과적으로 전이되는지는 아직 탐구되지 않았다. 본 연구에서는 코드 생성을 위한 내재 보상 방법에 대한 체계적인 실증 연구를 제시한다. LiveCodeBench에서 광범위한 실험을 수행하고, 다양한 학습 시나리오와 하이퍼파라미터 설정 하에서 대표적인 신뢰도 기반 내적 피드백 기반 강화학습(RLIF) 접근법을 체계적으로 평가한다. 실험 결과, 신뢰도 기반 방법은 초기에는 이득을 가져오지만 결국 붕괴한다. 모델은 출력을 점진적으로 짧게 만들고 추론 능력을 상실하며, 붕괴 속도는 샘플 크기와 temperature에 민감하다. RLVR 학습의 초기화에 사용할 때, RLIF 사전학습은 처음부터 학습하는 것 대비 유의미한 개선을 제공하지 않는다. 또한 코드 추론 모델 학습에 내재 보상을 사용하기 위한 실행 가능한 권고 사항을 제시한다. 본 연구는 코드를 위한 내재 보상 방법의 가능성과 한계를 모두 보여주며, 코드 모델 및 에이전트에 대한 향후 연구에 정보를 제공한다.

arXiv:2606.17648v1cs.AI

Brewing에서 해결까지: 대규모 언어 모델(LLM)의 코드 추론 내부 수명 주기 추적

From Brewing to Resolution: Tracing the Internal Lifecycle of Code Reasoning in LLMs

표준 정확도 메트릭만으로는 대규모 언어 모델(LLM)이 변수 추적은 수행하면서 의미적으로 동등한 루프에서는 실패하는 이유를 설명할 수 없습니다. 우리는 코드 추론의 내부 수명 주기를 연구합니다. 이 과정에서 모델은 먼저 답변을 생성(Brewing)하여, 답변이 자체적으로 디코딩 가능해지기 훨씬 전 여러 층(layer)에서 선형적으로 복원 가능하게 만듭니다. 그 후 모델은 해결됨(Resolved), 과도하게 처리됨(Overprocessed), 잘못 해결됨(Misresolved), 미해결(Unresolved)의 네 가지 해결 결과 중 하나로 분기합니다. 이 수명 주기를 이해하는 것은 중요합니다. 왜냐하면 유사한 작업 정확도가 표면적 평가로는 감지할 수 없는 근본적으로 다른 실패 모드를 은폐할 수 있기 때문입니다. 우리는 층별 선형 탐지(linear probing)와 문맥 제거 디코딩(Context-Stripped Decoding, CSD)을 결합한 이중 진단 프레임워크를 소개하고, 이를 Qwen, Llama, DeepSeek 아키텍처에 걸친 16개 모델의 6개 코드 추론 작업군에 적용합니다. 네 가지 결과 모두 모든 작업군에서 상당한 비중을 차지합니다. 전체적으로 해결됨(Resolved) 비율은 41.5%에 불과하며, 여러 작업은 30% 미만입니다. 구조, 깊이, 연산자에 대한 제어된 탐색을 통해 작업별 실패 병목이 드러납니다. 예를 들어, 호출 깊이가 1에서 3으로 증가함에 따라 함수 호출 해결(Resolved) 비율은 61.1%에서 2.5%로 급락합니다. 아키텍처와 규모에 걸쳐 생성(Brewing) 스캐폴드는 안정적으로 유지되며, 16개 모델 모두에서 정규화된 생성 지속 시간은 24-42%를 차지하는 반면, 해결 성공률은 능력에 따라 달라집니다. 이는 스캐폴드가 테스트된 디코더 전용 트랜스포머 계열 전반에 걸쳐 안정적인 경험적 규칙성임을 나타내는 반면, 해결 성공률은 능력, 규모, 학습(training)과 함께 변화함을 시사합니다. 코드: https://github.com/euyis1019/llm-brewing