PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.25987v1cs.CL

Weave of Formal Thought

코드 LLM은 구문적 유효성을 형식적으로 보장하지 못하고 계층적 언어 구조를 충분히 활용하지 못하는 한계를 Weave of Formal Thought(WoFT)가 GLR 파싱과 speculative lexing 기반 Tree-sitter 완전 제약 디코더, 그리고 reweighted wake-sleep(RWS)로 비단말 문법 기호를 생성에 삽입하는 잠재변수 파인튜닝을 결합해 해결한다. Python에서 StarCoder2-3B를 파인튜닝한 결과 텍스트 전용 SFT 대비 토큰당 교차 엔트로피가 상대 14.3% 감소해, 선택적 잠재 구문이 평탄한 자기회귀 학습에서 버려지는 구조 정보를 회복함을 보였다.