PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21453v2cs.LG

오류 국소화를 통한 테스트 시점 스케일링

Test-Time Scaling via Error Localization

추론 시점 연산의 스케일링은 복잡한 추론 및 프로그래밍 과제에서 대규모 언어 모델(LLM)의 성능을 향상시키는 신뢰할 수 있는 방법으로 부상했다. 그러나 독립 샘플링(independent sampling)과 순차적 다중 턴 정제(sequential multi-turn refinement)와 같은 표준 접근법은 토큰 수준의 credit assignment 없이 동작하여, 유효한 추론 접두 문맥이 자주 폐기되기 때문에 계산 비효율이 발생한다. 본 연구에서는 고정 또는 환경 피드백을 활용해 토큰 수준의 오류 국소화를 수행하는 추론 시점 알고리즘인 Test-Time Scaling via Error Localization(TTEL)을 제안한다. 정보가 제공된 피드백 하에서의 조건부 확률을 null-context 기준선과 비교함으로써, TTEL은 오류가 발생한 단계를 분리한다. 그다음 알고리즘은 궤적을 잘라내고 새로운 생성을 분기하여, 유효한 접두 문맥을 최대한 재사용한다. 광범위한 평가 결과, TTEL은 생성 토큰 비용 대비 pass-at-k로 측정한 순차 추론 영역 전반에서 엄격하게 우위에 있는 파레토 프런티어를 형성함을 보여준다. LiveCodeBench에서 Qwen3-8B를 사용할 때, TTEL은 독립 샘플링이 생성하는 토큰 수(735.0k)의 약 절반(360.4k)만 생성하면서 pass@64 71.0%를 달성한다. 수학 벤치마크 AIME-2025와 HMMT-2025로 일반화할 때, TTEL은 Qwen3-8B와 Qwen3-4B-Thinking-2507 모두에서 경쟁하는 테스트 시점 기준선들을 명확히 능가한다.

arXiv:2606.21559v1cs.CL

Rubric-as-Experts: 번역 품질 평가를 위한 사례 특화 MQM 루브릭

Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation

대규모 언어 모델(LLM)은 세밀한 번역 품질 평가(QE)에서 강한 잠재력을 보여 주었지만, 기존 MQM 기반 접근법은 일반적으로 모든 번역 샘플에 공통으로 적용되는 고정 루브릭 구성에 의존한다. 그러나 번역 사례는 오류 복잡성, 모호성, 필요한 평가 세분성에서 종종 크게 달라지므로, 정적 루브릭 할당은 span 수준 오류 탐지에 최적이 아니다. MQM 하위 유형 공간이 클수록 오류 커버리지는 향상되지만 거짓 양성도 더 많이 발생하고, 서로 다른 번역 사례는 서로 다른 루브릭 세분성을 선호한다는 것을 발견했으며, 이는 평가 공간을 각 사례에 대해 동적으로 할당해야 함을 시사한다. 이러한 관찰에 기반하여, 우리는 개별 번역 사례에 대해 MQM 평가 공간을 적응적으로 구성하는 사례 특화 동적 루브릭 프레임워크를 제안한다. 완전 자유 형식 루브릭 생성 방법과 달리, 우리 프레임워크는 사전 정의된 MQM 분류체계에 그라운딩을 유지하면서 사례에 따라 적합한 하위 유형 공간과 평가 세분성을 동적으로 선택한다. 여러 모델 규모에 걸친 WMT span 수준 QE 벤치마크 실험은 제안 프레임워크가 MCC를 일관되게 향상하고 정적 루브릭 설정에 비해 더 깨끗한 span 수준 오류 지역화를 생성함을 보여준다. 결과는 구조화된 MQM 루브릭과 사례 특화 적응형 할당을 결합하는 것이 세밀한 LLM 기반 번역 평가에 효과적인 전략임을 시사한다.