PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13375v1cs.CL

구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선

From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics

루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.

arXiv:2610.10809v1cs.LG

개입적 전이를 통한 루브릭 생성 평가

Evaluating Rubric Generation with Interventional Transfer

인스턴스별 루브릭은 신뢰할 수 있는 평가를 위해 특정 전문가 지식이 필요한 AI 벤치마크에서 흔히 사용됩니다. 이러한 방식은 확장이 어려워 대규모 언어 모델(LLM)을 활용한 루브릭 생성 연구로 이어지고 있습니다. 그러나 전문가 루브릭을 참조용으로 활용할 수 있는 경우에도, 생성된 루브릭의 품질을 대규모로 생산성 있게 평가하는 방법은 명확하지 않습니다. 본 논문에서는 응답에 섭동을 주어 한 루브릭을 통과 또는 실패하도록 만들었을 때 두 루브릭이 함께 움직인다면 서로 유사하다는 아이디어에 기반한 루브릭 생성 평가 방법인 개입적 전이(Interventional Transfer, IT)를 소개합니다. 루브릭 생성 평가를 위한 기존 접근법과 달리, 본 연구에서는 다양한 형태의 개입적 전이를 활용하여 여러 태스크에 대한 생성된 루브릭의 유용성을 평가할 수 있다고 주장합니다. 예를 들어, HealthBench를 대상으로 한 사례 연구에 이 접근법을 적용하여 GPT-5.6-Terra의 응답을 평가하는 데 사용된 Qwen3.8-27B, Deepseek-V4-Flash 및 Opus-5 생성 루브릭의 비대칭성을 입증합니다. 생성된 루브릭이나 전문가 루브릭을 기준으로 응답을 저하시키는 섭동은 대응하는 전문가 또는 생성된 루브릭에서도 더 낮은 점수로 전이되지만, 한 루브릭에서 점수를 개선하는 섭동은 다른 루브릭에서 더 높은 점수로 안정적으로 전이되지 않습니다. 우리는 이러한 발견이 성능 모니터링 및 힐 클라이밍(hill-climbing)을 위한 LLM 생성 루브릭의 활용에 시사하는 바가 크다고 주장합니다. 또한 우리가 관찰한 것과 동일한 비대칭성을 드러내지 못하는 기존 루브릭 평가 접근법들과 본 접근법을 대조합니다.

arXiv:2607.01830v1cs.LG

Many Voices, One Reward: Multi-Role Rubric Generation for LLM Judging and Reward Modeling

기존의 단일 평가자 기반 루브릭 생성이 인간 선호도의 중요한 차원을 놓치는 "차원 사각지대(dimensional blind spots)" 문제를 해결하기 위해, 다중 역할 루브릭 생성(Multi-Role Rubric Generation, MRRG)을 제안한다. MRRG는 학습 없이 사용자, 도메인 전문가, 교육자, AI 연구자, 언어학자 등 다양한 역할에서 평가 기준을 추출·통합하며, RewardBench-2 등 선호도 검증 벤치마크에서 단일 역할 기준선 대비 3.1–16.4%p 향상, GRPO 방식의 강화학습(RLVR) 실험에서도 더 강한 보상 신호를 제공함을 입증했다.

arXiv:2606.23032v1cs.AI

IPO Finance Agent: Finance Agent v2를 넘어선 LLM 금융 애널리스트 평가와 자동화된 루브릭 생성 — SpaceX(SPCX) IPO 사례

IPO Finance Agent: Evaluation of LLM Financial Analysts beyond Finance Agent v2, with Automated Rubric Generation -- the Case of the SpaceX (SPCX) IPO

Finance Agent v2(Vals AI 개발)는 금융 태스크에서 Anthropic Claude와 OpenAI ChatGPT 프론티어 언어 모델을 평가하는 기준 벤치마크로 자리잡았다. 그러나 이 벤치마크는 공개 기업의 정기 보고서(SEC 10-K 및 10-Q 공시)만을 좁게 다루며, 에이전틱 하네스는 비정제 청크 검색에 의존한다. 태스크 설계와 검색 방식 모두 IPO 실사의 고유한 난제를 다루지 않는다. SEC S-1 공시는 과거 재무제표, 지배구조, 프로포마 및 공동지배 회계 처리, 자본 조달 서술, 인수 민감 위험 공시를 정기 공시보다 훨씬 긴 문서에 혼합하여 담고 있다. 이에 우리는 Finance Agent v2 프레임워크를 태스크 도메인과 검색 아키텍처 두 방향으로 확장한 IPO Finance Agent를 제안한다. 실험 과정에서 원본 Finance Agent v2 하네스는 문서 길이로 인해 SpaceX S-1 공시 관련 출력을 사실상 전혀 생성하지 못했다. 따라서 우리는 장문 문서에 더 현실적이고 산업 표준에 부합하는 방식인 컨텍스트 검색으로 에이전틱 하네스를 개선해야 했다. 또한 IPO 실사 질문 1,000건으로 구성된 데이터셋을 구축하고, 재현성 지원을 위해 SpaceX(SPCX) S-1 공시에 관한 70개 질문을 공개하였으며, 벤치마크 오염 방지를 위해 나머지는 비공개로 유지한다. 아울러 벤치마크 평가 루브릭을 자동 생성하는 평가자-옵티마이저 파이프라인을 도입한다. 각 질문에 대해 독립적으로 생성된 모델 답변 앙상블에서 후보 사실을 추출하고, 이를 초안 기준으로 통합한 뒤 누락, 환각, 등급 오분류, 중복을 자동 감사하며, LLM 피드백을 통해 반복 수정, 타겟 보강, 중복 제거를 수행한다. 인간 전문가는 배포 전 최종 루브릭만 검토한다. 결과에 따르면, 평가된 모델 중 최고 성능인 Alibaba Qwen 3.7 Max는 쿼리당 $0.30에 79.4% 정확도를 달성하며, Pareto 프론티어상 가장 비용 효율적인 모델인 Xiaomi MiMo-2.5 Pro는 쿼리당 $0.05에 소폭 낮은 정확도(76.8%)를 기록한다. 두 모델 모두 현재 Finance Agent v2 리더보드 최고점인 Google Gemini 3.5 Flash(쿼리당 $2.51에 57.9%)를 상회하며, 비용 효율 면에서는 FABv2 최저가 항목(MiniMax M3: $0.32에 48.3%)조차 밑돈다. 코드와 데이터는 GitHub(https://github.com/benstaf/ipoagent)에 공개되어 있다.