PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.23696v1cs.AI

생성 모델과 적응형 테스트를 활용한 오프라인-투-온라인 크리에이티브 최적화

Offline-to-Online Creative Optimization with Generative Models and Adaptive Testing

광고 크리에이티브 최적화는 생성보다 평가에 의해 점점 더 제약을 받고 있다. 생성 모델은 많은 그럴듯한 크리에이티브를 만들 수 있지만, 신뢰할 수 있는 평가를 위해서는 온라인 실험이 필요하며, 그 실험에서는 제한된 후보 목록만 테스트할 수 있다. 우리는 과거 A/B 테스트 데이터를 사용하여 해당 후보 목록의 후보를 생성하고 선정하는 방법을 연구한다. 우리는 추론(inference) 시점의 critic으로 예측 모델을 사용해 크리에이티브 생성을 안내하는 성과 중심의 오프라인-투-온라인 워크플로를 개발하고 배포했다. 오프라인 단계에서는 과거 실험으로 학습(training)된 예측 모델을 사용해 생성 모델이 만든 변형들을 순위화하고 개선한다. 그다음 최종 테스트 후보 목록을 온라인 적응형 실험에 배포한다. 50-arm 현장 실험에서, 이 방법으로 생성된 최고의 크리에이티브가 최고의 인간 작성 크리에이티브보다 45.1% 더 높은 참여(engagement)를 보였다. 두 추가 실험에서도 동일한 상위 꼬리(upper-tail) 패턴이 나타났으며, 향상(lift)은 각각 46.7%와 36.2%였다. 예측 모델이 오프라인에서 최고의 크리에이티브를 직접 식별하기에는 너무 노이즈가 많음에도 불구하고, 생성 모델이 적응형 실험에서 효율적으로 평가할 수 있는 강력한 후보를 만들도록 효과적으로 안내한다는 것을 발견했다. 결과는 생성 모델을 활용한 크리에이티브 최적화를 위한 설계 원칙을 시사한다: 테스트할 후보 목록 생성을 예측 모델로 안내하고, 실행 가능한 테스트 규모에서 고성능 후보를 포함하는지 여부로 후보 목록을 판단하며, 약한 arm에 소실되는 트래픽을 제한하면서 적응형 실험으로 후보 간 선택을 수행한다.

arXiv:2511.04689v3cs.CL

LLM 평가를 위한 적응형 검사: 정적 벤치마크의 심리측정학적 대안

Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks

대규모 언어 모델(LLM) 평가는 일반적으로 수천 개의 벤치마크 문항이 필요하며, 이로 인해 과정이 비용이 많이 들고 느리며 규모가 커질수록 점점 비현실적이 됩니다. 기존 평가 프로토콜은 고정된 문항 집합에 대한 평균 정확도에 의존하며, 난이도와 변별력에서 상당한 차이가 있음에도 불구하고 모든 문항을 동등하게 유익한 것으로 취급합니다. 우리는 Fisher 정보 기반 문항 선택을 사용하여 모델 능력을 추정하는 문항반응이론(IRT) 기반 적응형 검사 프레임워크인 ATLAS를 소개합니다. ATLAS는 측정 정밀도를 유지하면서 필요한 문항 수를 최대 90%까지 줄입니다. 예를 들어 HellaSwag(5,600개 문항)에서 41개 문항(MAE 0.157)만으로 전체 문항 은행의 능력 추정치와 일치합니다. 또한 ATLAS의 능력 추정치로부터 정확도를 재구성한 결과, 다섯 벤치마크 전체에서 재구성된 정확도가 원시 정확도와 밀접하게 일치함을 확인했으며, 이는 능력 θ가 전역적 성능 구조를 보존함을 시사합니다. 동시에 θ는 정확도가 동등한 모델들 내에서 더 세밀한 변별력을 제공합니다. 3,000개 이상 평가된 모델 중 23-31%가 10순위 이상 이동하며, 동일한 정확도를 가진 모델들도 의미 있게 다른 능력 추정치를 받습니다. 코드와 보정된 문항 은행은 https://github.com/Peiyu-Georgia-Li/ATLAS.git 에서 이용할 수 있습니다.

arXiv:2606.21832v1cs.AI

AgentCAT: 다중 에이전트 대규모 언어 모델을 통한 컴퓨터 기반 적응형 검사(CAT) 시뮬레이션

AgentCAT: Simulating Computerized Adaptive Testing via Multi-Agent Large Language Models

컴퓨터 기반 적응형 검사(CAT)는 맞춤형 교육의 핵심 기술로, 현재 능력 추정치에 부합하도록 문항을 동적으로 선출하여 수험자의 숙련도를 정확히 평가하는 것을 목표로 한다. 그러나 기존 CAT 연구는 정적 오프라인 데이터의 한계와 개별 구성요소 최적화에 기인한 제약에 막혀 있다. 오프라인 로그의 부분적 레이블 제약으로 인해 연구자들은 동적 평가 과정을 정적 시퀀스 예측으로 퇴화시킨다. 현재 연구는 문항 선택이나 진단 등 고립된 관점에 집중하면서 전체 CAT 상호작용 과정을 간과한다. 이를 해결하기 위해, 우리는 동적 검사를 위한 고충실도 벤치마킹 환경을 구축하기 위해 언어 모델 기반 다중 에이전트 시뮬레이션 시스템 AgentCAT를 제안한다. 이 프레임워크는 세 가지 모듈로 구성된다: (1) 기억 검색과 사고의 연쇄(Chain-of-Thought) 추론을 갖춘 수험자 에이전트는 인지 프로필에 기반해 응답을 시뮬레이션한다; (2) 선택 에이전트는 거친-세밀(coarse-to-fine) 버킷팅과 지식 그래프 탐험을 사용해 국소적 난이도와 전역적 범위를 균형 있게 맞춘다; (3) 감독자는 이중 감사(dual-auditing)와 강건한 업데이트를 통해 수렴과 타당성을 보장한다. 이를 검증하기 위해, 우리는 두 개의 실제 데이터셋에서 거시 수준의 능력 수렴, 미시 수준의 상호작용 논리, 데이터 희소성 견고성이라는 세 차원에서 프레임워크를 평가했다. 결과는 AgentCAT가 효과적인 능력 추정을 달성하고, 그 선택 전략이 난이도 적응과 교수적 일관성을 균형 있게 맞추며 인간의 교육학적 직관과 일치함을 보여준다.