PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2412.15557v4cs.SE

MORTAR: LLM 기반 대화 시스템을 위한 멀티턴 메타모픽 테스팅

MORTAR: Multi-turn Metamorphic Testing for LLM-based Dialogue Systems

멀티턴 대화 시스템 테스트의 오라클 문제를 줄이기 위해 대화 수준 섭동과 메타모픽 관계(MR)로 테스트 케이스를 자동 생성하는 MORTAR를 제안한다. LLM 판사에 의존하지 않는 완전 자동화 방식으로 8개 LLM 대화 시스템에서 단일 턴 메타모픽 테스팅 기준선보다 테스트 케이스당 51% 더 많은 버그를 발견하고, 정밀도는 24.6% 높으며 발견 버그의 42% 이상이 유일하다.

arXiv:2606.17529v1cs.CE

과학적 기계학습 대리 모델을 위한 도메인 유효성 게이트 메타모픽 테스트

Domain-Validity-Gated Metamorphic Testing of Scientific ML Surrogates

과학적 기계학습(SciML) 대리 모델은 비용이 많이 드는 시뮬레이션을 근사하지만, 임의의 입력에 대한 정확한 예상 출력을 얻을 수 없습니다(오라클 문제). 메타모픽 테스트는 실행 간의 관계를 검사하지만, 후보 관계가 자동으로 유효한 것은 아닙니다. 선행 조건, 출력 매핑, 그리고 점수 연산자의 수치적 하한(numerical floor)이 위반 여부가 의미 있는지를 결정합니다. 우리는 후보 메타모픽 관계(MR)를 도메인 유효성에 대해 선별하고, SciML 대리 모델을 위한 실행 가능하며 오라클이 없는 테스트 자산으로 전환하는 방법을 연구합니다. 우리는 (i) 허용 오차(tolerance)가 연산자의 수치적 하한보다 크고 선행 조건이 충족될 때만 후보를 승인하는 도메인 유효성 루브릭, (ii) 소스 케이스, 변환, 메트릭, 허용 오차, 유형화된 관계 수준 판정을 기록하는 MR-카드 실행 가능 자산 형식, 그리고 (iii) 추적 가능한 아티팩트에 모든 결과를 바인딩하는 클레임 원장(ledger)을 갖춘 MeshGraphNets 실린더 유동 대리 모델에 대한 사례 연구 프로토콜을 제안합니다. MeshGraphNets 체크포인트에서 노드 순열은 기계 정밀도로 유지되고, mirror-y는 정확한 대칭이 아니라 제한된 분포 외(OOD) 스트레스 발견이며, 절대 보존은 연기되는 동안 참조 상대적 가드(guard)는 통과합니다. 동일한 판독 결과는 홀드아웃 궤적, 체크포인트 명단, 3개의 추가 아키텍처 및 PhysicsNeMo 전반에 걸쳐 유지됩니다. 두 번째 CFD 작업(압축성 에어포일)에서 술어(predicate)는 물리적 근거로 비압축성 연속성을 거부하며, 이는 고정된 체크리스트를 실행하는 것이 아니라 도메인 유효성에 대해 추론함을 보여줍니다. 두 번째 PDE 계열에서 FNO Burgers 및 열 대리 모델은 전체 승인/거부/실행 판정을 수행합니다. 이 증거는 두 개의 CFD 작업과 두 번째 PDE 계열에 걸쳐 있으며, 모델 수준 위반을 도메인 외 적용과 분리하는 후보 MR에서 감사 가능한 SciML 테스트 자산으로의 유효성 인식 브리지를 뒷받침합니다.