arXiv:2606.26492v1 cs.SE

심층 학습 프로그램 결함 진단에서의 평가-전략 격차

Evaluation-Strategy Gap in Fault Diagnosis of Deep Learning Programs

Sigma Jahan

제출 2026-06-25

한국어 초록

심층 학습(DL) 프로그램은 학습 중 다양한 원인으로 실패할 수 있으며, 그 원인을 진단하는 것은 비용과 시간이 많이 소요되는 유지보수 작업이다. 이러한 실패를 진단하는 기술은 일반적으로 프로그램 내 교차 검증(within-program cross-validation)을 통해 평가되는데, 이는 이전에 보지 못한 프로그램을 포함하는 배포 환경에서는 부적절할 수 있다. 따라서 이러한 환경 간 성능 차이를 평가하고, DL을 위한 기존 결함 진단 기술에서 성능 격차의 원인을 파악하는 것이 필요하다. 우리는 38개의 실제 DL 프로그램으로부터 생성된 5,542개의 결함 주입 학습 트레이스로 구성된 코퍼스인 DynFault를 사용하여 이 격차를 조사하였다. 기존 결함 진단 기술에서 프로그램 내 평가와 전체 프로그램 홀드아웃 간의 균형 정확도(balanced accuracy) 격차가 0.190임을 발견하였다. 또한 이 격차가 특징의 프로그램 수준 구조에서 비롯된다는 것을 발견하였으며, 이를 통해 두 가지 런타임 특징 집합인 곡률 특징(curvature features)과 옵티마이저 특징(optimizer features), 그리고 미지 프로그램에서의 동작을 조사하였다. 곡률 특징은 미지 프로그램에서의 불안정성 탐지에 유용한 반면, 옵티마이저 특징과 활성화(activation) 특징은 학습 중 관찰된 프로그램에서만 도움이 된다는 것을 발견하였다.

원문 초록

Deep Learning (DL) programs can fail during training for many reasons, and diagnosing the cause is a costly and time-consuming maintenance task. Techniques for diagnosing such failures are commonly assessed using within-program cross-validation, which may be inadequate for deployment settings involving previously unseen programs. It is therefore necessary to assess how performance differs across these settings and to identify the causes of any performance gap in established fault diagnosis techniques for DL. We investigate this gap using DynFault, a corpus of 5,542 fault-injected training traces from 38 real-world DL programs. We found a gap of 0.190 in balanced accuracy for existing fault diagnosis techniques between within-program evaluation and holding out whole programs. We also found the gap comes from program-level structure in the features, which led us to examine two runtime feature sets, curvature features and optimizer features, and their behavior on unseen programs. We found that curvature features are useful for instability detection on unseen programs, while optimizer and activation features help only on programs seen during training.

요약

심층 학습(DL) 프로그램의 학습 실패 진단은 보통 프로그램 내 교차 검증으로 평가되어, 미지 프로그램 배포 환경과의 성능 격차가 드러나지 않는다. DynFault(38개 실제 DL 프로그램, 5,542개 결함 주입 트레이스)로 조사한 결과, 기존 기법의 균형 정확도 격차는 0.190이며 곡률 특징(curvature features)은 미지 프로그램의 불안정성 탐지에 유용하지만 옵티마이저·활성화 특징은 학습 중 본 프로그램에서만 효과가 있다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.26492v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00126v1cs.CR공통 태그 Benchmarking, Diagnostic, Fault Diagnosis

검증자가 정답을 유출할 수 있다: 폐루프 에이전트 디버깅에서 최적화에 앞선 진단 가능성

A Verifier Can Leak the Answer: Diagnosability Before Optimization in Closed-Loop Agent Debugging

에이전트(agent) 개발자들은 시뮬레이터 기반 검증자(verifier)를 통해 프롬프트, 도구, 정책 및 진단 알고리즘을 비교하는 방식을 점점 더 많이 활용하고 있습니다. 그러나 검증자는 솔버(solver) 비교를 무의미하게 만들 수도 있습니다. 즉, 검증자의 프로브(probe)나 술어(predicate)가 타깃의 식별 정보를 인코딩하고 있다면, 정확한 옵티마이저(optimizer)는 어떠한 실질적인 모호성도 해결하지 못한 채 효과적인 것처럼 보일 수 있습니다. 본 연구에서는 폐루프(closed-loop) 의사결정 에이전트를 위한 집계 트레이스 디버거에서 발생하는 이러한 실패 사례를 보고합니다. 정확한 최소 적중 집합(Minimum Hitting Set, MHS)과 전파 인식 탐욕 알고리즘(propagation-aware greedy method)은 12개 개발 사례 모두에서 동일한 지지 집합(support)을 반환했으며, 9/12 사례에서 동일한 주입 결함(planted fault) 복구를 달성했습니다. 후속 감사 결과, 정확한 앵커(exact-anchor) 술어가 9/9 사례에서 주입된 쌍을 생성한 것으로 확인되었습니다. 해당 앵커들을 제거한 후 전체 주입 쌍 복구율은 8/9였습니다. 그럼에도 불구하고 하드 프로브 싱글톤(hard-probe singleton) 쌍은 9/9 사례에서 주입된 쌍과 일치했으며, 전파 후 비어 있지 않은 잔여 충돌군(residual conflict family)이 유지된 사례는 전무했습니다(0/9). 옵티마이저는 올바르게 작동했으나, 검증자가 이미 정답을 노출하고 있었던 것입니다. 이에 본 논문에서는 솔버 우선 평가 방식을 지지 집합 기반 게이팅(support-gated) 검증 규약으로 대체합니다. 먼저 클린 참조 맵(clean reference map)을 통해 반복적인 컴포넌트 노출을 입증해야 하며, 그다음 일치된 참조/현재 게이트를 통해 비교 가능한 런타임 증거를 확립해야 하고, 그 이후에만 독립적으로 보정된 신호 규칙이 탐지 결과를 반환할 수 있습니다. 1,440개의 사례와 21,600개의 파티션 행으로 구성된 사전 등록된 홀드아웃(heldout) 평가에서, 55/72 체제-컴포넌트(regime-component) 단위가 참조 게이트를 통과했고, 54/55가 런타임 게이트를 통과했으며, 표현된 컴포넌트의 안정적 위허용(stable false admission)은 단측 정확 95% 상한선 0.1391과 함께 0/20을 기록했습니다. 승인된 단위 내에서는 영향을 받은 정상 트래픽이 공칭 결함 셀 비율(nominal fault-cell fraction)보다 탐지를 더 잘 예측했습니다. 본 연구의 핵심적인 구조적 교훈은 컴포넌트 선택기를 최적화하기 전에 증거의 적격성과 비공개성(non-revelation)을 먼저 검증해야 한다는 점입니다. 그렇지 않으면 더 강력한 솔버가 단지 더 강력한 검증자 아티팩트(artifact)를 인증하는 것에 불과할 수 있습니다.

arXiv:2610.13644v1cs.LG공통 태그 Feature Engineering, Benchmarking

SelectArena: 실제 환경 정형 데이터를 위한 특징 선택 현대적 벤치마크

SelectArena: A Modern Benchmark for Feature Selection on Real-world Tabular Data

정형 데이터셋(tabular dataset)에서 특징(특성/열)의 하위 집합을 선택하는 것은 실제 응용 분야 전반에서 흔히 마주하는 과제입니다. 산업계 전문가들은 모델 학습(training) 비용을 최소화하고자 하며, 기후 과학자들은 극단적 기상 현상을 이해하기 위해 해석 가능한 요인들의 부분집합을 필요로 하고, 임상의들은 비용 및 시간 제약으로 인해 진단 검사 항목 중 일부를 선택해야 합니다. 어떤 특징 선택(feature selection) 방법을 사용해야 할지 결정하기 위해 학술 문헌을 살펴볼 때, 다양한 분야의 실무자들은 실제 현실을 제대로 반영하지 못하는 벤치마킹 환경과 마주하게 됩니다. 광범위한 연구에도 불구하고, 기존 특징 선택 벤치마크들은 구식 모델, 임시방편적 평가(evaluation) 프로토콜, 또는 실제 문제를 반영하지 못하는 인위적으로 생성된 데이터에 의존하여 유용한 지침을 제공하는 데 한계가 있었습니다. 이러한 과학적 벤치마킹과 실제 응용 사이의 격차를 해소하기 위해, 본 연구에서는 현대적인 특징 선택 벤치마크인 SelectArena를 소개합니다. 본 논문에서는 분류(classification) 및 회귀 문제를 포괄하는 엄선된 71개의 실제 정형 데이터셋을 대상으로, 표준화된 평가 프로토콜과 최신 정형 (파운데이션) 모델을 활용하여 널리 사용되는 15가지 특징 선택 방법을 비교합니다. 실험 결과는 예측 성능, 실행 시간, 안정성, 유효성 전반에서 명확한 트레이드오프를 보여줍니다. 트리 기반 방법인 CART 및 RFImportance와 F-검정(F-Test)은 예측 성능과 실행 시간을 종합적으로 고려했을 때 파레토 최적(Pareto-optimal)인 것으로 나타났습니다. F-검정, 정보 이론 기반 방법, 거리 기반 방법은 안정성과 유효성 측면에서 앞섰으며, 특히 F-검정은 모든 평가 지표에서 균형 잡힌 선택지로 부상했습니다. 탐색 기반 방법들은 느리고 불안정하며 낮은 성능을 보였습니다. SelectArena는 이러한 연구 결과를 실질적인 지침으로 전환하고, 확장 가능한 플랫폼으로서 향후 특징 선택 연구를 지원합니다.

arXiv:2610.00700v1cs.AI공통 태그 Benchmarking, Diagnostic

R-GroundBench: 마쿠시 분자 편집에서의 R-그룹 그라운딩 진단 벤치마크

R-GroundBench: A Diagnostic Benchmark for R-Group Groundingin Markush Molecular Editing

과학적 발견을 위한 AI의 최근 발전은 분자에 대한 이해와 설계를 가능하게 하지만, 불완전한 화학적 표현에 대한 추론은 여전히 명확하지 않습니다. 가변적인 R-그룹 플레이스홀더(\textit{R\textsubscript{1}}, \textit{R\textsubscript{2}}, \textit{X} 등)를 통해 분자 계열을 부호화하는 마쿠시(Markush) 구조는 제약 특허에 널리 퍼져 있으며 분자, 텍스트 및 화학 정보 전반에 걸친 그라운딩(grounding)을 필요로 합니다. 그러나 기존의 분자-언어 벤치마크는 완전히 명시된 분자에만 초점을 맞추고 있어, R-그룹 그라운딩은 대체로 평가되지 않은 채로 남아 있습니다. 본 연구에서는 실제 특허 마쿠시 구조로 구축된 진단 벤치마크인 R-GroundBench를 도입하며, 이는 제어된 난이도 및 모달리티 분할을 갖춘 객관식(VQA) 트랙과 개방형 생성(Generation) 트랙을 특징으로 합니다. 실험 결과는 인식과 분자 그라운딩 사이에 상당한 격차가 있음을 보여줍니다. 모델들이 Easy VQA에서는 90\% 이상의 정확도를 달성하는 반면, 지름길(shortcut)이 제어된 Hard VQA에서는 성능이 56--66\%로 떨어집니다. 화학 도메인 VLM 또한 도메인 특화 사전학습에도 불구하고 Hard VQA에서 25.7--46.2\%만을 달성하여 신뢰할 수 없는 수준에 머물러 있습니다. 게다가 생성 정확 일치(Exact Match)는 대부분의 모델에서 20\% 미만으로 유지되며, 시각적 입력이 요구될 때는 8\% 미만으로 떨어집니다. 이러한 결과는 현재의 AI 시스템이 마쿠시 편집을 위한 신뢰할 수 있는 그라운딩 및 실행 능력이 부족함을 드러내며, AI 기반 과학적 발견의 주요 과제들을 부각합니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.