Large language models (LLMs) are increasingly applied to reverse-engineering tasks, and recent threat-intelligence reporting shows them operating inside live offensive-security workflows. Claims about their capability, however, outpace our ability to measure it. Existing benchmarks for LLM-assisted binary analysis treat the construction of function-level ground truth as a solved pre-processing step and report accuracy without disclosing how many functions were reliably evaluable. We argue that the principal obstacle to fair evaluation is not model capability but the reliability of binary-to-source alignment under compiler optimization. This paper presents Reforge, a provenance-tracked pipeline that constructs function-level ground truth from C source through compilation, DWARF and syntactic extraction, alignment, and decompilation, and that operationalizes alignment uncertainty as an eight-gate confidence funnel with three-tier stratification. On a controlled micro-benchmark, high-confidence yield falls from 87.2% to 65.9% across optimization levels, and unpaired comparisons overstate optimization-induced performance decay through survivorship bias. A proof-of-concept evaluation of seven contemporary LLMs on function naming demonstrates the validity of the concept and generally motivates an uncertainty-aware benchmarking practice.
소스 코드가 제공되는 환경에서 AI 에이전트(agent)의 사이버보안 역량은 빠르게 향상되고 있으나, 악성코드, 펌웨어, 독점 소프트웨어 등 보안상 가장 중요한 소프트웨어의 대다수는 바이너리 형태로만 존재합니다. 이러한 소프트웨어를 분석하려면 본격적인 분석에 앞서 프로그램의 시맨틱을 복원하는 리버스 엔지니어링(reverse engineering, RE)이 필수적입니다. 에이전틱 RE를 평가하는 데는 근본적인 과제가 따릅니다. 현실적인 벤치마크(benchmark) 인스턴스는 (1) 암기에 의한 편법을 방지하기 위해 대규모 언어 모델(LLM)의 학습(training) 데이터에 포함되지 않아야 하며, (2) 실제 바이너리의 규모와 안티 분석 보호 기법을 반영해야 합니다. 본 논문에서는 최초의 현실적이고 오염 없는 RE 벤치마크인 SRE-Bench를 소개합니다. RE 전문가들이 5,000시간 이상의 전문 역량을 투입해 바닥부터 구축한 SRE-Bench는 평균 16.9K 라인의 코드 규모를 갖는 19개의 비공개 실제 규모 프로그램으로 구성됩니다. 또한 44개의 자체 안티 분석 메커니즘을 개발하여 262개의 바이너리 인스턴스와 결정론적으로 채점되는 1,572개의 태스크를 구축했습니다. 저자들은 11개 모델에 걸쳐 13가지 에이전트 설정을 평가했습니다. 이 중 8가지는 공개 환경 설정이고, 5가지는 사이버 안전장치를 해제하고 예산 상한선이 없는 내부 무제한 설정입니다. 현실적인 RE는 최첨단 에이전트에게도 여전히 도전적인 과제입니다. GPT-5.6-Sol과 Claude-Fable-5.1은 뛰어난 소스 코드 보안 역량에도 불구하고 채점 대상 인스턴스의 31.5%와 26.9%만을 완전히 해결하여, 소스 코드 보안에서의 성공이 효과적인 바이너리 분석으로 직결되지는 않음을 시사합니다. 예산 상한선과 안전장치가 없는 환경에서 GPT-6-Astra는 거의 완벽에 가까운 pass@4 점수를 달성했으나, 올바른 후보를 안정적으로 식별하는 것은 여전히 어려웠습니다. 에이전트들은 컴파일러 최적화(optimization) 및 정적 링킹에 대체로 둔감했으며, 절제 연구(ablation)를 통해 오염 제어와 현실적인 규모 모두가 에이전트의 RE 역량을 파악하는 데 필수적임을 확인했습니다. 이러한 결과는 RE가 에이전틱 사이버보안의 독자적인 최전선임을 강조하며, SRE-Bench를 진전 상황을 측정하기 위한 엄밀한 테스트베드로 확립합니다.
본 논문에서는 Dart AOT(ahead-of-time) 바이너리에 대한 신경망 디컴파일(neural decompilation)의 실행 기반 평가와 해당 평가 점수가 실제로 측정하는 바에 대한 감사를 제시합니다. 보관된 6개의 어댑터-기준선 비교 전반에서, 18개 엔드포인트에 대해 Holm 보정을 적용하여 k = 1, 5, 10에서 pass@k의 대응 표본 검정을 수행한 결과, 모든 k에서 두 Qwen3-8B 어댑터 모두 기능적 회귀(functional regression)가 확인되었습니다. 나머지 4개의 비교는 결론을 내리기 어렵습니다. 참조 검증을 거치고 계약상 유효한 141개 태스크에서 독립적으로 학습된 3개의 그래프 접두 문맥 시스템이 동일한 후보들을 평가합니다. Best CodeBLEU는 pass@10과 완만한 상관관계(ρ = .218-.246)를 보이고, compile@10은 약한 상관관계(ρ = .072-.082)를 보이며, 컴파일되는 후보 중 단 21.0-23.3%만이 테스트를 통과합니다. 타입, 인자 수(arity), 명령어 내용은 유지하면서 의미적 이름과 관련 단서를 제거한 대응 단일 시드 개입 실험에서는 태스크 커버리지가 42/154에서 7/154로 감소합니다. 일치된 그래프 섭동은 의미적 계약 하에서 감지 가능한 성능 저하를 보이지 않았으며(6개 검정 Holm p >= .750), 명령어 사용 기여도는 미해결 상태로 남아 있습니다. MF-174에서 5개의 디코딩 시드에 걸쳐 기준선은 평균 4.8개, 최소 한 번 이상은 15개, 그리고 모든 시드에서는 1개의 태스크를 해결합니다. 이에 따라 참조 검증, 공유 후보군 기반의 지표 정렬, 바이너리 입력과 메타데이터의 분리, 반복 샘플링, 그리고 출처 보존을 권장합니다. 공개된 캡슐은 무결성 검증 및 보관된 결과의 재현을 지원합니다.
Rust는 새롭게 부상하는 시스템 프로그래밍 언어로, 컴파일 시 안전성 검사를 우회할 수 있도록 개발자에게 `unsafe`를 제공한다. 그 결과, 메모리 안전성 버그는 주로 `unsafe` 영역에 국한되며, Rust 버그 탐지 도구들은 이 영역을 주요 분석 대상으로 삼아왔다. 그러나 이러한 도구들은 Rust 소스 코드 내 `unsafe` 키워드의 존재에 의존하며, Rust 바이너리를 분석하여 `unsafe` 영역을 정확히 찾아낼 수 있는 도구는 현재 존재하지 않는다. 이에 본 논문에서는 머신러닝을 이용해 Rust 바이너리에서 `unsafe` 영역을 식별하는 최초의 도구인 `Ruby`를 제안한다. 바이너리 명령어 간의 미세한 차이를 포착함으로써, `Ruby`는 전체 `unsafe` 영역의 91.75%를 오탐율 6.16%로 식별하며, GPT-5.2, Claude-4.5, Gemini-3를 포함한 최신(SOTA) 대규모 언어 모델(LLM)을 능가한다. 나아가 `Ruby`를 심볼릭 실행(symbolic execution) 및 퍼징(fuzzing) 안내에 적용한 결과 각각 57.95%와 21.26%의 속도 향상을 달성하였으며, 안드로이드 라이브러리 퍼징에서 다섯 개의 버그가 Google에 의해 확인 및 패치되었다.
우리는 역공학(reverse engineering), 앵커 기반 소스 코드 검색, 대규모 언어 모델(LLM) 추론을 결합하여 스트립된 바이너리 함수에서 소스 코드를 복원하는 실용적인 파이프라인을 제시한다. 우리의 바이너리-소스 코드 검색 방법은 근사적인 디컴파일 의사코드를 생성하는 대신, 소스 코드 데이터베이스에서 소스 함수를 식별하는 것을 목표로 한다. 이 방법은 Ghidra를 사용하여 문자열, 상수, 외부 호출, 사용 가능한 함수명 등의 앵커를 추출하고, 역색인(inverted-index) 검색 데이터베이스를 통해 후보 파일을 검색하며, 후보를 가능성 있는 함수 스니펫으로 좁힌 뒤, 역어셈블리, 디컴파일 코드, 소스 메타데이터를 기반으로 LLM을 통해 재순위화한다. 신뢰도 높은 매칭 결과는 이후 패스에서 앵커로도 활용될 수 있다. 스트립되고 최적화된 tcpdump 바이너리에 대해 고충실도 소스 코드 데이터베이스를 기반으로 수행한 평가에서, 제안한 바이너리-소스 매칭 방법은 어셈블리 명령어 커버리지 95.2%를 달성한다. GitHub 기반 검색 데이터베이스를 활용한 실험에서는 주로 검색 누락(retrieval misses)으로 인해 평균 35.5%의 명령어 커버리지를 보이며 낮은 성능을 나타냈다. 이러한 결과는 소스 수준의 바이너리 복원이 고품질 데이터베이스 환경에서 탁월한 성능을 발휘하며, 노이즈가 많은 환경에서도 유용한 도구로 활용될 수 있음을 보여준다.