arXiv:2609.27739v1 cs.LG

MENO: 메모리 효율적 신경 연산자

MENO: Memory-Efficient Neural Operator

Shengyang Xu, Weijun Zhang, Jun Hu, Pengzhan Jin

제출 2026-09-24

한국어 초록

우리는 Manifold Function Encoder(MFE)를 기반으로 한 고성능 편미분방정식(PDE) 신경 솔버로서 Memory-Efficient Neural Operator(MENO)를 제안한다. MENO는 세 가지 주요 장점을 갖는다. (1) MENO는 다른 널리 쓰이는 아키텍처 대비 메모리 사용량이 현저히 작고 학습 속도가 훨씬 빠르며, 메모리 사용량이 데이터 해상도와 무관하므로 대규모 모델로의 스케일링 가능성을 지닌다. (2) MENO는 임의의 기하학적 영역과 임의의 이산화를 포함하여 임의 형태의 PDE 입력을 받을 수 있다. 특히 입력 함수와 출력 해가 서로 다른 매니폴드上에 정의되는 cross-geometry 시나리오, 즉 기하학 간 설정을 처리할 수 있다. (3) MENO는 강한 일반화 능력을 보이며, 문헌에 보고된 결과와 비교했을 때 우리가 테스트한 대부분의 벤치마크에서 최고 정확도를 달성한다. 코드는 https://github.com/jpzxshi/MENO 의 GitHub에서 제공되며, 본 논문의 모든 수치 예제는 보고된 결과를 재현하기 위해 단일 명령으로 실행할 수 있다.

원문 초록

We propose the Memory-Efficient Neural Operator (MENO) as a high-performance PDE neural solver based on the Manifold Function Encoder (MFE). MENO features three primary advantages: (1) MENO has a significantly smaller memory footprint and much faster training speed than other popular architectures, with the memory footprint being independent of the data resolution, and therefore holds the potential for scaling up to large-scale models. (2) MENO can accept PDE inputs of arbitrary form, including arbitrary geometric domains and arbitrary discretizations. In particular, it is capable of handling cross-geometry scenarios, i.e., where the input functions and the output solutions are defined on different manifolds. (3) MENO exhibits strong generalization capability, and achieves the best accuracy on most of the benchmarks we tested, compared with the results reported in the literature. The code is available on GitHub at https://github.com/jpzxshi/MENO, and all numerical examples in this paper can be run with a single command to reproduce the reported results.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27739v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15915v1cs.CV공통 태그 Computational Efficiency, Benchmarking

VIEWCRAFT: 멀티모달 에이전트가 보는 대상과 이를 읽는 방식의 공동 진화

VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It

재사용 가능한 스킬은 모델(model) 가중치를 업데이트하지 않고도 멀티모달 에이전트(multimodal agent)를 향상시키지만, 그 효과는 제시되는 근거(evidence)와 이를 읽는 데 사용되는 절차 모두에 의존합니다. 본 논문에서는 실행 가능한 근거 인터페이스와 해당 인터페이스의 읽기 절차를 함께 공동 진화시키는 ViewCraft를 소개합니다. 인터페이스는 관측치를 선택, 변환, 구성하며, 리더(reader)는 그 결과로 생성된 뷰(view)를 해석합니다. 실패 추적(failure trace)은 수정을 안내하고, 리플레이 및 쌍체 평가(paired evaluation)는 유용한 변경 사항을 유지하며, 인터페이스 프로젝션은 적격한 기각 공동 제안으로부터 시각적 편집 내용을 복구합니다. 8개 벤치마크(benchmark) 전반에서 ViewCraft는 직접 실행 방식 대비 태스크 점수를 평균 $6.1$점 향상시켰으며, 모든 벤치마크에서 성능 향상을 달성했습니다. 이러한 이점은 일치된 입력 토큰(token) 예산 하에서도 유지됩니다. 5개의 모든 다중 소스 태스크에서 학습된 인터페이스는 초기 스킬보다 8%~15% 더 적은 입력 토큰을 사용합니다. 또한 학습된 스킬은 실행기(executor) 간에 전이되며 평가된 모든 전이 환경에서 직접 실행 방식을 능가하여, 결합된 재사용 가능 스킬로서의 근거 구축 및 읽기 접근법을 뒷받침합니다.

arXiv:2610.13563v1cs.SE공통 태그 Computational Efficiency, Benchmarking

모든 정답 수정이 같은 성능을 내지는 않는다: 저장소 수준 이슈 해결에서 패치 성능에 대한 실증적 연구

Not All Correct Fixes Run Alike: An Empirical Study of Patch Performance in Repository-Level Issue Resolution

SWE-bench와 같은 저장소 수준 이슈 해결(issue resolution) 벤치마크는 제출된 패치를 주로 정확성 테스트 통과 여부로 평가하며, 테스트를 통과한 서로 다른 패치들 간의 런타임 성능(runtime performance)은 대부분 탐구되지 않은 채로 남아 있다. 패치 성능을 평가하는 것은 필수적이지만, 각 벤치마크 인스턴스마다 성능 워크로드를 설계하는 데 비용이 많이 들어 어렵다. 그러나 이러한 벤치마크는 이미 자연스러운 후보를 제공하는데, 바로 이슈 수정으로 영향을 받는 동작을 실행하는 내장 FAIL_TO_PASS(F2P) 테스트이다. 따라서 우리는 제공된 F2P 테스트를 패치 성능 평가에 재활용할 수 있는지 조사한다. 전체적으로 우리는 Claude Opus 5, GPT 5.6, DeepSeek V4 Pro, Qwen 3.8 Max라는 네 가지 프런티어(frontier) 모델을 SWE-agent와 결합하여 SWE-bench 및 SWE-bench-Live의 검증된(verified) 분할에서 사전 필터링된 측정 가능한 코퍼스(corpus)를 해결하도록 하였으며, 그 결과 개발자의 정답(ground-truth) 패치를 포함해 최소 두 개 이상의 서로 다른 정답 해법을 가진 262개 사례를 얻었다. 이후 우리는 각 해법의 런타임 성능을 네이티브 F2P 테스트에서 명령어 수(instruction count)와 실제 경과 시간(wall-clock time)으로 측정하고, 더 강건한 통계적 판별 기준으로 선행 연구에서 제안된 RSD 대신 Welch ANOVA를 사용한다. 우리는 이 방법론이 런타임 성능에서 뚜렷한 판별 능력을 보이며, 거의 절반에 가까운 사례에서 패치 간 성능 차이를 식별해냄을 발견한다. 우리의 실증적 연구는 생성된 패치의 런타임 성능이 LLM의 이슈 해결률(resolution rate)과 무관하며, 모델 순위가 거의 뒤바뀐다는 것을 보여준다. 사례 연구(case study)는 또한 성능 분석이 정확성 평가에서는 간과된 일부 패치의 아키텍처적 회귀(architectural regression)를 드러낸다는 것을 보여준다. 이러한 발견은 해결률이 저장소 수준 이슈 해결에 대한 LLM의 능력을 충분히 특성화하지 못한다는 것을 시사하며, 향후 평가에서 해결률과 함께 패치 성능을 함께 고려하도록 동기를 부여한다.

arXiv:2610.13570v1cs.AI공통 태그 Computational Efficiency, Benchmarking

추론 모델의 오버씽킹에 대한 최적 추론 종료 기법의 파레토 프론티어 구축

Constructing Pareto Frontiers of Optimal Reasoning Termination Methods for Overthinking in Reasoning Models

추론 모델은 테스트 시간 스케일링(test-time scaling)의 이점을 얻을 수 있지만, 지속적인 추론은 비효율적이거나 오히려 해로울 수 있으며, 이를 오버씽킹(overthinking) 현상이라고 부릅니다. 전체 추론(full thinking)을 기준으로 한 평가는 정확도와 토큰 사용량을 비교하지만, 오버씽킹의 심각도 및 각 전략의 이론적 완화 잠재력에 대한 기준이 부족합니다. 모델-작업 수준에서 오버씽킹의 특성을 규명하기 위해, 본 연구에서는 먼저 고정된 샘플링 추론 궤적을 따라 보존된 여러 접두사(prefix)로부터 반복적으로 답변을 생성하는 단계별 절단 프로빙(Step-wise Truncation Probing, STP)을 도입합니다. 각 궤적에서 최대 실증적 정확도에 도달하는 가장 이른 측정 위치를 기준으로 삼아, 이후 생성된 추론 토큰의 비율을 오버씽킹 비율(Overthinking Ratio)로, 해당 기준점 대비 전체 추론까지의 정확도 하락을 정확도 저하(Accuracy Degradation)로 각각 정의합니다. 둘째로, 다양한 종료 전략의 이론적 완화 잠재력을 정량화하기 위해 동적 라우팅(dynamic routing), 고정 예산(fixed budgets), 동적 조기 종료(dynamic early exit)를 통합된 프레임워크 내에서 정식화합니다. 이 통합 프레임워크를 기반으로 완전한 STP 측정값을 활용하여 공통의 정규화된 추론 토큰 예산 하에서 각 전략에 대한 토큰-정확도 파레토 프론티어(Pareto frontier)를 구축합니다. 나아가 6개 모델과 4개 벤치마크 그룹에 걸쳐 705억 개의 추론 토큰 및 해당 프로빙 측정값을 생성한 STP 프로세스로부터 구축된 재사용 가능한 벤치마크인 OTBench를 개발합니다.

arXiv:2610.02488v2cs.LG공통 태그 Computational Efficiency, Benchmarking

LLM을 에이전트로 활용하기: 비용은 얼마인가?

Harnessing LLMs as Agents: What Does It Cost?

언어 모델 에이전트는 제한된 컨텍스트(bounded context), 영속 메모리(persistent memory), 도구, 검증, 반복 실행을 관리하는 하네스(harness)에 점점 더 의존하고 있지만, 기존의 모델 능력 개념은 이러한 메커니즘이 소비하는 계산 자원을 정량화하지 못한다. 우리는 기저 의미론적 모델(semantic model)은 고정한 채 하네스 수준의 자원을 명시적으로 과금하는 자원 제약 추상화인 언어 모델 에이전트 머신(Language Model Agent Machine, LAM)을 도입한다. 우리는 네 가지 범주의 결과를 확립한다. 통신(Communication): LAM 실행은 동시적인 호출-전송 예산(call-transfer budget) 하에서 적-청 페블링(red-blue pebbling)과 인스턴스 단위로 동등하며, 이는 고전적인 입출력 하한(I/O lower bound)을 컨텍스트-메모리 트래픽으로 전이시킨다. 접근(Access): 메모리 인터페이스는 포인터 체이싱(pointer chasing)에서 무작위 접근과 비추측적(non-speculative) 순차 접근 사이의 $Θ(n)$ 격차를 포함하여 점근적 분리(asymptotic separation)를 유발한다. 재계산(Recomputation): 비트 반전(bit-reversal) DAG는 컨텍스트 용량 $C$와 영속 메모리 용량 $S$ 하에서 $Θ(n^2/(C+S)+n)$회의 모델 호출을 필요로 하며, 이는 저장된 중간 상태가 반복적인 의미론적 계산을 언제 피할 수 있는지를 정량화한다. 신뢰성(Reliability): 우리는 엄밀한 단계별(stage-local) 샘플링 한계, 불완전 검증(imperfect-verification)의 정확한 비용, 그리고 닫힌 형태의 최적 검증 간격을 갖는 영-데일리(Young-Daly) 유형의 체크포인트 법칙을 유도한다. GPT-6 Astra에 대한 통제 실험과 홀드아웃(held-out) 실험은 체크포인트 최적값, 프로그래밍적 검사(programmatic checking) 하에서의 정책 선택, 그리고 연쇄 MATH 과제에서 호출 단위(call granularity), 논리적 입력 트래픽, 신뢰성 간의 트레이드오프를 포함하여 통신 및 신뢰성 예측을 검증한다. 종합적으로, 이 결과들은 언어 모델 에이전트 하네스의 계산 비용에 대한 자원 이론(resource theory)을 제공한다.

arXiv:2610.02461v1cs.LG공통 태그 Computational Efficiency, neural operator

3D-IC 열 모델링을 위한 구성 가능한 AI 가속 반복 솔버

A Composable AI-Accelerated Iterative Solver for 3D-IC Thermal Modeling

이종 2.5D/3D 집적 회로(3D-IC) 패키지의 정확한 열 해석은 필수적이지만 계산 비용이 지나치게 높습니다. 단일 풀 패키지 유한 요소법(FEM) 시뮬레이션은 수 시간이 걸릴 수 있으며, AI 기반 대리 모델(surrogate)은 전체 스택을 단일(monolithic) 예측 대상으로 취급하므로 다이(die) 수나 토폴로지가 변경될 때마다 재학습해야 합니다. 이러한 한계를 해결하기 위해 본 연구에서는 열 해석을 위한 도메인 분해 AI 가속 반복 솔버인 DAIST(Domain-Decomposed AI-Accelerated Iterative Solver for Thermal Analysis)를 제안합니다. DAIST는 글로벌 패키지 시뮬레이션을 블록 수준의 서브도메인 문제로 분해하고, 서브도메인 솔버를 신경 연산자(neural operator)로 대체하며, 계면 온도와 열유속(heat flux)의 반복적 교환을 통해 이들을 결합하는 구성 가능한(composable) 열 솔버입니다. 이러한 로컬-투-글로벌(local-to-global) 아키텍처는 단일 모델의 토폴로지 종속성을 제거하여, 블록 수준의 신경 연산자를 재학습 없이 이전에 보지 못한 패키지 조립 구조에 직접 재사용할 수 있도록 합니다. 또한 반복 커플링 전략은 제어 가능한 정확도-실행 시간 간의 트레이드오프를 제공하여, 반복 예산을 조정함으로써 정확도와 실행 시간을 상호 조율할 수 있습니다. 멀티 칩렛 시스템과 첨단 패키징 시스템에서 평가한 결과, DAIST는 기존 FEM 솔버 대비 최대 $178\times$의 속도 향상을 달성하면서 각각 0.068%와 0.323%의 평균 온도 오차를 기록했으며, 구조적으로 상이한 패키지 조립 전반에 걸쳐 블록 수준 모델의 교차 토폴로지 재사용성을 입증했습니다.

arXiv:2610.01116v1cs.AI공통 태그 Computational Efficiency, Benchmarking

최고 성능(SOTA)을 넘어서: AI 연구를 위한 환경 영향 지표 표준화

Beyond State-of-the-Art: Standardising Environmental Impact Metrics for AI Research

대규모 언어 모델(LLM)의 성능과 활용도가 증가함에 따라 환경적 발자국 역시 커지고 있습니다. 책임 있는 AI에 대한 요구에도 불구하고, 머신러닝 커뮤니티에는 탄소 회계(carbon accounting)를 위한 표준화된 관행이 부재합니다. NeurIPS 2025에 채택된 5,285편의 논문을 대상으로 진행한 자동화된 문헌 조사에 따르면, 환경 영향에 대한 보고는 거의 전무한 것으로 나타났습니다. 지속 가능한 AI로의 전환을 촉진하기 위해, 본 연구는 모델 학습 효율성을 평가하기 위한 표준화된 지속가능성 지표를 정의하고, LLM 추론의 탄소 비용을 추정하기 위한 간단한 휴리스틱을 함께 제시합니다. 또한 이러한 지표를 배출량 추적 및 보고를 위한 간편 적용 소프트웨어 솔루션인 carbonbenchmark에 구현하였습니다. 마지막으로, 과도한 환경적 비용을 치르며 미미한 정확도 향상만을 추구하는 흐름에 대응하기 위해, 전통적인 최고 성능(SotA) 정확도와 더불어 연산 효율성 및 환경적 책무성을 우선시하도록 연구 분야에 과제를 던지는 프레임워크인 '과업을 달성하는 최소 모델(SMAJ)'을 공식화합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.