arXiv:2012.11225

Searching for Controllable Image Restoration Networks

Heewon Kim, Sungyong Baik, Myungsub Choi, Janghoon Choi, Kyoung Mu Lee

제출 2020-12-21

원문 초록

Diverse user preferences over images have recently led to a great amount of interest in controlling the imagery effects for image restoration tasks. However, existing methods require separate inference through the entire network per each output, which hinders users from readily comparing multiple imagery effects due to long latency. To this end, we propose a novel framework based on a neural architecture search technique that enables efficient generation of multiple imagery effects via two stages of pruning: task-agnostic and task-specific pruning. Specifically, task-specific pruning learns to adaptively remove the irrelevant network parameters for each task, while task-agnostic pruning learns to find an efficient architecture by sharing the early layers of the network across different tasks. Since the shared layers allow for feature reuse, only a single inference of the task-agnostic layers is needed to generate multiple imagery effects from the input image. Using the proposed task-agnostic and task-specific pruning schemes together significantly reduces the FLOPs and the actual latency of inference compared to the baseline. We reduce 95.7% of the FLOPs when generating 27 imagery effects, and make the GPU latency 73.0% faster on 4K-resolution images.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.08427v1cs.AR공통 태그 GPU, Neural Architecture Search

FPGN: 미분 가능한 LUT를 이용한 초고속 프로그래머블 게이트 기반 신경망 가속의 재정의

FPGN: Redefining Ultra-Fast Programmable Gate-based Neural Acceleration with Differentiable LUTs

심층 신경망(DNN)에서 나노초 수준의 추론 지연을 달성하는 것은 지연 시간이 중요한 애플리케이션에서 핵심 아키텍처 과제로 부상하고 있다. 필드 프로그래머블 게이트 어레이(FPGA)는 저지연 추론을 위한 유망한 기반을 제공하지만, 기존 FPGA 가속기는 여전히 산술 연산 중심으로 LUT를 주로 수치 연산자와 주변 로직의 구성 요소로만 활용한다. 이와 달리, 최근의 LUT 네이티브 신경망은 LUT를 학습 가능한 뉴런으로 취급하여 내재적 논리 표현성을 활용할 수 있는 이론적 잠재력을 보여준다. 그러나 기존 방법들은 대부분 알고리즘 최적화에 국한되어 이 이론적 잠재력을 고성능 FPGA 가속기로 실현하는 데 실패한다. 구체적으로, 이들의 미분 가능한 공식은 FPGA LUT 프리미티브와 충실히 일치하지 않고, 물리적 특성을 고려하지 않은 토폴로지는 배선 가능성과 타이밍 클로저를 저해하며, 자동화된 최적화 흐름의 부재는 체계적인 설계 공간 탐험(DSE) 및 효율적인 하드웨어 구현을 방해한다. 본 논문에서는 LUT 네이티브 학습과 지연 최적화된 FPGA 구현 간의 격차를 해소하는 종단간 물리적 인식 프레임워크인 FPGN을 제안한다. FPGN은 (i) FPGA 네이티브 LUT 뉴런 학습을 위한 하드웨어 정렬 미분 가능 공식, (ii) 배선 지역성과 타이밍 클로저를 향상시키는 스트리밍 하드웨어 아키텍처를 갖춘 구조화된 LUT 네이티브 토폴로지, (iii) 고충실도 분석적 결과 품질 모델을 활용하여 DSE와 하드웨어 생성을 자동화하는 지연 기반 컴파일러를 통해 이러한 과제를 해결한다. 실험 결과, FPGN은 대표적인 FPGA 기반 BNN 가속기 대비 최대 205배의 지연 감소와 기존 미분 가능한 LUT 네이티브 네트워크 대비 최대 30배 높은 LUT 효율을 달성하면서 경쟁력 있는 추론 정확도를 유지함을 보인다.

arXiv:2607.07984v2cs.AI공통 태그 Neural Architecture Search

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2607.01539v3cs.NE공통 태그 Neural Architecture Search

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2607.12753v3cs.CV공통 태그 Image Restoration

RFMSR: 이미지 초해상도를 위한 잔차 플로우 매칭

RFMSR: Residual Flow Matching for Image Super-Resolution

생성형 이미지 초해상도(ISR) 방법은 일반적으로 표준 가우시안 사전분포에서 샘플링하여 이를 데이터 분포로 이동시키며, 이때 저품질(LQ) 입력은 외부 조건으로만 사용된다. 그러나 LQ 이미지는 목표 고품질(HQ) 이미지에 대한 풍부한 구조 정보를 이미 담고 있으므로, LQ 이미지에 근사하는 분포가 더 적합한 출발점이 되며, 이 아이디어는 일련의 확산 기반 복원 방법에서 검증되었다. 반면 최근의 플로 매칭 기반 ISR 방법은 여전히 표준 가우시안 사전분포를 채택하여 이러한 구조적 사전 정보를 버린다. 더욱이 증류나 일관성 훈련과 같은 기존의 단일 단계 가속 기법은 추가 교사 모델에 의존하거나 모델의 다단계 추론 능력을 희생한다. 본 논문에서는 소스 분포를 LQ 잠재 표현을 중심으로 하는 가우시안으로 정의하여 플로가 순수 노이즈가 아닌 LQ 이미지에서 시작하도록 하고 입력에 이미 존재하는 구조적 사전 정보를 보존하는 이미지 초해상도를 위한 잔차 플로 매칭(RFMSR)을 제안한다. 고품질 단일 단계 생성을 달성하기 위해, 단일 단계 출력에 대한 지도 손실과 조건부 플로 매칭(CFM) 손실을 결합한 간단하면서도 효과적인 훈련 전략을 추가로 제안하며, 이를 통해 증류나 기타 가속 기법에 의존하지 않고도 임의의 단계 수로 고품질 복원이 가능하다. 폭넓은 실험을 통해 RFMSR이 최신 방법들과 경쟁력 있는 결과를 달성함을 보인다. 소스 코드는 https://github.com/Faze-Hsw/RFMSR 에서 이용할 수 있다.

arXiv:2607.21118v2cs.CV공통 태그 Image Restoration

제2회 LoViF 2026 실세계 올인원 이미지 복원 챌린지: 방법과 결과

The Second LoViF 2026 Challenge on Real-World All-in-One Image Restoration: Methods and Results

본 논문은 실세계 올인원(all-in-one) 이미지 복원을 주제로 한 제2회 LoViF 챌린지에 대한 리뷰를 제시한다. 이 챌린지는 흐림, 저조도, 안개, 비, 눈 등 다양한 실세계 열화(degradation) 조건에서 통합 이미지 복원을 발전시키는 것을 목표로 한다. 통합 프레임워크 내에서 여러 열화 유형에 걸친 모델의 복원 정확도, 견고성(robustness), 일반화(generalization) 능력을 평가하기 위한 공통 벤치마크를 제공한다. 대회에는 158명의 등록 참가자가 참여했으며, 제출된 결과가 성공적으로 재현 및 검증된 후 20개 팀이 최종 순위에 포함되었다. 본 보고서는 제출된 솔루션과 해당 결과에 대한 포괄적인 분석을 제공하며, 실세계 올인원 이미지 복원 분야의 최근 진전을 강조한다. 요약된 방법과 실증적 발견은 효과적인 설계 전략을 드러내고, 실세계 저수준(low-level) 비전 분야의 향후 연구를 위한 업데이트된 벤치마크를 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.