arXiv:2005.07564

Progressive Automatic Design of Search Space for One-Shot Neural Architecture Search

Xin Xia, Xuefeng Xiao, Xing Wang, Min Zheng

제출 2020-05-15

원문 초록

Neural Architecture Search (NAS) has attracted growing interest. To reduce the search cost, recent work has explored weight sharing across models and made major progress in One-Shot NAS. However, it has been observed that a model with higher one-shot model accuracy does not necessarily perform better when stand-alone trained. To address this issue, in this paper, we propose Progressive Automatic Design of search space, named PAD-NAS. Unlike previous approaches where the same operation search space is shared by all the layers in the supernet, we formulate a progressive search strategy based on operation pruning and build a layer-wise operation search space. In this way, PAD-NAS can automatically design the operations for each layer and achieve a trade-off between search space quality and model diversity. During the search, we also take the hardware platform constraints into consideration for efficient neural network model deployment. Extensive experiments on ImageNet show that our method can achieve state-of-the-art performance.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.25796v4cs.CR공통 태그 Diversity

SAMark: 단락 수준 패러프레이즈 견고성을 갖춘 자기 고정(self-anchored) 텍스트 워터마킹

SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness

의미 수준 워터마킹(SWM)은 문장을 기본 단위로 취급하여 텍스트 수정에 대한 견고성을 향상시킨다. 그러나 단락 수준 패러프레이즈(paraphrasing)에 대한 견고성은 여전히 어려운 문제로 남아 있다. 이러한 공격은 문장 순서를 변경함으로써 워터마크 신호를 전역적으로 교란하기 때문이다. 본 연구에서는 SAMark를 제안한다. 이는 의미 공간(semantic space)에 단계 독립적(step-independent) green region을 설정함으로써 문장 순서에 대한 의존성을 제거하는 자기 고정(self-anchored) 워터마킹 프레임워크이다. 탐지성(detectability)을 향상시키기 위해, 워터마크 신호를 증폭하면서 약하게 정렬(aligned)된 후보에서 발생하는 노이즈를 억제하는 다채널 쌍곡(hyperbolic) 스코어링 메커니즘을 도입한다. 또한 단순 n-gram 반복 필터를 넘어 의미적 중복(semantic redundancy)을 다루기 위해 hard filtering과 soft 정규화(regularization)를 결합한 다양성 인식(diversity-aware) 필터링 전략을 제안한다. 실험 결과, SAMark는 일반적인 단락 수준 패러프레이즈 공격 하에서 최대 90.2% TP@FP1%를 달성하며, 평균적으로 가장 강력한 선행 기준선(baseline)보다 30% 이상 우수한 성능을 보인다. 동시에 워터마크가 없는 텍스트와 경쟁할 만한 생성 품질을 유지하며, 기존 방법을 제한하던 견고성-품질 트레이드오프(robustness-quality trade-off)를 깬다. 코드는 https://github.com/Z1zs/SAMark 에서 공개될 예정이다.

arXiv:2607.07984v2cs.AI공통 태그 Neural Architecture Search

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2607.01539v3cs.NE공통 태그 Neural Architecture Search

MMAO-Cls: 특징 선택과 분류기 튜닝을 동시에 수행하는 대사 다중 에이전트 최적화

MMAO-Cls: Metabolic Multi-Agent Optimization for Joint Feature Selection and Classifier Tuning

본 논문은 대사 다중 에이전트 최적화기(MMAO)가 분류 모델 선택을 위한 신뢰할 만한 외부 루프 최적화기로 기능할 수 있는지를 연구한다. 각 에이전트가 이진 특징 마스크와 분류기 하이퍼파라미터를 함께 인코딩하고, 개별 에너지, 공동 예산, 역할 변동, 생애주기 교체가 래퍼 학습의 정확도-복잡도 트레이드오프에 대응되는 혼합 공간 구현인 MMAO-Cls를 제안한다. 구현은 특징 정보 사전분포로부터 특징 예산 적응을 도출하고, 검증 보상을 부분집합의 간결성과 학습-검증 과적합 격차로 함께 정규화하여 강화되었다. 각각 3개의 시드로 7개의 표준 정형 데이터 벤치마크에서 MMAO-Cls를 평가하고, RandomSearch, GA-lite, PSO-lite, 내생적 비공유 제거 변형과 비교한다. 종합 검증 목적함수에서 MMAO-Cls는 GA-lite($0.9446$)에 이어 2위($0.9433$)이다. 보류된 테스트 성능에서는 평균 점수 $0.8882$를 달성하여 RandomSearch($0.8808$)와 GA-lite($0.8857$)를 능가하고, PSO-lite($0.8874$) 및 비공유 제거 변형($0.8900$)에는 근접하며, 비교된 모든 방법 중 보류 데이터 기준 평균 특징 부분집합이 가장 간결하다(특징 비율 $0.4881$). 쌍체 검정 결과 이러한 차이는 아직 통계적으로 유의하지 않다. 결과는 MMAO가 분류와 간결한 혼합 공간 탐색에 적용 가능함을 뒷받침하지만, 공동 공유가 보류 데이터 성능에 기여하는 정도는 해결되지 않은 채 남아 있다.

arXiv:2606.12247v2cs.CY공통 태그 Diversity

3인칭 감사를 넘어서: 사용자 중심 LLM 바이어스 연구를 위한 상황화된 상호작용 감사

Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research

대규모 언어 모델(LLM)의 편향 연구는 모델이 인구 집단을 외부 대상으로서 어떻게 표상하거나 평가하는지를 연구하는 3인칭 감사에 주로 초점을 맞추어 왔다. 그러나 이 패러다임은 감사에 사용자가 부재하다는 구조적 사각지대를 간과한다. 실제로 LLM은 개방적이고 개인적인 상호작용에서 사용되며, 이때 모델은 사용자를 암묵적으로 표상하고 그에 맞춰 응답을 조정한다. 동일한 요청이 누가 묻느냐에 따라 다른 응답을 낳는다면, 편향은 모델이 타인을 서술하는 방식이 아니라 대화 상대를 대하는 방식에서 나타난다. 1인칭 편향에 대한 실증 연구가 늘고 있으나, 서로 다른 단서, 결과 지표, 타당화 방식을 사용하여 결과를 비교하기 어렵다. 본 논문은 이러한 문헌을 위한 공통 진단 프레임워크인 상황 기반 상호작용 감사(SIA)를 제안한다. SIA는 이름과 표면적 표지, 글쓰기 스타일과 방언, 명시된 정체성이라는 사용자 프로필 신호의 유형론을 설계 원칙 및 결과 지표와 함께 도입하여 연구를 비교하고 누적할 수 있게 한다. 우리는 이 프레임워크를 아홉 개 과업 영역과 세 가지 모델에 걸친 칠레인의 이름과 성에 대한 사례 연구로 구현하고, 실무자를 위한 지침과 연구자를 위한 미해결 질문으로 마무리한다.

arXiv:2606.03021v5cs.CL공통 태그 Diversity

LLM 추론을 위한 힌트 유도 다양화 정책 최적화

Hint-Guided Diversified Policy Optimization for LLM Reasoning

최근 대규모 언어 모델(LLM)의 발전은 인상적인 추론 능력을 보여주었으며, 검증 가능한 보상을 활용한 강화학습(RLVR)은 유망한 성능 향상 전략으로 주목받고 있다. 그러나 기존 보상 메커니즘은 결과 수준의 정확성에 국한되어 있어, 모델이 다양한 해법을 고려하도록 유도하는 명시적인 신호가 부족하다. 대조적으로, 인간의 문제 해결은 일반적으로 여러 잠재적 접근법을 평가하고 가장 신뢰할 수 있는 해법을 선택하는 과정을 거치지만, 현재의 RLVR 프레임워크는 이러한 인지 과정을 명시적으로 유도하지 않는다. 이에 영감을 받아, 본 연구에서는 모델이 먼저 모든 잠재적 후보 해법의 개요를 힌트로 나열한 다음 추가 추론을 위해 가장 신뢰할 수 있는 해법을 선택하도록 하는 힌트 유도 다양화 정책 최적화(HDPO)를 제안한다. HDPO는 구조화된 추론을 위한 콜드 스타트(Cold Start for Structured Reasoning)와 힌트 유도 다양화 강화학습(Hint-Guided Diversified Reinforcement Learning)의 두 단계로 구성되어, 모델이 '제안-선택-사고(propose-select-think)' 궤적을 따라 다양하고 신뢰할 수 있는 해법을 생성하도록 장려한다. 실험 결과는 HDPO가 LLM의 추론 성능을 효과적으로 향상시키고, 후보 해법의 다양성뿐만 아니라 신뢰할 수 있는 해법을 식별하는 LLM의 능력 또한 향상시킴을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.