arXiv:2112.00275

Learning from Mistakes based on Class Weighting with Application to Neural Architecture Search

Jay Gala, Pengtao Xie

제출 2021-12-01

원문 초록

Learning from mistakes is an effective learning approach widely used in human learning, where a learner pays greater focus on mistakes to circumvent them in the future to improve the overall learning outcomes. In this work, we aim to investigate how effectively we can leverage this exceptional learning ability to improve machine learning models. We propose a simple and effective multi-level optimization framework called learning from mistakes using class weighting (LFM-CW), inspired by mistake-driven learning to train better machine learning models. In this formulation, the primary objective is to train a model to perform effectively on target tasks by using a re-weighting technique. We learn the class weights by minimizing the validation loss of the model and re-train the model with the synthetic data from the image generator weighted by class-wise performance and real data. We apply our LFM-CW framework with differential architecture search methods on image classification datasets such as CIFAR and ImageNet, where the results show that our proposed strategy achieves lower error rate than the baselines.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.20516v1cs.LG공통 태그 Image Classification, Neural Architecture Search

LLM을 활용한 폐루프 특징 채널 구성 스케일링

Scaling Closed-Loop Feature Channel Configuration with LLMs

폐루프 대규모 언어 모델(LLM) 기반 채널 구성 탐색에서 얻은 유망한 초기 결과는, 실행 가능한 코드 생성과 정확도 피드백을 통해 신경망의 폭을 직접 최적화할 수 있음을 보여주었다. 그러나 이러한 결과는 상대적으로 희소한 유효 평가 집합에서 얻은 것이므로, 관찰된 최적화 행동이 더 조밀한 샘플링 체제로 전이되는지, 그리고 더 많은 생성 네트워크가 평가될 때 추가적인 아키텍처 규칙성이 나타나는지는 열려 있는 문제로 남아 있다. 이를 검증하기 위해, 동일한 탐색 설정을 미세조정 주기당 250개의 후보 네트워크로 확장하였다. 분석은 8개의 완전한 주기에서 생성된 2000개의 후보를 다루며, 작업 및 메타데이터 필터링 후 462개의 검증된 CIFAR-100 평가를 산출한다. 주기별 평균 정확도는 기울기 9.87e-4(p=0.043)의 양의 선형 추세를 보이며, 고성능 프론티어는 더 강하게 개선된다. 관찰된 최고 정확도는 0.3144에서 0.3676으로 증가했고, 상위 5개 및 상위 10개 주기별 평균 모두 양의 추세를 나타낸다. 확장된 실행은 또한 매개변수 효율의 개선을 드러낸다. 최고 모델은 11.8M 매개변수로 0.3676에 도달하는 반면, 초기 고성능 모델은 166.5M 매개변수로 0.3144를 기록했다. 정확도를 넘어, 더 큰 표본은 희소한 관측으로는 평가하기 어려웠던 아키텍처 규칙성을 드러낸다. 2의 거듭제곱이 아닌 채널 폭은 검증된 후보의 41.8%에서 나타나며, 가장 강력한 모델들은 초기 폭은 적당하고 중간 또는 후반 블록을 확장한 구조화된 채널 할당 패턴을 공유한다. 이러한 발견은 초기 연구에서 관찰된 채널 탐색 신호가 전이됨을 시사한다

arXiv:2607.15217v1cs.NE공통 태그 Image Classification, Neural Architecture Search

NeuronSoup: 역전파 없이 진화하는 비동기 공유 뉴런 시간 그래프

NeuronSoup: Evolving Asynchronous, Shared-Neuron Temporal Graphs without Backpropagation

NeuronSoup를 제시한다. 이는 동기식 층별 처리를 공유 뉴런 풀을 통한 비동기·지연 매개 신호 전파로 대체하는 신경 계산 아키텍처이다. 네트워크의 각 경로는 가변적인 수의 중간 은닉 뉴런을 거쳐 하나의 입력 뉴런에서 하나의 출력 뉴런으로 연속값 신호를 라우팅한다. 은닉 뉴런은 경로 간 물리적으로 공유된다. 두 경로가 동일한 뉴런을 통과할 때, 두 번째 도달은 첫 번째가 남긴 누적 상태를 만나며, 신호 극성과 도달 시각에 따라 상보적 또는 상쇄적 간섭을 일으킨다. 전체 아키텍처—위상, 가중치, 지연, 연결성—는 14,602개 유전자로 구성된 평탄한 실수값 게놈 위에서 작동하는 유전 알고리즘으로 공진화된다. 입력으로 고정된 ResNet18 특징을 사용한 10클래스 MNIST 숫자 분류에서, 시스템은 266개의 은닉 뉴런(다중 경로에 걸쳐 156개 공유, 한 뉴런은 11개의 서로 다른 경로에 참여)을 통과하는 204개의 활성 경로로 구성된 네트워크를 진화시키며, 10,000세대 후 85.9% 테스트 정확도를 달성한다. 학습된 모델은 115 KB를 차지한다. 이 아키텍처가 현재 심층 학습의 근본적 한계를 해소한다고 주장한다. 미분 가능한 계산 그래프가 필요 없고, 샘플별로 계산 깊이를 적응시키며, 현재 아키텍처가 명시적으로 설계해야 하는 처리 경로 간 측면 상호작용을 발견한다. 유전 알고리즘이 이 문제 클래스에 적합한 최적화 도구인 이유, CMA-ES가 이 규모에서 실패하는 이유, 그리고 인코더와 출력 구조를 교체함으로써 임의의 도메인으로 일반화하는 방법을 논의한다.

arXiv:2607.12881v1cs.CV공통 태그 image-classification, Image Classification

억제적 셀프-어텐션: 비전 트랜스포머에서 초점 선명화

Inhibited Self-Attention: Sharpening Focus in Vision Transformers

비전 트랜스포머(ViT)는 컴퓨터 비전(CV) 과제에서 뛰어난 성능을 보여 왔다. 그러나 셀프-어텐션 메커니즘은 종종 배경 영역 전반에 초점을 분산시키며, 객체 관련 단서보다는 가짜 상관관계에 의존하는 경향이 있다. 생물학적 시각 시스템에서 관찰되는 억제 메커니즘에서 영감을 받아, 억제 신호를 통합하여 특징 선택성을 높이고 가짜 반응을 억제하는 새로운 셀프-어텐션인 억제적 셀프-어텐션(ISA)을 제안한다. 소프트맥스 정규화로 인해 양의 어텐션 값에만 의존하는 기존 셀프-어텐션과 달리, 우리 접근법은 음의 어텐션 점수를 유지하고 활용하여 무관한 특징을 억제하고 관심 객체에 대한 초점을 선명하게 한다. ImageNet-1k와 COCO를 포함한 여러 데이터셋과 여러 견고성 벤치마크에 걸친 실험은 ISA가 객체 중심 선택성을 높이고, 지름길 의존을 줄이며, 분포 외 일반화를 개선함을 보여 준다. 관련성 맵 분석은 ISA를 적용한 ViT가 객체 관련 영역에 더 선명하고 국소화된 초점을 보이면서 무관한(배경) 특징으로부터의 방해를 줄여 더 신뢰할 수 있는 모델을 가능하게 함을 확인한다. 코드는 https://github.com/prdvanderwal/inhibited-self-attention 에서 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.