arXiv:2611.23875v1 physics.optics

코딩 에이전트를 이용한 광학 신경망의 현장 학습

In Situ Training of Optical Neural Networks by Coding Agents

Ilker Oguz, Colin Christian, Christophe Moser, Demetri Psaltis, Gordon Wetzstein

제출 2026-11-19

한국어 초록

광학 신경망은 빠르고 에너지 효율적인 연산을 약속하지만, 모든 장치는 설계와 차이가 있어 하드웨어와 함께 학습되어야 한다. 현장 학습은 각 장치에 대해 전문가가 구축한 보정된 디지털 모델 또는 기울기 없는 시행착오에 의존한다. 프로그램을 작성하고 실행하는 대규모 언어 모델인 코딩 에이전트는 디지털 신경망의 가중치를 이해하고 편집하는 창발적 능력을 보여 왔다. 본 논문은 코딩 에이전트가 측정만으로 광학 신경망을 학습시키는 방법인 optics as code를 소개한다. 이는 탐침의 카메라 이미지를 반환하고 요청마다 가설을 요구하는 하니스를 통해 이루어진다. 우리는 에이전트가 광학에 대한 물리적 이해를 형성하고, 하드웨어에서 조정되는 해석 가능한 광학 요소로 네트워크를 재매개변수화함을 발견했다. 이는 분류와 이미지 인코딩에서 기울기 없는 방법을 능가하며, 보정된 모델을 통한 역전파에 근접하는 성능을 일부의 비용으로 달성한다. 장치별 보정도, 하드웨어를 통한 기울기도 필요하지 않고 더 유능한 모델로 개선되므로, optics as code는 크고 확장 가능한 광학 신경망에 이르는 실용적 경로이자 광학 실험을 보정하고 최적화하는 범용 도구를 제공한다.

원문 초록

Optical neural networks promise fast, energy-efficient computing, but every device departs from its design and must be trained with the hardware. In situ training relies on an expert-built calibrated digital model of each device or on gradient-free trial and error. Coding agents, large language models that write and run programs, have shown an emergent ability to understand and edit the weights of digital neural networks. Here we introduce optics as code, a method in which a coding agent trains an optical neural network from measurements alone, through a harness that returns camera images of its probes and requires a hypothesis per request. We discovered that the agent forms a physical understanding of the optics and reparametrizes the network with interpretable optical elements tuned on the hardware. It outperforms gradient-free methods in classification and image encoding, approaching backpropagation through a calibrated model at a fraction of the cost. Needing neither per-device calibration nor gradients through the hardware, and improving with more capable models, optics as code offers a practical route to large, scalable optical neural networks and a general tool for calibrating and optimizing optical experiments.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23875v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.