2D-FET-Bench: 공간 추론부터 플레이크 기반 FET 설계까지
2d-fet-bench: from spatial reasoning to fet design on flakes
한국어 초록
박리된 2차원 플레이크(flake) 상의 전계효과 트랜지스터(FET) 레이아웃은 일반적으로 각 플레이크마다 수작업으로 그려지며, 광학 현미경 사진에서의 위치 및 윤곽선에 맞춰 접점(contact)과 게이트를 배치합니다. 우리가 아는 한, 언어 모델(LLM) 에이전트(agent)가 이러한 플레이크별 설계를 안정적으로 수행할 수 있는지 테스트하는 실행 가능한 벤치마크(benchmark)는 없었습니다. 우리는 현미경 사진에서 추출한 플레이크 윤곽선을 기반으로 구축된 128개의 레이아웃 작업으로 구성된 벤치마크인 2D-FET-Bench V2를 소개하며, 여기에는 구멍이 포함된 플레이크 및 다중 플레이크 작업이 포함됩니다. 각 작업은 텍스트 형태의 소자 사양과 윤곽선 좌표를 제공합니다. 에이전트는 GDSII로 렌더링되는 타입 지정 다각형 및 경로 연산을 생성합니다. 결정론적 검증기(verifier)는 기하학적 및 구조적 요구사항을 확인하며, 별도의 무결성 검사를 통해 제공된 윤곽선이 변경되지 않고 유지되는지 검증합니다. 스크립트로 작성된 참조 레이아웃은 128개 작업을 모두 통과하여 모든 작업이 해결 가능함을 보여줍니다. 우리는 작업당 5회 시도로 6개 모델과 GPT5.6-Luna의 7개 워크플로 및 스캐폴드 변형을 평가(evaluation)합니다. 6개 모델 패널에서 가장 우수한 성능을 보인 구성인 ReAct-3 기반 GPT5.6-Luna는 시도의 62.3%를 통과하고, 적어도 한 번 이상 작업의 80.5%를 해결(커버리지)하며, 5회 시도 모두에서 43.8%를 해결(일관성)합니다. ReAct-3는 단일 패스(one-pass) Plan-and-Execute 대비 2.46배의 토큰(token)을 사용하면서 pass@1 점수를 27.0% 포인트 초과합니다. 5개의 ReAct-3 구성에 걸쳐 커버된 작업당 검증기를 통과한 레이아웃 중 하나를 샘플링한 전문가 감사에서는 이 중 56.4%~63.5%를 수용 가능한 것으로 판정합니다. 이 벤치마크는 기하학적 및 구조적 FET 레이아웃 구축 능력을 평가합니다.
원문 초록
Field-effect transistor (FET) layouts on exfoliated two-dimensional flakes are typically drawn by hand for each flake, placing contacts and gates to match its position and outline in optical micrographs. To our knowledge, no executable benchmark tests whether language-model agents can perform this flake-specific construction reliably. We introduce 2D-FET-Bench V2, a benchmark of 128 layout tasks built from microscopy-derived flake contours, including hole-containing flakes and multi-flake tasks. Each task supplies a textual device specification and contour coordinates. An agent generates typed polygon and path operations rendered to GDSII. A deterministic verifier checks geometric and structural requirements, and a separate integrity check verifies that the supplied contours remain unchanged. Scripted reference layouts pass all 128 tasks, showing that every task is solvable. We evaluate six models and seven workflow and scaffold variants of GPT5.6-Luna, with five attempts per task. The best-performing configuration in the six-model panel, GPT5.6-Luna with ReAct-3, passes 62.3% of attempts and solves 80.5% of tasks at least once (coverage) and 43.8% in all five attempts (consistency). ReAct-3 exceeds the one-pass Plan-and-Execute by 27.0 pass@1 points at 2.46 times the tokens. An expert audit of one sampled verifier-passing layout per covered task, across five ReAct-3 configurations, accepts 56.4% to 63.5% of them. The benchmark evaluates geometric and structural FET layout construction.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.