An Agentic AI Framework to Accelerate Scientific Discovery in Plant Phenotyping
원문 초록
High-throughput plant phenotyping now generates image derived datasets far faster than scientists can analyze them. At Oak Ridge National Laboratory's Advanced Plant Phenotyping Laboratory (APPL), automated stations image hundreds of plants daily across multiple remote sensing modalities; yet, trait extraction and interpretation remain manual, expert-bound, and strictly post-hoc, making analysis, not acquisition, the binding constraint on discovery. We present an end-to-end agentic AI framework that turns the facility from a data factory into an interactive autonomous, discovery platform, where scientists partner with AI agents to accelerate time to insight. A conversational Co-Scientist Agent translates a scientist's natural-language question into a structured analysis plan, and a headless Compute Agent dispatches Vision Transformer segmentation and trait extraction on the Frontier exascale supercomputer. The two agents run in separate security and resource domains and communicate over a secure, token-authenticated streaming channel, a design that accounts for the federation, data-movement, and provenance realities cloud-native agentic frameworks ignore, ensuring end-to-end provenance is captured for every interaction. The framework turns a days- to weeks-long analysis process into an interactive loop where agents reason over results, recommend next analyses, and respond to follow-up questions in seconds.
요약
Oak Ridge National Laboratory의 고처리량 식물 표현형 분석 시설에서 이미지 획득 속도를 따라가지 못하는 분석 병목 문제를 해결하기 위해, 자연어 질문을 구조화된 분석 계획으로 변환하는 Co-Scientist Agent와 Frontier 엑사스케일 슈퍼컴퓨터에서 Vision Transformer 기반 형질 추출을 수행하는 Compute Agent로 구성된 엔드투엔드 에이전틱(agentic) AI 프레임워크를 제안한다. 이 시스템은 기존에 수일~수 주가 소요되던 식물 형질 분석 과정을 수초 내 대화형 루프로 전환하며, 완전한 워크플로 출처(provenance) 추적을 통해 재현성과 감사 가능성을 보장한다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.31831v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전 트랜스포머에서의 형태 기반 도형-배경 조직화
Shape-based Figure-Ground Organization in Vision Transformers
풍부한 지각 구조가 최신 비전 인코더에서 나타난다. 여러 연구에서 다수의 비전 트랜스포머의 내부 표현이 전경 객체를 배경으로부터 분리한다는 점이 밝혀졌으나, 이러한 모델이 어떤 시각적 단서를 학습했는지는 거의 알려져 있지 않다. 본 연구에서는 25개의 다양한 비전 트랜스포머에서 도형-배경 조직화가 표면적인 텍스처 통계가 아니라 일반화 가능한 형태 단서에 의존하는지를 조사한다. 이를 위해 패치를 도형 또는 배경으로 분류하는 선형 프로브를 학습시키고, 개별 단서를 체계적으로 조작한 합성 자극에 대해 제로샷으로 평가한다. 다양한 비전 인코더에서 프로브가 입력 이미지의 텍스처를 무작위로 교체해도 견고하다는 것을 확인했으며, 이는 나타나는 도형-배경 조직화가 형태 단서에 의존함을 시사한다. 또한 프로브는 개별 형태 단서, 인식 가능성, 공간적 사전 정보를 통제한 합성 이미지에도 제로샷 방식으로 일반화된다. 실험 결과 둘러싸임 및 볼록성 단서의 영향이 강하게 나타났으며, 평행성과 대칭성에 대한 결과는 더 미묘했다. 보다 상세한 분석에서는 더 큰 모델에서 형태 기반 단서의 증거가 더 강하고, 객체 인식을 위해 학습된 모델은 텍스처 변화에 덜 견고한 경향이 있으며, 도형-배경 정보는 중간 층에서 가장 두드러지게 나타남을 보였다. 종합하면, 본 연구는 최근 비전 인코더에서 나타나는 도형-배경 조직화가 일반화 가능한 형태 단서에 크게 의존함을 보여 주며, 비전 트랜스포머의 내부 처리에 대한 이해를 증진하고 인간 시지각에 대한 계산 연구의 흥미로운 길을 연다. 코드와 데이터는 https://github.com/mtangemann/mlvbench 에서 이용할 수 있다.
레벨셋 진화에서 임계값 최적화로: 이미지 분할을 위한 그레이스케일 레벨셋 프레임워크
From level set evolution to threshold optimization: A grayscale level set framework for image segmentation
다중 열화 이미지 분할은 이미지 분할 분야에서 어려운 문제로 남아 왔다. 기존 레벨셋(level set) 방법들은 일반적으로 분할 윤곽의 기하학적 형태를 제약하기 위해 길이 정규화 항을 채택한다. 그러나 길이 항의 도입은 종종 수치적 불안정성과 높은 계산 비용을 초래한다. 본 논문에서는 특정 매끄러움(smoothness) 제약 하에서 길이 항이 필수적이지 않음을 보이고, 길이 항의 존재가 $|\nabla φ|=1$ 성질에 영향을 미침을 이론적으로 증명한다. 이 발견을 바탕으로, 우리는 매끄러운 이미지의 한 클래스를 정의하고, 그레이스케일 레벨셋을 구성하며, 심하게 노이즈가 있는 이미지 및 강도 불균일(intensity inhomogeneous) 이미지와 같은 열화된 이미지를 위한 빠른 분할 프레임워크를 제안한다. 해당 프레임워크는 PDE 진화를 1차원 임계값 탐색으로 변환하며, 특히 대규모 이미지에서 계산 속도 측면에서 상당한 이점을 갖는다. 실험을 통해 제안 프레임워크의 다양한 열화 이미지에 대한 분할 성능을 검증한다.
U-CFR: Uncertainty-Guided Cascade Forward Refinement for Interactive Segmentation
Lean-SAM2: SAM2를 위한 타깃 앵커 메모리 및 인코더 가속
Lean-SAM2: Target-Anchored Memory and Encoder Acceleration for SAM2
Segment Anything Model 2(SAM2)는 시간적 프롬프트 가능 분할(segmentation)을 발전시켰지만, 배포는 여전히 무거운 메모리 크로스 어텐션 오버헤드와 중복적인 전체 프레임 시각 특징 추출로 인해 제약을 받는다. 최근 방법들은 휴리스틱 메모리 가지치기와 윈도우 기반 희소 라우팅을 통해 효율성을 탐구하지만, 일반적으로 가림(occlusion)과 방해 요소(distractor)가 많은 복잡한 분할 시나리오에서 치명적인 성능 저하를 겪는다. 이러한 한계를 해결하기 위해, 우리는 위 취약점을 해결하면서 계산 중복을 체계적으로 제거하도록 설계된 포괄적인 경량 프레임워크인 Lean-SAM2를 제안한다. 구체적으로, Lean-SAM2는 세 가지 협력 메커니즘을 통합한다: (1) 타깃 앵커 메모리 가지치기(TAMP)는 프롬프트에서 유도된 전경 앵커에 대한 의미적 일관성으로 원시 어텐션 중요도를 변조하여 기만적인 어텐션으로부터 타깃 토큰을 보호한다; (2) 보험 메모리를 갖춘 시간적 응축(TCIM)은 가시성 게이트 융합을 통해 역사적 컨텍스트를 응축하면서, 높은 신뢰도 항목을 병렬 보험 뱅크에 조건부로 보관한다; (3) 타깃 앵커 위험 인식 라우팅(TARR)은 앵커 유사도에 기반하여 타깃 관련 윈도우에 대해 무거운 이미지 인코더를 선택적으로 활성화하고, 변동성이 큰 전환 기간 동안 전체 프레임 갱신을 트리거하기 위해 위험 인식 폴백 정책을 활용한다. 여러 도전적인 벤치마크에 걸친 광범위한 평가는 Lean-SAM2가 정확도와 효율성 사이의 우수한 균형을 확립함을 보여준다. 예를 들어, LVOSv2 검증 데이터셋에서 Lean-SAM2는 SAM2.1-Large와 SAM2.1-Base+에서 각각 전체 추론 속도를 $1.412\times$ 및 $1.417\times$ 향상시키며, Efficient-SAM2를 크게 능가하면서 해당 $\mathcal{J}\&\mathcal{F}$ 점수를 각각 5.0% 및 3.6% 향상시킨다. 코드는 https://github.com/DeawhaleQwQ/Lean-SAM2에서 이용할 수 있다.
신뢰할 수 있는 RGB-D 의미 분할을 햽하여: Condition Dropout을 통한 결측 모달리티 처리
Toward Reliable RGB-D Semantic Segmentation: Handling Missing Modalities via Condition Dropout
RGB-D 의미 분할은 눈에 띄는 진전을 이루었지만, 대부분의 모델은 RGB와 깊이(depth)가 항상 사용 가능하다고 가정한다. 실제로는 감시 센서의 고장이나 가림(occlusion)으로 인해 한쪽 모달리티가 사라지는 경우가 많다. RGB 또는 깊이만으로도 충분한 단서를 담을 수 있지만, 전체 모달리티 입력만으로 학습된 모델은 한쪽 모달리티가 없어지면 남은 모달리티를 활용하지 못해 성능이 크게 저하된다. 우리는 이 문제를 간단한 지속 학습(continued training) 패러다임인 Condition Dropout(ConD)으로 해결한다. ConD는 전체 모달리티 정확도를 유지하면서 성능 저하를 완화한다. 사전학습된 RGB-D 모델에서 출발하여, ConD는 두 번째 단계를 추가한다. 이 단계에서는 완전한 입력, RGB 결측 입력, 깊이 결측 입력을 무작위로 시뮬레이션하고, 원래 인코더를 고정(freeze)한 뒤, 복사한 인코더를 영-초기화(zero-initialized) 특징(feature) 주입과 함께 학습한다. NYU-Depth V2와 SUN RGB-D에서의 실험은 ConD가 결측 모달리티 상황에서 견고성(robustness)을 향상시키며, 모달리티가 모두 있을 때에도 약간의 성능 향상을 보인다는 것을 보여준다. 우리 코드는 논문 채택 시 공개될 예정이다.
SAM 기반 의사 주석과 상태 공간 상호작용 확산을 통한 약지도 RGB-D 현저 객체 검출
Weakly-Supervised RGB-D Salient Object Detection via SAM-driven Pseudo Annotation and State Space Interaction-based Diffusion
약지도 RGB-D 현저 객체 검출(SOD)은 픽셀 수준 주석의 큰 부담을 줄이기 위해 연구되어 왔다. 그러나 스크리블 주석은 객체의 구조와 세부 정보를 갖추지 못해 부정확한 현저성 맵을 초래한다. 본 논문에서는 스크리블 지도 RGB-D SOD 방법을 제안하며, 이는 Segment Anything Model(SAM) 기반 의사 주석 생성 방법(SAM-PAG)과 상태 공간 상호작용 기반 조건부 확산 모델(S²Diff)으로 구성된다. 구체적으로 SAM-PAG는 희소한 지도 정보 문제를 해결하도록 맞춤 설계되었다. SAM-PAG에서는 이중 분기 구조와 분할 마스크의 일관성을 통해 희소한 스크리블을 조밀한 픽셀 수준 의사 주석으로 확장하기 위해 고급 SAM을 채택한다. S²Diff에서는 조건 정보의 안내 하에 노이즈가 있는 현저성 맵을 반복적으로 정제하여 정확한 현저성 맵을 생성하기 위해 확산 모델을 채택한다. 당연히 우리 S²Diff의 핵심은 조건 특징의 획득과 현저성 맵의 노이즈 제거에 있다. 전자에 대해, 주파수 통합과 암시적-명시적 상태 공간 상호작용을 통해 다중 모달 특징을 엮는 크로스 모달 조건부 생성 모듈을 사용하여 효과적으로 전역 조건 특징을 달성한다. 후자에 대해, 조건적 문맥으로 객체 정보를 강화하고 노이즈 간섭을 완화하기 위해 문맥 주입 모듈을 사용한다. SAM-PAG와 S²Diff의 긴밀한 협력을 통해, 우리 방법은 관련 스크리블 지도 방법들을 능가하고 7개 데이터셋에서 완전 지도 방법과 비교해 경쟁력 있는 성능을 달성한다. 우리 방법의 코드와 결과는 https://github.com/Switch457/WeakS2Diff_SOD 에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.