PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.03332v1cs.CV

SBF-SEM에서 3D 수상돌기 인스턴스 분할을 위한 완전 자동화 파이프라인

A Fully Automatic Pipeline for 3D Dendrite Instance Segmentation in SBF-SEM

연속 블록면 주사전자현미경(SBF-SEM)에서 개별 수상돌기(dendrite)의 정확한 3차원(3D) 재구성은 뇌의 구조적 가소성을 정량화하는 데 필수적이지만, 대규모 수작업 어노테이션은 실현하기 어렵습니다. 본 논문에서는 다운샘플링된 슬라이스에 대한 YOLOv6 유도 기반 Segment Anything Model(SAM) 프롬프팅, 반복적 2차원 마스크 정제, 랜덤 포레스트(random forest) 기반 3D 인스턴스 연결, 그리고 원본 해상도에서 nnU-Net을 활용한 인스턴스 인지 고해상도 정제를 하나의 시스템으로 통합하여 추론 시 수동 프롬프팅이 전혀 필요하지 않은 3D 수상돌기 인스턴스 분할(instance segmentation) 완전 자동화 파이프라인을 제시합니다. 대조군 쥐와 필로카르핀 유도 간질 모델 쥐의 해마 CA1 SBF-SEM 데이터셋에 적용한 결과, 본 파이프라인은 높은 의미론적 정확도(Dice 0.93 및 0.91)와 대조군 조직에서의 우수한 인스턴스 수준 성능으로 일관되고 잘 분리된 수상돌기를 재구성하는 한편, 더 까다로운 간질 조직 분석을 통해 밀집 영역에서의 인스턴스 인식이 주요 잔여 한계점임을 밝혀냈습니다. 고해상도 정제 단계는 얇은 수상돌기 돌출부를 복원하여 후속 가시(spine) 수준 분석의 기반을 제공합니다. 코드는 https://github.com/ZE-WEN/dendrite-3d-instance-seg 에서 확인할 수 있습니다.

arXiv:2609.14348v2cond-mat.mtrl-sci

4DMulti: 복잡한 재료 계면에서의 자동화된 다성분 식별

4DMulti: automated multicomponent identification at complex material interfaces

이종 계면에서 결정상을 매핑하는 것은 재료의 성능과 열화를 이해하는 데 필수적입니다. 그러나 구조적 불균일성, 상 중첩 및 국소적 무질서는 회절 해석을 복잡하게 만들며, 데이터 양의 증가로 인해 수작업 분석은 점점 비현실적이 되고 있습니다. 본 연구에서는 대규모 4차원 주사투과전자현미경(4D-STEM) 데이터로부터 다성분을 자동으로 식별하기 위한 물리 기반 학습 프레임워크인 4DMulti를 소개합니다. 이를 뒷받침하는 회절 데이터 자원은 600만 개 이상의 고품질 실험 패턴과 Sim2real로 생성된 레이블 패턴으로 구성됩니다. 검색 조건부 잠재 확산 트랜스포머(Sim2real)는 브래그 기하구조를 보존하도록 설계된 제약 조건 하에서 시뮬레이션된 패턴을 실험 스타일 예제로 변환하며, 회전 불변 좌표 합성곱 신경망은 면내 회전 전반에 걸쳐 상을 식별합니다. 4DMulti는 5개 상으로 구성된 실험 나노입자 벤치마크에서 98.82%의 분류(classification) 정확도를 달성하며, 절제 연구를 통해 도메인 적응과 회전 불변 분류의 상호보완적 이점을 확인했습니다. 또한 지정된 후보 상 라이브러리 내에서 상 할당의 모호성을 정량화하는 정규화된 예측 엔트로피 점수인 회절 추론 구조 복잡도(DISC)를 정의합니다. 우리는 4DMulti를 적용하여 초전도 이종구조, 부식된 합금 표면, 성능이 저하된 전고체 전지 계면의 구조 맵을 단일 나노미터 공간 해상도까지 생성합니다. 4DMulti는 시뮬레이션 기반 결정학 지식을 자동화된 실험 해석과 연결하여, 복잡한 계면의 확장 가능한 분석과 데이터 기반 계면 설계 원리 발견을 위한 토대를 마련합니다.

arXiv:2609.24470v1cs.CV

Spatial Action Review: 전자현미경에서의 언어-행동 전환(Language-to-Action Hand-off) 감사를 위한 시각적 분석 대시보드

Spatial Action Review: A Visual Analytics Dashboard for Auditing Language-to-Action Hand-offs in Electron Microscopy

멀티모달 대규모 언어 모델(MLLM)은 과학적 이미지 분석을 위한 인터페이스로 점점 더 많이 탐구되고 있으며, 여기서 시각 질의응답(VQA) 응답은 후속 단계를 안내하는 공간적 출력과 함께 제공될 수 있다. 감독자(supervisor)는 언어 답변을 읽는 반면, 분할(segmentation)이나 영역 검토와 같은 후속 워크플로우는 점 집합(point-set) 출력을 소비한다. 우리는 답변을 검토하는 것에서 그 점 행동(point action)에 의존하는 것으로의 이러한 전환을 언어-행동 전환(language-to-action hand-off)이라 부른다. 답변은 정확하지만 짝을 이루는 행동이 후속 단계에 필요한 주석 처리된 객체를 놓칠 때 침묵 실패(silent failure)가 발생하며, 이 경우 답변 기반 감독은 행동이 신뢰할 수 없는 영역을 통과시켜 버린다. 우리는 전자현미경(EM) 미토콘드리아 분석에서 이러한 실패 양상을 감사하기 위한 시각적 분석 대시보드인 Spatial Action Review를 소개한다. 이는 답변-행동 원장(answer-action ledger), 작업별-데이터셋별 위험 지도, 이미지-영역 감사 뷰를 통해 짝을 이루는 답변-행동 기록을 연결하여 집계 패턴을 이미지 증거와 연결하며, 조정 가능한 행동 신뢰성 게이트(action-reliability gate)가 재감사를 지원한다. 검토는 인간-AI 전환(human-AI hand-off)으로 마무리되며, 여기서 감독자는 행동이 수용되었는지, 상위로 보고(escalated)되었는지, 더 엄격한 게이트 하에 보류되었는지, 또는 모델 수정을 위해 표시되었는지를 기록한다. EM에 적응된 Qwen3-VL 사례 연구 실행에서 얻은 541개의 이미지 영역 전반에서, 점 행동은 VQA 응답이 정확한 기록의 54.4%에서 게이트를 통과하지 못했으며, 전체 기록의 27.4%가 침묵 실패였다. 정확한 답변은 신뢰할 수 있는 행동일 확률을 겨우 5.8퍼센트포인트 높이는 데 그쳤으며, 부트스트랩 구간(bootstrap interval)은 0을 포함했다. 답변 정확성과 객체 커버리지 간의 점-이연 상관계수(point-biserial correlation)는 0.061이었다. 이러한 약한 결합(weak coupling)은 753개의 일치된 이미지 영역에 대한 다섯 가지 모델 조건 전반에서 지속되었다. Spatial Action Review는 답변-행동 불일치를 가시화하고, MLLM 출력이 자율적인 과학 워크플로우에 투입되기 전에 이를 이미지 증거 및 기록된 결정과 연결한다.

arXiv:2609.23019v1eess.IV

SomaNet: 부분 주석 하 3D 전자현미경에서의 인스턴스 소마 분할을 위한 약지도 학습

SomaNet: Weakly Supervised Learning for Instance Soma Segmentation in 3D Electron Microscopy with Partial Annotations

소마 인스턴스 분할, 즉 개별 세포 소마를 서로 다른 인스턴스로 식별하고 경계를 구분하는 작업은 세포 분석과 커넥톰(connectome) 재구성에 필수적이다. 3차원 전자현미경(3D EM)은 나노미터 스케일 해상도로 세밀한 소마 형태를 포착할 수 있다. 그러나 밀집된 인스턴스 수준의 수동 주석은 비용이 지나치게 커서 완전 지도 방법의 확장성을 제한한다. 이 문제를 해결하기 위해, 부분 주석 제약 하에서 3D EM 소마 인스턴스 분할을 위한 약지도 프레임워크 SomaNet을 제안한다. SomaNet은 부분 레이블에 맞춘 교사-학생(teacher-student) 학습 패러다임을 채택한다. 교사는 부분적으로 주석된 데이터로 학습하여 의사 레이블(pseudo-label)을 생성하고, 학생은 부분 정답 주석과 생성된 의사 레이블로부터 공동 학습하여 점진적으로 밀집한 인스턴스 분할을 복원한다. 인스턴스 수가 다양한 제한적 감독 하에서 세포 소마를 정확히 구분하기 위해 SomaNet은 어피니티 학습(affinity learning)을 통합하여, 인스턴스 내부에서는 높은 유사도를, 인스턴스 경계를 넘어서는 경우에는 낮은 유사도를 유도한다. 의미 기반 어피니티 디코딩과 2D-to-3D 재구성을 통해 2D 백본의 넓은 수용 영역(receptive field)을 유지하면서 부피적으로 일관된 3D 소마 인스턴스를 생성한다. 이 프레임워크는 아키텍처에 유연하며 비전 트랜스포머(vision transformer)와 파운데이션 모델(foundation model)을 포함한 다양한 백본을 지원하여, 사전학습된 시각 표현을 부피 EM 분할로 직접 이전할 수 있게 한다. 3D EM 뇌 데이터셋에서의 실험은 SomaNet이 부분 주석 하에서 다양한 소마 형태를 가진 영역 전반에 걸쳐 정확하고 견고한 소마 인스턴스 분할을 달성함을 보여준다. 코드는 https://github.com/mkhateri/SomaNet 에서 이용할 수 있다.

arXiv:2607.22765v1eess.IV

전자현미경 이미징에서 현실감과 충실도의 균형을 위한 주파수 인식 이중 스트림 학습

Frequency-Aware Dual-Stream Learning for Balanced Realism and Fidelity in Electron Microscopy Imaging

전자현미경은 나노 스케일의 세포 시각화를 가능하게 하지만, 이미징 해상도와 획득 속도 사이의 트레이드오프에 직면한다. 기존 학습 기반 방법은 단일 스트림 아키텍처에 의존하며, 지각적 현실감과 정량적 충실도 사이의 균형을 맞추는 데 어려움을 겪어, 세부를 과도하게 평활화하거나 비현실적인 환각을 생성한다. 본 연구는 이 갈등을 해결하기 위해 주파수 적응형 이중 스트림 아키텍처를 제안한다. 이산 웨이블릿 변환(discrete wavelet transform)을 사용하여 이미지를 저주파 구조와 고주파 세부로 분해한 다음, 현실적인 전역 합성을 위해 조건부 확산 모델(conditional diffusion model)을, 정밀한 세부 복원을 위해 트랜스포머 네트워크를 사용한다. EMDiffuse 데이터셋에서의 실험은 본 방법이 우수한 LPIPS와 resolution ratio를 달성하며, 기존 접근법을 크게 능가함을 보여준다. 본 방법은 또한 다양한 생물학적 샘플에 걸쳐 강한 일반화를 보이며, 구조 생물학 및 나노기술 응용을 위한 빠르고 신뢰할 수 있는 전자현미경 이미징을 지원한다. 소스 코드와 관련 데이터셋은 추가 연구를 촉진하기 위해 공개적으로 제공된다.

arXiv:2606.29592v1cs.LG

STEMGym: 자율 전자 현미경에서 선량 예산 하의 순차적 의사결정 벤치마킹

STEMGym: Benchmarking Sequential Decision-Making under Dose Budgets in Autonomous Electron Microscopy

자율 과학 이미징의 핵심 전제는, 베이지안 방식이든 강화학습(RL) 기반이든 아니면 다른 적응형 방식이든, 더 스마트한 탐색이 샘플 효율적인 획득을 위한 주된 수단이라는 것이다. 우리는 주사 투과 전자 현미경(STEM)에서 이와 반대되는 증거를 제시한다. STEM은 원자 해상도의 이미징 방식으로, 모든 측정이 시료에 손상을 주는 전자 선량을 누적시킨다. 우리는 STEMGym을 소개한다. 이는 다섯 가지 소재, 세 가지 난이도, 네 가지 특성 분석 태스크에 걸쳐 15개의 물리 시뮬레이션 STEM 환경으로 구성된 오픈소스 Gymnasium 벤치마크로, 정보 대 선량의 파레토 프론티어를 포착하는 단일 스칼라인 선량-효율 곡선 면적(DEC-AUC)으로 평가된다. 현실적인 선량 예산 하에서 33가지 에이전트 구성을 평가한 결과, 선량 효율의 지배적 결정 요인은 탐색기(navigator)가 아닌 분석(인식) 파이프라인이었다. 훈련된 CNN 분석기와 단순 래스터 스캐닝을 결합하면 CNN이 없는 래스터 기준선 대비 DEC-AUC가 5.5배 향상되었으며(0.287 대 0.052), 반면 베이지안 또는 적응형 유한 상태 기계 탐색으로 래스터를 대체하더라도 통계적으로 유의미한 추가 이득은 없었다. 프로덕션급 비전-언어 모델은 결정학적 결함 분석에서 태스크 특화 CNN 대비 약 13배 낮은 성능을 보였다. 통합된 선량 예산 하에서 인식, 탐색, 계획을 분리함으로써 STEMGym은 자율 전자 현미경에서 머신러닝(ML) 노력이 어디에 투자되어야 하는지를 재정립하고, 이를 검증할 측정 인프라를 제공한다.

arXiv:2606.22112v1cs.CV

신규 크롬 기반 합금에서 2단계 심층 신경망을 이용한 석출물 영역의 정확한 식별 및 측정

Accurate identification and measurement of the precipitate area by two-stage deep neural networks in novel chromium-based alloys

극한 환경용 첨단 재료의 성능은 강화상의 크기와 분포를 포함한 미세구조에 의해 뒷받침된다. 크롬 기반 초합금은 농축형 태양열 발전(Concentrated Solar Power)과 같은 고온 응용 분야에서 기존 면心立方(face-centred-cubic) 초합금에 대한 최근 제안된 대안이며, 그 개발을 위해서는 전자현미경 영상으로부터 석출물 체적분율과 크기 분포를 효율적으로 측정해야 한다. 전통적인 고정 임계값 영상 처리는 배경 잡음에 민감하고, 재료 간 일반화 성능이 낮으며, 상당한 수동 측정 노력이 필요하다. 이러한 병목을 해결하기 위해, 본 연구는 전자현미경 영상에서의 객체 검출 및 분할(segmentation)을 위해 YOLOv5와 SegFormer를 기반으로 한 end-to-end 2단계 심층 학습 체계인 DT-SegNet을 제안한다. 이 접근법은 검출 단계에서 합성곱 신경망(convolutional neural network)의 학습 효율성과 Vision Transformer의 분할 정확도를 결합한다. 수치 실험 결과, DT-SegNet은 정확도(accuracy), 정밀도, 재현율, F1-score를 포함한 여러 지표에서 Weka와 ilastik이 제공하는 최첨단 분할 도구를 크게 능가함을 보여준다. 이 모델은 합금 개발용 미세구조 검사에 유용한 도구를 제공하며, 고처리량(high-throughput) 합금 개발과 관련된 대규모 데이터셋 문제를 해결하는 데 도움이 된다.

arXiv:2606.21605v1cs.CV

μMatch: EM에서 준지도 학습 및 도메인 적응을 위한 파운데이션 모델

$μ$Match: Foundation Models for Semi-supervised Learning and Domain Adaptation in EM

비전 파운데이션 모델은 컴퓨터 비전(CV)을 크게 발전시켜, 제로샷 및 퓨샷 설정에서 최첨단 성능을 가능하게 했다. 이들은 컴퓨터 단층촬영(CT)에서의 장기 분할부터 광학 현미경에서의 세포 분할에 이르기까지 다양한 생의학 영상 과제에 성공적으로 적용되어 왔다. 전자현미경(Electron Microscopy, EM)은 나노미터 스케일의 해상도로 인해 세포 초미구조 분석의 핵심 영상 기법이다. 그러나 EM에서 파운데이션 모델의 적용은 지금까지 미토콘드리아와 같은 특정 세포소기관에 제한되어 왔으며, 이는 주로 분할 과제의 다양성과 포괄적으로 주석된 데이터의 부족 때문이다. 그 결과 EM 분할은 여전히 지도 학습에 주로 의존하며, 광범위한 수동 주석을 필요로 하고 초미구조 분석을 제한하고 있다. 이 공백을 해소하기 위해, 우리는 파운데이션 모델을 활용하는 준지도 학습 및 도메인 적응을 위한 프레임워크인 μMatch를 제안한다. 우리는 최첨단 학생-교사(student-teacher) 기반 방법을 구현하고, 미토콘드리아, 핵, 신경돌기(neurite) 분할을 포함한 도전적인 EM 과제에서 여러 파운데이션 모델(SAM, SAM2, μSAM, DINOv2/v3)을 평가한다. 우리 결과는 강력한 기준선 대비 일관된 성능 향상을 보여주며, EM에서 주석 작업 노력을 크게 줄이는 방향을 제시한다.

arXiv:2606.21116v1cs.CV

ConnectomeBench2: 자동화된 커넥톰 교정을 위한 통합 벤치마크

ConnectomeBench2: A Unified Benchmark for Automated Connectomic Proofreading

교정(proofreading)—3D 뇌 재구성에서의 분할(segmentation) 오류 수정—은 시냅스 해상도 커넥톰학(connectomics)의 속도 제한 단계(rate-limiting step)이다. 우리는 ConnectomeBench2를 공개한다. 이는 716,485건 이상의 전문가 라벨링된 교정 결정과 4개의 주요 공개 커넥톰(쥐, 인간, 제브라피시, 파리)에 걸친 450만 건 이상의 관련 이미지를 포함하는 통합 다종(multi-species) 데이터셋으로, 분할(split) 및 병합(merge) 오류 수정을 모두 포괄한다. 이 데이터셋으로 학습된 단일 Vision Transformer는 메시(mesh) 기하학과 전자현미경(electron microscopy)용 공유 인코더를 갖추고, 분할 오류 수정과 병합 오류 식별에서 종(species) 간 인간 수준의 정확도에 도달하며, 성능은 데이터 크기와 모달리티에 따라 스케일링(scaling)된다. 정확도를 넘어, 모델이 분포 내(in-distribution)에서 잘 보정(calibrated)되어 있음을 보이고, 분포 거리 측정이 보지 못한(unseen) 데이터에서 보정과 정확도가 저하될 위치를 예측함을 보이며, 커넥톰학 특화 사전학습(pre-training)과 능동 학습(active learning) 기반 샘플 선택이 새로운 종과 뇌 영역으로 확장하는 데 필요한 라벨링 노력을 실질적으로 줄일 잠재력을 보임을 보인다. 이 벤치마크는 커넥톰 교정을 위한 점점 더 강력한 비전 모델을 학습하고 평가할 인프라를 제공한다. 데이터 및 코드 공개. ConnectomeBench2 데이터셋은 https://huggingface.co/datasets/jeffbbrown2/ConnectomeBench2 Hugging Face에서 공개된다. 동반 코드베이스는 https://github.com/timfarkas/ConnectomeBench2 GitHub에서 이용 가능하다.