arXiv:2610.01358v2 q-bio.BM

Fold'EM: 극저온 전자현미경 입자로부터의 직접적인 원자 구조 추론

Fold'EM: Direct atomic structure inference from Cryo-EM particles

Advaith Maddipatla, Märt-Erik Mäeots, Marco Pegoraro, Nikolaus Dräger, Roberto Covino, Sanketh Vedula, Martin Pacesa, Alex M. Bronstein

제출 2026-10-01

한국어 초록

단일 입자 극저온 전자현미경(cryo-EM)은 생체 분자 구조 결정을 위해 널리 채택된 기술이 되었습니다. 기존의 cryo-EM 연산 파이프라인은 먼저 수많은 입자 이미지를 결합하여 정전기 퍼텐셜(ESP) 맵을 재구성한 다음, 복원된 맵에 원자 모델을 맞춥니다. 밀도 재구성은 표본 복잡도가 높아 많은 수의 입자 이미지를 필요로 하며, 특히 이질적인(heterogeneous) 샘플의 경우 구조 결정을 고비용이자 낮은 처리량으로 만듭니다. 그에 따라 후속 원자 모델 구축은 재구성된 맵의 해상도가 저하될수록 점점 더 어려워집니다. 단백질 구조 예측 모델은 원자 구조에 대해 서열 기반의 강력한 사전 확률(prior)을 제공하며, 실험 유도형 접근법은 이러한 사전 확률을 활용하여 실험 측정값과 일치하는 구조를 복원할 수 있습니다. 그러나 cryo-EM에서는 이러한 사전 확률이 일반적으로 밀도 재구성 이후 원자 모델 피팅 과정에서만 통합됩니다. 본 연구에서는 단백질 생성 모델의 사전 확률을 cryo-EM 입자 이미지와 직접 결합하여, 중간 밀도 재구성과 재구성된 맵 기반의 후속 모델 구축 과정을 모두 우회하고 적은 수의 단일 입자 이미지만으로 원자 모델을 결정하는 추론(inference) 시점 프레임워크인 Fold'EM을 소개합니다. 합성 및 실험 cryo-EM 데이터셋 전반에서 Fold'EM은 입자 방향이 알려진 경우와 방향을 구조와 함께 공동으로 추론하는 ab-initio 설정 모두에서 정확한 원자 구조를 복원합니다. 또한 이질적인 데이터셋에서 Fold'EM은 각 상태에 대해 별도로 밀도 맵을 재구성하고 원자 모델을 구축할 필요 없이, 혼합된 입자 집단으로부터 서로 다른 형태적 상태(conformational states)를 추가로 분해해 냅니다. 우리는 이러한 결과가 적은 표본 영역에서의 구조 결정과 cryo-EM 입자로부터 직접 개체 수가 적은 형태적 상태를 규명하는 데 새로운 길을 열어줄 것이라 믿습니다.

원문 초록

Single-particle cryo-electron microscopy (cryo-EM) has become a widely adopted technique for biomolecular structure determination. The conventional cryo-EM computational pipeline first combines many particle images to reconstruct an electrostatic potential (ESP) map and then fits an atomic model to the recovered map. Density reconstruction has high sample complexity, requiring large numbers of particle images and making structure determination high-cost and low-throughput, particularly for heterogeneous samples. Downstream atomic model building, in turn, becomes increasingly difficult as the resolution of the reconstructed map deteriorates. Protein structure prediction models provide strong sequence-derived priors on atomic structure, and experiment-guided approaches can use these priors to recover structures consistent with experimental measurements. Yet, in cryo-EM, such priors are typically integrated only after density reconstruction during atomic model fitting. We introduce Fold'EM, an inference-time framework that combines priors from protein generative models directly with cryo-EM particle images to determine atomic models from a small number of single particle images, bypassing both intermediate density reconstruction and downstream model building against the reconstructed map. Across synthetic and experimental cryo-EM datasets, Fold'EM recovers accurate atomic structures both with known particle orientations and in an ab-initio setting where orientations are inferred jointly with structure. In heterogeneous datasets, Fold'EM further resolves distinct conformational states from mixed particle populations without separately reconstructing a density map and building an atomic model for each state. We believe these results open new avenues for structure determination in the low-sample regime and for characterizing low-population conformational states directly from cryo-EM particles.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01358v2
  2. arXiv:2610.01358v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13503v2cs.CV공통 태그 3D Reconstruction

SplatQ: 2차 선택을 통한 3D 가우시안 스플래팅의 상호작용 인지 가지치기

SplatQ: Interaction-Aware Pruning of 3D Gaussian Splatting via Quadratic Selection

기존의 3D 가우시안 스플래팅(3DGS) 가지치기(pruning) 방법들은 주로 독립적인 중요도 점수에 기반한 전역 Top-K 선택에 의존하여, 영역별 예산 제어가 부족하고 공동 삭제 효과를 무시합니다. 결과적으로 전체 장면에 걸쳐 균형 잡힌 재구성 품질을 보장하지 못합니다. 본 논문에서는 고정된 예산 하에서 영역별 예산 할당과 공동 가우시안 선택을 조율하는 조합 가지치기 알고리즘인 SplatQ를 제안합니다. SplatQ는 공간적 근접성과 외형 유사성을 기준으로 가우시안을 크기가 제한된 블록으로 분할하여, 전역 선택 문제를 특정 크기의 하위 문제들로 분해합니다. 그런 다음 중요도 기반의 블록 유지 할당량을 평활화하여 과도한 예산 집중을 방지합니다. 마지막으로 가우시안 불투명도 변화에 대한 대표 픽셀 색상의 반응을 활용하여 공동 삭제 효과의 2차 근사를 구성합니다. 개별 반응, 쌍별 상호작용 및 할당량 페널티는 2차 비제약 이진 최적화(QUBO) 목적 함수에 통합되며, 모의 담금질(SA) 또는 코히런트 이징 머신(CIM)을 사용하여 이를 해결함으로써 가우시안을 공동으로 선택합니다. 5개 벤치마크에 대한 실험을 통해 SplatQ가 종합적인 재구성 품질, 공간적 품질 균형, 렌더링 속도 측면에서 최신 가지치기 방법들보다 우수한 성능을 보임을 입증합니다. 절제 연구(ablation)를 통해 예산 평활화가 국소적인 세부 표현 재구성을 향상시키는 한편, 상호작용 모델링이 고정된 예산 하에서 가우시안 선택 품질을 향상시킴을 확인합니다.

arXiv:2607.03875v2cs.CV공통 태그 3D Reconstruction

MACRO: 클로즈업 렌더 최적화를 위한 학습 불필요 다중 평면 어텐션

MACRO: Training-free Multi-plane Attention for Closeup Render Optimization

학습 카메라보다 훨씬 가까이 장면을 확대하는 클로즈업 렌더링은 가상 제작과 인터랙티브 3D 콘텐츠에 중요하지만, 여전히 해결되지 않은 난제로 남아 있다. 3D Gaussian splatting(3DGS)은 고충실도 실시간 신규 시점 합성(novel view synthesis)을 가능하게 하지만, 근거리에서는 렌더링 품질이 저하된다. 학습 세트의 참조 이미지를 조건으로 렌더링을 향상시키는 최근 확산(diffusion) 기반 방법들은 이 설정에서 심각한 아티팩트를 생성한다. 우리는 이 실패를 분석하여 근본 원인을 규명한다: 클로즈업 뷰와 참조 뷰 간의 스케일 차이이다. 우리는 참조 조건부 향상 모델의 특징이 스케일 불변(scale-invariant)이 아님을 보이며, 이로 인해 동일한 내용이 서로 다른 스케일로 나타날 때 교차 뷰 어텐션(cross-view attention)이 잘못된 대응 관계를 검색하고, VAE 인코더가 스케일 등변(scale-equivariant)이 아니기 때문에 이 불일치를 잠재 공간에서 수정할 수 없음을 보인다. 이 분석을 바탕으로 우리는 MACRO(Multi-plane Attention for Closeup Render Optimization)를 소개한다. 이는 3DGS 기반의 고품질 클로즈업 신규 시점 합성을 위한 학습 불필요 방법이다. MACRO는 장면의 알려진 3D 구조를 활용하여 스케일 차이를 해소한다: 클로즈업을 깊이 평면으로 분해하고, 인코딩 전에 각 평면의 스케일에 맞게 이미지 공간에서 참조 이미지를 크롭하고 크기를 조정하며, 깊이 인식 어텐션 마스크를 적용하여 각 토큰이 스케일 일치 참조에만 어텐션하도록 한다. 이 방법은 아키텍처 변경이나 추가 학습을 필요로 하지 않는다. 우리는 또한 두 가지 새로운 클로즈업 신규 시점 합성 벤치마크와 이 설정에 대한 최초의 표준화된 평가 프로토콜을 기여하며, 두 벤치마크 모두에서 최신(state-of-the-art) 결과를 달성하여 재구성 및 지각적 메트릭 모두에서 기존 3DGS 및 확산 기반 방법들을 능가함을 보인다. 프로젝트 페이지: https://nitzanhod.github.io/MACRO

arXiv:2607.14203v2cs.GR공통 태그 3D Reconstruction

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2609.13504v3cs.CV공통 태그 3D Reconstruction

RIGOR: 전방향 재구성을 위한 리그 정보 기반 기하학

RIGOR: Rig-Informed Geometry for Omnidirectional Reconstruction

피드포워드(feed-forward) 3D 재구성 분야의 최근 발전으로 이미지 스트림만으로 조밀한(dense) 장면 표현과 카메라 움직임을 복원할 수 있는 모델들이 등장했습니다. 그러나 이러한 예측은 긴 궤적에서, 특히 반복적인 구조, 약한 텍스처, 동적 물체나 사람이 존재하는 까다로운 환경에서 일관성을 잃기 쉽습니다. 이러한 문제를 완화하는 한 가지 방법은 넓은 공간적 커버리지를 제공하고 더 풍부한 시각적 정보를 포착하는 전방향(omnidirectional) 카메라를 사용하는 것입니다. 하지만 대다수의 모델은 360도 영상을 지원하지 않거나 추가적인 미세조정(fine-tuning)을 필요로 합니다. 이러한 두 가지 측면을 연결하기 위해, 본 연구에서는 동결된 피드포워드 원근 백본(backbone)을 유지하면서 각 파노라마를 4-뷰 가상 리그(virtual rig)로 활용하는 중력 정렬 전방향 비디오용 대규모 재구성 파이프라인인 RIGOR를 제시합니다. 이 리그 구조는 국소적으로 불일치하는 예측을 감지 및 복구하고, 순환적 4-뷰 합의(consensus)를 통해 루프 클로저(loop closure)를 검색하며, 전역 최적화(global optimization) 전에 재방문 후보를 기하학적으로 검증하는 데 사용됩니다. 검증된 제약 조건은 시퀀스를 따라 누적된 회전, 이동 및 스케일 드리프트를 수정하는 Sim(3) 포즈 그래프를 구동합니다. 본 연구는 까다로운 건설 현장 시퀀스에서 제안된 일관성 메커니즘이 피드포워드 기준선(baseline) 대비 궤적 정확도와 재구성된 기하학 모두를 향상시킴을 입증합니다. 코드는 다음 링크에서 제공됩니다: https://github.com/TangentH/RIGOR.

arXiv:2607.24409v2cs.CV공통 태그 3D Reconstruction

고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력

Accuracy potential of visual localization exploiting high-end street-level imagery

측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.

arXiv:2609.22688v4cs.CV공통 태그 3D Reconstruction

파라메트릭 CAD 모델링을 위한 설계 의도 보존 에이전트 하네스

A Design-Intent-Preserving Agent Harness for Parametric CAD Modeling

파라메트릭 CAD 모델링은 목표 형상을 일치시킬 뿐 아니라 파라미터 편집 시에도 설계 의도를 보존해야 한다. 그러나 대부분의 기존 방법은 정적 형상 생성 정확도를 향상시키는 데 집중하며, 이후 편집을 좌우하는 종속성은 간과되는 경우가 많다. 이 문제를 해결하기 위해 우리는 이미지로부터 파라메트릭 CAD 모델을 생성하는 설계 의도 보존 에이전트 하네스인 DIP-CAD를 제시한다. DIP-CAD는 비전-언어 모델의 추론과 CAD 커널 연산을 결합하여 설계 의도를 부호화하는 종속성을 수립한다. 파라메트릭 CAD에서 이러한 종속성은 주로 모델링 명령의 기하 참조와 파라메트릭 스케치의 제약 조건을 통해 수립된다. 명령 수준에서는 ID 기반의 명시적 기하 참조가 모델링 명령을 선택된 면, 모서리 또는 꼭짓점에 결합한다. 스케치 수준에서는 로컬 좌표 브리지가 정확한 스케치 배치를 보장하여 스케치 제약 조건을 올바르게 수립하기 위한 토대를 제공한다. 스케치 프리미티브 간의 제약과 외부 투영 기하에 대한 제약은 스케치 내부 관계와 기존 기하에 대한 종속성을 모두 추가로 보존한다. 파라메트릭 CAD 모델링 과제를 위한 보다 포괄적인 데이터 기반을 제공하기 위해, 우리는 단계별 모델링 명령을 명시적 기하 참조를 통해 중간 CAD 모델과 연결하는 구조화된 데이터 형식의 Geometry Explicit Reference Dataset(GERD)을 도입한다. GERD-EVL과 DeepCAD 테스트 부분집합에서 DIP-CAD는 정적 모델 생성의 mIoU를 각각 11.1%, 5.6% 향상시킨다. 파라미터 편집 평가에서는 해당 mIoU 향상이 각각 7.0%, 4.2%이다. 사례 연구는 파라미터 편집이 설계 의도를 보존하면서 형상 갱신을 이끄는 방식을 추가로 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.