arXiv:2203.00360

Non-linear manifold ROM with Convolutional Autoencoders and Reduced Over-Collocation method

Francesco Romor, Giovanni Stabile, Gianluigi Rozza

제출 2022-03-01

원문 초록

Non-affine parametric dependencies, nonlinearities and advection-dominated regimes of the model of interest can result in a slow Kolmogorov n-width decay, which precludes the realization of efficient reduced-order models based on linear subspace approximations. Among the possible solutions, there are purely data-driven methods that leverage autoencoders and their variants to learn a latent representation of the dynamical system, and then evolve it in time with another architecture. Despite their success in many applications where standard linear techniques fail, more has to be done to increase the interpretability of the results, especially outside the training range and not in regimes characterized by an abundance of data. Not to mention that none of the knowledge on the physics of the model is exploited during the predictive phase. In order to overcome these weaknesses, we implement the non-linear manifold method introduced by Carlberg et al [37] with hyper-reduction achieved through reduced over-collocation and teacher-student training of a reduced decoder. We test the methodology on a 2d non-linear conservation law and a 2d shallow water models, and compare the results obtained with a purely data-driven method for which the dynamics is evolved in time with a long-short term memory network.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.19935cs.LG공통 태그 Decoder공식 코드 · Papers with Code

마스크드 디퓨전 모델로서의 임의 순서 GPT: 수식화와 아키텍처의 분리

Any-Order GPT as Masked Diffusion Model: Decoupling Formulation and Architecture

대규모 언어 모델(LLM)을 효율적으로 스케일링(scaling)하기 위해서는 지배적인 자기회귀(AR) 방식의 대안을 모색해야 하며, 마스크드 디퓨전 모델(MDM)이 유력한 후보로 떠오르고 있습니다. 그러나 통상 디코더 전용(decoder-only)인 AR과 인코더 전용(encoder-only)인 경우가 많은 MDM 패러다임을 비교할 때는 서로 다른 아키텍처로 인해 혼선이 발생하며, 진정한 알고리즘적 트레이드오프와 효율성 간의 절충점이 불분명해집니다. 본 연구는 디코더 전용 프레임워크 내에서 MDM을 평가함으로써 이러한 요소들을 분리하여 다음을 수행합니다: (1) 순서의 차이를 통해 MDM(임의 순서 AR 형태)과 표준 AR 패러다임을 공정하게 비교합니다. (2) MDM 아키텍처가 계산 효율성에 미치는 영향을 조사합니다. 더 넓은 모델링 공간에도 불구하고 디코더 전용 MDM이 온도 어닐링(temperature annealing)과 같은 기법을 통해 상당한 추론 속도 향상($\sim25\times$)과 대등한 수준의 펄플렉서티(perplexity)를 달성할 수 있음을 보여주며, 이는 추론 연산량을 줄일 수 있는 경로를 제시합니다. 본 연구는 핵심 모델링 선택과 아키텍처의 영향을 분리함으로써 연산 효율성이 더 높은 파운데이션 모델을 개발하기 위한 통찰을 제공합니다. 코드는 https://github.com/scxue/AO-GPT-MDM 에서 확인할 수 있습니다.

arXiv:2506.13027cs.CV공통 태그 Decoder공식 코드 · Papers with Code

DETRPose: 수정된 트랜스포머 디코더와 새로운 디노이징 키포인트를 통한 실시간 엔드-투-엔드 다중 인물 포즈 추정

DETRPose: Real-Time End-to-End Multi-Person Pose Estimation via Modified Transformer Decoder and Novel Denoising Keypoints

다중 인물 포즈 추정(MPPE)은 이미지 내 모든 사람에 대한 신체 관절 위치(키포인트)를 검출하는 작업으로, 컴퓨터 비전의 핵심 과제입니다. 최근 발전에도 불구하고, 현재 실시간 성능을 달성하는 트랜스포머 기반 모델은 존재하지 않습니다. 본 연구는 다중 인물 2D 포즈 추정을 위한 최초의 실시간 엔드-투-엔드 트랜스포머 모델 계열인 DETRPose를 도입하여 지연 시간 문제를 해결합니다. DETRPose는 GroupPose 디코더를 대폭 개선하여 실시간 추론을 가능하게 합니다. 학습을 위해, 수렴을 가속화하는 새로운 디노이징 키포인트 기법이 제안됩니다. 또한, 쿼리 품질을 향상시키기 위해 varifocal 손실을 키포인트에 확장한 Keypoint Similarity VariFocal 손실을 도입합니다. 광범위한 평가를 통해 DETRPose 모델이 학습 에폭 수를 5~10배 줄이면서도 주요 경쟁 모델과 동등하거나 그 이상의 정확도를 달성함을 입증합니다. DETRPose-S는 COCO 데이터셋에서 YOLOv8-Pose-X 및 YOLO11-Pose-X와 유사한 정확도(AP 기준 67.0 대 67.3 및 67.2)를 보이면서, 파라미터 수는 81% 적고(11.5M 대 69.4M 및 58.8M), 추론 속도는 52% 빠릅니다(2.39ms 대 5.23ms 및 4.93ms). CrowdPose 데이터셋에서 DETRPose-X는 ED-Pose-SwinL-5S 대비 FLOPs가 13.1배 적고(232.3G 대 3048.1G), 정밀도는 단 2%만 낮습니다(AP 기준 75.1 대 76.6). OCHuman 데이터셋에서 DETRPose-S는 모든 이전 모델을 능가하며, 분포 외 데이터셋에서의 DETRPose의 강건성을 보여줍니다. 코드는 https://github.com/SebastianJanampa/DETRPose 에서 확인할 수 있습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.