eCNNTO: 위상 최적화 가속화를 위한 높은 일반화성을 지닌 합성곱 신경망
eCNNTO: A Highly Generalizable ConvNet for Accelerating Topology Optimization
한국어 초록
본 연구는 밀도 기반 위상 최적화(Topology Optimization, TO)를 가속화하기 위해 요소 기반 합성곱 신경망(Convolutional Neural Network, CNN)인 eCNNTO를 제안합니다. TO는 일반적으로 다수의 반복(iteration)을 거치며, 각 반복마다 유한 요소 해석이 수행되므로, 특히 고해상도 설계를 위해 조밀한 메쉬를 사용할 경우 효율성 병목이 발생합니다. 이러한 제한을 해결하기 위해 eCNNTO는 Kallioras et al. (2020)을 기반으로 제안되었습니다. 해당 연구에서는 각 요소의 초기 이력으로부터 준최적 밀도를 예측하도록 모든 요소에 대해 심층 신뢰 신경망(Deep Belief Network, DBN)을 학습시켜, 대다수의 반복을 건너뛰고 TO 절차를 획기적으로 가속화했습니다. 그러나 이 방법은 인접 요소 간의 공간적 상관관계가 부족하여 최종 구조에서 분리된 특징이 나타날 수 있습니다. 제안하는 방법은 이 문제를 해결하기 위해 잔차 연결(residual connections)이 포함된 CNN을 활용합니다. 여기에 더해 최적화 효율을 더욱 높이기 위해 새로운 학습 전략이 도입되었으며, 여기서 학습 데이터셋은 초기 이력이 아닌 최종 단계 밀도 이력으로 구성됩니다. 이러한 변화는 필요한 학습 데이터 크기를 줄이는 데에도 도움이 될 수 있습니다. eCNNTO는 학습에 작은 데이터셋만 필요하지만, 경계 조건, 하중 조건, 설계 영역 형상, 메쉬 해상도, 그리고 비설계 영역이 크게 다른 문제들로 일반화될 수 있습니다. 마지막으로, 2차원 및 3차원의 다양한 예제를 통해 eCNNTO의 일반화 능력과 효율성을 입증하였으며, 각각 최대 90%와 97%의 반복 횟수 감소를 달성했습니다.
원문 초록
This work proposes an element-based Convolutional Neural Network (CNN) to accelerate density-based Topology Optimization (TO), termed eCNNTO. TO generally undergoes a large number of iterations, where finite element analysis is performed in every iteration, leading to the efficiency bottleneck especially when dense meshes are used to achieve high-resolution designs. To address this limitation, eCNNTO is proposed to build upon Kallioras et al. (2020), where a Deep Belief Network (DBN) was trained for every element to predict its near-optimal density from its early history, thereby skipping the great majority of iterations and significantly accelerating the TO procedure. However, the method lacks spatial correlations among neighboring elements and may lead to disconnected features in the final structure. The proposed method employs CNN with residual connections to address this issue. On top of it, a novel training strategy is introduced to further enhance the optimization efficiency, where the training dataset consists of the final stage density histories rather than early ones. This change can also help reduce the required training data size. eCNNTO requires only a small dataset to train and yet it can be generalized to problems with largely different boundary conditions, loading cases, design domain geometries, mesh resolutions, as well as non-design domains. In the end, the generalization capabilities and efficiency of eCNNTO are demonstrated through a variety of examples in two and three dimensions, achieving up to 90% and 97% reduction of iterations, respectively.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19921v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
적은 감독, 더 나은 일반화: 디퓨전으로 편집된 이미지에서의 약지도 가짜 영역 위치 추정
Less Supervision, Better Generalization: Weakly Supervised Fake Region Localization in Diffusion-Edited Images
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
SLICEChat: 전슬라이드 병리 언어 모델을 위한 점진적 인코더 내 토큰 가지치기
SLICEChat: Progressive In-Encoder Token Pruning for Whole-Slide Pathology Language Models
전슬라이드 병리 이미지(WSI)는 기가픽셀 규모의 시각 정보를 담고 있어, 슬라이드 수준 멀티모달 대규모 언어 모델(MLLM)의 확장성에 큰 난제를 만든다. 기존 접근은 수천 개의 패치 토큰을 처리하고, 보통 슬라이드 인코딩 이후에만 압축을 적용하여 멀티모달 어텐션이 계산적으로 비싸게 남는다. 우리는 하이브리드 Mamba–트랜스포머 슬라이드 인코더 안에 점진적 토큰 가지치기를 통합한 슬라이드 수준 MLLM인 SLICEChat을 제안한다. Mamba 레이어는 효율적인 장거리 전파를 가능하게 하고, 트랜스포머 레이어는 시퀀스가 점진적으로 짧아지는 동안 전역 상호작용을 유지한다. 단계 사이에서는 언어 지도 하의 영역 인식 가지치기가 제어된 유지율(keep-rate) 스케줄 하에서 공간적으로 일관된 저유용 영역을 제거하여, 멀티모달 융합 전에 압축된 슬라이드 표현을 만든다. SlideBench VQA에서 SLICEChat은 TCGA에서 79.84%, BCNB 코호트에서 59.09% 정확도를 달성해 기존 슬라이드 수준 병리 MLLM을 능가했으며, WSI-Bench 전체 지표에서도 최고 성능을 기록했다. 또한 평가된 모델 중 경쟁력 있는 메모리 사용량과 추론 지연 시간을 보였다. 이 결과는 기가픽셀 WSI에 대한 정확하고 계산적으로 효율적인 멀티모달 추론을 보여 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.