BIM-Edit: IFC 기반 건물 정보 모델링을 위한 대규모 언어 모델(LLM) 벤치마킹
BIM-Edit: Benchmarking Large Language Models for IFC-Based Building Information Modeling
대규모 언어 모델(LLM)은 텍스트 지침으로부터 설계 결과물을 생성하기 위해 컴퓨터 지원 설계(CAD)에 점점 더 많이 적용되고 있습니다. 엔지니어링 실무에서는 새로운 형상(geometry)을 생성하는 것 이상이 필요하며, 모델은 기존 장면을 이해하고, 올바르게 편집하며, 의미와 관계를 보존해야 합니다. 그러나 많은 CAD 벤치마크는 기존 모델 편집보다는 새로운 모델 생성에 초점을 맞추고 있으며, 주로 기하학적 정확성만을 평가합니다. 우리는 Industry Foundation Classes(IFC) 형식으로 표현된 건물 정보 모델(BIM)의 자연어 편집에 대한 LLM을 평가하는 벤치마크인 BIM-Edit를 소개합니다. BIM은 건물 모델이 형상과 함께 의미론적 및 관계형 구조를 인코딩하기 때문에 도전적인 테스트베드를 제공합니다. BIM-Edit는 11개의 현실적인 건물 모델과 36개의 합성 장면에 걸쳐 있는 324개의 편집 작업을 포함합니다. 작업은 명시적 편집과 장면 기반(scene-grounded) 편집을 모두 포괄하는 세 가지 명령어 범주인 직접(direct), 공간(spatial), 위상(topological)적 방식으로 표현됩니다. 우리는 기하학적 정확도, 의미론적 타당성, 위상적 일관성이라는 세 가지 차원에서 출력을 평가합니다. 평가된 LLM 중에서 최고 성능을 보인 모델은 세 가지 지표에서 평균 49.5%의 점수만을 달성했으며, 어떤 모델도 3.4% 이상의 작업을 완전히 해결하지 못했습니다. 이러한 결과는 현재 LLM의 능력과 구조화된 엔지니어링 설계 워크플로우의 요구 사항 사이에 상당한 격차가 있음을 보여줍니다.