PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2507.18311v3cs.CV

유동장 데이터에 대한 대규모 비전-언어 모델의 이해 향상

Improving Large Vision-Language Models' Understanding for Flow Field Data

대규모 비전-언어 모델(LVLM)은 이미지 캡셔닝(image captioning)과 시각적 질의응답(visual question answering)과 같이 시각적·텍스트 이해를 통합하는 다양한 작업에서 인상적인 성능을 보여왔다. 이러한 모델은 텍스트와 짝을 이룬 대규모 이미지·비디오 데이터셋으로 학습되어, 시각적 지각과 자연어 처리(NLP)를 연결할 수 있다. 그러나 과학 분야, 특히 자연과학에서 흔히 사용되는 복잡한 장(field) 데이터를 해석하는 데의 적용은 아직 충분히 탐구되지 않았다. 본 연구에서는 장 데이터에 대한 대규모 비전-언어 모델의 이해를 향상시키기 위해 설계된 새로운 프레임워크인 FieldLVLM을 제안한다. FieldLVLM은 두 가지 주요 구성 요소로 이루어진다: 장 인식(field-aware) 언어 생성 전략과 데이터 압축 기반 멀티모달 모델 튜닝. 장 인식 언어 생성 전략은 특수 목적의 머신러닝 파이프라인을 활용하여 유동 분류, 레이놀즈 수(Reynolds number), 와류(vortex) 패턴과 같은 장 데이터의 핵심 물리적 특징을 추출한다. 이 정보는 데이터셋으로 활용되는 구조화된 텍스트 설명으로 변환된다. 데이터 압축 멀티모달 모델 튜닝은 생성된 데이터셋을 이용해 LVLM을 튜닝하며, 데이터 압축 전략을 통해 장 입력의 복잡도를 줄이고 가장 정보가 풍부한 값만 유지한다. 이를 통해 모델의 언어 디코더와의 호환성을 확보하고 학습을 더 효과적으로 유도한다. 새롭게 제안된 벤치마크 데이터셋에 대한 실험 결과, FieldLVLM은 과학적 장 데이터를 다루는 작업에서 기존 방법들을 크게 능가함을 보여준다. 본 연구 결과는 이 접근법이 과학 연구에 대규모 비전-언어 모델을 적용할 새로운 가능성을 열어 주며, 대규모 모델과 도메인 특화 발견 사이의 간극을 메우는 데 기여할 수 있음을 시사한다.

arXiv:2607.02222v1cs.RO

CoFL-S: Spatially Queryable Sector Flow Fields for Local Language-Conditioned Navigation

CoFL-S는 비전-언어 내비게이션(VLN)에서 상대적으로 덜 연구된 저수준 행동 표현 문제를 다루며, 로봇의 로컬 가시 섹터에 언어 조건부 플로우 필드를 예측하고 이를 롤아웃하여 연속 궤적을 생성하는 프레임워크를 제안한다. VLN-CE 에피소드를 프레임 수준의 로컬 지도 데이터로 변환하여 학습하고, 연속-시간 Habitat 벤치마크와 제로샷 실환경 배포 실험에서 action-token 및 action-chunk 기준 모델을 일관되게 능가함을 보인다.