PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2511.17909v2cs.AI

ChemVTS-Bench: 화학 분야 다중모달 대규모 언어 모델의 시각-텍스트-기호 추론 평가

ChemVTS-Bench: Evaluating Visual-Textual-Symbolic Reasoning of Multimodal Large Language Models in Chemistry

화학 추론은 본질적으로 시각, 텍스트, 기호 양식(modality)을 통합하지만, 기존 벤치마크는 이러한 복잡성을 거의 포착하지 못하고, 종종 화학적 의미가 제한된 단순 이미지-텍스트 쌍에 의존한다. 그 결과, 다중모달 대규모 언어 모델(MLLM)이 여러 양식에 걸쳐 화학적으로 의미 있는 정보를 처리하고 통합하는 실제 능력은 여전히 불분명하다. 우리는 MLLM의 시각-텍스트-기호(VTS) 추론 능력을 체계적으로 평가하기 위해 설계된 도메인에 충실한 벤치마크인 ChemVTS-Bench를 제안한다. ChemVTS-Bench는 유기 분자, 무기 재료, 3D 결정 구조에 걸친 다양하고 어려운 화학 문제를 포함하며, 각 과제는 세 가지 상보적인 입력 모드로 제시된다: (1) 시각 전용, (2) 시각-텍스트 혼합, (3) SMILES 기반 기호 입력. 이 설계는 양식 의존적 추론 행동과 교차 양식 통합에 대한 세밀한 분석을 가능하게 한다. 엄밀하고 재현 가능한 평가를 위해, 추론을 표준화하고 답을 검증하며 실패 유형을 진단하는 자동화된 에이전트 기반 워크플로를 추가로 개발했다. 최신 MLLM에 대한 광범위한 실험 결과, 시각 전용 입력은 여전히 어렵고, 구조 화학이 가장 어려운 도메인이며, 다중모달 융합은 시각적·지식 기반·논리적 오류를 완화하지만 제거하지는 못함을 보여주며, ChemVTS-Bench를 다중모달 화학 추론 발전을 위한 엄밀하고 도메인에 충실한 시험대로 부각한다. 모든 데이터와 코드는 향후 연구를 지원하기 위해 공개될 예정이다.

arXiv:2505.05232v3cs.AI

ChemQuests: ChemRxiv 논문에서 추출된 정제된 화학 질문-답변 데이터베이스

ChemQuests: A Curated Chemistry Question-Answer Database Extracted from ChemRxiv papers

화학 문헌의 급격한 확장은 도메인 특화 지식에 효율적으로 접근하고자 하는 연구자들에게 중요한 과제를 제기합니다. 화학 중심 자연어 처리(NLP)의 발전을 지원하기 위해, 우리는 17개의 화학 하위 분야에 걸친 155편의 ChemRxiv 논문에서 파생된 952개의 고품질 질문-답변(QA) 쌍으로 구성된 정제된 데이터셋인 ChemQuests를 소개합니다. 추적 가능성과 문맥적 정확성을 보장하기 위해 각 QA 쌍은 원본 텍스트 세그먼트와 명시적으로 연결되어 있습니다. ChemQuests는 광학 문자 인식(OCR), GPT-4o를 활용한 QA 생성, 그리고 퍼지 검색(fuzzy-search) 검증을 결합한 자동화된 파이프라인을 통해 구축되었습니다. 이 데이터셋은 개념적, 기전적, 응용, 그리고 합성 또는 실험적 질문을 강조하여, 검색 기반 QA 시스템, 검색 엔진 개발, 그리고 도메인 적응 대규모 언어 모델의 미세조정(fine-tuning)에 대한 응용을 가능하게 합니다. 우리는 데이터셋의 구조, 범위, 한계를 분석하고, 확장 및 전문가 검증(validation)을 위한 향후 방향을 제시합니다. ChemQuests는 화학 NLP 연구, 교육, 도구 개발을 위한 기초 자원을 제공합니다.