PyTorchKR Papers

“Visual Question Answering”

총 4편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2412.02575v3cs.CV공식 코드 · Papers with Code

원격 탐사 영상을 위한 카피-무브 위조 탐지 및 질의응답

Copy-Move Forgery Detection and Question Answering for Remote Sensing Image

토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.

arXiv:2406.07089v4cs.CV공식 코드 · Papers with Code

RS-Agent: 지능형 에이전트를 통한 원격 탐사 작업 자동화

RS-Agent: Automating Remote Sensing Tasks through Intelligent Agent

RS-Agent는 구조화된 작업 계획과 도구 오케스트레이션을 통해 사용자 의도를 전문적인 원격 탐사 워크플로우와 연결하는 도메인 적응형 지능 에이전트로, 중앙 컨트롤러, 동적 툴킷, Solution Space, Knowledge Space의 네 가지 구성요소로 이루어진다. Task-Aware Retrieval과 가중 이중 경로 검색-증강 생성 방법인 DualRAG를 도입하여 9개 데이터셋, 18개 원격 탐사 작업 실험에서 95% 이상의 작업 계획 정확도와 함께 장면 분류, 객체 계수, 시각적 질의응답에서 최신 MLLM 대비 현저히 높은 성능을 달성하였다.

arXiv:2410.14948v2cs.CL공식 코드 · Papers with Code

MultiViewDx: 증거 연계 다중 뷰 임상 진단

MultiViewDx: Evidence-Linked Multi-View Clinical Diagnosis

의료 멀티모달 대규모 언어 모델(MLLM)은 기존 의료 시각 질의응답(MedVQA) 벤치마크에서 좋은 성능을 낼 수 있지만, 학습 데이터가 임상 진단과 맞지 않는 경우가 많다. 대부분의 지도는 고립된 이미지나 짧은 QA 쌍을 중심으로 구성되어, 두 가지 구조가 약하게 규정된다: 증거가 어떻게 결정으로 이어지는지, 그리고 동일 사례의 뷰, 시리즈, 모달리티, 환자 맥락이 어떻게 연결되는지. 본 논문은 증거 연계 다중 뷰 의료 영상 진단을 위한 부분적으로 의사 검증된 멀티모달 instruction 데이터셋인 MultiViewDx를 제안한다. MultiViewDx는 임상 사례를 지도 단위로 사용한다. 영상 검사와 환자 맥락을 연결하고, 이질적인 보고서를 증거 연계 워크플로(증거 -> 소견 -> 감별 논의 -> 진단)로 정규화하며, 통합 이미지-텍스트 리트리버로 instruction 합성을 출처가 뒷받침하는 증거에 한정한다. X-ray, CT, MRI, 초음파, 조직병리학 및 기타 임상 시각 소스를 포함한다. MultiViewDx-8B-AN을 파인튜닝하고 기존 MedVQA 벤치마크와 실제 사례 기반 진단 추론 모두에서 평가한다. 4개 MedVQA 벤치마크에서 비교 시스템 중 최고 평균 정확도(79.0%)를 달성하며, HuatuoGPT-Vision-34B(66.7%)와 Claude3-Opus(55.7%)를 능가한다. MedVQA를 넘어 JAMA Clinical Challenge 사례에서, 핵심 임상 요점, 진단 추론, 증거 그라운딩에 대한 의사 설계 루브릭 하에서 최고의 종합 평가를 받는다. 통제된 ablation과 임상의 평가는 사례 수준 다중 뷰 구성과 증거 연계 추론 목표가 모두 성능 향상에 기여함을 보여준다.

arXiv:2502.20780v2cs.AI공식 코드 · Papers with Code

MedHallTune: 비전-언어 모델의 의료 환각 완화를 위한 인스트럭션 튜닝 벤치마크

MedHallTune: An Instruction-Tuning Benchmark for Mitigating Medical Hallucination in Vision-Language Models

의료 분야 애플리케이션에서 비전-언어 모델(VLM)의 활용이 증가함에 따라, 겉보기에는 그럴듯하지만 실제로는 부정확한 결과를 생성하는 환각(hallucination)과 관련된 큰 과제가 대두되고 있습니다. 이러한 환각은 임상적 의사결정을 위태롭게 하여 잠재적으로 진단과 치료에 악영향을 미칠 수 있습니다. 본 연구에서는 의료 VLM의 환각을 평가하고 완화하기 위해 특별히 설계된 대규모 벤치마크인 MedHallTune을 제안합니다. 10만 개 이상의 이미지와 100만 개 이상의 인스트럭션 쌍으로 구성된 MedHallTune은 환각 및 비환각 샘플을 모두 포함하며, 각각 정답(ground-truth) 주석이 제공됩니다. 우리는 MedHallTune을 사용하여 현재의 의료 및 범용 VLM에 대한 종합적인 평가를 수행하고 임상 정확도, 관련성, 세부 수준, 위험 수준 등의 주요 지표 전반에서 성능을 평가했습니다. 실험 결과에 따르면 MedHallTune을 통한 미세조정(fine-tuning)은 환각을 관리하는 기존 여러 모델의 능력을 성공적으로 향상시키고 다운스트림 시각적 질의응답(VQA) 태스크에서의 제로샷 성능을 높여, 실제 의료 애플리케이션에서 더 높은 신뢰성을 갖추도록 지원함을 보여줍니다. 본 연구는 보다 신뢰할 수 있는 VLM 개발에 기여합니다. 코드와 데이터셋은 \href{https://github.com/russellyq/MedHallTune}{MedHallTune}에서 제공될 예정입니다.