An Integrated Vision-and-Language Pretraining (VLP) and Visual Question Answering (VQA) model to Automate Nondestructive Evaluation Image Analysis
한국어 초록
심층 학습과 자연어 처리(NLP)를 활용해 NDE(비파괴 평가) 영상 해석을 자동화하는 AI 기반 접근법인 ChatNDE Figure to Caption을 소개한다. 모델이 시각적 특징을 의미 있는 언어와 연결하는 방법을 학습하도록 돕기 위해 비전-언어 사전학습(VLP) 전략을 개발했다. 대규모 NDE 영상 데이터셋을 구축하고 주석이 달린 예시로 모델을 학습한 뒤, BLEU 점수로 모델 출력을 전문가가 작성한 설명과 비교하여 성능을 평가했다. 시스템은 영상에서 중요한 특징을 추출하는 ResNet50 모델과, 그 특징을 자연스러운 텍스트로 바꾸는 GPT2 언어 모델을 결합한다. 모델의 정확도는 낮은 편이지만, 지금까지 생성된 캡션 결과는 견고했고, 캡션은 더 짧았으나 인간 전문가가 말할 법한 영상의 일부 중요 특징을 언급하여, 모델이 핵심 세부 정보를 포착하는 법을 학습하고 있음을 보여준다. 또한 시스템의 일부로 시각적 질의응답(VQA) 모델을 사용한다. VQA 모델은 영상과 그 영상에 대한 질문(예: 균열이 있는가?, 결함은 어디에 위치하는가?)을 받아 유용한 답을 생성하도록 설계된다. 이 층을 추가함으로써 플랫폼은 보이는 것을 설명할 뿐 아니라 구체적인 질문에도 응답할 수 있어, 현장 검사관에게 더 상호작용적이고 유용해진다. 이 접근 전체는 NDE 워크플로를 가속하고 인적 오류를 줄이며 기술 접근성을 높이는 큰 진전이다.
원문 초록
An AI-based approach called ChatNDE Figure to Caption is introduced, which aims to automate the interpretation of NDE images using deep learning and natural language processing (NLP). A Vision-and-Language Pretraining (VLP) strategy is developed to help the model learn how to connect visual features with meaningful language. Basically, we built a large NDE image dataset, trained the model using annotated examples, and then evaluated how well it performed using BLEU scores to compare its output to expert written descriptions. So, the system combines a ResNet50 model to extract important features from the images and a GPT2 language model to turn those features into natural sounding text. Even though the accuracy of the model has been low the generated caption results have been solid so far, the captions were shorter but mentioned some important features of images what human experts would say, which shows the model is learning to pick up on key details. Also, a Visual Question Answering (VQA) model is used as part of the system. VQA models are designed to take an image and a question about that image (like Is there a crack? or Where is the defect located?) and generate a useful answer. By adding this layer, the platform will not just describe what it sees, it can also respond to specific questions, making it even more interactive and helpful for inspectors in the field. This whole approach is a big step toward speeding up NDE workflows, reducing human error, and making the technology more accessible.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.29408v2제출 시각 미확인
- arXiv:2608.29408v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.