PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2611.22726v1physics.ed-ph

운동학 그래프 읽기에서 멀티모달 대규모 언어 모델 채점 보조 도구의 스트레스 테스트

Stress Testing a Multimodal Large Language Model Grading Assistant on Kinematics Graph Reading

멀티모달 대규모 언어 모델(MLLM)은 그래프의 특징을 알아보면서도 그래프의 근거가 충분하지 않은 답에 점수를 줄 수 있다. 이 탐색 연구는 운동학 문제 네 개의 합성 응답에 대해 일부 채점 결과를 살펴봤다. 그래프를 시각적으로 왜곡하거나 기준 그래프에 가까워지도록 단계적으로 변형해 합성 응답을 만들었다. 다양한 모델 및 프롬프트 구성을 사용했다. 일부 판정에서는 한순간 속도가 0인 상태와 일정 시간 동안 정지한 상태를 올바르게 구별하고 양의 곡률도 인식했다. 그러나 선이 끊기거나 갈라지고 속도 0의 기준도 불분명할 만큼 심하게 왜곡된 속도–시간 그래프가 만점을 받았다. 같은 설정에서 다른 답안은 큰 폭으로 감점됐다. 의미 있는 그래프 특징과 그리기 과정의 불규칙성을 구분하는 수치 임계값을 제시했으나, 눈금에 수치가 없는 그래프에서 좌표를 해석할 규칙은 없었다. 따라서 특정 점수의 부분 점수가 어떤 근거로 부여됐는지 설명하기 어려웠다. 스트레스 테스트는 교실에서 사용하기 전에 근거 없는 점수 부여를 드러낼 수 있다. 조사한 구성에서는 만점 답안을 포함해 교사가 채점을 검토한 뒤 최종 성적을 확정할 것을 권한다.

arXiv:2610.00973v1cs.CV

개념 기반 도메인 적응: 건초더미에서 추상적인 바늘 찾기

Concept Driven Domain Adaptation: Finding an Abstract Needle in a Haystack

과학교사들은 화면에 나타나는 내용을 묘사하기보다는 자신이 가르치고자 하는 추상적인 개념을 검색어로 사용하여 다큐멘터리 발췌본을 찾는 경우가 많습니다. 이러한 사용 사례는 질의어가 관찰 가능한 사건을 기술한다고 주로 가정하는 기존 언어 기반 비디오 모먼트 검색(video moment retrieval) 방법의 한계를 드러냅니다. 반면 교육용 검색은 기저의 과학적 원리를 구체화하는 시각적 현상을 검색해야 합니다. 본 연구에서는 이를 간결한 교육과정 개념을 시간적으로 희소한 다큐멘터리 근거에 그라운딩(grounding)해야 하는 '건초더미 속 추상적 바늘 찾기' 문제인 '개념-예시 비디오 검색(concept-to-example video retrieval)'으로 정의하고 탐구합니다. 이러한 추상화 격차를 해소하기 위해, 우리는 2-타워 비전-언어(vision-language) 모델을 개념 수준 검색에 적응시키기 위한 3단계 프레임워크인 개념 기반 도메인 적응(Concept-Driven Domain Adaptation, CDDA)을 제안합니다. CDDA는 개념을 중간 의미 앵커로 취급합니다. 즉, 먼저 교과서 및 교사용 지도서의 예시-개념 쌍을 통해 텍스트 임베딩 공간을 구조화한 뒤, 동결된 시각 인코더 환경에서 이러한 개념 인식 기하 구조를 다큐멘터리 시각 정보로 전이하고, 마지막으로 희소한 시각적 개념 지도(supervision)를 통해 두 인코더를 결합 적응시킵니다. 기하학적 관점에서 이러한 단계적 정렬(alignment)은 텍스트-개념 및 비전-개념 간 각도 격차를 줄임으로써, 사전학습 모델의 구체적인 이미지 묘사 정렬을 보존하는 동시에 개념 수준의 적응을 촉진합니다. 선별된 중학교 물리 검색 벤치마크에서 CDDA는 Qwen3-VL-Embedding-2B를 포함한 여러 경쟁력 있는 멀티모달 베이스라인보다 더 우수한 교육 지향적 개념 검색 성능을 달성하는 동시에, 적응 후에도 구체적인 이미지-텍스트 매칭 성능을 유지했습니다.

arXiv:2609.04711v1cs.SE

코딩 에이전트로 연구 소프트웨어 카탈로그 구축: 해커톤 프로토타입에서 공개 배포까지

Building a research-software catalog with a coding agent: from hackathon prototype to public deployment

생성 AI와 코딩 에이전트는 연구 소프트웨어 개발을 가속할 수 있지만, 효율적인 소프트웨어 발견과 유지보수에 대한 필요성도 커진다. 우리는 3일간의 해커톤 동안 저장소 카탈로그를 개발한 뒤, 적대적 검토, 데이터 품질 점검, 브라우저 수준 검증, 출판 안전장치 등을 포함해 공개 배포에 적합하게 만들기 위해 필요한 엔지니어링을 조사했다. 이어서 이 프로토타입에서 얻은 교훈을 훨씬 더 큰 인간 큐레이션 포털로 옮길 수 있는지 탐구했으며, 이를 위해 큐레이션된 포털 메타데이터, 외부 문서, 벡터 검색, 로컬 언어 모델 생성을 결합하는 MateriApps용 개발 중인 검색 에이전트를 통해 살펴보았다. 코딩 에이전트로 구현은 빠르지만, 안정적인 운영을 달성하려면 상당한 추가 엔지니어링이 필요했다. 가장 중대한 문제는 크래시가 아니라 그럴듯하지만 불완전하거나 잘못된 출력을 낳는 침묵 실패(silent failure)였으며, 이는 불완전한 데이터 수집, 오해를 유발하는 평가, 검색 또는 전처리 실패에서 비롯되었다. 이러한 관찰은 AI 보조 소프트웨어 포털에 명시적 검증, 모니터링, 반복 검토가 필요함을 시사하며, 큐레이션된 메타데이터와 유지된 문서가 여전히 필수적임을 보여준다. MateriApps 작업은 탐색적이며 활발히 개발 중이므로, 여기에 보고된 관찰은 예비적이다. 그럼에도 큐레이션된 메타데이터, 자동 수집 문서, 검색 기반 보조의 유사한 결합은 다른 연구 소프트웨어 포털 확장에 유용할 수 있다.

arXiv:2608.20521v1physics.ed-ph

대규모 손글씨 물리 평가 AI 채점: 점수 일치와 올림피아드 팀 선발 결과

Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes

멀티모달 AI는 손글씨 물리 풀이를 읽을 수 있지만, 고위험 채점에서는 공식 점수 및 결과와의 일치가 필요하다. 본 연구는 세 가지 평가—전국 물리 올림피아드 이론 시험, 최종 올림피아드 선발 캠프(이론·실험 구성), 대학 양자역학 시험—에서 416명의 고유 후보자 또는 학생이 제출한 520건의 손글씨 답안, 총 10,364장의 스캔 페이지에 대해 GPT-5.5 기반 채점을 평가했다. 각 제출물은 공식 rubric을 사용해 AI가 두 번 채점했다. 2차 라운드는 1차 불일치 분석 후 수립한 페이지별·근거 위치 지침 개정판을 사용했다. 채점 중 AI는 공식 인간 채점 점수나 AI–인간 비교를 보지 못했다. 공식 점수와의 총점 상관은 높았다(0.91–0.97). 최종 올림피아드 선발에서 AI는 공식 채점과 동일한 5명 학생 팀을 재현했다. 2차 라운드는 특히 1차 불일치가 컸던 문항에서 집계 문항별 일치를 개선했다. 주요 어려움은 여전히 정확한 부분 점수(partial-credit) 채점이었으며, 특히 실험 과제에서 그러했다. 따라서 신뢰할 수 있는 AI 채점은 상세한 rubric에 의존하며, 시험관 통제 하에 제2독자(second reader) 또는 감사(audit) 도구로 사용되어야 한다.

arXiv:2601.07635v3cond-mat.dis-nn

학습에 대한 학습: 스핀 유리에서 인공지능까지의 경로

Learning About Learning: A Path from Spin Glasses to Artificial Intelligence

호필드 모델은 원래 스핀 유리에서 영감을 받았으며, 통계역학, 신경망, 인공지능의 교차점에서 중심적인 위치를 차지한다. 개념적 단순성과 넓은 적용 가능성에도 불구하고, 학부 물리학 교육과정에 거의 통합되지 않는다. 우리는 호필드 모델을 학부 물리학 교육과정의 핵심 주제들을 자연스럽게 통합하는 교육적으로 풍부한 프레임워크로 제시하며, 모델의 에너지 함수, 동역학, 패턴 안정성과 같은 개념에 기반한 간결한 소개를 제공한다. 시뮬레이션의 실용적 측면을 논의하고 시뮬레이션 코드를 제공한다. 또한 학부 수업에 포함할 수 있도록 연구 실무를 반영하도록 설계된 문제들을 제안한다.

arXiv:2607.14303v1physics.ed-ph

초급 물리학 문제 해결에서의 AI 평가

Assessing AI in Introductory Physics Problem Solving

추론(reasoning) 또는 추론 스케일링(inference-scaling) 모델은 복잡한 문제 해결이 가능한 대규모 언어 모델(LLM)의 새로운 세대이다. 물리학에서의 문제 해결 능력을 조사하기 위해, 우리는 OpenAI의 o4-mini 모델을 Halliday and Resnick의 "Fundamentals of Physics"에 수록된 전통적인 단원 말미 문제를 풀도록 평가하였으며, 이는 학부 물리학 교육과정의 핵심 주제를 포괄한다. 성능은 문제 표현 방식(modality)과 문제 난이도에 따라 분석하였다. 모델은 전체적으로 약 90%의 정확도로 문제를 풀었지만, 성능은 문제 표현(representation)에 크게 의존하였다: 텍스트만 있는 문제(96%)에서는 텍스트와 이미지를 함께 해석해야 하는 문제(79%)보다 정확도가 훨씬 높았다. 정확도는 또한 문제 난이도가 낮음에서 중간, 높음으로 증가함에 따라 현저히 하락하였다. 이 결과는 최신 LLM이 표준적인 초급 물리학 문제의 상당 부분을 풀 수 있음을 보여주지만, 성능은 여전히 불균등하며 문제 표현 방식과 문제 난이도에 의해 제약받는다는 것을 나타낸다.

arXiv:2603.14732v2physics.ed-ph

LLM-as-a-judge validity in physics assessment depends more on the task than the model

LLM-as-a-judge 방식의 물리학 평가 타당성을 GPT-5.2, Grok 4.1, Claude Opus 4.5, DeepSeek-V3.2, Gemini Pro 3 등 6개 모델로 구조화 문제·에세이·과학 플롯 세 형식에 걸쳐 비교한 결과, 순위 일치도(rank-order agreement)는 모델 성능보다 평가 과제의 구조적 특성에 의해 결정되었다. 구조화 문제와 코드 기반 플롯에서는 Spearman ρ > 0.6∼0.84의 높은 순위 일치도를 보인 반면, 에세이 채점에서는 앵커 예시를 제공해도 순위 일치도가 거의 0에 가까워 분포 일치가 순위 타당성을 보장하지 않음을 보였다.