PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10946v1cs.CL

AI4Fire: 산불 작업에서 대규모 언어 모델(LLM) 평가

AI4Fire: Evaluating Large Language Models on Wildfire Tasks

대규모 언어 모델(LLM)이 산불 관리 분야에 도입되고 있으며, 이 분야에서는 과장된 평가가 재산과 생명의 손실로 이어질 수 있다. 그라운딩(grounding) 여부에 따라 이들 모델은 산불 관련 작업에서 어떤 성능을 보일까? "베어(bare)"는 모델이 작업 입력만을 받는 경우를 의미한다. "그라운디드(grounded)"는 모델이 작업별로 특화된 추가 정보 하나를 함께 받는 경우를 의미하며, 연기 탐지 작업의 경우 동일한 카메라로 촬영된 연기 없는 참조 프레임이 그 추가 정보에 해당한다. AI4Fire는 6개의 핵심 모델을 베어 및 그라운디드 조건에서 다섯 가지 산불 작업에 대해 제로샷(zero-shot)으로 실행하며, 추가 실험(sweep)에서는 29개의 모델을 더 포함한다. 화재 관련 작업에 대한 문헌 조사에서 138편의 연구를 찾았으나, 이들 중 이러한 모델 구성, 작업 범위, 그리고 베어와 그라운디드를 짝지은 실행 방식을 모두 결합한 연구는 없었다. 우리는 세 가지 결과를 보고한다. (1) 그라운딩은 추가된 정보가 답을 직접 담고 있는 경우에 가장 큰 도움이 되었다: 읽기 전용 SQL 도구를 추가하자 모든 핵심 모델의 데이터베이스 정확도가 최대 16퍼센트에서 최소 88퍼센트로 상승했다. (2) 단순한 규칙을 능가하기는 어려웠다: 어떤 핵심 모델도 오늘의 인력 배치 수를 그대로 반복하는 것보다 더 나은 성능을 보이지 못했으며, 두 개의 오픈 가중치(open-weight) 모델은 대체로 유사한 과거 화재일(fire-day)들의 중앙값을 그대로 복사했는데, 이는 더 나쁜 예측 방식이었다. (3) 공개된 데이터셋에는 위험 요소가 존재한다: 화재 위험도(fire-danger) 열(column)이 홀드아웃(holdout) 데이터를 완벽하게 구분해 버리며, 67개의 항공 화재 프레임에는 클리핑된 열적 최대값(thermal maximum)으로부터 읽어낸 잔불(smoldering) 또는 화재 없음 레이블이 붙어 있다. 우리는 프롬프트, 응답, 점수, 코드, 그리고 설문 조사 기록을 공개한다.

arXiv:2607.11581v2cs.CV

액터를 자체 비평가로: CycleGRPO를 통한 영역 이해와 지역화의 통합

Actor as Its Own Critic: Unifying Region Understanding and Localization via CycleGRPO

이 논문은 멀티모달 대규모 언어 모델(MLLM)의 영역 이해(region understanding)와 지역화(localization)를 공동으로 최적화하는 통합 강화학습 프레임워크인 Cycle Group Relative Policy Optimization(CycleGRPO), 즉 '액터를 자체 비평가로(Actor as Its Own Critic)'를 소개한다. 기존의 분리된 파이프라인과 달리, 본 연구는 두 태스크 간의 내재적 이중성을 활용하여 "영역 → 텍스트 → 영역'"이라는 자기 평가 강화학습 패러다임을 구성한다. 구체적으로, 단일 MLLM이 먼저 액터로서 영역 캡션을 생성한 후, 즉시 비평가로 전환하여 생성된 텍스트를 공간 도메인으로 다시 그라운딩한다. 따라서 CycleGRPO는 마스크나 바운딩 박스와 같은 영역 입력만을 필요로 하며, 텍스트 정답 레이블이 전혀 필요하지 않다. 품질 인식 토큰 수준의 주기 일관성 보상(cycle-consistency reward)을 통해 물리적 지역화 정확도를 기반으로 텍스트 캡션의 의미적 변별력을 평가한다. 실험적으로, SAMTok을 기반으로 구축된 CycleGRPO 프레임워크는 두 가지 능력을 동시에 성공적으로 부트스트랩한다. 태스크별 미세조정 없이도, 영역 캡셔닝(region captioning), 영역 VQA(region VQA), 그라운디드 대화(grounded dialogue), 참조 분할(referring segmentation)을 포함한 광범위한 벤치마크에서 일관된 성능 향상을 달성한다. 전반적으로, CycleGRPO는 MLLM의 픽셀 수준 능력을 향상시키는 간단하고 확장 가능한 방법을 제공한다. 코드와 모델은 https://github.com/devinxzhang/CycleGRPO에서 공개되어 있다.

arXiv:2607.11008v1cs.CV

SynCLIP: 강건한 개방형 어휘 밀집 지각을 위한 동의어 일관성 언어-이미지 사전학습

SynCLIP: Synonym-Coherent Language-Image Pretraining for Robust Open-Vocabulary Dense Perception

개방형 어휘 밀집 지각(OVDP)은 텍스트 지식을 활용하여 학습 중 보지 못한 객체를 위치 파악하는 것을 목표로 한다. 최근 CLIP 기반 접근법의 눈부신 발전에도 불구하고, 우리는 핵심적인 한계를 발견하였다: 동의어 유발 그라운딩 불일치 문제로, 의미적으로 동등한 표현이 서로 다른 공간적 어텐션 패턴을 생성하는 현상이다. 이 불일치는 실제 OVDP 응용에서 기존 방법들의 강건성과 성능을 저해한다. 이 문제를 해결하기 위해, 우리는 OVDP를 위한 동의어 강건 그라운딩을 향상시키는 동의어 일관성 언어-이미지 사전학습 프레임워크인 SynCLIP을 제안한다. SynCLIP은 원래 표현과 동의어 표현의 어텐션 맵 간 불일치를 최소화하여 공간적 어텐션 일관성을 높이는 의미 일관 공간 어텐션 정렬(SSA) 모듈을 도입한다. 나아가, 공간 어텐션 정제(SAR) 모듈은 더 정밀하고 안정적인 그라운딩을 위해 정렬된 맵 내에서 의미적으로 가장 관련성 높은 공간 영역을 선택적으로 강화한다. 동의어 일관성 사전학습을 지원하기 위해, 각 카테고리에 다수의 동의어와 텍스트 정의를 보강한 동의어 강화 시각 말뭉치(SEViC)도 구축하였다. 다수의 벤치마크에서 수행된 광범위한 실험을 통해, SynCLIP이 다양한 언어적 변형 하에서 그라운딩 일관성을 크게 향상시키고 CLIP 기반 OVDP 방법들 중 최첨단 성능을 달성함을 입증한다. 코드는 https://github.com/Justlovesmile/SynCLIP에서 이용 가능하다.

arXiv:2607.11598v1cs.AI

Interaction Scaling: Grounding the Third Axis of Test-Time Compute

There are two standard ways to spend more compute at test time: let a model reason longer, or sample more attempts and keep one. Both share a hidden limit: they are internal. Every extra token comes from the same frozen weights and the same prompt, so neither can tell the model anything it does not already know. We study a third way, interaction: the model proposes an artifact, an external instrument observes how it actually behaves, and the model revises. Each cycle imports a real observation, so interaction breaks through the ceiling the other two hit. We argue that a single variable governs this third axis, grounding, and that it must hold on both sides of the loop. The feedback that drives revision must come from an instrument that actually observes the flaw, and so must the metric that scores the result. On hard coding tasks at a fixed token budget, reasoning-only and best-of-N sampling both plateau (the latter even when an oracle picks the best sample), while every interaction strategy keeps improving; our proposer-reviewer harness reaches a perfect 100% pass rate with no run-to-run variance, and the gain holds across three model families. On rendered visual artifacts, the usual judge (a vision-language model, or VLM, reading a screenshot) rates 14 of 15 visibly broken figures "perfect," because the screenshot hides the flaws before the judge can see them. A tool that measures the real layout instead shows the loop removing 40-74% of defects across four modalities; and that same VLM, used as the reviewer, makes slide layouts worse where the measuring tool repairs them. Interaction scaling is real and distinct from reasoning and sampling, but only visible when both the feedback and the metric are grounded.

arXiv:2607.04334v1cs.AI

GUI 에이전트는 자신의 눈을 믿는가? 픽셀 대 구조에 대한 상태-믿음 의존성 진단

Do GUI Agents Believe Their Eyes? Diagnosing State-Belief Reliance on Pixels versus Structure

멀티모달 GUI 에이전트는 스크린샷의 렌더링된 픽셀과 DOM 또는 접근성 트리와 같은 직렬화된 구조라는 두 가지 중복 채널을 통해 인터페이스를 읽는다. 에이전트는 행동하기 전에 현재 인터페이스 상태에 대한 믿음(belief)을 형성하지만, 기존 벤치마크는 태스크 성공률, 요소 그라운딩, 또는 공격 저항성을 평가할 뿐 그 믿음이 픽셀로부터 도출되는지는 묻지 않는다. 우리는 상태 믿음을 픽셀, 구조, 또는 사전 정보에 귀속시키는 개념인 시각적 상태 의존성(visual state reliance)을 형식화하고, 실제 웹·모바일·데스크톱 310개의 프로브(probe)에 대해 단일 채널 쌍별 개입으로 이를 측정한다. 모든 프로브는 결정론적 강제 선택 방식으로 채점되며, 모델이 생성한 항목이나 모델 판정자는 사용하지 않는다. 핵심 지표는 지각-융합 격차(Perception-Fusion Gap)로, 모델이 올바르게 지각함에도 불구하고 충돌 상황에서 구조 쪽으로 해소하는 프로브의 비율을 나타낸다. 세 개 벤더의 다섯 가지 모델에 걸쳐, 텍스트 상태 믿음은 구조에 의존하는 반면 이미지 전용 정확도는 최대치에 가깝게 유지되며, 지각-융합 격차는 모든 모델에서 양수로 나타난다. 반면 비텍스트 식별 정보는 대체로 픽셀에 묶여 있다. 이러한 대체 현상은 직렬화 텍스트 및 인덱스 기반 행동 채널에 특이적이며, 좌표 기반 행동 에이전트는 대부분 영향을 받지 않는다. 텍스트 충돌에 대해 화이트박스 절제(ablation) 실험은 그 효과가 단일 복사된 구조적 값으로 추적됨을 보여주며, 두 개의 실제 환경에서 해당 충돌은 잘못된 행동과 실제 태스크 실패를 유발한다. 따라서 시각적 상태 의존성은 에이전트 상태 믿음이 시각적으로 그라운딩되어 있는지를 측정 가능하게 진단하는 수단을 제공하며, 이를 통해 드러난 오류는 행동으로 전파된다.

arXiv:2606.26923v1cs.CL

GAVEL: 그라운딩 캡션 오류 검증 및 국소화

GAVEL: Grounded Caption Error Verification and Localization

비전-언어 모델(VLM)의 캡션 환각과 이미지-텍스트 불일치를 검증·설명하고 시각적 근거를 국소화하는 GAVEL 과제와 데이터셋·벤치마크를 제안한다. 실험에서 GPT-5 등 강력한 폐쇄형 모델도 GAVEL에서 어려움을 보였고, 사람 주석 학습 분할로 학습한 지도 학습 기준선은 그라운딩(grounding)과 설명 지표에서 일관된 개선을 달성했다.

arXiv:2606.19356v1cs.CL

신뢰할 수 있는 멀티 에이전트 시스템: 아르젠트 시그널링 프로토콜을 통한 의미 변이 완화

Trustworthy Multi-Agent Systems: Mitigating Semantic Drift with the Argent Signaling Protocol

멀티 에이전트 대규모 언어 모델(LLM) 시스템이 잘못된 답변을 생성할 때, 모든 실패가 동일한 것은 아닙니다. 일부 답변은 올바른 자료에 그라운딩(grounding)되어 있으나 불완전한 반면, 다른 답변은 단순히 그라운딩되지 않았으므로 중단되어야 합니다. 현재의 재시도(retry) 전략은 두 경우를 동일하게 취급(다시 시도하고 최선을 바라는 방식)하여, 인간 감독관이 재시도가 타당한지 아니면 시스템이 중단되었어야 하는지 판별하지 못하게 만듭니다. 본 연구에서는 아르젠트 시그널링 프로토콜(Argent Signaling Protocol, ASP)을 소개합니다. ASP는 모든 AI 생성 응답에 확실성(@C), 그라운딩(@G), 확률성(@S), 그리고 각 주장의 증거적 근거를 분류하는 가정 인덱스와 같은 구조화된 품질 신호를 포함하는 컴팩트한 기계 판독 가능 헤더입니다. 이러한 신호를 통해 컨트롤러는 복구 가능한 실패와 격리가 필요한 실패를 구별하여 각각을 다르게 처리할 수 있습니다. 우리는 두 가지 모드에서 ASP를 평가했습니다. 독립형 모드에서는 Array BioPharma/Ono 라이선스 계약에 대한 27개 질문의 문서 기반 QA 벤치마크를 통해 세 가지 로컬 GGUF 모델에서 기준선(baseline) 프롬프트와 ASP 기반 컨트롤러 동작을 비교했습니다. Qwen~(0.8B)에서 ASP는 통과율을 11.1%에서 33.3%로, 평균 용어 커버리지를 36.7%에서 65.4%로 향상시켰습니다. Dobby~(8B)에서는 4건의 실패 사례를 통과로 복구하여 통과율을 33.3%에서 44.4%로 높였습니다. SmolLM3~(3B)에서는 질문별로 복구와 격리를 번갈아 수행했습니다. 전체적으로 의미 있는 개선 효과가 있었습니다(12/81에서 21/81로 통과율 증가). 멀티 에이전트 모드에서는 ASP 사이드카가 검색 에이전트와 하류 결정 에이전트 사이에 배치됩니다. 이 사이드카는 하류 에이전트로 전달되는 그라운딩되지 않은 상위 출력을 100% 차단했습니다(27개 중 24개 차단, 그라운딩되지 않은 전파 0건).

arXiv:2606.17904v1cs.AI

DiagFlowBench: 그라운딩된 진단 대화에서 언어 모델의 절차 이탈 입력 처리 평가

DiagFlowBench: Evaluating How Language Models Handle Off-Procedure Inputs in Grounded Diagnostic Dialogue

언어 모델은 점점 더 유지보수 작업에서 자문 시스템으로 활용되고 있다. 환각(hallucination)을 방지하기 위해 최근 시스템은 절차 문서에 모델을 그라운딩(grounding)하여 승인된 단계로 제한한다. 그러나 실제로는 운영자 질의가 이 경로에서 자주 벗어나며, 대화 중간에 범위 밖 입력을 인식해야 하는데, 이러한 역학은 현행 벤치마크에서 거의 우선순위로 다루지 않는다. 우리는 DiagFlowBench를 제안한다. 이는 소비재 제조업체의 산업용 진단 플로차트 50개를 절차 준수 발화와 범위 밖 발화가 대비되는 1,676개의 다중 턴 대화로 변환한 데이터셋이다. 상업용 및 오픈 가중치 모델 10종을 평가한 결과 거부(abstention) 비율에서 큰 편차가 드러났으며, 모델들은 사실을 날조하기보다 실제이지만 맥락적으로 부적절한 단계를 흔히 선택한다. 이렇게 매핑되었으나 잘못된 조언이 지닌 고유한 그럴듯함과 권위는 그라운딩 시스템의 어려운 취약점을 드러낸다.

arXiv:2606.12767v1cs.AI

절차적 추론을 위한 평가 데이터셋 구축: 자연스러움, 그라운딩, 멀티홉 커버리지의 균형

Constructing Evaluation Datasets for Procedural Reasoning: Balancing Naturalness, Grounding, and Multi-Hop Coverage

TMK 기반 질문 생성 전략과 그라운딩(grounding) 검증 프레임워크를 통해 절차적 추론(procedural reasoning) 평가 데이터셋을 구성하고 분석한 결과, 엄격한 TMK 생성 방식이 가장 높은 품질을 보였습니다. 자연스러운 표현이 반드시 그라운딩을 보장하지 않으므로 명시적인 표현 인식 검증이 필요함을 확인했습니다.