PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.23449v2cs.AI

임베딩을 넘어서: 바이너리 코드 유사성을 위한 해석 가능한 특징 추출

Beyond Embeddings: Interpretable Feature Extraction for Binary Code Similarity

바이너리 코드 유사성 탐지는 리버스 엔지니어링의 핵심 과제입니다. 이 기술은 서로 다른 컨텍스트에서 의미적으로 유사한 코드를 식별함으로써 악성코드 분석과 취약점 발견을 지원합니다. 현대적 방법론은 수동으로 설계된 특징에서 벡터 표현으로 발전해 왔습니다. 수작업 통계(예: 연산 비율)는 해석 가능하지만 얕고 일반화에 실패합니다. 임베딩 기반 방법은 강건한 교차 환경 표현을 학습함으로써 이를 극복하지만, 해당 표현은 불투명한 벡터여서 신속한 검증을 방해합니다. 또한 고차원 최근접 이웃 탐색이 정밀도를 낮추는 근사를 필요로 하기 때문에 확장성-정확도 트레이드오프 문제를 안고 있습니다. 현재의 접근법들은 해석 가능성, 일반화 가능성, 확장성 사이에서 타협을 강요합니다. 우리는 언어 모델 기반 에이전트를 활용해 어셈블리 코드의 구조화된 추론 분석을 수행하고 입출력 타입, 부작용, 주목할 만한 상수, 알고리즘적 의도 등의 특징을 생성함으로써 이러한 격차를 해소합니다. 수작업 특징과 달리 더 풍부하고 적응적이며, 임베딩과 달리 사람이 읽을 수 있고 유지 관리가 가능하며 역색인 또는 관계형 인덱스로 직접 검색할 수 있습니다. 어떠한 매칭 학습 없이도 우리의 방법은 교차 아키텍처 및 교차 최적화 과제에서 recall@1 기준 각각 42%와 62%를 달성하며, 학습을 수행한 임베딩 방법(39%와 34%)과 비교 가능한 수준입니다. 임베딩과 결합하면 최신 기술(state-of-the-art)을 크게 능가하며, 정확도와 확장성 및 해석 가능성이 공존할 수 있음을 입증합니다.

arXiv:2508.20134v2cs.AI

QAgent: 자율적 OpenQASM 프로그래밍을 위한 대규모 언어 모델 기반 다중 에이전트 시스템

QAgent: An LLM-based Multi-Agent System for Autonomous OpenQASM programming

OpenQASM 수준에서의 양자 회로 프로그래밍은 하드웨어 인식 최적화와 잡음이 있는 중간 규모 양자(NISQ) 장치에서의 신뢰할 수 있는 실행을 달성하는 데 필수적이지만, 도메인 특화 계획 수립, 반복적인 코드 합성, 저수준 캘리브레이션의 필요성으로 인해 여전히 어렵다는 과제가 남아 있다. 본 논문에서는 엔드-투-엔드 OpenQASM 코드 생성을 위한 최초의 자율적 다중 에이전트 프레임워크인 QAgent를 제시한다. QAgent는 스키마 인식 태스크 계획 수립, 예제 및 도구 기반 코드 합성, 하드웨어 인식 캘리브레이션을 통합된 계획-합성-캘리브레이션 워크플로우 내에 통합한다. 이 시스템은 검색-증강 생성(RAG)을 활용하여 구조화된 커널 지식, 예제, 백엔드 제약 조건에 접근하고, 정확성 보장을 위해 반복적인 실행 피드백과 결합된 조율된 다중 에이전트 추론을 사용한다. 우리는 5개의 대규모 언어 모델(LLM)에 걸쳐 12개의 대표적인 양자 커널과 그 조합에 대해 QAgent를 평가한다. 결과에 따르면 QAgent는 단일 커널 태스크에서 Pass@1 정확도를 47-70% 향상시키고, 대형 모델의 다중 커널 워크플로우에서 88% 이상의 정확도를 달성하여 기존 기준선을 크게 상회한다. 또한, 현실적인 하드웨어 주파수 드리프트 환경에서 QAgent는 자동화된 캘리브레이션을 통해 거의 완전한 실행 충실도를 유지하는 반면, SDK 기반 LLM 방법은 상당한 성능 저하를 겪는다. 이러한 결과는 계획 수립, 합성, 캘리브레이션의 통합이 신뢰할 수 있는 양자 프로그램 생성에 핵심적임을 보여준다. QAgent의 구현 코드는 https://github.com/fuzhenxiao/QAgent 에서 오픈소스로 공개되어 있다.

arXiv:2506.01692v2cs.AI

RLHF에서 인간 신념에 관한 기술적·규범적 이론

A Descriptive and Normative Theory of Human Beliefs in RLHF

인간 피드백 강화학습(RLHF)에서 인간의 선호는 일반적으로 인간의 보상(reward) 함수 또는 그에 대응하는 최적 상태-행동 가치의 함수로 모델링된다. 본 연구에서는 학습 중인 에이전트(agent)의 능력에 대한 인간의 신념 또한 선호 생성에 핵심적인 역할을 한다고 제안한다. 우리는 이 가설과 관련하여 기술적(descriptive) 질문과 규범적(normative) 질문 각각 하나씩, 총 두 가지 질문을 검토한다: 레이블러의 에이전트 능력에 대한 신념이 그들이 제공하는 선호에 영향을 미치는가? 그리고 에이전트에 대해 인간이 가져야 할 이상적인 신념의 집합과 그에 따른 선호는 무엇인가? 우리는 인간의 신념을 통합하는 새로운 선호 모델(preference model)을 제안하고, 인간의 신념과 이상적인 신념 집합 간의 불일치를 기반으로 최종 학습된 정책의 오류를 한정하는 규범적 이론을 제시한다. 이후 인간 대상 연구를 통해 에이전트 능력에 대한 신념이 실제로 선호에 유의미한 영향을 미치며 간단한 개입을 통해 조정될 수 있음을 확인한다. 또한 합성 실험을 통해 인간 선호 레이블러가 에이전트의 최적성을 가정하는 것이 종종 차선책임을 실증적으로 보인다. 종합하면, 이러한 결과들은 인간의 신념과 에이전트 능력 간의 불일치를 줄이는 것이 더 높은 성능의 RLHF로 이어질 수 있음을 이론적·실증적으로 보여주며, RLHF 실무자를 위한 새로운 모범 사례를 제시한다.

arXiv:2505.14300v2cs.AI

블랙박스 난독화를 넘어서: 화이트박스 모니터의 메커니즘 분석과 방어

Beyond Black-Box Obfuscation: Mechanistic Analysis and Defense of White-Box Monitors

화이트박스 모니터링은 대규모 언어 모델(LLM)이 일상 운영에 배포됨에 따라 안전한 모델 행동을 보장하기 위한 감사 도구로 점점 더 많이 채택되고 있다. 그러나 화이트박스 모니터는 우회될 수 있으며, 이러한 회피의 기저 메커니즘은 체계적으로 규명되지 않았고 원칙에 입각한 방어 방법도 제안되지 않은 상태다. 본 연구는 두 가지 과제를 모두 다룬다. 통제된 레드팀 테스팅 실험을 통해 두 가지 주요 회피 전략이 드러났다: 기하학적 이동(geometric shifting)—정보가 선형 표현 부분공간과 비선형 표현 부분공간 사이를 체계적으로 이동하는 현상—과 공분산 조작(covariance manipulation)이다. 이러한 메커니즘은 단일 탐지기 방식의 실패를 설명하는데, 정보가 개별 탐지기가 접근할 수 없는 부분공간으로 이동하기 때문이다. 모델이 평가를 인식하게 되고 있다는 증거가 늘어남에 따라 이 문제는 시급성을 더하고 있으며, 목표가 잘못 정렬된 모델이 이러한 취약점을 악용해 배포 중 모니터링을 회피하는 것이 가능해진다. 이에 대응하여 \textsc{SafetyNet}이 원칙에 입각한 앙상블(ensemble)로 도입된다. 이 앙상블은 이중 목적을 지닌다: 우리의 메커니즘적 발견이 실제이며 실행 가능함을 추가적으로 실증적으로 검증하고, 견고한 잠재 공간(latent-space) 모니터링에 관한 향후 연구를 위한 구체적인 출발점을 제공한다. 본 연구는 MAD 및 Anthropic Sleeper Agent 벤치마크에서 다섯 가지 모델 패밀리에 대한 실험을 수행하였으며, SafetyNet은 Beatrix와 CROW를 능가하여 약 100% AUROC 점수를 달성하였다. 코드는 https://github.com/MaheepChaudhary/eval-aware-evasion 에서 확인할 수 있다.

arXiv:2409.05559v3cs.AI

IFAR: LLM을 활용한 다관점·다단계 인과 발견

IFAR: Multi-Perspective and Multi-Level Causal Discovery with LLMs

대규모 언어 모델(LLM)은 빠르게 발전해 왔으며, 그 추론 능력은 활발한 연구 주제가 되었다. 그러나 귀추적 추론(abductive reasoning)에 대한 탐구는 여전히 제한적이다. 원인의 다관점성과 다단계성은 귀추적 추론의 핵심 난제 중 하나로, 기존 방법으로는 이를 충분히 해결하지 못하고 있다. 우리는 오염 및 질병의 원인 추적을 위해 설계된 전문 데이터셋 DeepAbduction을 구축하여 이 분야의 데이터셋 부족 문제를 해소하였다. 또한 LLM의 다관점·다단계 귀추적 추론을 위한 역방향-순방향 귀추적 추론(Inverse-Forward Abductive Reasoning, IFAR) 프레임워크를 제안한다. IFAR는 제로샷(zero-shot) 방식으로, 일반화된 역방향 추론과 관계별 순방향 검증을 결합한다. 실험 결과, IFAR는 주요 LLM 환경에서 다른 방법들에 비해 F1 점수가 약 40% 향상되었으며, 재현율과 정밀도 간의 균형을 유지하였다. 더불어 IFAR는 비추론 LLM의 성능을 추론 특화 학습을 거친 LLM 이상으로 향상시키며, 후자에 적용하였을 때도 효과를 발휘한다. 코드는 논문 게재 승인 후 공개될 예정이다.

arXiv:2607.09657v1cs.CV

언어 지능을 위한 확장 가능한 비주얼 사전학습

Scalable Visual Pretraining for Language Intelligence

대규모 파운데이션 모델의 빠른 발전은 주로 대규모 텍스트 코퍼스에 대한 사전학습을 통해 이루어져 왔다. 그러나 많은 형태의 지식은 시각적 표현을 통해 전달되며, 그림, 조판된 수식, 페이지 레이아웃에는 텍스트만으로는 충실하거나 완전하게 포착할 수 없는 풍부한 정보가 담겨 있다. 그럼에도 불구하고 현재의 사전학습 방식은 문서나 웹 페이지와 같이 시각적으로 풍부한 소스를 평문 텍스트로 변환함으로써 이러한 시각적 단서를 버리고 언어 지능을 학습한다. 본 논문은 언어 모델이 반드시 텍스트 전용 표현으로 학습되어야 한다는 기본 가정에 이의를 제기하고, 비주얼 사전학습(Visual Pretraining)이 파운데이션 모델 지능을 위한 확장 가능한 학습 방식임을 보인다. 이를 위해 텍스트 추출 없이 시각적 문서를 직접 활용하는 비지도 비주얼 사전학습 패러다임에 대한 체계적인 연구를 수행한다. 여러 백본과 벤치마크에 걸쳐, 동일한 기반 코퍼스에 대한 비주얼 사전학습은 텍스트 전용 사전학습을 일관되게 능가하며, 확장 가능한 언어 지능으로 나아가는 효율적인 경로를 제공한다.

arXiv:2607.09520v1cs.CV

보는 것은 공짜, 말하는 것은 그렇지 않다: 엣지 비전-언어 모델 추론의 진정한 에너지 병목 규명

Seeing is Free, Speaking is Not: Uncovering the True Energy Bottleneck in Edge VLM Inference

비전-언어 모델(VLM)은 구현된 AI의 지각적 근간이지만, 엣지 하드웨어에서의 에너지 소비는 아직 충분히 이해되지 않고 있다. 기존의 효율화 연구들은 주로 시각 토큰 수 감소에 집중하며, 암묵적으로 시각 처리를 주요 에너지 비용으로 간주해 왔다. 본 연구는 온디바이스 VLM 추론에 대한 최초의 체계적 에너지 프로파일링을 통해 이 암묵적 가정을 뒤집는다. 프로파일링은 세 가지 아키텍처 계열에 걸친 다섯 개 모델, 네 가지 입력 해상도, 두 가지 하드웨어 플랫폼(NVIDIA RTX 3070 및 Jetson Orin NX)을 대상으로 수행되었다. 분석을 통해 세 가지 발견을 도출하였다. 첫째, 평균 추론 전력은 모델 고유의 상수로, 입력 해상도·이미지 복잡도·프롬프트 유형에 무관하게 전 조건에서 5% 미만의 변동을 보인다. 이는 입력에 따른 모든 에너지 변동이 전력 소비량의 차이가 아닌 추론 시간의 차이에서 비롯됨을 의미한다. 둘째, 프리필(prefill)과 디코딩(decode) 간의 연산 집약적·메모리 집약적 비대칭성으로 인해 출력 토큰 하나의 벽시계 시간(wall-clock time) 비용이 입력 토큰 하나보다 11배에서 39배 더 높으며, 이로 인해 출력 토큰 수가 지연 시간과 에너지 모두의 주요 결정 요인이 된다. 셋째, 이미지 내 객체 수로 측정한 이미지 복잡도는 동일한 해상도에서 최대 4.1배의 에너지 차이를 유발한다. 이 변동은 시각 처리 비용의 증가가 아닌 출력 길이의 차이에서 발생한다. 이러한 발견들은 시각 토큰 가지치기의 근본적인 한계를 드러낸다. 고정 토큰 모델에서는 모든 시각 토큰을 제거하더라도 총 에너지의 최대 10%만 절감된다. 10억에서 80억 파라미터에 이르는 모델에 걸쳐, 출력 길이를 제어하면 총 에너지의 최대 97%를 절감할 수 있으며, 디코딩의 에너지 지배력은 모델 규모가 커질수록 강해진다. 요컨대, 엣지 VLM 추론에서 진정한 에너지 병목은 모델이 무엇을 보는가가 아니라 얼마나 많이 말하는가에 있다.

arXiv:2607.09104v1cs.CV

대규모 언어 모델과 그래프 합성곱 네트워크를 결합한 준지도 이미지 분류

Integrating Large Language Models and Graph Convolutional Networks for Semi-Supervised Image Classification

이미지 데이터의 증가하는 가용성이 상당한 발전을 이끌어왔지만, 데이터셋 레이블링은 여전히 비용이 많이 들고 시간 소모적이다. 이에 따라 레이블된 데이터와 레이블되지 않은 데이터 모두에서 학습하는 그래프 합성곱 네트워크(GCN)와 같은 준지도 방식이 유망한 해결책으로 부상하고 있다. GCN을 이미지 분류에 적용할 때의 주요 과제 중 하나는 그래프 구성이다. 인용 네트워크나 유사한 도메인과 달리, 이미지는 일반적으로 사전 정의된 구조적 표현을 가지지 않기 때문이다. 시각 데이터의 경우, 대부분의 연구는 사전학습된 심층 학습 백본에서 추출한 특징 벡터 간의 유사도를 기반으로 그래프를 구성하며, 일반적으로 kNN 또는 상호 kNN 알고리즘을 활용한다. 대규모 언어 모델(LLM)이 고수준 의미론을 포착하는 데 뛰어난 능력을 보여주었음에도 불구하고, 이미지 분류를 위한 GCN과의 통합은 아직 충분히 탐구되지 않았다. 이 공백을 채우고자, 본 접근법은 비전-언어 모델(VLM)을 활용하여 이미지의 텍스트 설명을 생성하고, 이를 LLM이 처리하여 연결된 이미지 간의 의미론적 유사도 점수를 추정한다. 이 점수는 kNN 및 상호 kNN 그래프에서 엣지를 가지치기하는 데 활용되어 의미론적으로 무관한 이웃을 필터링한다. 실험 결과, 그래프 정제를 위해 LLM을 활용하면 특히 kNN 그래프와 일부 백본에서 분류 정확도가 향상될 수 있음이 밝혀졌다. 소스 코드는 http://gcnllm.lucasvalem.com 에서 공개적으로 이용 가능하다.

arXiv:2607.09068v1cs.CV

OmniMapBench: 다양한 지도 문서에 대한 시각 중심 추론 벤치마킹

OmniMapBench: Benchmarking Visual-Centric Reasoning on Diverse Map Documents

대규모 시각-언어 모델(LVLM)의 최근 발전은 복잡하고 시각적으로 기반한 추론을 위한 견고한 벤치마크를 필요로 한다. 다수의 문서 이해 벤치마크에서 나타나는 중요한 한계가 확인되었는데, 시각적 콘텐츠가 흔히 텍스트로 환원 가능하여 진정한 시각적 그라운딩 없이도 높은 성능을 달성할 수 있다는 점이다. 이러한 한계를 해소하기 위해 지도 문서에 대한 시각 중심 추론을 촉진하는 OmniMapBench를 제안한다. 본 벤치마크는 9개 범주의 1,603개 지도 문서에 걸쳐 수동으로 주석이 부여된 2,096개의 질의응답 쌍으로 구성된다. 지각(perception)부터 다단계 시각적 추론에 이르는 계층적 능력을 탐색하도록 설계되었다. 벤치마크 특성을 정량화하기 위해 간단하면서도 효과적인 벤치마크 수준의 지표인 시각 의존 지수(Visual Dependency Index, VDI)를 제안하며, 이는 이미지를 질문 비의존적 설명으로 대체할 때 발생하는 정확도 하락으로 정의된다. OmniMapBench는 기존 벤치마크보다 높은 VDI를 나타내며, 이는 환원 불가능한 시각적 추론에 집중한다는 점을 정량적으로 검증한다. OmniMapBench에서 25개의 주요 LVLM에 대한 종합적인 평가를 수행한 결과, 최고 성능 모델이 75.03%의 정확도에 그치는 상당한 성능 격차가 관찰되었다. 이 결과는 OmniMapBench가 현재 LVLM에 제기하는 도전의 난이도를 강조한다. 본 연구는 LVLM의 문서 이해를 위한 시각 중심 추론의 발전을 촉진하고자 한다. 데이터셋과 코드는 https://github.com/SIGMME/OmniMapBench에서 공개적으로 이용 가능하다.

arXiv:2607.09029v1cs.CV

MOSAIC: 효율적인 이종 비전-언어 모델을 위한 적응형 층간 구성 탐색

MOSAIC: Adaptive Inter-layer Composition for Efficient Heterogeneous Vision-Language Models

비전-언어 모델(VLM)은 멀티미디어 데이터를 처리하기 위해 동종 Transformer를 활용하여 성공을 거두었다. 최근 연구들은 선형 어텐션과 같은 효율적인 메커니즘을 교차 배치한 이종 구조가 동종 설계 대비 성능과 추론 지연 시간 모두를 개선함을 보여준다. 그러나 이러한 연구들은 수작업으로 설계된 정적 혼합 패턴에 의존하며, 이는 최적이 아니고 특정 하드웨어에 적응하기 어렵다. 이 격차를 해소하기 위해 우리는 동종 모델을 최적화된 이종 아키텍처로 자동 변환하는 하드웨어 인식 탐색 방법인 적응형 층간 구성을 위한 다목적 탐색(MOSAIC)을 제안한다. MOSAIC은 선형, 희소(sparse), 저랭크(low-rank) 연산자를 포함한 다양한 효율성 메커니즘을 통합된 탐색 공간으로 구성한다. 선택 문제를 다목적 혼합 정수 계획법(MIP) 문제로 정식화함으로써, 본 방법은 엄격한 하드웨어 지연 시간 제약 하에서 다운스트림 성능을 극대화하는 최적 구성을 도출한다. 구조적 전환으로 인한 성능 저하를 완화하기 위해, 내부 표현을 안정화하는 전역 오프-정책 지식 증류와 지식 확장을 위한 235B 오라클 및 분포 안정성을 위한 원본 4B 교사 모델을 활용하는 듀얼-티처 온-정책 지식 증류로 구성된 2단계 매개변수 복원 과정을 도입한다. 우리는 Qwen3-VL-4B-Instruct에서 파생된 MOSAIC-4B를 통해 MOSAIC을 검증한다. 결과는 MOSAIC-4B가 원본 학습 비용의 2% 미만을 사용하면서 여러 벤치마크에서 기준선 성능에 필적함을 보여준다. 나아가 추론 효율성을 크게 향상시켜 프리필링(prefilling) 1.76배, 디코딩(decoding) 2.54배의 속도 향상을 달성한다.

arXiv:2607.09008v1cs.CV

C-GAP: 클래스 인식 및 온라인 프롬프팅을 통한 불균형 클래스에서의 비전-언어 모델 성능 향상

C-GAP: Class-Aware and Online Prompting Improves Vision-Language Models on Imbalanced Classes

안전-위험 인식 시스템은 소규모 레이블 공간 내에서 희귀 객체 클래스를 안정적으로 탐지해야 하는데, 이는 수백 개의 클래스와 밀집 어노테이션을 위해 설계된 롱테일 탐지 방법으로는 근본적으로 해결되지 않는 설정이다. 개방형 어휘(open-vocabulary) 탐지기는 추론 시 자연어 쿼리를 활용하여 프롬프트 품질이 탐지 성능의 핵심 변수가 되므로 유망한 대안을 제시한다. 우리는 이 특성을 클래스 불균형 해결에 활용한다. 모델을 재학습하거나 추가 어노테이션을 수집하는 대신, 동결된 탐지기에 입력되는 언어 프롬프트를 반복적으로 정제함으로써 소수 클래스 탐지를 향상시킬 수 있는지를 탐구한다. 우리는 탐지기에 무관하고 어노테이션이 필요 없는 두 단계 프레임워크인 C-GAP(Caption-Guided Augmentation and Prompting)을 제안한다. 먼저, 이미지별 장면 설명과 클래스 수량 컨텍스트를 결합한 복합 캡션 기준선을 수립하며, 이것이 여러 개방형 어휘 아키텍처와 벤치마크에서 장면 설명만 사용하거나 클래스 수량만 사용하는 프롬프트보다 우수함을 보인다. 두 번째로, 대규모 언어 모델(LLM)이 각 이미지의 캡션을 개별적으로 반복 정제하며, 복합 기준선에서 도출된 동적 임곗값에 대한 소수 클래스 [email omitted] 기준으로 시도 결과를 수용, 잠정적, 재생성 버킷으로 분류한다. 충분한 [email omitted] 향상이 달성되면 정제는 조기 종료된다. 어떤 단계에서도 탐지기 가중치는 업데이트되지 않는다. 실험 결과 C-GAP은 기준선 대비 소수 클래스 평균 정밀도를 최대 53%까지 향상시킨다. COCO에서 C-GAP은 복합 기준선 대비 소수 클래스 [email omitted] 약 81% 상대적으로 향상시킨다(17.69 → 32.09). 실험을 통해 복합 캡션이 효과적인 정제의 핵심 토대임을 확인하였다. 장면 설명만 또는 클래스 수량만 사용한 프롬프트를 정제 시작점으로 삼으면 수익이 감소하며, 이는 C-GAP의 두 단계 모두가 필수적인 기여임을 뒷받침한다.

arXiv:2607.08798v1cs.GR

GReFEM: 물리 기반 3D 메시 정제를 위한 제로샷 시맨틱 어시스턴트로서의 멀티모달 LLM

GReFEM: Multimodal LLMs as Zero-Shot Semantic Assistants for Physics-Guided 3D Mesh Refinement

적응형 체적 유한 요소 메싱(adaptive volumetric finite element meshing)은 컴퓨터 지원 공학 및 해석에서 핵심적인 단계로, 주어진 문제의 계산 비용을 결정한다. 전통적으로 이 과정은 반복적인 PDE 솔버나 대규모 시뮬레이션 데이터로 학습된 고도로 지도된 데이터 기반 대리 모델을 필요로 한다. 멀티모달 대규모 언어 모델(MLLM)이 2D 시각 과제에서 뛰어난 성능을 보이지만, 기하학적 이해와 물리학에 기반하여 영역을 의미적으로 그라운딩하는 제로샷 능력은 여전히 열린 질문으로 남아 있다. 본 연구는 중요한 질문을 탐구한다: 기성 MLLM의 고수준 시맨틱 이해가 유한 요소 메시 정제를 위한 실용적인 제로샷 기하학적 프록시로 활용될 수 있는가? 이를 조사하기 위해, 물리 기반 텍스트 프롬프트를 바탕으로 응력이 집중되는 영역을 시각적으로 국소화하는 데 MLLM을 활용하는 프레임워크인 GReFEM(Geometric Reasoning Enhanced Multimodal LLMs for Finite Element Meshing)을 제안한다. 2D MLLM 사전학습과 3D 기하 구조 사이의 간극을 메우기 위해, 핵심 기하학적 특징의 관측 가능성을 극대화하는 뷰 선택 모듈인 orthoViews를 도입한다. 우리는 다양한 CAD 기하 구조, 하중 조건, 최신 MLLM에 걸쳐 심층적인 실증 평가를 수행하였으며, 엄격하게 일치된 정제 예산 하에서 조정된 기하학적 휴리스틱과 비교하였다. 실험 결과, MLLM은 복잡한 공간-물리적 지시를 정확히 따르는 견고한 제로샷 능력을 보여주며, 맹목적 휴리스틱보다 높은 정밀도로 응력 관련 특징을 분리하는 것으로 나타났다. 물리적 그라운딩에서 MLLM의 성공 사례와 현재 한계를 모두 분석함으로써, 본 연구는 자동화된 시뮬레이션 워크플로우에서 시맨틱 어시스턴트로서의 파운데이션 모델의 최전선을 정의한다.

arXiv:2607.07361v2cs.CV

BUS: 멀티모달 추론을 위한 역방향 예측 기반 뇌 영감 비지도 자기성찰

BUS: Brain-Inspired Unsupervised Self-Reflection via Backward Prediction for Multimodal Reasoning

현재의 비전-언어 모델(VLM)은 일관되고 세밀한 추론을 요구하는 복잡한 시각적 태스크를 처리하는 데 어려움을 겪는 경우가 많다. 최근 방법들은 자기성찰적 추론, 즉 생성된 추론을 검토하고 개선하는 능력을 모델에 부여하기 위한 학습을 목표로 하지만, 대량의 주석 데이터를 필요로 하며 테스트 시점에서 명시적인 성찰 행동이 결여되어 있다. 이와 달리 인간은 역방향 예측, 즉 주어진 미래 상태에 앞서 현재 상태가 어떠했을지를 예측하는 메커니즘을 통해 명시적이고 효율적인 자기성찰을 수행한다. 본 연구는 신경과학에서 영감을 받아 이러한 과제를 해결하기 위한 새로운 방법을 제안한다. 우선 주류 VLM이 인간의 뇌와 유사하게 역방향 예측을 수행할 수 있다는 현상을 관찰하고 분석한다. 이를 바탕으로 복잡한 시각적 태스크에서 성찰적 추론을 강화하기 위해 역방향 예측 능력을 활용하는 레이블 없는 학습 프레임워크인 뇌 영감 비지도 자기성찰(BUS)을 제안한다. BUS는 역방향 예측을 기반으로 성찰적 추론의 자기검증을 가능하게 하여 비지도 조건에서 명시적인 학습 신호를 제공한다. 이를 통해 BUS는 주석 데이터에 대한 의존성을 제거하면서도 추론 성능을 향상시킨다. 모델에 독립적인 플러그인으로 설계된 본 프레임워크는 지도 미세조정(SFT) 및 강화학습(RL)과 같은 널리 사용되는 미세조정 방법과 호환된다. Qwen3-VL-8B를 초기 모델로 사용하여 HR-Bench-8K (+8.0%), HR-Bench-4K (+7.7%), V* Bench (+6.3%), MME-RealWorld-Lite (+5.8%)에서 성능 향상을 달성하였으며, 이는 역방향 예측이 성찰적 추론 발전의 핵심임을 입증한다.

arXiv:2605.31271v2cs.CV

DriveMA: 검증 가능한 메타-액션으로 구동하는 드라이빙 비전-언어-액션 모델

DriveMA: Driving Vision-Language-Action Models with verifiable Meta-Actions

드라이빙 비전-언어-액션 모델(Driving VLA)은 언어를 활용하여 엔드-투-엔드 플래닝을 개선하는 것을 목표로 하지만, 언어-액션 간극이 이러한 가능성을 제한한다. 본 논문에서는 검증 가능한 메타-액션(meta-action) 기반의 드라이빙 VLA 프레임워크인 DriveMA를 제안한다. 메타-액션은 미래의 자아 운동(ego motion)을 압축된 언어 도메인 의도(intention)로 요약하며, 궤적 기반 어노테이션 파이프라인을 통해 전문가 궤적으로부터 구성되고, 규칙 기반 프로젝션을 통해 생성된 궤적에 대해 검증될 수 있다. DriveMA는 이러한 검증 가능성을 액션 중심의 지도 학습 및 데이터 효율적인 턴 수준 크레딧 할당 강화학습 프레임워크에 활용하여, 밀집 보상과 정밀한 크레딧 할당을 통해 고수준 의사결정과 저수준 궤적 플래닝을 명시적으로 정렬한다. DriveMA는 Waymo Open Dataset 비전 기반 E2E 드라이빙에서 새로운 최고 성능을 달성하여, 2B 모델로 Rater Feedback Score 8.060을 기록하고 4B 모델로 이를 8.079까지 향상시켰으며, NAVSIM에서도 경쟁력 있는 클로즈드-루프 플래닝 성능을 획득하였다. 이러한 결과는 단순한 메타-액션 인터페이스도 검증 가능하게 만들고 언어-액션 정렬에 최적화되면 최고 수준의 플래닝을 달성할 수 있음을 보여준다. 코드, 데이터, 모델은 https://tsinghua-mars-lab.github.io/DriveMA 에서 공개되어 있다.

arXiv:2604.20730v3cs.CV

Render-in-the-Loop: 시각적 자기 피드백을 통한 벡터 그래픽 생성

Render-in-the-Loop: Vector Graphics Generation via Visual Self-Feedback

다중모달 대규모 언어 모델(MLLM)은 직접적인 코드 합성을 통해 확장 가능한 벡터 그래픽(SVG)을 생성하는 데 유망한 능력을 보여왔다. 그러나 기존 패러다임은 일반적으로 개방형 루프(open-loop) 방식의 "눈 감고 그리기" 접근법을 채택하여, 중간 시각적 결과를 인식하지 않고 기호적 코드 시퀀스를 생성한다. 이 방법론은 MLLM 비전 인코더에 내재된 강력한 시각적 사전 지식을 심각하게 과소활용하며, SVG 생성을 통합된 시각-공간적 작업이 아닌 분리된 텍스트 시퀀스 모델링 작업으로 취급한다. 결과적으로 모델은 부분적 캔버스 상태와 암묵적 폐색 관계를 추론하는 데 어려움을 겪는데, 이는 시각적으로는 명시적이지만 텍스트적으로는 모호하다. 이 격차를 해소하기 위해, 우리는 SVG 합성을 단계적이고 시각적 문맥 인식 프로세스로 재정의하는 새로운 생성 패러다임인 Render-in-the-Loop를 제안한다. 중간 코드 상태를 누적 캔버스로 렌더링함으로써 모델은 각 단계에서 진화하는 시각적 컨텍스트를 명시적으로 관찰하고, 실시간 피드백을 활용하여 이후 생성을 안내한다. 그러나 우리는 이 시각적 루프를 기존 모델에 단순하게 적용하는 것이 증분적 시각-코드 매핑을 활용하는 능력의 부재로 인해 최적이 아님을 보인다. 이를 해결하기 위해, 먼저 세밀한 경로 분해(fine-grained path decomposition)를 활용하여 고밀도 다중 단계 시각적 궤적을 구성하고, 중간 시각적 상태를 조건으로 하는 다음 기본 요소(primitive) 생성을 위한 시각적 자기 피드백(VSF, Visual Self-Feedback) 학습 전략을 도입한다. 나아가, 퇴화되고 중복된 기본 요소를 효과적으로 필터링하는 Render-and-Verify(RaV) 추론 메커니즘을 제안한다. 다중모달 기반 모델에 적용된 우리의 프레임워크는 표준 MMSVGBench에서 강력한 오픈 가중치(open-weight) 기준 모델들을 능가한다. 이 결과는 텍스트-to-SVG 및 이미지-to-SVG 작업 모두에서 Render-in-the-Loop 패러다임의 뛰어난 데이터 효율성과 일반화 능력을 부각시킨다.

arXiv:2603.29943v2cs.CV

열거와 계수를 통한 멀티모달 LLM의 장편 비디오 정량적 추론 진단

Diagnosing Long-Video Quantitative Reasoning in Multimodal LLMs via Enumeration and Counting

최종 답변 방식의 비디오 QA는 모델이 올바른 숫자를 예측하는지 여부는 확인할 수 있지만, 어떤 인스턴스를 계수했는지, 근거 증거가 언제 등장하는지, 또는 왜 실패했는지는 파악할 수 없다. 우리는 멀티모달 대규모 언어 모델(MLLM)의 장편 비디오 정량적 추론을 세 가지 연결된 능력을 통해 진단한다: 쿼리 관련 인스턴스 열거, 근거 증거의 시간적 그라운딩(temporal grounding), 그리고 증거를 계수로 집계하는 능력. 이 분석을 지원하기 위해, 우리는 EC-Bench를 구축한다. EC-Bench는 30분 이상의 미편집 비디오 152개, 여섯 가지 추론 범주에 걸친 1,699개의 개방형 쿼리, 그리고 인간이 검증한 증거 구간을 포함하는 증거 주석 평가 스위트이다. 우리는 타임스탬프가 부여된 시각적 프레임과 전사본을 활용하여 22개의 오픈소스 및 독점 MLLM을 평가한다. 최고 평균 점수는 열거 F1 29.98%, 계수 정확도 23.74%에 그치는 반면, 인간 성능은 각각 78.57%와 82.97%에 달한다. 우리의 분석은 계수 오류가 단순한 산술 실수인 경우가 드물다는 것을 보여준다: 열거 F1은 계수 정확도와 강하게 연관되어 있으며, 시간적 그라운딩 품질은 낮은 계수 오류와 연관되고, 근거 증거가 더 분산될수록 계수 정확도가 낮아진다. 이러한 발견은 장편 비디오 계수를 단순한 수치 예측이 아닌, 비디오 전반에 걸친 증거 검색, 시간적 그라운딩, 중복 제거, 그리고 집계 문제로 재정의한다.

arXiv:2607.08791v1cs.NE

다목적 베이지안 최적화 알고리즘의 LLM 기반 진화적 생성

LLM-Driven Evolutionary Generation of Multi-Objective Bayesian Optimization Algorithms

효과적인 다목적 베이지안 최적화(MOBO) 알고리즘을 설계하려면 문제에 따라 최적 구성이 달라지는 수많은 상호의존적 설계 선택들을 균형 있게 다루어야 하며, 일반적으로 깊은 전문 지식을 요구한다. 본 연구는 LLaMEA 프레임워크를 MOBO로 확장하여, 대규모 언어 모델(LLM)을 진화 전략 내의 변이 및 교차 연산자로 활용함으로써 완전한 알고리즘 구현을 생성하고, SMAC 하이퍼파라미터 최적화를 진화 루프에 통합한다. 총 9회의 진화 실행에 걸쳐 약 900개의 알고리즘을 생성하였으며, 12개의 합성 문제(ZDT, DTLZ, WFG)와 3개의 실세계 공학 문제(RE)에서 벤치마크를 수행하였고, BoFire의 qParEGO 구현을 최신 베이지안 최적화 기준선으로 사용하였다. 합성 문제 세트에서 가장 우수한 생성 알고리즘은 최고 평균 정규화 하이퍼볼륨(0.971, qParEGO의 0.869 대비)을 달성하면서 벽시계 시간을 약 60배 단축하였다. 사후 분석을 포함한 Friedman 검정 결과 두 알고리즘은 동일한 최상위 그룹에 속하였으며, 문제별 검정에서 생성 알고리즘은 12개 문제 중 7개에서 qParEGO보다 유의하게 우수하였고 열등한 경우는 없었다. 즉, 최신 수준의 정확도를 한 자릿수 낮은 비용으로 달성하였다. 학습에 사용되지 않은 3개의 실세계 공학 문제에서도 생성 알고리즘은 최고 평균 정규화 하이퍼볼륨(0.985, qParEGO의 0.971 대비)을 달성하였으며—세 문제 중 두 문제에서 qParEGO보다 유의하게 우수—벽시계 비용은 약 3.4배 낮아, 합성 환경을 넘어 성능 향상이 전이됨을 확인하였다. 따라서 LLM 기반 진화적 탐색은 수동 설계로는 달성하기 어려운 파레토 효율적 트레이드오프를 실현하는 알고리즘 설계를 발견할 수 있다.

arXiv:2602.03466v5quant-ph

Quantum Circuit Generation via test-time learning with large language models

에피소딕 메모리, 점수 차이 피드백, 최적 지점 재시작 샘플링을 결합한 메모리 증강 테스트 시간 최적화 프레임워크를 제안하여 대규모 언어 모델(LLM)을 블랙박스 양자 회로 합성 최적화기로 활용한다. 25큐비트 회로 합성 태스크에서 45회의 오라클 호출 내에 Meyer-Wallach 전역 얽힘 측도 Q(ψ)=1.0을 달성하며, 동일 예산의 무작위 힐 클라이밍 기준선(Q≲0.29)을 크게 상회하는 샘플 효율성을 입증했다.

arXiv:2508.11847v4stat.ML

소수의 선호도 데이터 제거만으로 상위 대규모 언어 모델 순위가 바뀔 수 있다

Dropping Just a Handful of Preferences Can Change Top Large Language Model Rankings

Chatbot Arena와 같은 주요 대규모 언어 모델(LLM) 순위 플랫폼이 Bradley–Terry 모델 기반 랭킹 시스템에서 극소량의 선호도 데이터 제거에 얼마나 취약한지를 평가하는 효율적인 방법(AMIP 기반)을 제안하며, 실험 결과 전체 데이터의 단 0.003%만 제거해도 Chatbot Arena 최상위 모델이 바뀔 수 있음을 보였다. 전문 어노테이터를 활용한 MT-bench 기반 순위는 크라우드소싱 방식 대비 현저히 견고하며, 인간 평가와 LLM-as-a-judge 평가 간 체계적인 민감도 차이는 관찰되지 않았다.

arXiv:2607.08768v1cs.CL

UniClawBench: 실세계 태스크에서 능동적 에이전트를 위한 범용 벤치마크

UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks

UniClawBench는 샌드박스 환경과 단일 턴 평가에 의존하던 기존 벤치마크의 한계를 극복하기 위해, 스킬 활용·탐험·장문 맥락 추론·멀티모달 이해·크로스 플랫폼 조율의 5가지 능력 차원을 중심으로 400개의 이중 언어 실세계 태스크를 설계한 능력 중심 에이전트 벤치마크다. 실제 Docker 컨테이너 환경에서 단계별 체크포인트 기반 평가와 실행 에이전트·숨겨진 감독 에이전트·사용자 에이전트로 구성된 폐쇄 루프 전략을 도입해 채점 기준 누출 없이 멀티 턴 인간 피드백을 시뮬레이션하며, 실험 결과 에이전트 성능은 기반 모델 능력보다 프레임워크 설계의 영향을 더 크게 받는 것으로 나타났다.