PyTorchKR Papers

최신 논문

총 11,108편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.21600v1cs.AI

내부 정보 분해를 통한 다중모달 AI 보안

Securing Multimodal AI through Internal Information Decomposition

다중모달 대규모 언어 모델은 단일모달 시스템에는 없는 공격 표면을 도입한다. 적대자는 단일모달 안전장치를 회피하기 위해 악의적 의도를 여러 모달리티에 분산시킬 수 있다. 이는 각 모달리티를 독립적으로 검사하기보다 교차 모달 일관성을 탐지 신호로 사용하도록 동기를 부여한다. 핵심 관찰은, 정상 입력이 텍스트 전용 및 비전 전용 추론에서 호환 가능한 예측 행동을 유도하며 융합 시 안정화되는 반면, 적대적 조작은 이러한 일관성을 파괴하여 비정상적인 다중모달 행동을 유발한다는 것이다. 원시 입력이나 출력을 검사하는 기존 방어 기법은 이러한 내부 융합 과정을 간과하여 취약하고 계산 비용이 높다. 우리는 내부 다중모달 일관성을 모니터링하여 유해 입력을 탐지하는 경량 추론 시점 프레임워크인 FlowGuard를 제안한다. 스칼라 신뢰도 지표에 의존하는 접근법과 달리, FlowGuard는 Partial Information Decomposition에서 영감을 받은 FlowVector를 도출하여 교차 모달 중복성(redundancy), 시너지(synergy), 모달리티별 지배(dominance)를 정량화하고, 융합된 다중모달 예측이 단일모달 의미적 증거와 정렬된 상태를 유지하는지 포착한다. 정상 데이터만으로 학습된 일 클래스 분류(one-class classification) 문제에서 FlowGuard는 보지 못한 공격에 대해 공격 성공률(Attack Success Rate)을 90% 이상에서 15% 미만으로 낮추며, 유틸리티 손실 3% 미만과 최대 6배의 지연 시간 감소를 달성한다. 결과는 교차 모달 일관성 모니터링이 다중모달 추론에 대해 효율적이고 효과적인 방어를 제공함을 보여준다.

arXiv:2607.21599v1cs.PF

분리형 어텐션 융합: 효율적인 KV 캐시 재사용을 통한 RAG 가속

Decoupled Attention Fusion: Accelerating RAG with Efficient KV Cache Reuse

검색-증강 생성(RAG)은 대규모 언어 모델(LLM)의 환각을 효과적으로 완화하지만, 긴 컨텍스트 시나리오에서 Time-To-First-Token(TTFT) 지연이 과도하게 발생한다. 사전 계산된 문서 KV 캐시를 재사용하면 이 문제를 해결할 수 있지만, 분포 불일치가 발생한다. 오프라인 캐시에는 일관된 추론에 필요한 문서 간 어텐션 패턴이 없기 때문이다. CacheBlend는 선택적 어텐션을 통해 재계산을 줄이지만, 더 긴 컨텍스트에서는 정확도가 크게 저하된다. 이러한 과제를 해결하기 위해, 높은 정확도를 유지하면서 재계산 오버헤드를 크게 줄이는 프레임워크인 Decoupled Attention Fusion(DAF)을 제안한다. DAF는 어텐션 과정을 세 가지 통합 단계로 분리한다: 누락된 문서 간 어텐션을 복원하는 중요 토큰 self-attention, 표준 추론을 위한 질문-문서 self-attention, 그리고 두 출력을 연결하여 최종 은닉 상태를 합성하는 상태 융합. 이 연산들을 dense 패턴으로 분리함으로써 DAF는 Flash-Attention 커널과 기본적으로 호환되어 복잡한 어텐션 마스크 없이도 하드웨어 활용을 극대화한다. 실험 결과, DAF는 긴 컨텍스트 벤치마크에서 vLLM을 사용할 때 CacheBlend 대비 최대 2배, 전체 재계산 대비 5.6배의 속도 향상을 정확도 희생 없이 달성한다.

arXiv:2607.21598v1cs.HC

대규모 언어 모델에서 사용자 의도를 명확히 하는 컨트롤 패널

Control panels to clarify user intent with Large Language Models

대규모 언어 모델(LLM)의 일반적인 사용자 인터페이스는 사용자의 자연어 질의를 유도하는 빈 프롬프트 창을 제공하지만, 거의 안내를 제공하지 않는다. 본 논문은 프롬프트 구성의 의미론에 대한 더 많은 단서를 제공하여 사용자가 의도를 더 쉽게 표현할 수 있게 하는 시각적 컨트롤 패널 인터페이스를 제안한다. 회상(recall)보다 인식(recognition)을 강조함으로써, 컨트롤 패널은 사용자가 의도에 부합하는 더 효과적인 프롬프트를 구성하도록 돕는다.

arXiv:2607.21596v1cs.AI

FlowEvo: 워크플로우와 실행 가능한 스킬의 공진화를 통한 자기 진화 에이전트

FlowEvo: Self-Evolving Agents through the Co-Evolution of Workflows and Executable Skills

대규모 언어 모델(LLM) 에이전트는 추론, 도구 사용, 코드 실행을 결합하는 추론 시점 워크플로우를 구성함으로써 점점 더 복잡한 과제를 해결하고 있다. 이러한 워크플로우는 유연한 문제 해결을 가능하게 하지만, 실행 중 발견되는 유용한 절차는 종종 일시적이다. 즉, 현재 과제를 해결하는 데는 도움이 되지만 미래 과제에 체계적으로 이익이 될 수 있는 형태로 보존되지 않는다. 본 논문은 성공적인 트레이스를 재사용 가능한 스킬 레코드로 컴파일하는 학습 없는(training-free) 프레임워크인 FlowEvo를 제시한다. 각 레코드는 호출 가능한 아티팩트와 보조 구조화된 가이던스를 쌍으로 묶으며, 승인(admission) 시 가능한 경우 인터페이스, 재현(replay), 안전성 검사를 적용한다. 이러한 스킬 레코드는 추론 시점에 스킬 뱅크에 지속적으로 저장된다. FlowEvo는 세 가지 결합된 메커니즘을 중심으로 구성된다: (1) 워크플로우-투-스킬 컴파일레이션으로, 성공적인 트레이스에서 재사용 가능한 실행 가능 아티팩트를 추출한다; (2) 스킬-투-워크플로우 피드백으로, 축적된 스킬을 검색하여 직접 실행 또는 구조화된 컨텍스트 주입을 통해 미래 문제 해결을 지원한다; (3) 스킬 큐레이션으로, 하류(downstream) 유틸리티를 모니터링하고 부정적 전이(negative transfer)를 유발하는 스킬을 억제한다. 이러한 워크플로우-스킬-워크플로우 피드백 루프를 통해 FlowEvo는 모델 파라미터를 업데이트하지 않고도 에이전트가 시간에 따라 과제 해결 능력을 축적하고 정제할 수 있게 한다. 대화형 환경(ALFWorld)과 코드/수학 생성(HumanEval, GSM8K)에 걸친 벤치마크에서의 실험은 FlowEvo가 우리의 구현 설정 하에서 평가된 기준선 중 최상의 정확도-비용 트레이드오프를 달성함을 보여준다. ALFWorld에서 FlowEvo는 82.8%의 성공률을 달성하여 가장 강력한 기준선보다 23.6퍼센트포인트 높으며, 에피소드당 평균 토큰 사용량은 가장 효율적인 기준선의 절반 미만이다. 통제된 ablation은 각 메커니즘이 전체 결과에 기여함을 확인한다. 코드는 https://github.com/DEFENSE-SEU/FlowEvo 에서 공개되어 있다.

arXiv:2607.21482v2cs.AI

클라우드 없는 에이전트형 코딩: 종단 데이터 준비 작업에서 오픈 가중치 대규모 언어 모델 평가

Agentic coding without the cloud: evaluating open-weight large language models on longitudinal data preparation tasks

대규모 언어 모델(LLM)과 에이전트는 이제 코드 개발에서 널리 사용되는 도구이며, 데이터는 일반적으로 서드파티 클라우드 기반 모델로 전송된다. 개인 데이터를 사용하는 연구에서의 채택은 외부 서비스로의 데이터 전송을 일반적으로 금지하는 거버넌스 요구사항에 의해 제약받는다. 로컬에 배포 가능한 오픈 가중치 모델은 민감한 데이터가 로컬 환경을 벗어나지 않기 때문에 대안을 제공한다. 우리는 종단 인구 연구에서 가장 지속적인 병목 현상 중 하나인 데이터 준비에 대해, 오픈 가중치 LLM으로 구동되는 AI 에이전트의 효과를 평가하기 위한 오픈소스 프레임워크를 제안한다. 이 프레임워크는 다음으로 구성된다: 큐레이션된 그라운드 트루스(ground-truth) 데이터셋(영국 코호트 연구의 6회 조사(sweep) 데이터를 준비하는 클리닝 스크립트), 범주 조화(category harmonization) 및 다중 파형 병합(multi-wave merging)과 같은 작업을 포함하는 작업 정의, 그리고 LLM이 생성한 R 코드와 출력 데이터를 평가하는 자동화 루틴. 우리는 (소비자급) 배포 스펙트럼 전반에 걸쳐 LLM을 벤치마킹하여 20개의 데이터 준비 작업(102개 변수 생성)에서의 효과를 평가한다. 현재 최첨단 31-35B 매개변수 모델은 우리 벤치마크를 거의 포화시켰다('평균 작업 완료율' 최대 87.9%). 소비자급 하드웨어에서 실행되는 오픈 가중치 LLM의 성능은 거버넌스 제약이 있는 연구 환경에서 AI 지원 데이터 준비로 향하는 실행 가능한 경로의 가능성을 보여준다. 우리 프레임워크는 https://github.com/UCL-ARC/RRBench 에서 공개적으로 이용할 수 있다.

arXiv:2607.20487v2cs.AI

방향성 환각: 뉴스 기반 LLM 질의응답에서의 이념적 표류

Directional Hallucinations: Ideological Drift in News-Grounded LLM Question Answering

대규모 언어 모델(LLM)은 정치 정보에 관한 질문에 답하는 데 점점 더 많이 사용되고 있으며, 사실 오류와 이념적 왜곡의 영향이 큰 선거 인접 정보 환경에서도 마찬가지이다. 우리는 문서 기반 QA에서 근거 없는 진술인 환각을 이념적 표류의 진단 신호로 취급하는 재현 가능한 측정 프레임워크를 제시한다. 좌·중도·우 성향 소스를 포괄하는 QBias의 전문가 라벨 21,727개 미국 정치 뉴스 기사를 사용하여, (i) 기사별 질문을 생성하고, (ii) 세 개의 오픈 가중치 LLM과 하나의 독점 모델로부터 문서 기반 답변을 유도하며, (iii) 참조 기반 비교를 통해 문장 수준 환각을 탐지하고, (iv) 파인튜닝된 스탠스 분류기로 환각 문장의 이념적 성향을 분류하고, (v) 출력 로짓을 분석하여 토큰 수준 불확실성을 환각 및 표류와 연관 짓는다. 환각 비율은 모델 간에 상당히 다르며 논쟁적인 주제에 집중되는 반면, 환각 빈도의 소스 이념 차이는 미미하다. 대조적으로, 환각 내용은 뚜렷한 좌향 표류를 보인다: 환각 문장의 다수가 좌파 성향으로 분류되며, 우파 성향 소스에서 생성된 환각에서도 마찬가지이다. 로짓 수준 분석은 환각이 높은 엔트로피 생성 맥락에서 발생함을 보여 주며, 일부 모델에서는 불확실성이 좌향 표류도 예측하는데, 이는 "불확실성에서 추측으로" 메커니즘과 일치한다. AI 매개 정치 정보 감사와 선거 관련 배포에서의 안전장치 설계에 대한 함의를 논의한다.

arXiv:2605.17770v4cs.AI

엔트로피-그라디언트 반전: 대규모 추론 모델의 내부 메커니즘으로의 접근

Entropy-Gradient Inversion: Moving Toward Internal Mechanism of Large Reasoning Models

대규모 추론 모델(LRM)의 내부 메커니즘을 규명하기 위해 토큰 엔트로피와 로짓 그라디언트 간의 음의 상관관계인 엔트로피-그라디언트 반전(Entropy-Gradient Inversion)을 정의하고, 이를 강화학습(RL) 보상 정규화에 반영한 CorR-PO를 제안합니다. 다양한 추론 벤치마크에서 제안된 방법이 최신 기법을 상회하며, 해당 반전 현상이 우수한 추론 성능과 밀접한 관련이 있음을 확인했습니다.

arXiv:2604.27618v2cs.AI

생성형 AI(GenAI) 학습 조사를 위한 수학 교육 디지털 섀도: 대규모 언어 모델의 수학 성과, 불안 및 자신감

Math Education Digital Shadows for Investigating Learning with GenAI: Mathematics Performance, Anxiety, and Confidence in LLMs

대규모 언어 모델(LLM)이 수학 교육에 미치는 영향을 이해하려면 LLM의 수학적 성과와 편향에 관한 데이터가 필요하다. 이를 위해, 인간형 및 AI형 의인화 조건에서 LLM이 수학에 대해 어떻게 추론하는지를 매핑한 데이터셋인 Math Education Digital Shadows(MEDS)를 소개한다. MEDS는 human-shadow 및 AI-assistant 조건에서 생성된 14개 LLM(Mistral, Qwen, DeepSeek, IBM Granite, Microsoft Phi, xAI Grok 등)의 28,000회 실행으로 구성된다. 각 기록(디지털 섀도)에는 프롬프트 세트, 심리적 및 사회인구학적 메타데이터, 그리고 네 가지 수학 과제가 포함된다: (i) 수학과의 관계에 대한 인터뷰, (ii) 수학 자기효능감 및 불안에 대한 세 가지 심리측정 설문, (iii) 수학에 대한 태도를 포착하는 하나의 인지 네트워크, (iv) 추론 설명과 자신감 점수가 보강된 18개 고등학교 수학 퀴즈 문항. 데이터 분석 결과, LLM은 human-shadow 및 AI-assistant 모드 간 태도와 성과의 차이를 보이며, 여기에는 수학에 대한 인간과 유사한 부정적 태도, 논리적 오류, 수학에 대한 과잉 자신감이 포함된다. 데이터 리소스로서 MEDS는 학습 과학자와 더 안전한 수학 AI 튜터 개발자에게 도움이 될 수 있다.

arXiv:2604.26577v2cs.AI

로봇 건강 간병인 제어를 위한 대규모 언어 모델 안전성 벤치마킹

Benchmarking the Safety of Large Language Models for Robotic Health Attendant Control

대규모 언어 모델(LLM)은 로봇 건강 간병인의 제어 구성 요소로 배포되는 사례가 점점 늘고 있지만, 이 맥락에서의 안전성은 여전히 제대로 규명되지 않았다. 우리는 미국 의사협회(American Medical Association) 의료 윤리 원칙에 근거한 9개의 금지 행동 범주에 걸친 270개의 유해 지시로 구성된 데이터셋을 도입하고, 이를 Robotic Health Attendant 프레임워크 기반 시뮬레이션 환경에서 72개 LLM을 평가하는 데 사용한다. 모든 모델의 평균 위반율은 54.4%였으며, 절반 이상이 50%를 넘었고, 위반율은 행동 범주에 따라 상당히 달랐다. 기기 조작이나 응급 지연과 같이 겉보기에는 그럴듯한 지시는 노골적으로 파괴적인 지시보다 거부하기 더 어려웠다. 오픈 가중치 모델 가운데서는 모델 크기와 출시일이 안전성 성능의 주요 결정 요인이었으며, 독점 모델은 오픈 가중치 모델보다 상당히 더 안전했다(중앙값 23.7% 대 72.8%). 의료 도메인 미세조정은 전반적인 안전성 이점을 유의미하게 제공하지 않았고, 프롬프트 기반 방어 전략은 가장 안전하지 않은 모델들 가운데서만 위반율을 소폭 낮추는 효과를 냈으며, 절대적 위반율은 안전한 임상 배포를 불가능하게 할 수준으로 남아 있었다. 이러한 결과는 로봇 건강 간병인용 LLM의 개발 및 배포에서 안전성 평가를 1급 기준으로 취급해야 함을 보여준다.

arXiv:2604.01647v2cs.AI

환경 데이터 관리를 위한 견고한 멀티 에이전트 워크플로우 탐색

Exploring Robust Multi-Agent Workflows for Environmental Data Management

환경 FAIR 데이터 관리에 LLM 기반 에이전트를 도입하는 것은 매력적이다. 이들은 운영 지식을 외재화하고 이질적인 데이터와 진화하는 관례에 걸쳐 큐레이션을 확장할 수 있다. 그러나 결정론적 구성 요소를 확률적 워크플로우로 대체하면 실패 모드가 바뀐다. LLM 파이프라인은 그럴듯하지만 잘못된 출력을 생성하여 피상적인 검사를 통과하고 DOI 발급 및 공개 배포와 같은 되돌릴 수 없는 조치로 전파될 수 있다. 우리는 환경 연구를 위한 캠퍼스 전역 저장 인프라에 배포된 프로덕션 데이터 관리 시스템인 EnviSmart를 소개한다. EnviSmart는 두 가지 메커니즘을 통해 신뢰성을 아키텍처적 속성으로 다룬다. 하나는 행동(거버넌스 제약), 도메인 지식(검색 가능한 컨텍스트), 기술(도구 사용 절차)을 지속적이고 상호 연결된 아티팩트로 외재화하는 3트랙 지식 아키텍처이고, 다른 하나는 결정론적 검증기와 감사 가능한 핸드오프가 되돌릴 수 없는 단계 전에 신뢰 경계에서 fail-stop 의미론을 복원하는 역할 분리형 멀티 에이전트 설계이다. 우리는 두 가지 프로덕션 배포를 비교한다. 대학 GIS Center Ecological Archive(849개의 큐레이션된 데이터셋)는 단일 에이전트 기준선으로 사용된다. 2,452개의 모니터링 스테이션과 39년에 걸친 8,557개의 공개 파일로 구성된 복합 홍수 벤치마크인 SF2Bench는 멀티 에이전트 워크플로우를 검증한다. 멀티 에이전트 접근법은 효율성(배포 전반에 걸쳐 아티팩트를 반복적으로 재사용하여 단일 운영자가 이틀 만에 완료)과 신뢰성 모두를 개선했다. 감사 가능한 핸드오프가 공개 전 2,452개 스테이션 전체에 영향을 미치는 좌표 변환 오류를 탐지하고 차단했다. 대표적인 사건(ISS-004)은 10분의 탐지 지연, 사용자 노출 0, 80분의 해결 시간으로 경계 기반 격리를 입증했다. 본 논문은 PEARC 2026에 채택되었다.

arXiv:2602.13935v3cs.AI

추론 모델을 위한 통계적 조기 종료

Statistical Early Stopping for Reasoning Models

대규모 언어 모델(LLM)은 추론 능력이 크게 향상되었지만, 때로는 과잉 추론하여 불필요한 추론 단계를 생성하기도 하며, 특히 불확실성이 있는 상황에서 또는 ill-posed이거나 모호한 질의가 주어졌을 때 그렇다. 우리는 생성 과정에서 불확실성 신호를 모니터링하여 이 문제를 완화하는 통계적으로 정당화된 조기 종료 방법을 제안한다. 첫 번째 접근법은 모수적이다: 불확실성 키워드의 발생 간격을 갱신 과정(renewal process)으로 모델링하고 조기 종료를 위해 순차 검정을 적용한다. 두 번째 접근법은 비모수적이며, well-posed 질의에서 너무 일찍 중단할 확률에 대한 유한 표본 보장을 제공한다. 우리는 여러 도메인과 모델에 걸친 추론 과제에서 실증 평가를 수행한다. 결과는 불확실성 인식 조기 종료가 LLM 추론의 효율성과 신뢰성을 모두 개선할 수 있음을 보여 주며, 특히 수학 추론에서 상당한 이득을 관찰한다.

arXiv:2512.08379v2cs.AI

DeepFeature: 웨어러블 생체신호를 위한 LLM 기반 컨텍스트 인식(context-aware) 특징 생성

DeepFeature: LLM-Empowered Context-aware Feature Generation for Wearable Biosignals

웨어러블 기기에서 수집된 생체신호는 헬스케어 애플리케이션에서 널리 활용된다. 이러한 애플리케이션에서 사용되는 머신러닝 모델은 효과성, 낮은 데이터 차원, 다양한 모델 아키텍처에 대한 넓은 호환성 때문에 생체신호로부터 추출된 특징에 종종 의존한다. 그러나 기존 특징 추출 방법은 종종 작업별 문맥 지식이 부족하고, 고차원 조합적 특징 공간에서 최적의 특징을 식별하는 데 어려움을 겪으며, 자동화된 코드 생성 및 실행 오류에 취약하다. 본 논문에서는 웨어러블 생체신호를 위한 최초의 LLM 기반 컨텍스트 인식 특징 생성 프레임워크인 DeepFeature를 제안한다. DeepFeature는 LLM의 고유 능력, 전문가 지식, 특징 간 상호작용을 통합하는 다중 소스 특징 생성 메커니즘을 도입한다. 또한 특징 평가 기반 피드백을 이용한 특징 재선택을 위한 반복적 특징 정제 과정을 사용한다. 추가로 DeepFeature는 특징 추출 함수가 충돌 없이 실행되도록 보장하기 위해 특징 설명-코드 변환에 대한 견고한 다층 필터링 및 검증 접근법을 활용한다. 실험 평가 결과, DeepFeature는 표본 수준(sample-level) 및 피험자 수준(subject-level) 설정 모두에서 8개 작업에 걸쳐 최고 평균 AUROC를 달성하며, 각각 최고 베이스라인을 4.56% 및 4.61% 능가한다. DeepFeature는 PPG-BP 작업에서 가장 뚜렷한 성능 향상을 달성하는 반면, Epilepsy, WESAD, 그리고 우리가 자체 수집한 SEN 데이터셋에서는 최고 성능 베이스라인과 경쟁력 있는 결과를 유지한다.

arXiv:2511.02130v2cs.AI

Re-FORC: 효율적 사고의 연쇄 추론을 위한 적응형 보상 예측

Re-FORC: Adaptive Reward Prediction for Efficient Chain-of-Thought Reasoning

우리는 Re-FORC를 제안한다. 이는 쿼리가 주어졌을 때 향후 사고 토큰 수의 함수로 기대되는 미래 보상을 예측할 수 있게 하는 적응형 보상 예측 방법이다. Re-FORC는 추론 모델에 경량 어댑터를 학습시키며, 더 긴 추론과 더 큰 모델에서 예측 성능이 향상됨을 보여준다. Re-FORC는 다음을 가능하게 한다: 1) 유망하지 않은 추론 체인의 조기 종료로, 정확도를 유지하면서 고정 예산 중단 대비 최대 26%의 연산을 절감, 2) 최적화된 모델 및 사고 길이 선택으로 단독 최대 모델을 능가하며—최대 정확도에서 1.7퍼센트포인트 더 높은 정확도에 도달하고, 최대 모델의 정확도에 맞추는 데 최대 12% 적은 연산이 필요, 3) 적응형 테스트 시간 스케일링으로, 신뢰도 기반 baseline 대비 (최대 연산에서 평균적으로) 정확도를 9.9퍼센트포인트 향상. Re-FORC는 토큰당 비용 임계값을 통해 길이 제어가 가능한 동적 추론을 허용하며, 연산 시간을 사전에 추정한다.

arXiv:2505.02024v4cs.AI

마음에서 기계로: 완전 자율 디지털 에이전트 Manus AI의 부상

From Mind to Machine: The Rise of Manus AI as a Fully Autonomous Digital Agent

Manus AI는 2025년 초에 소개된 범용 AI 에이전트로, 자율 인공지능의 중요한 진전을 나타냅니다. 중국 스타트업 Monica.im이 개발한 Manus는 "마음"과 "손" 사이의 간극을 메우도록 설계되었으며, 대규모 언어 모델(LLM)의 추론 및 계획 능력과 구체적인 결과를 산출하는 복잡한 end-to-end 작업을 실행하는 능력을 결합합니다. 본 논문은 Manus AI에 대한 포괄적인 개요를 제시하며, 핵심 기술 아키텍처, 의료, 금융, 제조, 로봇, 게임 등 다양한 분야에서의 응용, 주요 강점, 현재 한계, 미래 잠재력을 살펴봅니다. 앞으로 다가올 미래의 미리보기로 자리 잡은 Manus AI는 고수준 의도를 실세계 행동으로 변환할 수 있는 지능형 에이전트로의 전환을 나타내며, 인간-AI 협업의 새로운 시대를 예고합니다.

arXiv:2501.08951v2cs.AI

8개 대규모 언어 모델의 윤리적 논리 분석

Analyzing the Ethical Logic of Eight Large Language Models

본 연구는 OpenAI, Meta, Perplexity, Anthropic, Google, Mistral, DeepSeek, xAI의 8개 주요 대규모 언어 모델(LLM)이 표현한 윤리적 논리를 검토한다. 각 모델은 자신의 윤리 원칙에 대한 직접적 질문에 답하고, 다섯 가지 고전적 도덕적 딜레마에 응답했다. 응답은 결과주의/의무론적 구분, 도덕 기초 이론(Moral Foundations Theory), 콜버그(Kohlberg)의 도덕 발달 단계를 사용하여 분석되었다. 모델 전반에 걸쳐 윤리적 판단은 대체로 수렴했으며, 일반적으로 해 최소화, 공정성, 맥락적 한정을 강조했다. 그럼에도 불구하고 모델들은 결정을 내리려는 의지, 선택을 정당화하는 데 사용된 근거, 규칙·결과·역할 의무·대인 관계적 고려에 부여된 상대적 가중치에서 차이를 보였다. 자기 서술은 학술적이고 신중했으며, 대화형 페르소나에 의해 강하게 형성되었다. 자기 보고 분석은 인간 심리학과 의사소통 연구의 중심이 되어 왔다. 우리는 적절한 주의와 함께, 이것이 인공지능이 어떻게 작동하는지에 대한 이해를 높이고 인간의 윤리적 행동을 어떻게 증강할 수 있는지에 대한 이해를 향상시킬 수 있다고 제안한다.

arXiv:2607.22293v1cs.CV

RadSight: 지각적으로 신뢰할 수 있는 멀티모달 영상의학 영상 이해를 향하여

RadSight: Towards Perceptually Reliable Multimodal Radiology Image Understanding

의료 멀티모달 대규모 언어 모델(MLLM)은 점점 더 복잡한 영상 이해 작업을 수행할 것으로 기대되고 있지만, 시각적 해석에서의 빈번한 오류로 인해 신뢰성이 종종 저하된다. 이러한 실패를 체계적으로 추적하기 위해, 우리는 고수준 임상 작업에서부터 기본적인 시각 지각까지 계층을 따라 탐색한다. 이에 따라 우리는 Perception-Bench를 도입한다. 이는 113만 개의 샘플로 구성된 대규모 벤치마크로, 2D 및 3D 영상의학 영상을 모두 아우르며 속성 판단, 공간적 그라운딩(spatial grounding), 공간 이해, 질병 예측, 이상 탐지, 보고서 생성의 6가지 차원에서 의료 MLLM을 평가한다. Perception-Bench에 대한 우리의 분석은 기존 MLLM이 위치, 크기, 밀도와 같은 가장 기본적인 병변 속성조차 포착하는 능력이 부족함을 보여준다. 임상 출력을 1차 시각 증거에 그라운딩(grounding)하지 못하는 이러한 한계는, 모델의 진단적 비신뢰성이 저수준 시각 지각의 중요하지만 간과된 병목에 뿌리를 두고 있음을 드러낸다. 이에 영감을 받아, 우리는 RadSight를 제안한다. RadSight는 고유 영상 공간 구조를 보존하는 이중 2D/3D 인코더 아키텍처 위에 구축된 지각 중심 MLLM이다. RadSight는 의료 영상 이해를 시각-언어 정렬, 세밀한 시각 지각, 임상 진단, 진단적 해석의 4단계 점진적 과정으로 공식화한다. 이 모델은 점진적 커리큘럼 학습(progressive curriculum learning)을 사용하여 837만 개의 지각 지향 코퍼스로 학습된다. Perception-Bench에서 RadSight는 특히 공간적 그라운딩과 임상 진단에서 뚜렷한 향상을 보이며, 6가지 평가 차원 전반에서 기존 MLLM을 일관되게 능가한다. 또한 공개 2D 및 3D 의료 벤치마크에서도 일관된 개선을 달성하여, 견고한 저수준 시각 지각이 신뢰할 수 있는 임상 이해의 핵심 기반이 됨을 추가로 입증한다. 코드와 모델은 공개적으로 제공될 예정이다.

arXiv:2607.22078v1cs.CV

CommandLM: 데이터 기반 자차 행동 수준 서술자

CommandLM: Data driven behavior level descriptor for ego vehicles

자율주행 시스템이 실제 배치를 향해 나아가면서, 해석 가능한 행동 수준 의사결정은 안전성, 신뢰, 규제를 위해 필수적이다. 우리는 융합된 다중 센서 데이터로부터 자차에 대한 간결하고 사람이 읽을 수 있는 행동 설명을 생성하는 멀티모달 대규모 언어 모델(LLM)인 CommandLM을 제안한다. 우리 모델은 LiDAR와 다중 카메라 입력으로부터 시간적으로 융합된 조감도(bird's-eye view) 표현을 Q-Former 어댑터를 통해 양자화되고 LoRA 파인튜닝된 언어 모델에 연결하여 처리한다. CommandLM-nuScenes 데이터셋으로 학습된 CommandLM은 플래너 감독 및 안전성 감사에 적합한 의도 인식 가능한 해석 가능한 캡션을 생성한다. 실험은 강한 언어적 및 행동적 정렬(alignment)을 보여주며, CIDEr 0.67 및 BERT-F1 0.88을 달성하여 BLIP-2 기준선(CIDEr 0.52, BERT-F1 0.86)을 크게 능가한다. 인간 평가에서 생성된 설명의 58%가 정확하고 효율적이며 규칙을 준수하는 것으로 평가되어, 실제 세계에서의 타당성을 확인했다. 나머지 설명은 항상 가장 효율적이고 목표 지향적인 행동을 선택하지는 않을 수 있지만, CommandLM의 해석 가능한 출력은 하류 검증 시스템이 이러한 사례를 식별하고 수정할 수 있게 하여, 투명한 행동 감사를 위한 효과적인 도구가 된다. 이 결과는 멀티모달 융합과 언어 추론의 통합이 자율주행을 위한 효율적이고 투명한 행동 수준 이해를 가능하게 함을 보여준다. 우리는 코드와 데이터셋을 https://github.com/b-tok/CommandLM 에서 공개한다.

arXiv:2607.22013v1cs.CV

멀티모달 사고의 연쇄 추론을 위한 시각적 현저성 조향 증류

Visual Saliency Steering Distillation for Multimodal Chain-of-Thought Reasoning

멀티모달 사고의 연쇄(CoT) 추론은 단계별 추론을 통해 시각 및 텍스트 단서를 통합한다. 토큰 예산이 제한된 소형 모델에서는 모달리티 상호작용 융합이 미세한 교차 모달 차이를 종종 억제한다. 특히 멀티모달 CoT는 서로 다른 이미지가 동일한 텍스트와 짝을 이루거나, 서로 다른 텍스트가 동일한 이미지와 짝을 이룰 때 종종 어려움을 겪으며, 융합 후 이러한 입력을 거의 구별할 수 없게 만든다. 본 연구는 Visual Saliency Steering Distillation(VSSD)을 제안한다. VSSD는 멀티모달 대규모 언어 모델(MLLM)의 어텐션 맵을 활용하여 과제 민감 특징 방향을 포착하는 교란 이미지를 생성하고, 특이값 분해(SVD)를 적용하여 주요 조향 벡터를 추출해 층 간 증류를 안내한다. ScienceQA와 M³CoT에 대한 실험은 VSSD가 근거 생성 및 답변 추론을 개선함을 보여준다. 코드는 https://github.com/BGWH123/VSSD 에서 이용할 수 있다.

arXiv:2607.21850v1cs.CV

SCALE: 첨단 노드에서 지역 P&R DRV 수정을 위한 자기지도 제약 인식 레이아웃 생성

SCALE: Self-Supervised Constraint-Aware Layout GEneration for Local P&R DRV Fixing at Advanced Nodes

반도체 제조가 2nm 미만 노드로 진전함에 따라, 지역 배치 및 배선(P&R) 설계 규칙 위반(DRV) 수정은 복잡한 규칙 상호작용, 밀집된 다층 라우팅 기하학, 파운드리 특화 제약에 의해 점점 더 제한받고 있다. 대규모 언어 모델(LLM)은 최근 EDA 스크립팅 및 문서화에서 강력한 역량을 보여주었지만, 시각적 레이아웃 이해에의 적용은 여전히 거의 탐구되지 않았다. 레이아웃 이미지로부터 DRC 위반을 진단하는 것은 정밀한 기하학적 추론과 범용 VLM 학습에 없는 파운드리 특화 규칙 지식을 요구한다. 우리는 첨단 노드에서 지역 DRV 수정을 위한 자기지도 레이아웃 생성 단계를 갖춘 프레임워크인 SCALE을 제안한다. 다층 레이아웃 기하학은 구조화된 텍스트로 직렬화되며, 파인튜닝된 언어 모델은 위반 레이블 없이 주변 BEOL 컨텍스트만으로 무작위로 마스킹된 폴리곤을 재구성하는 방법을 학습한다. 추론 시, 자연어 규칙 제약과 고온도 샘플링이 생성을 다양하고 위반에 취약한 레이아웃 변형을 향하게 유도하며, 이는 산업용 사인오프 DRC 검사기로 검증되어 DRC 주석이 달린 레이아웃-위반 쌍을 생성하고, 이를 사용해 도메인 적응 DRC-VLM을 파인튜닝한다. 이 VLM은 지역 DRV 수리를 위한 규칙 인식 기하학적 안내를 제공하여, enclosure, spacing, width, color-spacing 위반을 포함하는 100건의 실제 2nm 미만 사례에서 최신 에이전트의 해결률을 +12–25%(최대 97%)까지 향상시킨다.

arXiv:2606.18681v2cs.CV

다양성을 넘어서: 효율적인 VLM을 위한 부분공간 재구성으로서의 비주얼 토큰 가지치기

Moving Beyond Diversity: Visual Token Pruning as Subspace Reconstruction for Efficient VLMs

뛰어난 성능에도 불구하고, 비전-언어 모델(VLMs)은 다수의 비주얼 토큰으로 인해 상당한 계산 오버헤드를 발생시킵니다. 다양성 최대화가 토큰 축소의 지배적인 전략이 되었지만, 기존 방법들은 크기 정보를 버리는 코사인 기반 정규화 유사도에 의존하여 원래의 특징 표현을 충실히 근사하지 못하고, 특히 구성적 다중 기술 추론 작업에서 최적에 미치지 못하는 성능을 초래합니다. 본 논문에서는 토큰 가지치기를 열 부분집합 선택 문제로 재정의하고 재구성 오차를 명시적으로 최소화하는 부분공간 재구성 방법인 SPARE를 소개합니다. SPARE는 큰 투영 잔차를 가진 토큰을 반복적으로 선택하여, 각도 기반 다양성을 넘어선 재구성 기반 가지치기를 수행합니다. 더 나아가, 우리는 직관에 반하는 반관련성 현상을 밝혀냈습니다: 이미지-텍스트 관련성 점수가 더 낮은 토큰이 문맥 정보를 더 잘 보존할 수 있다는 것입니다. 이 발견을 바탕으로, 우리는 문맥 인식 토큰 선택을 촉진하기 위해 반관련성을 SPARE에 추가적인 선택 기준으로 통합합니다. 다양한 VLM과 벤치마크에 걸친 광범위한 실험을 통해 SPARE가 구성적 작업에서 큰 향상을 보이며 최첨단 성능을 일관되게 달성함을 입증합니다. LLaVA에 적용했을 때, SPARE는 완전히 학습 없이 비주얼 토큰의 최대 94%를 제거하면서도 기준선 성능의 95%를 유지합니다.