PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.10594v1cs.LG

활성화 프로브에 필요한 합성 데이터의 양을 결정하는 것은 난이도가 아닌 커버리지다

Coverage, Not Difficulty, Sets How Much Synthetic Data an Activation Probe Needs

배포된 언어 모델을 모니터링하는 활성화 프로브(activation probe)는 합성 대화로 학습(training)되지만, 프로브에 얼마나 많은 데이터가 필요한지는 아직 명확하지 않습니다. 본 연구는 생성자 LLM과 프롬프트의 구체성을 변경해가며, 14개의 홀드아웃 평가(evaluation) 분포와 4개의 프로브 모델에서 세 가지 모니터링 개념(중대한 위험 상황, 사람에게 유해한 답변, 사용자의 지시를 따르지 않는 답변)에 대해 10~590개의 합성 샘플에 걸친 학습 곡선을 추적합니다. 필요한 데이터양은 모니터링 대상에 따라 결정됩니다. 중대한 위험 및 유해성에 대한 프로브는 Gemma-3-27B-IT에서 80개 샘플부터 정체기(plateau)의 수백 분의 1 이내에 도달하는 반면, 지시 프로브는 몇 배 더 많은 샘플을 필요로 하며, 이러한 순서는 세 개의 더 작은 프로브 모델과 (개발 세트의) 실제 샘플에서도 유지됩니다. 선행 연구에서는 생성 예산을 깊이(각 유형의 데이터 수 증대)보다 너비(더 다양한 유형의 데이터 확보)에 투자할 것을 권장합니다. 본 연구에서는 개념에 필요한 깊이를 적합 곡선의 절반-이득 크기(half-gain size, 즉 이득의 절반을 달성하는 샘플 수)로 해석합니다. 개념과 분포가 해당 분산의 42~45%를 설명하며, 생성자, 프로브 모델, 프롬프트 구체성은 10% 미만을 차지합니다. 절반-이득 크기의 값을 결정하는 것은 유형별 난이도(분포가 포화되는 데 필요한 자체 유형 샘플 수)가 아니라 커버리지(coverage)입니다. 평가 분포당 하나씩 할당된 모든 유형은 세 가지 개념 모두에서 동일하게 자체 유형 합성 샘플 기준 7~11개의 중앙값 절반-이득 크기를 보입니다. 차이를 만드는 것은 한 유형의 샘플이 해당 개념의 다른 유형으로 얼마나 잘 전이되는지 여부로, 중대한 위험에서는 거의 완전히 전이되고, 유해성에서는 덜 전이되며, 지시에서는 가장 적게 전이됩니다. 이는 생성된 샘플과 실제 샘플 전반에서 개념 간 격차의 대부분을 설명합니다. 따라서 너비에 투자하는 효과는 개념에 따라 다릅니다. 어떤 유형도 다른 유형을 포괄하지 못하는 지시에서는 여러 유형이 필수적이지만, 한 유형이 나머지를 포괄하는 중대한 위험에서는 거의 불필요합니다. 본 연구는 평가 스위트, 개발 세트 및 생성된 세트를 공개합니다.

arXiv:2610.02662v1cs.LG

정제 격차(Refinement Gap)에 주의하라: 안전한 상위 수준 로봇 계획이 안전하지 않은 실행을 낳을 때

Mind the Refinement Gap: When Safe High-Level Robot Plans Produce Unsafe Executions

언어 기반 로봇 시스템은 시맨틱 그래프 계획(semantic-graph planning)과 시간 논리(temporal-logic) 기반 안전성 모니터를 점점 더 많이 결합하고 있다. 본 연구는 이러한 시스템에서의 궤적 완전성(trace-completeness) 가정, 즉 모니터가 점검하는 상위 수준 행동 시퀀스가 실행 중 유발되는 내비게이션 및 암묵적 행동 효과를 실제로 대표하는지를 조사한다. 우리는 RoboGuard에서 이 가정을 검증하기 위해, 동일한 선형 시간 논리(Linear Temporal Logic, LTL) 명세 하에서 표면적(surface) 계획에 대한 판정과 그래프로 정제된(graph-refined) 궤적에 대한 판정을 비교한다. 평가는 다섯 가지 행동 추상화(action-abstraction) 계열에 걸친 28개의 통제된(controlled) 사례와, SPINE [1]이 자연어 지시로부터 계획을 생성하고 RoboGuard가 장면에 기반한(scene-grounded) 안전성 명세를 생성하는 14개의 종단간(end-to-end) 사례로 구성된다. 통제된 평가에서, 표적이 된 12개의 추상화 사례 모두 예측된 표면-정제 간 불일치를 보였으며, 16개의 대조(control) 사례 모두 예상대로 동작하였다. 이는 그래프 기반 궤적 정제(trace refinement)를 경량 완화 기법이자 피지컬 AI(physical-AI) 안전성 모니터를 위한 진단 도구로 활용할 근거가 된다.

arXiv:2607.20476v1cs.AI

다중 센서 물리적 위험 평가에 대한 대규모 언어 모델 벤치마킹

Benchmarking Large Language Models on Multi-Sensor Physical Hazard Assessment

우리는 다섯 개의 대규모 언어 모델이 다중 센서 물리적 위험 데이터를 어떻게 평가하는지를 평가하는 실증 벤치마크를 제시한다. 세 가지 범주—다중 센서 공동 평가, 대응 비례성, 패턴 모호성 해소—에 걸쳐 60개 시나리오를 temperature 0.0으로 1,800회의 API 호출을 통해 테스트한 결과, 모든 테스트된 모델이 개별 안전 한계 이하에서 여러 센서가 동시에 상승한 테스트 시나리오에서 일관되게 예방적 경고 신호를 생성하지 않았으며, 단일 센서 임계값 위반에서는 거의 완벽한 정확도를 달성한 것으로 나타났다. 다섯 모델(ChatGPT-4o, Gemini 2.5 Flash, DeepSeek, Kimi, Llama 3.1 8B) 모두 Category A 다중 센서 시나리오에서 거의 0점(Q2: 0.000-0.208; Q3: 0.000-0.592)을 기록했으며, 이는 단일 센서 시나리오(Category B Q1: 0.975-1.000)에서의 우수한 성능과 대조적이다. 구조화된 표 형식은 일반 산문 대비 일관된 이점을 보이지 않았으며, ChatGPT-4o는 산문 형식에서 유의미하게 더 나은 성능을 보였다(p = 0.001). 이러한 결과는 물리적 안전 모니터링 시스템에 테스트된 모델을 배포하는 실무자에게 직접적인 함의를 갖는다.

arXiv:2607.02510v1cs.AI

Online Safety Monitoring for LLMs

정렬(alignment) 학습에도 불구하고 배포 시점에 안전하지 않은 출력을 생성할 수 있는 대규모 언어 모델(LLM)을 위해, 외부 검증 모델의 안전성 신호를 리스크 제어(risk control) 기반으로 보정된 임계값으로 변환하는 단순한 실시간 온라인 모니터링 프레임워크를 제안한다. 수학적 추론 및 레드팀 테스팅 데이터셋 실험에서 이 단순한 설계가 순차적 가설 검정(sequential hypothesis testing) 기반의 고급 모니터와 경쟁력 있는 성능을 보이면서도 생성 과정 초기에 더 빠르게 위험을 감지함을 보였다.