PyTorchKR Papers

최신 논문

총 33편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14393v3cs.RO

로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법

An offline approach to fNIRS-guided reinforcement learning for robot behavior

Human-in-the-loop Reinforcement Learning has become a popular approach for training, finetuning, and aligning robot behavior with user preferences. Our paper explores the feasibility of using brain signals via functional near-infrared spectroscopy (fNIRS) to modulate robot learning in simulation. We compare agents trained on passive (observational) versus active (demonstrative) interaction tasks, and test multiple methods for enhancing the RL algorithm with the neural signal, focusing on parameter augmentation in contrast to replacement. We further examine how model granularity and noise affect agent learning. Our results show that this framework is effective. The neural signal improves learning when augmenting trajectory priorities and state-action q-targets. Additionally, the framework learns successfully from offline data, offering a practical alternative for settings where real-time BCI setups are impractical or only limited data is available.

arXiv:2609.20659v2cs.RO

HIL-UMI: 범용 조작 인터페이스(Universal Manipulation Interface)를 활용한 비전-언어-행동 모델의 인간 참여형 사후 학습

HIL-UMI: Bringing Human-in-the-Loop Post-Training of Vision-Language-Action Models to Universal Manipulation Interface

대규모 비전-언어-행동(VLA, Vision-Language-Action) 모델은 로봇 조작을 위한 강력한 사전 지식을 제공하지만, 특정 실제 환경에 이를 적용하는 것은 여전히 어려운 과제입니다. 태스크별 시연 데이터에 대한 지도 미세조정(SFT)은 배포를 위한 한 걸음을 제공하지만 두 가지 지속적인 한계에 직면합니다. 정적 데이터는 분포 외(OOD, out-of-distribution) 상태에 대한 커버리지가 제한적이며, 표준 모방 학습 목적 함수는 진전을 보이는 행동과 덜 유용한 데이터를 구별하지 못합니다. 대화형 사후 학습(interactive post-training)은 이러한 한계를 해결할 수 있지만, 일반적으로 물리적 로봇에서 반복적인 정책 실행 및 인간의 개입을 필요로 합니다. 본 논문에서는 로봇 없이도 인간 참여형(human-in-the-loop) VLA 사후 학습을 가능하게 하는 정책 기반 범용 조작 인터페이스(UMI, Universal Manipulation Interface) 프레임워크인 HIL-UMI를 소개합니다. 휴대형 UMI 시연 도중, HIL-UMI는 정책의 예측을 직접 실행하지 않으면서 동일한 관측 스트림에 대해 현재 정책을 쿼리합니다. 에너지 점수(Energy Score)는 인간의 행동 궤적과 정책 추론을 비교하여, 그 불일치가 분포 외 영역을 나타낼 때 데이터 수집을 유도합니다. 별도의 피드백 루프에서는 낮은 온라인 어드밴티지(advantage) 예측을 통해 진행도 기반 어드밴티지 추정기를 개선하는 데 필수적인 세그먼트를 식별합니다. 이렇게 업데이트된 추정기는 기본 시연 데이터와 새로운 정책 데이터의 균형 잡힌 혼합을 사용하여 어드밴티지 조건부 행동 복제(behavioral cloning)를 안내합니다. 이러한 설계는 데이터 수집을 로봇 배포와 분리하면서도 인간 참여형 학습의 반복적이고 정책 인식적인 특성을 유지합니다. 긴 수평선(long-horizon) 및 정밀 조작을 아우르는 4가지 실제 환경 태스크에 대한 실험 결과, HIL-UMI는 SFT 대비 일관된 성능 향상을 달성하며 목표 지향적 수집과 어드밴티지 개선 모두에서 이점을 얻음을 보여줍니다. 또한 HIL-UMI는 Clean Up Table 태스크에서 더 낮은 프레임당 수집 시간으로 HG-DAgger보다 우수한 성능을 보여, 다양한 작업자와 위치 전반에서 확장 가능한 VLA 사후 학습 경로를 제시합니다.

arXiv:2607.13594v2cs.AI

SAFETY SENTRY: EXECUTE-ASK-REFUSE 라우팅을 통한 문맥 인식 인간 개입

SAFETY SENTRY: Context-Aware Human Intervention via EXECUTE-ASK-REFUSE Routing

대규모 언어 모델(LLM) 에이전트(agent)는 도구 호출을 통해 실제 환경에서 행동하며, 단 한 번의 잘못된 판단으로 인한 행동도 비가역적인 피해를 초래할 수 있습니다. 표준적인 안전장치는 제안된 각 행동을 안전함(safe) 또는 위험함(unsafe)으로 분류하는 가드 모델(guard model)이지만, 이러한 이분법적 관점은 행동 자체가 유해한지 여부와 사용자의 문맥을 고려했을 때 적절한지 여부라는 두 가지 별개의 결정을 혼동합니다. 또한 개별 인스턴스가 아닌 행동 범주 수준의 단위로 작동하므로, 자율성을 저해하고 사용자가 가장 중대한 경고조차 무심코 승인하도록 유도하는 일상적인 개입을 유발합니다. 본 연구에서는 이 문제를 {EXECUTE, ASK, REFUSE}에 대한 인스턴스별 3방향 라우팅 결정으로 재정의하고, 단 한 번의 디코딩 호출로 추론(inference)이 수행되는 경량 가드 모델인 Safety Sentry로 이를 구현합니다. 단일 디코딩 시점 임계값을 통해 재학습 없이도 위험 감수 수준이 서로 다른 다양한 배포 환경에 맞춰 하나의 고정된 체크포인트(checkpoint)를 재배치할 수 있습니다. Safety Sentry는 전반적인 정확도와 안전 관련 재현율(recall) 면에서 광범위한 공개 가중치(open-weight) 모델 및 프론티어 독점 폐쇄형(closed-source) 베이스라인보다 우수한 성능을 보이면서, 양방향 오류율을 동시에 제어합니다. 코드와 데이터는 https://github.com/safesentry/SAFETY-SENTRY 에서 확인할 수 있습니다.

arXiv:2610.00947v1cs.AI

ABDA-NL: 논증 기반 추론을 위한 자연어 시나리오 탐색기

ABDA-NL: A Natural-Language Scenario Explorer for Argument-Based Reasoning

ABDA-NL은 접지된 의미론(grounded semantics) 기반의 ASPIC- 지식 베이스를 활용하여 논증 기반 토론을 수행하는 시스템인 ABDA에 자연어 인터페이스를 추가합니다. 사용자는 어떤 결론이 수용(accepted), 기각(rejected), 또는 미결정(undecided)되었는지 확인하고, 접지된 토론 게임의 대화형 렌더링을 열어 그 이유를 파악할 수 있습니다. 또한 가정과 규칙을 유예하거나 선호도를 변경하여 가정적 대안(what-if alternatives)을 탐색하고, 시나리오의 참조 문서로부터 답변을 얻는 질문을 던질 수 있으며, 쉬운 영어(plain English)로 새로운 사실, 가정, 규칙을 작성할 수 있습니다. 대규모 언어 모델(LLM)은 자연어와 형식주의 간의 가교 역할을 하여, 문서 및 시나리오의 현재 상태를 바탕으로 질문에 답하고 쉬운 영어로 작성된 수정을 후보 형식 명제로 변환합니다. 결정론적 ABDA 엔진은 논증, 공격, 수용 레이블의 유일한 원천으로 유지되며, 모델의 모든 제안은 적용되기 전에 사용자가 검증하고 확인합니다.

arXiv:2610.01452v1cs.CV

불확실성 유도 핸드셰이크: 수술 등급 신경교종 분할을 위한 효율적인 인간 참여형 정제

Uncertainty-Guided Handshake: Efficient Human-in-the-Loop Refinement for Surgical-Grade Glioma Segmentation

의료 이미지 분할(image segmentation)을 위한 최신 자동화 모델은 높은 평균 성능을 달성하지만, 특히 신경종양학 분야에서 안전한 임상 적용을 가로막는 국소적이고 치명적인 실패를 빈번하게 겪습니다. 대화형 분할 프레임워크는 인간의 감독을 통합하여 이를 완화하지만, 전통적으로 임상의가 오류를 직접 찾아내도록 요구함으로써 과도한 인지적 및 시간적 부담을 초래합니다. 본 연구에서는 자동화된 기준선(baseline) 성능과 수술 등급 정밀도(precision) 사이의 간극을 메우는 효율적인 하이브리드 구조적-우연적 인간 참여형(Human-in-the-Loop) 신경교종 분할 프레임워크를 제시합니다. 이 프레임워크는 큐레이션된 벤치마크에서 2.0 mm 미만의 HD95를 달성하는 동시에 실제 임상 데이터 전반의 구조적 실패에 대한 안전망 라우팅을 제공합니다. 복셀 단위의 테스트 시점 증강(TTA) 불확실성을 추출하고 계층적 위상 필터링을 적용함으로써, 본 제안 방법은 고위험 구조적 이상치를 선제적으로 격리합니다. 연구진은 까다로운 분포 외(out-of-distribution) 임상 스트레스 테스트 코호트(N = 362)를 대상으로 본 접근법을 종합적으로 평가했습니다. 시뮬레이션된 인간 오라클(Human Oracle) 환경에서 본 프레임워크는 전체 종양(WT) Dice 점수를 0.891에서 0.914로 향상시켰고, 95번째 백분위수 하우스도르프 거리(HD95)를 5.82 mm에서 4.76 mm로 단축했습니다. 수술 안전성에 매우 중요하게도, 시스템은 종양 핵심(TC) 영역의 심각한 경계 오류를 복구하여 평균 HD95를 17.96 mm에서 14.83 mm로 감소시켰습니다(절대 TC Dice는 0.356으로 향상). 이러한 공간적 복구는 목표 체적의 11.3%에 불과한 중앙값 대화형 작업량만 요구하면서 달성되었습니다. 이것이 실제 인지적 마찰이 배제된 시뮬레이션상의 상한선이라는 점을 인정하더라도, 본 프레임워크는 임상 AI를 안전하게 배포하기 위한 매우 파레토 효율적인(Pareto-efficient) 경로를 입증합니다.

arXiv:2609.27418v1cs.CL

EviStreams: 의학 분야 체계적 문헌고찰을 위한 인간 참여형(Human-in-the-Loop) AI 데이터 추출

EviStreams: Human-in-the-Loop AI Data Extraction for Systematic Reviews in Medicine

체계적 문헌고찰은 임상 지침의 기반이 되지만, 그 데이터 추출 단계는 프로토콜화된 워크플로에 얽매여 있어 주요한 전문가 노동 병목 구간으로 작용합니다. 즉, 두 명의 검토자가 각 연구를 독립적으로 추출하고, 조정자(adjudicator)가 불일치를 해결하며, 연구팀은 모든 값이 어떻게 도출되었는지에 대한 감사 가능한 기록을 유지해야 합니다. 대규모 언어 모델(LLM)이 추출을 지원할 수 있으나, 이러한 지원은 확립된 고찰 프로토콜에 부합하고 재현성을 유지해야 합니다. 본 연구에서는 검토 팀이 프로그램 설계(코드 실행 전 승인되는 구조화된 분해), 필드 명세(파일럿을 통해 보정된 타입이 지정된 필드 정의), 추출된 예측값(조정을 거치는 검토자 블라인드 이중 검토)이라는 세 가지 핵심 단계에서 AI 지원 추출을 직접 제어할 수 있도록 하는 실시간 오픈소스 노코드 웹 플랫폼인 EviStreams를 소개합니다. 도메인 전문가는 폼 빌더(form builder)를 통해 프롬프트 대신 타입이 지정된 필드를 정의하고, 업로드된 PDF를 대상으로 추출을 실행하며, 근거가 되는 원문 구절과 함께 각 값을 검사하고, 검토자 블라인드 이중 검토를 해결하여 감사 가능한 합의 결과물로 내보냅니다. 시스템과 함께 공개된 4개의 임상 코퍼스 및 3개의 프론티어 모델 계열에 걸친 평가 결과는 추출 품질이 모델의 선택보다 필드 명세에 의해 훨씬 더 크게 좌우됨을 보여줍니다. EviStreams는 https://evistreams.com/demo 에서 실시간으로 제공되며 Apache-2.0 라이선스로 공개되었습니다.

arXiv:2609.27450v1cs.RO

BEE: 비전-언어-액션 모델을 위한 개입 적응형 실세계 강화학습

BEE: Intervention-Adaptive Real-World Reinforcement Learning with Vision-Language-Action Models

비전-언어-액션(VLA) 모델은 장기 조작을 수행하지만, 성공 여부는 밀리미터 단위 오류가 그동안의 진행을 모두 무효화하는 소수의 정밀도가 중요한 구간에 달려 있다. 온라인 강화학습(RL)은 바로 이러한 동작을 최적화할 수 있으나, 실제 로봇에서 자유 탐험은 비용이 지나치게 커 인간의 교정이 필수적이다. 그러나 VLA용 기존 온라인 RL 방법은 이러한 교정을 반영하지 못하거나 구분 없는 지도로 흡수한다. 인간 교정은 전 구간에서 균일하게 노이즈가 있는 것이 아니라, 어떤 동작 차원에서는 신뢰할 수 있고 다른 차원에서는 변동이 크다. 이에 기반해 우리는 고정 VLA 위에서 실세계 RL을 수행하는 개입 적응형 프레임워크 BEE를 제안하며, 정책이 전문가 모방을 넘어(BEyond Expert imitation) 나아가도록 한다. 인간 교정을 재현할 동작이 아니라 제약에 대한 증거로 공식화하고, Correction Model이 주어진 VLA 제안에 대해 인간이 어떻게 교정할지와 각 동작 차원에서 교정이 얼마나 일관적인지를 예측한다. 이 일관성 예측이 정책 최적화 제약의 차원별 엄격도를 정한다. 교정이 일관적인 차원에서는 정책이 인간에 가깝게 유지되고, 변동이 큰 차원에서는 제약이 완화된다. 동일한 온라인 데이터 예산 하에서 BEE를 실세계 조작 과제 3개와 LIBERO-Pro 시뮬레이션 과제 1개에서 평가했다. BEE는 모든 과제에서 최고 성공률(평균 91.2%, RLT 57.5%, DSRL 42.1%)을 기록했으며, 모든 실세계 과제에서 인간 개입률이 가장 낮았다.

arXiv:2606.19230v2cs.LG

제약 조건 인식 바이오 프로세스 개발을 위한 인간 개입형(Human-in-the-Loop) 베이지안 최적화 프레임워크

A Human-in-the-Loop Bayesian Optimization Framework for Constraint-Aware Bioprocess Development

이 연구는 Pareto Front Guided Sampling (PFGS)의 확장을 제시합니다. 이는 인간 개입형(Human-in-the-Loop, HitL) 베이지안 최적화(Bayesian Optimization, BO) 프레임워크로, 가우시안 프로세스(Gaussian Process, GP) 대리 모델에서 도출된 양을 다목적 최적화 문제의 목적식으로 재구성하고, 단일 자동화된 추천을 반환하는 대신 결과 파레토 프론트(Pareto front)를 도메인 전문가에게 제시하여 대화형 후보 선택을 가능하게 합니다. 이 프레임워크는 두 가지 방향으로 확장됩니다. 제약 최적화(constrained optimization)는 GP 사후 분포에서 해석적으로 계산된 출력 사양 한계를 충족하는 사후 확률을 명시적인 파레토 목적식으로 통합하여 해결됩니다. 강건 최적화(robust optimization)는 사용자 정의 입력 섭동의 변동성에 대한 기대 하위 신뢰도 성능을 추정하는 몬테카를로 샘플링(Monte Carlo sampling) 전략을 통해 해결하며, 이는 가능한 구현 편차 하에서의 성능 저하를 포착합니다. 결과적인 다차원 파레토 표현은 대화형 대시보드에서 쌍별 2차원 투영을 통해 예측 성능, 모델 불확실성, 확률적 제약 충족, 입력 강건성 간의 상충 관계를 동시에 시각화하여, 대리 모델이 개선되고 개발 목표가 진화함에 따라 선택 기준을 반복적으로 정교화할 수 있게 합니다. 이 프레임워크는 8차원 피드-배치(fed-batch) 중국 햄스터 난소(Chinese Hamster Ovary, CHO) 세포 배양 시뮬레이터를 통해 시연되며, 고성능이고 실현 가능성을 준수하며 섭동에 회복력 있는 운영 조건을 체계적으로 식별하는 것을 입증합니다. 또한 전문가 정의 요구 사항이 원칙적인 중단 기준을 제공하고 실험 자원의 정보에 입각한 할당을 지원하는 방법을 설명합니다.

arXiv:2607.20428v1cs.CL

피부 면역 관련 부작용 식별을 위한 휴먼-인-더-루프 대규모 언어 모델 프레임워크

Human-in-the-Loop Large Language Model Framework for Identification of Cutaneous Immune-Related Adverse Events

본 연구는 임상 기록에서 피부 면역 관련 부작용(cirAEs)을 탐지하기 위한 검색-증강 생성(RAG), 다중 에이전트, 대규모 언어 모델(LLM) 기반, 휴먼-인-더-루프 프레임워크를 평가했다. 보조 없는 수동 검토와 비교했을 때, LLM 보조 워크플로는 정확도(F1 = 0.88 vs 0.77), Cohen's kappa로 측정한 평가자 간 일치도(kappa = 0.82 vs 0.50)를 향상시켰으며, 평균 검토 시간을 약 절반으로 단축했다. 이 프레임워크는 LLM을 여러 장기계에 걸친 면역 관련 독성을 식별하는 데 어떻게 적용할 수 있는지 시범적으로 보여주며, 더 넓게는 정확하고 확장 가능하며 투명한 부작용 데이터 추출을 가능하게 한다.

arXiv:2607.21547v1cs.AI

자동화의 경계: 지속적 인간 참여에 관한 이론

The Boundaries of Automation: A Theory of Persistent Human Participation

AI의 급속한 발전은 오랫동안 이어져 온 자동화 추구, 즉 가능한 모든 곳에서 인간 참여를 알고리즘으로 대체하려는 노력을 더욱 강화했다. 이 추구에는 현재 AI 시스템이 아직 충분히 유능하지 않기 때문에만 인간이 루프에 남아 있다는 가정이 내재되어 있다. 본 논문은 그 가정에 도전한다. 자동화가 얼마나 확장될 수 있는지를 묻는 대신, 그 개념적 한계가 어디에 있는지를 묻고, 고도로 유능한 AI 시스템이 존재하더라도 인간 참여가 세 가지 뚜렷한 이유로 지속될 수 있다고 주장한다. 기술적 또는 상호보완(complementarity)적 근거는 인간이 AI가 제공할 수 없는 능력이나 관점을 기여할 때 발생한다. 규범적 또는 발달적 근거는 참여 그 자체가 인간의 주체성(agency)이나 학습에 가치가 있을 때 발생한다. 가장 중요하게는, 창발(emergence) 근거가 목표 창발(target emergence)에서 비롯된다: 일부 활동에서는 목표가 사전에 완전히 명시되지 않고, 대신 상호작용 자체를 통해 창발한다. 이러한 경우 인간 참여는 실행을 개선하기 위한 수단에 그치지 않고, 생산되는 목표를 구성하는(constitutive) 요소이다. 인간과 AI 시스템이 결과를 공동으로 생산하는 것으로 이해되는 인간-AI 공동 구성(co-construction)은 따라서 불완전한 AI에 대한 일시적 대응이 아니라, 목표가 참여를 통해 창발하는 활동의 지속적 특징이다. 이 관점은 자동화의 한계와 미래 AI 시스템의 설계, 평가, 윤리에 중요한 함의를 갖는다.

arXiv:2607.20005v1cs.AI

마이크로서비스 시스템에서 위험 제약 개입 결정으로서의 안전한 복구

Safe Remediation as Risk-Constrained Intervention Decision in Microservice Systems

현대 IT 운영(IT-Ops)에서 잘못된 복구의 비용은 종종 아무 조치도 하지 않는 것보다 더 큽니다. 그러나 기존 자동화 복구 시스템은 개입이 필요한지 여부를 결정하기보다는 조치를 생성하도록 설계되어, 안전성은 수동 승인으로 강제되는 사후적 고려 사항으로 남아 있습니다. 이 논문은 이러한 격차를 메우기 위해 세 가지 기여를 합니다: (i) 안전한 복구를 위험 제약 개입 결정 문제로 재공식화하고, 이를 제약 마르코프 결정 과정(CMDP, Constrained Markov Decision Process)으로 표현하며, 에이전트는 상한이 있는 거짓 복구율(FRR, false remediation rate) 조건 하에서 복구 성공을 극대화합니다; (ii) 영향 범위(blast radius), 가역성(reversibility), 인식론적 불확실성(epistemic uncertainty)으로 구성된 3차원 위험 분해를 도입하여, 운영자에게 해석 가능한 조치별 안전성 인터페이스를 제공합니다; (iii) 에스컬레이션을 이진형 안전장치에서 온콜 부하와 비즈니스 중요도에 반응하는 대역폭 인식 제어 층으로 전환하는 맥락 적응형 인간-루프(HITL, human-in-the-loop) 게이트를 설계합니다. 전체 정책은 과거 사고 로그로부터 오프라인으로 학습되며, 기대 FRR에 대한 명시적 제어를 가능하게 합니다. Chaos Mesh 결함 주입과 RCAEval 정렬 결함 분류체계를 사용한 Train Ticket 마이크로서비스 벤치마크에서의 실험은, 본 프레임워크가 강력한 런북 기준선 대비 FRR을 39% 줄이면서 복구 성공률을 2.5포인트 향상시키고, 고정 임계값 변형 대비 온콜 에스컬레이션 부하를 17% 줄임을 보여줍니다.

arXiv:2606.26614v2cs.HC

HiLSVA: 과학 시각화를 위한 Human-in-the-Loop 에이전트 시스템의 설계 및 평가

HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization

과학 시각화(SciVis)에서 자율성 중심 LLM 에이전트의 투명성·감독 한계를 보완하기 위해 HiLSVA는 계획 우선 다중 에이전트, 단계별 출처 추적, 샌드박스 실행, 사용자 피드백 기반 테스트 시점 학습을 결합한 human-in-the-loop 혼합 주도형 시스템을 제안한다. 12명 대상 사용자 연구에서 혼합 주도형 상호작용이 과제 완료·통제·워크플로 투명성을 개선했으나, 실행 효율성과 인간 감독 사이 트레이드오프가 확인되었다.

arXiv:2607.14123v1cs.LG

Position: 설명 가능성 연구는 임시방편적 방법보다 기초를 우선해야 한다

Position: Explainability Research Must Prioritize Foundations over Ad-hoc Methods

Explainable AI(XAI) 기법—특징 기여도(feature attribution)부터 희소 자기인코더(sparse autoencoder)에 이르기까지—의 확산에도 불구하고, 설명은 실제 업무 흐름에 거의 영향을 미치지 않는다. 실무에서는 설명이 종종 생성된 뒤 버려지며, 의미 있는 행동을 이끌어내지 못한다. 이 격차는 기초적 한계를 반영한다. 연구는 아직 설명을 end-to-end, human-in-the-loop 시스템에 통합하는 방법론을 확립하지 못했다. 본 position paper는 기계학습 커뮤니티가 임시방편적 XAI 방법에서 방향을 전환하여, 불명확한 문제 정식화, 명시가 부족한 평가 목표, 설명 기반 피드백을 위한 파이프라인 부재 등 기초적·구조적 과제를 해결해야 한다고 주장한다. 최근 ICML, NeurIPS, ICLR 논문 분석과 XAI 실무자 설문을 통해 이 주장을 뒷받침하며, 누적적 진보를 제한하는 반복적 문제를 드러낸다. 마지막으로 XAI를 보다 인간 중심적이고 행동 지향적인 패러다임으로 전환하기 위한 실용적 체크리스트를 개략적으로 제시한다. 임시방편적 방법 개발보다 기초적 명확성을 강조함으로써, 설명을 실행 가능하고 피드백 기반 AI 시스템에 통합하기 위한 로드맵을 제공하고자 한다.

arXiv:2408.12548v3cs.LG

안전하고 윤리적인 자율주행차를 위한 휴먼 인 더 루프 머신러닝: 원리, 과제, 기회

Human-In-The-Loop Machine Learning for Safe and Ethical Autonomous Vehicles: Principles, Challenges, and Opportunities

머신러닝(ML)은 자율주행차(AV)의 핵심이 되어 동적 환경에서 인식, 예측, 계획, 제어 및 의사결정을 지원한다. 그러나 복잡한 교차로, 다양한 장면, 다양한 궤적, 복잡한 임무와 같은 혼잡하고 복잡한 시나리오에서 완전한 자율성을 달성하는 것은 여전히 어려운 과제이며, 데이터 라벨링 또한 여전히 주요 병목이다. 이러한 한계는 검증, 주석, 작업 구성, 보상 설계, 행동 수정, 선호 피드백, 감독적 개입 등을 통해 인간 입력을 통합하는 휴먼 인 더 루프 머신러닝(HITL-ML)의 필요성을 촉발한다. 안전하고 윤리적인 자율주행을 발전시키기 위해 본 논문은 커리큘럼 학습(CL), 휴먼 인 더 루프 강화학습(HITL-RL), 휴먼 인 더 루프 대규모 언어 모델(HITL-LLM), 능동 학습(AL), 윤리 원칙에 초점을 맞춘 AV용 HITL-ML에 대한 튜토리얼 서베이를 제시한다. 먼저 간단한 작업에서 복잡한 작업으로 학습을 구조화하는 CL 방법을 검토하며, 내비게이션, 경로 계획, 장애물 회피, 데이터 수집, 착륙, 교차로 처리, 모션 계획, UAV 군집 협조 등을 다룬다. 이어서 보상 형성(reward shaping), 행동 주입, 시연, 선호 기반 피드백, 대화형 학습을 통한 HITL-RL을 검토하며, 학습 효율 향상, 더 안전한 정책 탐험, 실시간 개입을 강조한다. 다음으로 협업과 감독 관점에서 HITL-LLM을 검토하고 핵심 과제를 명시한다. 그 후 인식, 이상 탐지, 시맨틱 매핑, 객체 검출, 차량 인식, 보안 관련 분류에 대한 AL을 논의한다. 마지막으로 투명성, 책임성, 인간 감독, 안전성, 보안, 규제 준수, 인간 입력의 신뢰성에 대한 기술적 요구사항으로서 윤리 원칙을 검토한다.

arXiv:2607.15193v1cs.AI

Plover: 계획 중심 상호작용을 통한 GUI 에이전트 조향

Plover: Steering GUI Agents through Plan-Centric Interaction

그래픽 사용자 인터페이스(GUI) 자동화는 동적 레이아웃, 예기치 않은 대화 상자, 변화하는 인터페이스 상태로 인해 자율 에이전트가 사용자 의도에서 벗어날 수 있는 실제 환경에서 여전히 어려운 과제이다. 최근 비전 기반 멀티모달 에이전트는 스크린샷과 자연어 지시에 직접 동작함으로써 유연성을 높였지만, 계획과 적응은 종종 내부에 머물러 사용자가 시스템 동작을 검사하고, 감독하고, 수정하는 능력을 제한한다. 우리는 작업 계획과 재계획을 지속적이고 검사 가능하며 수정 가능한 산출물로 외부화하는 계획 중심의 비전 기반 GUI 자동화 시스템인 Plover를 제안한다. 플래너-실행기 아키텍처를 통해 Plover는 진행 중인 실행에 대한 명시적 감독, 편집 가능한 계획을 통한 국소적 수정, 자연어 가이드, 스크린샷 기반 개입을 지원하며, 수정 과정에서 이전 진행 상황을 보존한다. 6명의 참가자를 대상으로 한 형성적 연구가 상호작용 설계에 반영되었다. 이어서 벤치마크 실패 사례 수정과 시나리오 기반 워크플로 분석을 통해 Plover를 평가하였다. 결과에 따르면, 계획이 가시적으로 유지되고 개입이 국소화될 때 많은 자율 GUI 에이전트 실패는 구조적으로 수정 가능하며, 명시적 재계획이 GUI 자동화를 더 투명하고, 제어 가능하며, 적응력 있게 만드는 데 기여한다.

arXiv:2607.11267v1cs.IR

인간 피드백을 통한 대규모 언어 모델 향상: 자기 개선을 향한 여정

Enhancing LLMs through human feedback: a journey towards self-improvement

빠르게 진화하는 정보 검색 시스템 환경에서 사용자 피드백을 통해 적응하고 개선하는 능력은 매우 중요하다. 본 연구는 보조 피드백 검색-증강 생성(RAG) 시스템을 전략적으로 통합하여 주 RAG 시스템의 성능을 개선하는 새로운 방법론을 제안한다. 인간이 생성한 피드백을 체계적으로 활용함으로써, 응답의 정확성, 관련성, 전반적인 품질을 향상시키고 시스템이 자기 개선을 향해 나아가도록 한다. 이 방법론의 핵심은 인간 참여 루프(human-in-the-loop) 구현으로, 사용자 피드백이 지속적으로 수집·분류되어 추론 워크플로에 통합됨으로써 시스템이 반복적으로 학습하고 발전할 수 있게 한다. 이 접근법의 효과를 검증하기 위해, 본 연구는 일반 도메인 및 커스텀 도메인 지식에 초점을 맞춘 세 가지 다양한 벤치마크 데이터셋을 대상으로 엄격한 테스트를 수행하며, LLM-as-a-judge 평가 전략을 활용한다. 이 포괄적인 프레임워크는 RAG 시스템에서 피드백 기반 개선의 혁신적 잠재력을 부각시킬 뿐만 아니라, 적응형 정보 검색 기술의 미래 연구를 위한 선례를 제시하며, 사용자 참여를 통한 자율적 개선 및 최적화를 향한 여정에서 중요한 진전을 이룬다.

arXiv:2607.09776v1cs.RO

VLAC-Cut 가이드 파이프라인을 통한 대규모 로봇 사후 학습에서의 인간 효율성 극대화

Maximizing Human Efficiency in Large-Scale Robot Post-Training via VLAC-Cut Guided Pipeline

비전-언어-액션(VLA) 모델을 다운스트림 태스크에 적응시킬 때, 단일 라운드의 데이터로는 모든 문제를 해결할 수 없기 때문에 여러 라운드의 사후 학습이 필요하며, 이전 라운드에서 드러난 약점을 점진적으로 해결하기 위한 지속적인 반복이 불가결합니다. 본 보고서에서는 사후 학습 과정에서의 인간 효율성 극대화를 목표로 합니다. 여기서 인간 효율성은 단위 인력 및 시간당 달성되는 정책 개선과 태스크 처리량으로 정의됩니다. 우리는 소수의 인간 운영자가 여러 로봇을 감독할 수 있도록 하는 인간 효율적 사후 학습 파이프라인을 제안합니다. 이 파이프라인은 전문화된 분업 구조를 중심으로 구성됩니다: 숙련된 원격 조작자(Teleoperator)는 고가치 원격 개입과 복구 시연에 집중하고, 현장 운영자(Floor Operator)는 여러 로봇을 모니터링하며 개입을 트리거하고 물리적 리셋을 수행합니다. 이러한 역할 특화는 태스크 전환을 줄이고 운영자 학습 비용을 낮추며, 제한된 인력으로 더 큰 규모의 플릿에서 더 많은 로봇 상호작용을 감독할 수 있게 합니다. 데이터 활용 효율성을 향상시키기 위해, 우리는 자동 롤아웃 큐레이션 도구로 VLAC-CUT을 도입합니다. VLAC-CUT은 자율 로봇 궤적을 진행 구간, 유휴 구간, 실패 유발 구간, 복구 구간으로 분할하여 유용한 구간은 보존하고 유해하거나 정보가 없는 구간은 필터링합니다. 큐레이션된 롤아웃 데이터는 다음 사후 학습 라운드를 위해 휴먼-인-더-루프(HITL) 데이터와 결합됩니다. 우리는 네 가지 실세계 조작 태스크에서 제안된 파이프라인을 검증합니다. 반복적인 사후 학습 라운드를 거쳐 최종 정책은 80%–95%의 성공률을 달성하고 기반 모델 대비 태스크 처리량을 1.7×–4.2× 향상시킵니다. 동일한 인간 개입 예산 하에서, VLAC-CUT 가이드 롤아웃 재사용은 성공률과 처리량 모두에서 HITL 단독 학습을 능가합니다.

arXiv:2607.08877v1cs.RO

FlowDAgger: 잠재 공간에서 생성형 로봇 정책의 인간 참여형 적응

FlowDAgger: Human-in-the-Loop Adaptation of Generative Robot Policies in Latent Space

플로우 매칭(flow matching)과 확산(diffusion) 기반의 사전학습된 생성형 로봇 정책은 다양한 조작 태스크에서 인상적인 성과를 달성했다. 그러나 실제 환경 배포 시에는 사전학습 분포 외부의 실패 사례가 지속적으로 드러난다. 이러한 격차를 해소하려면 대규모 데이터 수집이나 물리적 하드웨어에서의 온라인 강화학습이 필요한데, 이는 신속하고 안전한 적응에는 비현실적이다. 우리는 잠재 공간에서의 인간 개입을 통해 동결된 생성형 로봇 정책을 적응시키는 샘플 및 계산 효율적인 방법인 FlowDAgger를 제안한다. 핵심 아이디어는 액션 역산(action inversion)으로, 각 인간 전문가 액션을 역시간 적분 후 지역 정제를 통해 동결된 기반 정책 하에서 해당 액션을 생성했을 노이즈로 매핑한다. 역산된 노이즈는 배포 시 기반 모델을 조종하는 경량 잠재 정책에 지도 신호를 제공하여, 행동 사전 분포를 보존하면서 신속한 기술 습득을 가능하게 한다. 우리는 FlowDAgger를 시뮬레이션과 실제 양팔 및 단일 팔 조작 환경에서 평가하며, 소수의 개입만으로 액션 헤드 VLA와 월드-액션 모델 모두에 적응시킨다. FlowDAgger는 지도 미세조정 및 잠재 공간 강화학습 기준선을 능가하고 비학습 태스크에서 사전학습된 기술을 보존하여, 실제 환경에서 로봇 파운데이션 모델을 적응시키는 실용적인 경로를 제시한다. 웹사이트: https://microsoft.github.io/FlowDAgger

arXiv:2607.05841v1cs.HC

VisTCP: 중국 전통 회화의 지식 그래프 기반 표현 구축을 위한 시각화 프레임워크

VisTCP: A Visualization Framework to Construct Knowledge-Graph-Based Representation for Traditional Chinese Painting

중국 전통 회화(TCP)의 고대 객체·사건 인식이 어렵다는 문제를 해결하기 위해, VisTCP는 TCP 특화 구조화 표현 모델과 전문가 지식을 결합한 인간 참여 루프(human-in-the-loop) 시각화 프레임워크를 제안한다. 전문가 주석 데이터로 학습한 모델이 지식 그래프 기반 객체·관계를 자동 추출하고, 결합 임베딩 시각화로 모델 불확실성을 전달하여 미술사 연구자가 구조화 표현을 반복적으로 정제할 수 있도록 지원한다.

arXiv:2602.13213v2cs.AI

적대적 자기비평을 활용한 상업용 보험 언더라이팅을 위한 에이전틱 AI

Agentic AI for Commercial Insurance Underwriting with Adversarial Self-Critique

상업용 보험 언더라이팅의 고위험 규제 환경에 적합한 에이전트(agent) 시스템을 제안하며, 주 에이전트의 추론 결과를 비평 에이전트가 적대적으로 검토한 뒤 인간 심사자에게 전달하는 adversarial self-critique 메커니즘을 도입했다. 전문가 검증 500개 사례 실험에서 환각(hallucination) 발생률을 11.3%에서 3.8%로 낮추고 의사결정 정확도를 92%에서 96%로 향상시켰으며, 모든 최종 결정 권한은 인간에게 유보된다.