조건부 이미지 생성기는 분할 맵을 의미 RGB 이미지로 렌더링할 수 있지만, 색상 드리프트와 경계 혼합이 직접 디코딩을 저해할 수 있다. 본 논문은 도로 장면 분할을 위해 명시적 의미-이미지 인터페이스와 계층적 정제를 결합한 프레임워크인 Semantic Prism을 제시한다. 확산 증류 백본에서 변형한 생성기는 크롭당 한 번의 노이즈 제거 갱신으로 의미 RGB 이미지를 생성한다. 고정된 클래스 색상 코드북까지의 거리가 인터페이스 로짓과 픽셀 단위 클래스 확률을 정의한다. 계층적 생성기 증거 정렬(HGEA)은 생성기의 VAE 인코더에서 얻은 공간적으로 정렬된 다중 수준 특징을 입력 이미지, 생성된 의미 이미지, 인터페이스 확률과 결합하여 이 로짓에 대한 가산 보정값을 예측한다. 문맥적 인터페이스 계층 불일치(C-IHD)는 점별 불확실성, 국소 문맥, 인터페이스-정제 불일치를 결합한 고정 점수로, 보조 예측기나 추가 네트워크 패스 없이 픽셀 오류의 순위를 매긴다. 500장의 Cityscapes 검증 세트에서 Semantic Prism은 평균 mIoU 72.07%를 달성하여 직접 인터페이스 디코딩보다 11.39 퍼센트포인트 향상되었다. 용량을 맞춘 폭넓은 절제 실험은 다중 수준 정제가 평탄한 방식 및 단일 수준 대안보다 더 높은 평균 mIoU를 보임을 나타낸다. Cityscapes로 학습한 모델은 대상 도메인 적응 없이 ACDC 데이터셋으로 전이되어 46.89% mIoU를 달성한다. Cityscapes를 넘어 BDD100K 데이터셋에서는 별도로 학습한 모델이 전체 1,000장 검증 세트에서 62.22% mIoU를 달성한다. 평가한 3개 데이터셋 전반에서, 각 비교마다 분할 예측을 고정한 상태에서 C-IHD는 최대 소프트맥스 확률에서 도출한 불확실성보다 픽셀 오류의 AUPR(곡선하면적)을 향상시킨다. 특히 ACDC에서 AUPR은 0.6580에서 0.7557로 증가하여, Semantic Prism이 악조건 도메인 변화 하에서 더 효과적인 오류 순위화를 제공함을 보여준다.
소프트웨어 시스템은 시간이 지남에 따라 의존성과 설계상의 약속을 축적하지만, 이를 수정하는 에이전트는 제한된 세션 안에서 작동한다. 그렇다면 일시적인 에이전트의 여러 세대에 걸쳐 개발이 어떻게 누적적으로 이어질 수 있는가? 본 논문은 개발을 지속적 재귀 소프트웨어 월드로 조직하는 EvoX Genesis를 제안한다. 에이전트는 승인된 저장소 버전에 진입하여 로컬 범위 안에서 작업을 위임하고, 변경 사항을 검증 및 상위 검토를 위해 제출한다. 변경 사항이 승인되면 이를 평가하는 데 사용된 계약과 테스트와 함께 이후 에피소드로 전달된다. 이로써 프로젝트는 이전 작업과 다음 단계를 평가할 기반을 모두 보존한다. 우리는 형성, 지속, 재개발에 관한 네 가지 연구를 통해 이러한 연속성을 검토한다. 컴파일러 코드가 전혀 없는 상태에서 시작하여 Genesis는 123.4시간 동안 1,019개의 에이전트 에피소드를 거쳐 219,676줄의 Rust 소스로 이루어진 C 컴파일러를 구축하였다. 이렇게 성장하는 구현 내에서 수정을 통해 고정된 100개의 Csmith 프로그램에 대한 통과 수가 61개에서 93개로 증가하였으며, 이후 개정에서도 93개 통과가 모두 유지되었다. 또한 DeepSeek V4 Flash가 GLM 5.2 스냅샷을 이어받았을 때 별도의 컴파일러 계보에서도 개발이 계속되었다. 구현 자체가 바뀔 때의 연속성을 검토하기 위해, Genesis는 선별된 MESA 기능을 Rust로 재개발하였고, 여섯 가지 워크로드에서 Fortran 기준 구현과의 수치 일치도를 평가하였다. 한편 WebGL 궤적에서는 반복된 검사로 2,017/2,019개의 적합성 페이지 통과를 향한 진행이 기록되는 동안 수정과 회귀가 모두 드러났다. 보완적인 EvoX Compiler 사례는 프로그램 병합 성능을 실행 가능한 그래프 및 백엔드 계약과 연결한다. 이러한 기록들은 승인된 작업이 어떻게 추가 개발의 토대가 되는지를 보여 준다. 즉 이후의 에이전트는 사용 가능한 구현과 추가 개정을 평가할 구체적인 방법을 모두 물려받는다.
비전-언어 모델(VLM)은 로봇공학에서 체화된 제어기로 흔히 배치되지만, 환경을 탐색하고 내부 지도를 유지하며 장기 순차 궤적에서 안전 필수 결정을 근거 있게 내리는 능력이 어느 정도인지는 여전히 불분명하다. 본 연구에서는 공간 추론을 네 단계, 즉 탐색(Explore, 에이전트가 관찰하는 것), 지도화(Map, 무엇을 어디에 기록하는가), 기억(Remember, 무엇을 유지하는가), 결정(Decide, 최종 선택이 정당화되는가)으로 분리하고 18개의 단계별 지표로 점수를 매기는 평가 프레임워크 EMRD를 제안한다. EMRD를 사용하여 16개 건물에서 정상 조건과 세 가지 환경 스트레스(어둠, 연기, 움직임 잡음) 하에 11개의 오픈 가중치 및 클로즈드 가중치 VLM을 평가하였다. 여기서 체화된 VLM은 미지의 방을 탐색하고, 관찰한 객체를 지도에 기록하며, 가장 안전한 집결 장소를 선택한다. 오픈 가중치 모델은 95%의 에피소드에서 방을 방문하지 않은 채 남겨 두었고 객체를 최대 51%만 탐지하였다. 클로즈드 가중치 모델은 더 많이 탐색하지만, 외부 메모리(메모장)를 사용할 때 세 모델 중 두 모델이 조기에 중단한다. 외부 메모리가 없으면 대부분의 VLM은 특히 큰 건물에서 본 객체를 더 적게 유지한다. 시작 위치는 탐색되는 방을 제한하며, 서로 다른 방에서 시작한 오픈 가중치 모델들이 최종 방에 대해 일치하는 빈도는 우연보다 유의하게 높지 않다. 더욱이 이러한 선택은 의미적 사전 지식에 의해 편향되어 있어, 방의 레이블을 바꾸는 것만으로도 최종 선택이 바뀌는 경우가 많다. 마지막으로, 움직임 잡음은 객체 위치 오차를 증가시키고(클로즈드 가중치 모델의 경우 12~60%), 강한 어둠은 지도 재현율을 28~31 퍼센트포인트 낮추며, 짙은 연기는 관찰된 객체를 25~39포인트 감소시키지만, 진입한 방들 사이의 선택은 유의하게 변하지 않는다.
언어 모델 에이전트로 구성된 사회 시뮬레이션에는 에이전트를 시뮬레이션된 집단에 투입하기 전에 점검할 수 있는 역할 조건부 행동이 필요하다. 우리는 역할 조건부 에이전트를 위한 활성화 조향 선별 워크플로를 제안한다. 이 워크플로는 역할 프로필을 정의하고, 역할별 방향을 추출하고, 네 가지 조향 계수를 훑어 보며, 역할 프로필 정렬도를 평가하고, 각 후보 구성을 통과시키거나 표시하는 단계로 이루어진다. OLMo-3-7B-Instruct에서 228개의 역할 비특정 질문이 포함된 275개 역할의 혼합 목록, GPT-4.1-mini로 프롬프트한 역할 참조, GPT-4.1-mini 판정자를 사용하여 이 워크플로를 적용한다. 또한 기존 페르소나 벡터 연구의 어시스턴트 축 방향 대조군보다 높은 판정 역할 프로필 정렬도를 얻는 CastVectors를 제안하며, 시험한 격자 전체에서 평균 종합 점수는 63.2 대 41.1이다. CastVectors는 높은 어휘 다양성도 유지하는 반면, 대조군은 큰 계수에서 급격히 떨어진다. 역할 수준의 선별이 주요 기여이다. 대부분의 역할은 조향이 증가할수록 향상되지만, 38개 역할은 측정한 여섯 가지 차원 모두에서 하락하며, 이는 시뮬레이션 구축자가 균일한 고강도 설정을 배치하기보다 역할별로 계수를 선택해야 하는 이유를 보여 준다. 코드는 https://github.com/HCAI-Lab-GT/casting-call-vectors 에서, 역할 벡터와 평가 데이터는 https://huggingface.co/datasets/HCAI-Lab-GT/casting-call-vectors 에서 이용할 수 있다.
추천 모델의 최적화는 아키텍처, 목적 함수, 학습 전략에 대한 수동 반복에 크게 의존한다. LLM 기반 에이전트는 이러한 시행착오 과정을 자동화할 수 있지만, 수정 방향의 선택과 구체적인 가설의 수립을 모두 LLM에 맡기면 제한된 시도 예산 하에서 탐색이 불안정해질 수 있다. 이러한 문제에서 착안하여, 우리는 자동 추천 모델 최적화를 위한 밴딧 라우팅 에이전트 하네스인 RecHarness를 제안한다. RecHarness는 최적화 과정을 두 단계로 분리한다. 밴딧 라우터가 과거 검증 피드백에 따라 다음 수정 방향을 선택하고, LLM은 선택된 방향 안에서 구체적인 최적화 가설과 실행 가능한 코드 편집을 생성한다. 장기 탐색을 지속하기 위해 RecHarness는 국소 편집이 정체될 때 구조적 점프 암(arm)을 활성화하는 점프-분지(jump-basin) 메커니즘을 사용한다. 여러 추천 과제, 데이터셋, 모델 백본에 걸쳐 RecHarness는 LLM 주도 탐색보다 더 일관된 성능 향상을 달성하고 제한된 시도 예산을 더 효과적으로 사용한다. 대규모 숏폼 비디오 광고 플랫폼에서 7일간 진행한 온라인 A/B 테스트에서 선택된 후보는 ADVV를 2.084%, 매출을 0.534%, 노출을 0.559% 향상시켰다. 코드는 https://github.com/6lyc/RecHarness 에서 이용할 수 있다.
Large language models now help professionals in fields such as cybersecurity and biology, yet the same answers would help an attacker. Deployers rely on misuse safeguards to keep such answers from attackers. We find that these safeguards share a high-risk vulnerability: they decide whether to release an answer from what users write, including the professional identity or purpose they claim, and anyone can write such a claim. Threat reports from model vendors and security firms show that attackers who fabricate a professional identity or purpose already exploit this vulnerability to cause serious harm. The vulnerability is also widespread across the state of the art: every defense proposed in 129 papers from the latest editions of 12 top venues has it. Safeguard research studies the wrong object: it treats harm as a property of the text of a request, although the same text can come from a professional or an attacker. Current safeguard benchmarks therefore cannot reveal the vulnerability: a safeguard can score high on them and still give dangerous answers to attackers. Because the vulnerability lies in what users write, no improvement in how safeguards judge that writing can close it. Under the patch we propose, large language models can help professionals without giving dangerous capabilities to anyone who merely claims to be one.
지식 그래프는 시간에 따라 변하지만, 행동이 그래프에 미치는 영향은 부분적으로만 명시된다. 온톨로지는 추가적인 결과를 함의하고, 행동이 필요로 하는 사실은 종종 알려져 있지 않으며, 행동은 그래프를 비일관적으로 만들 수 있다. 우리는 이러한 문제를 시간적 동적 지식 그래프(TDKG), 즉 행동이 삭제/삽입 템플릿을 가진 규칙이고 사건이 내재적 시간선 위에 놓이는 SROIQ 지식 베이스에 대해 연구한다. 우리는 세 가지 도구를 제시한다. 계획의 정확한 검사인 시간적 투영(temporal projection), 관찰의 부정을 가정하고 추론기가 새로 도출한 것을 부정함으로써 관찰을 설명하는 DDA(Direct-Derivation Abduction), 그리고 목표로부터 거꾸로 계획하여 계획이 필요로 하지만 아무도 명시하지 않은 사실을 가정하고 DDA가 그 가정을 설명하게 하며 각 설명을 하위 목표로 삼아 깊이 한계까지 진행하는 APT(Abduction and Planning over TDKGs)이다. 이 도구들은 작은 계약을 통해서만 SROIQ 추론기를 사용하므로 특정 추론기나 특정 데이터 구조에 의존하지 않으며, 추가 및 제거된 공리를 점진적으로 처리하는 추론기를 위해 설계되었다. 변화는 양상 연산자 없이, 하나의 선형 시간선 위에서, 가능 세계 없이 다루어지므로 투영의 결정 가능성은 SROIQ의 결정 가능성으로부터 따른다. 우리는 간접 효과가 갱신된 상태의 함의와 정확히 일치하고, DDA와 APT가 건전하며 종료하고, 유계 계획이 2NExpTime-난해이며 3ExpTime에 속함을 증명한다. 이 도구들을 히팅 셋 귀추, 해결기 CATS, 고전적 계획과 비교하고, 여섯 가지 벤치마크와 다섯 가지 추론기에서 실행하여 동일한 결과를 얻었다.
배포된 AI 시스템은 흔히 방대한 후보 데이터 풀로 학습되므로, 배포 시점의 테스트 분포에 맞춘 데이터 큐레이션이 필요하다. 그러나 기존의 데이터 큐레이션 방법은 배포 적합도를 직접 최적화하지 않고 학습 측 기준으로 점수를 매긴다. 본 논문은 추론 시 모델 가중치를 갱신하는 대신 학습 전에 테스트 측 정보를 활용하는 데이터 수준의 테스트 조건부 큐레이션 방법인 TTCov(Test-Time Coverage)를 제안한다. TTCov는 배포 조건부 큐레이션을 커버리지와 분포로 분해한다. 커버리지를 표현하기 위해 배포와 관련된 개념을 기술하는 LLM 기반 원자 명제(AP)의 집합인 태스크 Atlas를 구축하며, 이는 공개 태스크 지식으로 초기화하고 레이블이 없는 배포 샘플에서 추출한 미매칭 AP로 확장한다. 분포를 표현하기 위해 매칭된 배포 AP를 그 빈도와 함께 구체화하여, 배포 분포를 큐레이션 목표로 구현하는 지식 Atlas(K-Atlas)를 얻는다. 이후 TTCov는 배포 AP 분포가 이 목표에 근사하는, 예산에 맞는 학습 집합을 선택한다. 본 방법을 자율주행(AD)에 적용하여 적응을 추론 경로 밖에 두면서, 데이터 큐레이션 기준선보다 배포 관련 커버리지가 더 크고 K-Atlas 일치도가 더 높으며 하위 end-to-end 주행 성능이 더 우수한 데이터를 선택하였고, 도시 간 확장을 통해 새로운 도메인에도 원활히 적응할 수 있음을 보였다. 코드는 https://github.com/NVlabs/TTCov 에서 확인할 수 있다.
For smooth nonconvex stochastic multi-objective optimization, stochastic multi-gradient descent (SMG) computes an approximate steepest common descent direction of the objectives from stochastic gradients. Under standard assumptions, this note establishes a new convergence rate for SMG in terms of the squared Pareto-stationarity (PS) measure. With a constant stepsize and linearly growing mini-batches, the expected squared empirical PS measure at the algorithm's output is $\tilde{O}(T^{-1})$ after $T$ iterations. This improves on the $\tilde{O}(T^{-1/4})$ bound obtained by Chen et al. (JMLR, 2024) for linearly growing batches, without requiring bounded gradients. Here, $\tilde{O}(\cdot)$ suppresses logarithmic factors. The key to the rate improvement is to exploit the Lipschitz continuity of the PS measure, defined by the norm of the multi-gradient descent algorithm (MGDA) direction, rather than the $(1/2)$-H\"older continuity of the MGDA direction used by Chen et al. (2024). For variants of MoCo and MoCo+ with exact MGDA updates and constant batch sizes, the analysis gives expected squared empirical PS rates of $O(T^{-1/2})$ and $\tilde{O}(T^{-2/3})$, respectively. These bounds match the corresponding single-objective momentum rates up to logarithmic factors. The proof was accidentally discovered while the author was preparing homework for a graduate course: ChatGPT 5.4 Thinking Extended generated the initial proof strategy for the main SMG result in response to an author-written homework-solution prompt; the author then verified and reorganized the resulting argument. The appendices document the prompt, summarize the student submissions with LLM disclosures, and present additional proofs and results on momentum-based stochastic MGDA.
모바일 및 웨어러블 기기는 지속적이고 수동적인 건강 모니터링과 능동적인 건강 코칭을 위한 전례 없는 기회를 제공한다. 그러나 가장 큰 웨어러블 데이터셋은 비공개이며, 이를 기반으로 학습된 주요 웨어러블 파운데이션 모델은 가중치가 공개되거나 재현 가능한 학습 코드가 제공되는 경우가 드물다. 웨어러블 건강 분야의 오픈 사이언스를 가속하기 위해, 자격을 갖춘 연구자가 폭넓게 접근할 수 있는 가장 크고 포괄적인 웨어러블 건강 데이터셋인 OpenMyHeartCounts(OpenMHC)를 최근 웨어러블 파운데이션 모델의 오픈소스 구현 및 가중치와 함께 소개한다. OpenMHC는 My Heart Counts 연구 앱을 통해 10년 이상 수집된 데이터에서 유래하였으며, 최대 19개 센서 채널(예: 걸음 수, 심박수, 수면, 운동)에 걸친 6,700만 참여자-시간 이상의 웨어러블 기록과 11,894명의 참여자로부터 얻은 최대 170개의 건강, 생활습관, 기분, 행동 변수로 구성된다. 또한 (1) 건강 및 행동 결과 예측, (2) 다변량 데이터 보간, (3) 시계열 예측의 세 가지 태스크에 대한 표준화된 평가 벤치마크를 구축한다. 고전적 방법과 최근의 웨어러블 및 시계열 파운데이션 모델을 함께 벤치마킹한 결과, 파운데이션 모델이 강한 성능을 보이는 한편 신중하게 튜닝된 XGBoost와 같은 고전적 기준선도 여전히 매우 경쟁력이 있음을 확인하였다. OpenMHC는 폭넓게 접근 가능한 웨어러블 데이터를 공개 코드 및 모델 가중치와 결합함으로써, 웨어러블 건강 AI에서 재현 가능한 발전을 이끄는 데 필요한 프레임워크를 제공한다.
고속 오프로드 자율주행에는 변화하는 지형에서도 강건성을 유지하면서 대상 차량에 대한 정밀한 폐루프 제어가 필요하다. 최근의 순방향 운동역학(FKD) 예측 파운데이션 모델은 범용 모델에서 출발하여 이를 대상 플랫폼에 특화시키는 유망한 경로를 제시한다. 그러나 효과적인 특화는 상당한 양의 실제 데이터를 요구하는 경우가 많고, 한 환경에 적응된 모델이 특정 지형이나 주행 영역에 과적합될 수 있어 여전히 어렵다. 본 논문은 특정 차량에 대한 성능을 최적화하면서 지형 간 일반화를 유지하는, 범용 FKD 모델에서 특화 FKD 모델로 나아가는 방법인 OptCar(Optimized Car)를 제안한다. OptCar는 최근 상태-행동 이력을 요약한 단일 동역학 문맥 토큰에 FiLM으로 다단계 예측을 조건화하는 트랜스포머 FKD 아키텍처를 도입한다. 이후 제한된 실제 데이터와 환경별 시스템 식별로부터 얻은 목표 지향적 합성 롤아웃을 사용해 범용 모델을 특화시킨다. 세 가지 지형과 분포 외 카트 견인 과제에서 수행한 폐루프 모델 예측 제어(MPC) 실험에서, 가장 큰 향상은 평가된 최고 속도이자 슬립이 추종 오차를 지배하는 영역인 6 m/s에서 나타난다. 슬립이 가장 다양한 지형인 식생+흙 지형에서 OptCar는 실제 데이터만으로 미세조정한 AnyCar 대비 6 m/s 궤적 추종 오차를 약 55% 줄이며, 보지 못한 카트 하중으로 동역학이 변하는 경우에도 가장 정확하다. 지형당 5분의 실제 데이터만으로도 OptCar는 30분의 도로 데이터로 학습된 특화 모델과 도로에서 대등한 성능을 보이며, 지형이 바뀌면 이를 능가한다. 프로젝트 페이지: https://amrl.cs.utexas.edu/optcar/
낙상 감지는 노인 돌봄과 지능형 감시에 필수적이지만, 기존 비전 기반 접근법은 대부분 이를 정적 자세 분류 또는 이산적 시간적 패턴 매칭으로 다루어, 인간 지지 체계의 불안정 역학을 근본적으로 간과한다. 본 논문은 낙상을 결합 동역학 시스템에서의 안정성 상실 사건으로 재정식화하는 물리 정보 기반 낙상 감지 프레임워크를 제안한다. 우리는 질량 중심(CoM) 하위 시스템과 지지 기반(BoS) 하위 시스템으로 구성된 새로운 이중 LTC 아키텍처를 도입하며, 두 하위 시스템 모두 Liquid Time-Constant(LTC) 신경망으로 구현되어 적응적 시간 상수를 통해 관성 궤적 진화와 지면 접촉 조정을 연속적으로 모델링하고 낙상 운동의 물리적 해석 가능성을 제공한다. 학습 가능한 결합 모듈은 두 하위 시스템 간의 물리적 상호작용을 모사하고, Stability Manifold 분류기는 결합 잠재 공간에서 Lyapunov 영감 안정성 지표를 통해 경계 교차를 감지한다. 보완적으로 반사실적 궤적 투영과 충돌까지의 시간(TTC) 추정은 비가역성 평가와 조기 경보를 추가로 가능하게 한다. 이 아키텍처는 3상태 예측 패러다임(정상, 낙상 중, 낙상 완료)을 지원하도록 설계되었으며, 본 예비 연구에서는 2클래스 데이터셋(정상 대 낙상)에서 핵심 안정성 판별 능력을 검증하고, 전체 3상태 시간적 전이는 향후 연구로 남긴다. 기존 CNN-RNN 파이프라인과 달리, 제안된 공식화는 연속 시간 기계적 관성을 인코딩하여 5만 미만 매개변수의 네트워크로 자원 제약 에지 장치에서 실시간 추론이 가능하다. 광범위한 실험은 우수한 물리적 해석 가능성과 함께 경쟁력 있는 정확도를 보여 주며, 저연산 시각적 낙상 감지에 대한 효과를 입증한다.
RL 사후 학습은 기반 모델에 이미 잠재된 기본 기술을 단지 증폭하는 것인가, 아니면 기본 기술을 조합하여 새로운 상위 수준 전략을 만들 수 있는가? 본 연구는 사전학습 분포가 알려져 있고 생성된 모든 재작성을 감사할 수 있는, 완전히 관측 가능한 재작성 문법 환경에서 이 질문을 연구한다. 트랜스포머를 기본 기호 재작성 연쇄로 사전학습한 뒤, 이진 최종 답 보상만으로 트레이스 기반 추론 과제에 대해 사후 학습한다. RL은 훨씬 큰 샘플링 예산에서도 사전학습 모델이 거의 풀지 못하는 보류된 문제를 해결하는 반면, 기각 미세조정은 초기에 향상되다가 정체된다. 트레이스 분석은 RL이 단계적 조합 메커니즘을 통해 기본 역량을 재편함을 보여 준다. 즉 먼저 기본 축약을 강화하고, 이후 유효한 조합 절차를 발견한다. 여기에는 순서가 있는 기본 축약 연쇄를 하나로 압축하는 순차 조합과, 독립적인 기본 축약을 한 단계에서 결합하는 병렬 조합이 포함된다. 이러한 조합 절차는 고립된 샘플이 아니라 재사용되고 통합되어 안정적인 레퍼토리를 이룬다. RL과 기각 미세조정을 비교하면 핵심 차이는 탐색량이 아니라 선택성임을 알 수 있다. RFT는 지름길 같은 재작성을 많이 만들어 내며 그중 상당수가 유효하지 않은 반면, RL은 탐색을 유효하고 재사용 가능한 구조에 집중시킨다. 사전학습 절제 실험은 조합 전략의 출현이 기본 기술에 대한 노출만으로 결정되는 것이 아니라, 사전학습이 기본 역량을 RL이 이후 압축할 수 있는 축약 절차로 조직화하는지에 달려 있음을 보여 준다. 기반 모델은 약한 절차적 재료를 제공하고, RL은 이를 신뢰할 수 있는 상위 수준 전략으로 구축한다.
Model-specific adversarial attacks have been extensively studied. We study a different failure mode: naturally occurring statistical signals in vision data that can behave as backdoor-like triggers without being maliciously inserted. We call these signals statistical adversaries. We analyse ImageNet to find patterns that are strongly linked to certain labels. We then use statistical controls to remove random correlations from our candidate signals. Finally, we demonstrate that these signals directly and predictably alter model predictions. These statistical adversaries are more targeted than generic corruptions and transfer across different model architectures. This suggests that some vulnerabilities are driven by dataset structure and distribution rather than a single model's idiosyncrasies. We conclude that ordinary datasets can contain exploitable adversarial surfaces even in the absence of poisoning, and suggest that dataset audits should treat spurious structure not only as a source of bias or interpretability failure, but also as a latent attack surface for vision models.
LoRA와 같은 매개변수 효율적 미세조정(PEFT) 방법은 단일 저랭크 업데이트로 대규모 모델을 적응시킨다. 이러한 업데이트는 그래디언트 간섭에 취약하다. 학습 스트림에 여러 운영 문맥이 섞여 있으면 공유 어댑터 가중치에 대한 상충하는 업데이트로 인해 어댑터가 특화되지 않은 평균으로 붕괴한다. 최근 방법들은 이 문제를 해결하기 위해 블록 단위 격리를 도입하지만, 그 토폴로지는 정적이어서 문맥 전환이나 국소적 센서 열화에 적응하지 못한다. 본 연구에서는 국소화된 공간 블록화와 문맥 조건부 전문가 라우팅을 결합한 프레임워크인 Localized LoRA-MoE를 제안한다. 두 가지 아키텍처 변형을 제안하고 평가한다. 하나는 단일 문맥 조건부 게이트로 전체 구조 격자를 조절하는 Block-Wise LoRA-MoE(중앙집중식 라우팅)이고, 다른 하나는 행렬 격자의 모든 좌표 셀에 독립적인 게이트를 할당하는 Cell-Wise LoRA-MoE(분산식 라우팅)이다. 고차원 SVD 행렬 시뮬레이션, 실제 표 형식 데이터에 대한 문맥 전환 변환, 모사된 센서 가려짐 하의 공간 복원이라는 세 가지 구조적 변환 벤치마크 전반에서, 두 변형 모두 비슷한 어댑터 예산에서 정적 기준선을 능가한다. 문맥이 격자를 균일하게 이동시킬 때는 두 변형이 유사하게 동작하며, 문맥이 공간적으로 이질적일 때는 셀 단위 라우팅이 확실히 더 우수하다. 여섯 개의 교차 배치된 GLUE 과제로 언어 모델을 미세조정할 때, 고정된 어댑터 예산에서 과제 조건부 라우팅은 LoRA와 정적 국소화 어댑터를 능가하며, 6배의 예산을 쓰는 과제별 어댑터와 대등하다. Qwen2.5-1.5B 디코더 규모에서는 두 라우팅 변형 모두 여덟 개의 상식 벤치마크에서 정적 기준선을 능가하며, 활성 용량이 같은 조건에서 셀 단위 라우팅은 LoRA 대비 +3.9점을 달성한다.
Decoupled multi-robot motion planning avoids the high-dimensional joint configuration space but requires repeated single-robot planning among moving obstacles, where route choice and timing are coupled. We develop a framework based on graphs of space-time convex sets (ST-GCSs) for continuous spatiotemporal planning and multi-robot coordination. An ST-GCS represents collision-free space-time by convex sets, allowing the sequence of regions and the geometry and timing of piecewise-linear trajectories to be optimized jointly under velocity limits. To incorporate moving obstacles and previously planned robots, we develop Exact Convex Decomposition (ECD), which removes their swept occupancies while maintaining a convex decomposition for subsequent planning queries. Building on path-based GCS search, we develop a best-first solver tailored to the ST-GCS motion model, exploiting temporal reachability for dominance pruning and using admissible heuristics with separate or joint search-key evaluation. Precomputed heuristic bounds can also be reused across reservation-updated graphs. We integrate ST-GCS planning and ECD into prioritized multi-robot planning and introduce windowed coordination with dynamic window adjustment to limit reservation-induced graph growth. Experiments demonstrate improved scalability and competitive solution quality against optimization-based and sampling-based planners on challenging spatiotemporal and multi-robot problems. Large-scale simulations coordinate up to $100$ robots within a minute, while real-robot demonstrations showcase the practical applicability of the framework. Project homepage: https://sites.google.com/view/stgcs.
조밀한 프로세스 지도는 국소적인 평가를 제공하지만, 이러한 점수를 어떻게 정책 이점(advantage)으로 변환할 것인지는 해결되지 않은 채 남겨 둔다. 본 논문은 그룹 상대 정책 최적화(GRPO)를 위한 이점 구성 방법인 PASS(Process Advantage Signal Shaping)를 제안한다. PASS는 보상 채널을 개별적으로 정규화하고 융합하며, 융합된 점수 궤적의 변동으로부터 배치 공유 크레딧 단위를 구성하고, 남은 단위 개수로 return-to-go를 정규화한다. 이러한 연산은 피드백 스케일, 크레딧 해상도, 누적 지평을 하나의 계산 안에서 연결한다. 본 연구는 수학적 추론에 대해서는 학습된 프로세스 보상 모델(PRM) 피드백을, 멀티홉 질의응답(QA)에 대해서는 교사 모델에서 도출한 토큰 피드백을 평가한다. 7개의 수학 벤치마크에서 PASS는 결과만 사용하는 GRPO 대비 평균 pass@1을 4.62%p 향상시키면서 응답 길이는 약 $2\%$ 짧아졌다. Step-GRPO와의 대응 비교 및 구성 요소 제거 실험은 공유 크레딧 단위와 잔차 정규화의 선택을 추가로 뒷받침한다. 멀티홉 QA에서 PASS는 두 가지 정규화 방식 전반에서 프로세스 신호 대조군보다 향상되었다. 토큰 수준 제거 실험은 정확도와 길이 사이의 상충 관계를 보여 준다. 토큰 수준 누적은 pass@1에서 약간 우세하나, PASS는 더 짧은 응답으로 더 높은 pass@8/16을 달성한다. 이러한 결과는 국소 프로세스 점수를 정책 이점으로 변환하는 과정이 서로 다른 지도 소스 전반에서 중요한 설계 선택임을 보여 준다.
ML.Energy 프레임워크로 다국어 LLM 추론 에너지를 체계적으로 측정한 결과, 출력 토큰당 소비는 언어에 따라 최대 8.3배, 동일 요청의 총 에너지는 영어(17.6 kJ)와 파슈토어(3,147 kJ) 사이에서 최대 179배까지 차이가 난다. 격차는 복잡·희귀 문자 체계의 높은 토큰당 비용과 저자원 언어의 과도한 토큰 생성이 겹치며, 에너지가 큰 언어는 정확도도 낮아 이중 비용·성능 페널티가 나타나고 모델·하드웨어·작업 전반에서 지속된다.
결합 임베딩 예측 아키텍처(JEPA)를 통해 에이전트는 후보 행동의 결과를 상상함으로써 잠재 공간(latent space)에서 계획을 수립할 수 있지만, 여전히 태스크 명세(task specification)가 병목으로 남아 있습니다. 시각적 타깃은 정밀한 국소적 그래디언트를 제공하지만 장거리 유도에는 취약한 반면, 언어는 유연하지만 노이즈가 있는 크로스모달 정렬이나 별도의 대규모 생성 모델에 대한 의존성으로 인해 한계가 있습니다. 본 연구에서는 단일 예측기가 행동 조건부 역학(dynamics)을 예측하는 동시에 언어 지시를 일련의 중간 잠재 하위 목표(latent subgoal) 시퀀스로 그라운딩(grounding)하는 계층적 월드 모델인 LAGO(Latent Goal Prediction from Language)를 제안합니다. LAGO는 공유된 잠재 공간에서 단일 회귀 목적함수를 사용해 두 모드를 모두 학습합니다. 각 계획 수립 단계에서 LAGO는 언어 지시로부터 잠재 하위 목표 시퀀스를 예측하고, 고정된 경로를 강제하지 않으면서 하위 목표 근접성에 보상을 부여하는 소프트 최소(soft-minimum) 정렬 비용을 활용하여 행동 시퀀스를 최적화합니다. 하위 목표는 에이전트의 상태가 변함에 따라 재예측되어, 단일 장기 지시를 국소적으로 다루기 쉬운 일련의 목표 시퀀스로 전환합니다. 내비게이션 및 매니퓰레이션을 아우르는 환경 전반에서 LAGO는 평탄형(flat) 및 계층적 이미지 목표 플래너보다 우수한 성능을 보였으며, 곡선 형태의 위험 회피 경로가 있는 장기 내비게이션에서 가장 큰 폭의 향상을 달성하여 동일한 시연 데이터로 학습된 목표 조건부 행동 복제(behavior cloning) 정책의 성공률을 두 배 이상 끌어올렸습니다. 월드 모델 자체의 잠재 공간에 언어를 그라운딩하는 방식은 정답 역학(ground-truth dynamics)으로 계획을 수립하는 모델을 포함한 비전-언어(vision-language) 보상 모델보다도 우수한 성능을 보입니다.
에이전트 시스템의 오프라인 평가는 흔히 궤적을 이진 최종 성공 값으로 축약하여 부분적 진전에 관한 정보를 버린다. 이는 다시 광범위한 동점을 초래하고, 유효 표본 크기를 줄이며 시스템을 구별하는 능력을 약화시켜 통계적 비효율을 낳는다. 본 논문은 time-to-return 프로파일 간의 시간적 선호를 이용해 궤적 쌍을 직접 비교하는 평가 척도인 선호 기반 궤적 평가를 제안한다. 다양한 에이전트 및 상호작용 벤치마크 전반에서 성공 기반 지표는 약 75%의 사례에서 동점 비교를 낳는 반면, 궤적 인식 선호는 동점을 약 35%로 줄여 판별력, 순위 안정성, 데이터 효율성을 향상시킨다는 점을 발견했다. 이러한 결과는 흔히 부실한 데이터 수집이나 문제의 난이도 탓으로 여겨지는 벤치마크 포화가 평가 척도의 설계로도 설명될 수 있음을 시사한다.