자동 주거 평면도 생성에서 두 가지 구조적 통찰이 간과되어 왔다. 첫째, 설계는 본질적으로 점진적이다. 건축가는 거친 스케치로 시작하여 시간이 지남에 따라 이를 정제하지만, 기존 방법들은 일반적으로 생성 전에 조건화 표현(conditioning representation)을 완전히 지정해야 하며, 이는 실제 설계 방식과 근본적으로 불일치한다. 둘째, 2D 평면도는 선택적 중간 산물이 아니라 대체 불가능한 공간적 계약(spatial contract)이다. 방 경계, 문, 창문이 고정되면 가구 배치는 개방형 공간 추론에서 제한된 제약 만족(constraint satisfaction)으로 축소된다. 기존 3D 시스템이 레이아웃을 언어 모델에 위임함으로써 이 계약을 우회하면 방이 겹치고 비현실적인 비율이 발생하며, 범용 언어 모델을 직접 호출하는 것도 마찬가지로 기하학적으로 유효하지 않은 레이아웃을 만든다. 이러한 통찰에 따라 PlanCraft를 제안한다. SketchPlan은 8만 개의 실제 평면도에서 건축가의 그리기 과정을 재현하여 모든 완성도 수준에서 부분 스케치를 생성함으로써 누락된 학습(training) 신호를 제공한다. PlanCraft-Diff는 거친-세밀(coarse-to-fine) 전략을 통해 불완전한 스케치를 기하학적으로 정밀하고 벡터화 가능한 평면도로 점진적으로 선명하게 만든다. 공간적 계약이 확립되면 PlanCraft-에이전트(PlanCraft-Agent)가 잘 정의된 방 경계 내에서 장면에 가구를 배치한다. 실험 결과 PlanCraft는 기존 최고 2D 방법 대비 FID가 61.1% 낮으며, 전문가 평가 공간 합리성에서 기존 3D 시스템을 15점 능가하고, 25% 완성도의 스케치만으로도 모든 완전 지정 기준선(baseline)을 능가한다.
장면 텍스트 인식(STR) 모델은 거의 전적으로 최대 25자의 단어 crop으로 학습되지만, 실제 배포(간판, 제품 라벨, 밀집 캡션)에서는 훨씬 더 긴 텍스트를 읽어야 한다. 본 논문은 그 실패를 진단한 뒤 이를 해소한다. 진단은 길이 초과 실패를 동시에 외삽하는 두 축(인코더의 너비 축과 디코더의 시간 축)으로 분리하고, 디코더 길이가 아닌 인코더 너비가 지배적인 실패 양상임을 보여준다. 표현 측면의 수정은 부분적인 완화만 가져온다. 학습 없는 rotary rescaling은 문자 오류율(CER)을 최대 2–4 포인트만 회복하고, 가중 미세조정 레시피는 표준 벤치마크 정확도를 개선하면서 6–8 포인트를 회복하지만, Long Text Benchmark(LTB)에서의 단어 정확도는 거의 0에 머문다. 이는 잔여 격차가 표현이 아니라 디코딩 메커니즘에 있기 때문이다. 그런 다음 수정되지 않은 단어 수준 체크포인트에서 추론 시점에 그 격차를 해소한다. 긴 이미지를 모델의 학습 너비에 맞춰 겹치는 crop으로 슬라이스하고, 각각을 독립적으로 분포 내(in-distribution)에서 디코딩한 뒤, 기하학 기반 앵커 편집 거리 정렬로 읽기 결과를 이어붙인다. 이 절차는 두 기본 체크포인트에 걸쳐 LTB에서 버킷 평균 단어 정확도 42.79–43.05%에 도달하며, 발표된 최신 기술(41.57%)과 맞먹고 가장 어려운 버킷에서는 11–12 포인트 앞선다. 일반 디코딩과 벽시계(wall-clock) 시간이 동등한 수준이며, 공개 PARSeq 체크포인트에 변경 없이 적용하면 47.11%에 도달한다. 청킹(chunking)을 적용하면 미세조정은 더 이상 도움이 되지 않는다. 디코딩 측면의 수정만으로도 목적에 맞게 설계된 아키텍처와 동등한 성능을 낸다. 진단 하네스와 구현을 공개한다.
연속 환경에서의 비전-언어 내비게이션(VLN-CE)은 에이전트가 자기 중심(egocentric) 관측에 언어를 그라운딩하고, 보지 못한 장면에서 계획을 세울 것을 요구한다. 최근의 멀티모달 대규모 모델과 월드 모델 기반 방법들이 내비게이션을 개선했지만, 종종 과도한 작업 무관 세부 정보를 보존하여 일반화를 약화시키고 계산 부담을 증가시킨다. 우리는 최소 충분성 원칙(Principle of Minimal Sufficiency)에 기반한 내비게이션 프레임워크인 BrainNav를 제안한다. BrainNav는 세 가지 구성 요소로 이루어진다: 환경 노이즈를 억제하기 위해 지시(instruction) 인식 선택적 지각을 구현하는 Logical Anchor Model, 이산적 언어적 의도와 연속 잠재 역학을 효율적으로 동기화하면서 중복 정보를 걸러내는 컴팩트한 교차 모달 병목 역할을 하는 Minimalist Constraint Alignment 모듈, 그리고 응축된 저랭크(low-rank) 잠재 공간 내에서 행동 조건부 상태를 예측하는 Compression World Model. 이러한 모듈들은 의미적 의도와 공간 지각을 정렬하여 복잡한 작업에서 에이전트의 견고성과 효율성을 향상시킨다. 실험 결과 BrainNav는 R2R-CE val-unseen에서 SR/SPL 기준으로 이전 SOTA 대비 2.0% / 1.0%, RxR-CE val-unseen에서 0.94% / 0.78% 개선을 보였다. 이 결과는 최소 충분한 월드 표현이 견고한 VLN을 위한 효과적인 기반을 제공함을 시사한다.
인간의 시선은 시각적 대상을 가리키는 것 이상의 역할을 하며, 정적 이미지 내에서 사회적 의도의 미묘한 지표로 작용한다. 반면 표준 모델은 일반적으로 개인을 독립적으로 처리하며, 시선을 i.i.d. 양으로 취급하거나 사회적 의미를 고립된 상태에서 예측한다. 최근 다인(multi-person) 방법들이 이를 해결하려 시도하지만, 사회적 관계를 시선 추정 과정과 분리된 경직된 사후(post-hoc) 분류로 취급하는 경우가 많다. 이러한 과단순화는 사회적 의도의 미묘한 특성을 포착하지 못한다. 사회적 의도는 부차적인 범주형 출력이 아니라 시선 행동의 근본적 동인으로 작용하기 때문이다. 우리는 이러한 한계를 해결하기 위해 ANCHOR를 제안한다. 시각적 어텐션과 잠재적 암묵적 관계의 공동 분포를 모델링함으로써 시선 고정(gaze-anchored) 사회적 의도를 해독하도록 설계된 대상 중심(target-centric) 패러다임이다. 우리 접근법은 이러한 의존성을 시선 행동의 잠재적 구조적 골격으로 드러낸다. 아키텍처는 관계형 어텐션 메커니즘을 활용하여 세밀한 대인관계 연결을 포착하고, 단일 비전 백본에서 효율적인 다인 파싱을 위해 특징(feature)별 변조를 활용한다. 이 결합된 공식화의 학습을 안정화하기 위해, 공간적 시선 정확도와 잠재적 사회적 추론 간의 고유한 충돌을 해결하는 최적화 시너지를 구현한다. 이 접근법은 경쟁하는 태스크 그래디언트를 조화시키면서 안정적이고 평평한(flat) 최솟값을 추구함으로써 견고한 일반화를 보장한다. 우리는 밀집 다인 주석과 새로운 사회적 영향력 순위를 포함하는 확장된 벤치마크에서 프레임워크를 검증한다. 결과는 최신(state-of-the-art) 성능을 보여주며, 암묵적 사회적 위계가 정적 시선 패턴으로부터 직접 견고하게 분리(disentangle)되어 학습될 수 있음을 보여주는 최초의 정량적 증거를 제공한다.
실시간 인식(perception)은 고급 운전자 보조 시스템(ADAS)과 자율주행 차량의 기본 요건이지만, 임베디드 자동차 플랫폼은 연산, 메모리, 전력에 심각한 제약을 부과한다. 본 논문은 RetinaNet 검출 프레임워크에서 파생된 최적화된 의미 분할 아키텍처를 제안하며, 이는 밀집 픽셀 단위 예측에 맞게 조정되었고 자원 제약이 있는 임베디드 하드웨어 배포에 맞춰 설계되었다. 제안 아키텍처인 Opt-RetinaSeg는 표준 ResNet-50 백본을 하이브리드 경량 특징 추출기로 교체하고, 특징 피라미드 네트워크(FPN)를 재구성하여 중복 다중 스케일 연산을 줄이며, 도로 장면에서 흔한 심각한 전경-배경 불균형을 해결하기 위해 focal 손실에서 영감을 받은 클래스 균형화로 유도되는 컴팩트 분할 헤드를 도입한다. 또한 구조화된 채널 가지치기, 사후 학습 INT8 양자화, 고용량 교사 네트워크로부터의 지식 증류로 구성된 3단계 최적화 파이프라인을 적용한다. Cityscapes 및 BDD100K 데이터셋에서 평가하고 NVIDIA Jetson Xavier NX와 Qualcomm QCS610 자동차 SoC에 배포한 결과, 제안 모델은 70.4 FPS에서 73.9% mIoU를 달성하여 ResNet-50 기준선 대비 추론 속도 7.4배 향상 및 모델 크기 4배 감소를 이루었으며, 정확도 저하는 3% 미만이다. 이러한 결과는 RetinaNet에서 파생된 아키텍처가 체계적으로 최적화될 경우 임베디드 자동차 인식 파이프라인에서 실시간 의미 분할의 실용적 후보가 될 수 있음을 보여준다.
객체 중심 학습(object-centric learning)은 장면을 객체 단위로 표현하여 각 객체의 속성을 새로운 조합에서 재사용할 수 있게 하는 것을 목표로 한다. 기존 평가는 일반적으로 분할(segmentation), 단일 이미지 요인(factor) 예측, 또는 하류(downstream) 정확도를 점수화하지만, 이러한 테스트는 통제된 의미적 편집(semantic edit) 하에서 객체별(per-object) 표현이 올바르게 동작하는지를 직접적으로 검증하지는 않는다. 우리는 EditCLEVR을 소개한다. EditCLEVR은 전후 쌍 장면 개입 벤치마크로, 각 예시는 동일한 객체 인덱스와 장면 레이아웃을 가진 CLEVR 스타일 렌더의 전/후 쌍을 포함하며, 알려진 한 객체에 대한 정확히 하나의 알려진 속성 변경이 있거나 드리프트(drift) 측정을 위한 편집 없는(no-edit) 재렌더링을 포함한다. 이 프로토콜은 표현 변화의 국소화(localization) 및 안정성(stability)에 대한 프로브 없는(probe-free) 진단을 포함하며, 분포 내(in-distribution) 및 구성적 분포 외(compositional out-of-distribution, OOD) 테스트 스위트에서 예측된 장면 변화가 의도된 개입과 일치하는지를 검증하는 프로브 디코딩(probe-decoded) 의미적 충실성 지표와 함께 제공된다. 이를 통해 코드 공간(code-space) 이동과 디코딩된 객체-속성 정확도를 별도로 평가할 수 있다. 우리는 의미적 지표 Scene-Graph Intervention Accuracy(SGIA)를 도입한다. SGIA는 전체 after-scene 예측이 정확하고, 전에서 후로 예측된 유일한 의미적 변화가 의도된 객체-요인(object-factor) 편집이어야 한다. 또한 Delta-SGIA를 보조 진단으로 정립한다. Delta-SGIA는 전체 after-scene 그래프가 정확할 필요 없이 단일 위치(single-site) 변경 패턴을 검증한다. 정답 마스크(ground-truth-mask) 백본, 학습된 슬롯(learned-slot) 모델, SAM 2 + frozen-ViT 모델, 그리고 하나의 마스크-특징(mask-feature) 하이브리드에 대한 기준선 평가 결과, CoGenT-OOD-core 성능 저하는 정답 인스턴스 마스크 하에서도 지속될 수 있으며, 마스크 출처는 고유 성능의 일부만 설명하고 전부는 아니며, 국소성(locality) 또는 안정성만으로는 의미적 충실성을 과대평가할 수 있음을 보여준다. 코드는 https://github.com/torux-bughunter/EditCLEVR 에서 이용할 수 있다.
개체-관계 다이어그램(Entity-Relationship Diagrams, ERD)은 개념적 데이터베이스 설계의 핵심이지만, 일반적으로 기계 판독 가능한 스키마가 아닌 렌더링된 이미지 형태로만 제공되어 AI 지원 데이터베이스 엔지니어링을 제한한다. 본 논문은 ER 다이어그램의 구조화된 이해를 위한 최초의 대규모 벤치마크인 ERUnderstand를 소개한다. ERUnderstand는 엄선된 교육 자료, 실제 스키마, 합성 생성 예시에서 수집한 2,960개의 다이어그램으로 구성되며, 다양한 도메인, 표기법, 복잡도 수준, 확장 개체-관계(Extended Entity-Relationship, EER) 구조를 포괄한다. 각 다이어그램은 스키마 요소에 대한 세밀한 평가를 위해 표준화된 기계 판독 가능 표현과 짝을 이룬다. 최신 비전-언어 모델(VLM)을 평가한 결과, 일반적인 ERD 요소는 신뢰할 만하게 복원되지만(F1 > 0.74), 약 개체(weak entities)(F1 최대 0.28), 다중값 속성(multivalued attributes)(0.14 F1), N-원 관계(N-ary relationships)(0.07 F1)에서는 성능이 급격히 하락한다. 추론(reasoning)이 강화된 모델은 전체 성능을 15-25% 향상시키지만, 언어적 사전 지식(linguistic priors)과 증가하는 다이어그램 복잡도에 여전히 민감하다. ERUnderstand는 개념적 데이터베이스 스키마에 대한 멀티모달 이해를 평가하기 위한 표준화된 벤치마크를 제공한다. 벤치마크, 데이터셋, 평가 도구 키트, 생성 코드는 https://github.com/salinaria/ERUnderstand 에서 공개 제공된다.
악천후 조건에서의 자율주행은 여전히 중요한 과제이지만, 기존 비전-언어 벤치마크는 주로 표준 조건, 합성 손상, 또는 단일 모달리티에서 평가한다. 그 결과, 멀티모달 입력을 사용한 실제 악천후 환경에서 비전-언어 모델이 어떻게 동작하는지는 여전히 불분명하다. 우리는 핵심 난관이 환경 관측 가능성(observability)의 저하에 있다고 주장한다. 안개, 비, 눈, 저조도 조건에서는 멀티모달 관측이 신뢰할 수 없고 교차 모달 간 불일치가 발생하여 장면 이해와 이후 의사결정에 어려움을 준다. 이를 연구하기 위해 악천후 자율주행을 위한 실세계 멀티모달 벤치마크인 ObsDriveBench를 제안한다. 본 벤치마크는 관측 가능성 인식(observability awareness), 공간적 신뢰성(spatial reliability), 위험 인식 의사결정(risk-aware decision-making)의 세 가지 역량 차원으로 설계되어, 저하된 관측 조건에서 모델 행동을 세밀하게 진단할 수 있다. 동기화된 카메라, LiDAR, 레이더 입력에 대한 관측 가능성 메타 어노테이션, 장면 설명, 역량 지향 객관식 과제를 통해 벤치마크를 구축하였으며, 14k개 이상의 학습 및 13k개의 테스트 질문으로 구성된다. 실험 결과, 기존 비전-언어 모델에서 일관된 성능 저하가 나타났다. 또한 정상 기상 조건 지도 미세조정과 악천후 강화학습을 적용한 ObsDrive 모델을 제안하여, 세 가지 역량 전반에 걸친 견고성을 향상시켰다. 데이터셋과 평가 코드는 https://github.com/russellyq/ObsDriveBench 에서 공개될 예정이다.
대규모 언어 모델(LLM)은 점점 더 유능한 대화형 에이전트를 가능하게 했지만, 실시간 상호작용 환경에서 그 행동을 안정적으로 제어하는 것은 여전히 중요한 과제로 남아 있다. 기존 접근법은 종종 모델 미세조정이나 정렬(alignment) 절차에 의존하는데, 이는 변화하는 상호작용 요구사항에 적응하기 어렵다. 이 논문은 계층적 시나리오 기반 LLM 제어를 소개하며, 이는 구조화된 프롬프팅을 통해 런타임 행동 제어를 가능하게 하는 프레임워크이다. 지속적 컨텍스트와 시나리오별 제약을 결합함으로써, 이 접근법은 기본 모델을 변경하지 않고도 상호작용 중에 에이전트 행동을 수정할 수 있게 한다. 이 프레임워크는 ARDena에 구현되었으며, ARDena는 음성 상호작용, 시각적 지각, 도구 사용, 아바타 기반 응답 생성을 통합한 실시간 멀티모달 체화 에이전트(embodied agent)이다. 제안된 접근법은 제어 효과, 응답 지연 시간, 운영 안정성 측면에서 평가되었다. 결과는 시나리오 정의만으로도 안정적인 실시간 운영을 유지하면서 상당히 다른 상호작용 행동을 만들어낼 수 있음을 보여주며, LLM 에이전트 제어를 위한 시나리오 기반 프롬프팅의 효과를 부각한다.
효과적인 도시 기후 적응 전략의 개발에는 옥상과 건물에 대한 포괄적인 공간 정보가 필요하며, 이러한 정보는 특히 도시 열섬(UHI) 완화를 위한 녹색 인프라가 제공하는 생태계 서비스 평가의 기반이 된다. 녹색 옥상은 도시 열 쾌적성을 개선하는 유망한 대책으로 널리 인정받고 있지만, 기존 연구의 대부분은 현재의 녹색 옥상 또는 녹화 잠재력이 있는 옥상 중 하나만을 매핑할 뿐, 둘 다를 동시에 다루지는 않는다. 본 연구는 싱가포르국립대학교 Urban Analytics Lab에서 개발한 Roofpedia를 기반으로 한 수정된 심층 합성곱 신경망 옥상 분류 프레임워크를 제시한다. 제안된 모델은 고해상도 항공 영상과 디지털 표면 모델에서 파생된 옥상 경사 정보를 결합하며, SWISSIMAGE 정사영상, swissSURFACE3D 고도 데이터, swissTLM3D 건물 외곽선 등 공개적으로 이용 가능한 Swisstopo 데이터셋만을 전적으로 사용한다. 스위스 베른에 적용한 결과, 모델은 옥상을 네 가지 범주로 분류한다: 기존 녹색 옥상, 녹색 옥상 설치에 적합한 옥상, 태양광 패널이 설치된 옥상, 녹화에 부적합한 평평한 옥상. 이 프레임워크는 녹색 옥상 확대를 위한 현실적인 기회를 식별하고, 베른 및 기타 스위스 도시에서 녹색 인프라 배치를 위한 근거 기반 정보를 도시 계획가에게 제공한다. 완전한 오픈 소스이기 때문에, 이 프레임워크는 전 세계 도시로 이전 적용할 수 있다.
비전-언어 모델(VLM) 에이전트는 3D 장면을 단순히 설명하는 것을 넘어, 도구를 사용해 3D 장면에서 행동하는 경우가 점점 늘고 있다. 기존 3D 벤치마크는 텍스트 응답이나 단일 객체 조작을 평가하며, 완전한 다중 객체 3D 장면에서의 에이전트 행동은 충분히 평가되지 않은 채로 남아 있다. 본 연구에서는 통합된 에이전트-환경 루프 아래 5가지 3D 과제에 걸친 시각 조건부 행동을 위한 벤치마크인 SceneActBench를 제안한다. PNG 이미지 또는 샘플링된 비디오 프레임과, 해당되는 경우 제공된 3D 에셋이 주어지면, 에이전트는 3D 환경에서 행동한다. 각 최종 출력을 숨겨진 정답(ground truth)과 대조하여 과제별 기하학적 지표로 평가한다. SceneActBench는 210개의 소스 인스턴스로 구성된 5가지 과제를 포함하며, 쌍을 이룬 입력 조건을 포함해 총 520개의 과제 케이스를 생성한다. 모든 과제는 공정한 비교를 위해 하나의 고정된 에이전트 루프를 통해 실행된다. 11가지 독점 VLM 구성에 걸쳐 전체 점수는 38.6~50.2 범위이며, 어떤 모델도 모든 과제에서 일관되게 우수한 성능을 보이지 않는다. 또한 실패가 어디에서, 어떻게 나타나는지 추가로 분석한다.
공유 공간에서 로봇과 인간이 어떻게 움직이는지 이해하는 것은 효과적인 사회적 로봇 내비게이션 정책을 설계하고 인간 행동을 예측하는 데 필수적이다. 그러나 기존 데이터셋은 문화, 지리, 인간-로봇 상호작용의 차이—적절한 사회적 행동을 크게 형성하는 요인들—를 포착하는 데 필요한 다양성이 부족한 경우가 많다. 이 격차를 해소하기 위해, 우리는 ACME: 사회적 내비게이션을 위한 교차문화적, 다중 체형 데이터셋을 제안한다. 5개국 8개 현장에서 7가지 로봇 체형을 사용한 대규모 데이터 수집 노력을 통해, ACME는 사회적 내비게이션 연구를 발전시키기 위한 대규모이고 다양한 멀티모달 데이터셋으로, 29.35시간의 온보드 로봇 데이터와 43.5시간의 상공 보행자 추적 데이터를 제공한다. 이전 데이터셋과 달리, 로봇 음성을 통한 명시적인 로봇-군중 상호작용이 포함된 복잡한 사회적 시나리오에서 목표 지향적 사회적 내비게이션 행동을 포착하는 데 중점을 둔다. 내비게이션 정책 학습과 보행자 궤적 예측을 용이하게 하기 위해, ACME는 3D 및 2D 장면 특징, 오도메트리(odometry), 상호작용 정보, 사람이 주석을 단 보행자 궤적 레이블을 제공한다. 각 센서 모달리티에 대한 사람이 읽을 수 있는 데이터와 원시 바이너리 데이터를 모두 제공하여 ACME를 사용하기 쉽게 한다. 우리의 정성적 및 정량적 분석은 본 데이터셋이 이전 데이터셋보다 더 도전적인 시나리오와 더 넓은 분포의 보행자 행동을 포착함을 보여준다.
기하학 기반 모델(GFM)은 단안 3D 재구성을 크게 발전시켰지만, 이 능력을 4D 동적 이해로 확장하는 것은 여전히 근본적인 과제로 남아 있다. 대부분의 기존 모션 인식 방법(예: sparse tracking, dense point-wise flow)은 모션을 독립적인 점 단위 변위로 취급하여 물리적 모션의 구조적 특성을 무시한다. 그러나 실세계 객체는 보통 강체 운동학(rigid-body kinematics)을 따르므로, 점들은 고립적으로가 아니라 집단적으로 움직인다. 모션 자체는 기하학적 구조를 가진다. 물리적 객체는 비구조적인 점 단위 변위가 아니라 SE(3)에 의해 지배되는 일련의 강체 변환(rigid-body transformation)을 겪는다. 이 통찰에 기반하여, 우리는 end-to-end 3D 재구성 및 구조화된 모션 인식을 위한 Structured Motion 4D Reconstruction 트랜스포머인 SM4RT를 제안한다. SM4RT는 장면 역학을 표현하기 위해 Structure-of-Motion을 도입하며, 여기서 장면 모션은 각각 SE(3)의 6D twist 시간적 시퀀스로 표현되는 소수의 모션 기저(motion basis) 집합으로 분해된다. 이후 이 기저들에 대한 sparse하고 시간 공유(time-shared) per-pixel 할당 가중치로 dense한 장면 모션을 복원하여, 동일 객체상의 점들이 공통의 강체 모션 궤적을 공유하도록 보장한다. SM4RT는 병렬 모션 기하학 인코더와 디코더를 도입하여, 단안 RGB 비디오로부터 단일 순전파에서 3D 기하학, world-coordinate 모션, 장면 운동학적 구조를 공동으로 추론한다. SM4RT는 장면 모션의 기하학적 구조를 보존하면서 강력한 모션 재구성 성능을 달성한다.
우리는 희미해지는 다중모달 흔적로부터 장면에서 방금 일어난 일을 추론하는 새로운 패러다임인 시간 역전 영상(time-reversed imaging)을 제안한다. 비디오 프레임을 외삽하거나 보간하는 대신, 우리의 목표는 열, 자외선, 가시 스펙트럼에서 관측 가능한 잔류 물리적 흔적으로부터 과거 인간-환경 상호작용을 추론하는 것이다. 이 문제를 연구하기 위해, 우리는 시간 역전 영상을 위한 최초의 개념 증명(proof-of-concept) 데이터셋인 TRACE-HEI를 제시한다. 이 데이터셋은 앉기, 접촉, 물체 이동, 액체 유출과 같은 행동의 동기화된 삼중모달 비디오 시퀀스를 포함하며, 다양한 재질에 걸쳐 촬영되었고 접촉 후 최대 3분까지 기록되었다. 벤치마크를 확립하기 위해, 우리는 검출된 흔적의 구조화된 텍스트 설명을 추출하고 이를 사용하여 그럴듯한 과거 프레임을 재구성하기 위한 비전-언어(vision-language) 기반 확산 모델(diffusion model)을 제약하는 다중모달 추론 접근법을 제안한다. 실험 결과, 희미해지는 흔적로부터 최근 사건을 추론하는 것은 도전적이지만, 상호 보완적인 모달리티가 해의 모호성을 줄일 때 실현 가능함을 보여준다. 본 연구는 시간 역전 영상을 위한 최초의 계산 및 실험적 기반을 정의하며, 비전, 물리학, 생성적 추론을 연결하고 즉각적 관측을 넘어선 장면 이해의 새로운 방향을 연다.
소비재 생산 공정에서 조립 지침은 계획뿐 아니라 생산 공정 실행에도 필수적이다. 로봇공학에서도 마찬가지로, 조립 로봇이 부품들이 어떻게 맞물리고 조립될 수 있는지 이해하는 것이 중요하다. 이러한 작업을 지원하기 위해, 우리는 부품 간 조립 관계를 표현하고 특성화하기 위한 장면 그래프(scene graph) 구성 방법을 제안한다. 우리 접근법은 의미(semantic) 데이터에 의존하지 않으며 매우 작은 데이터셋을 처리할 수 있다. 이를 실현하기 위해 Faster R-CNN 모델의 출력을 사용하여 기하학적 표현을 생성하고, 이를 트랜스포머 아키텍처로 처리하여 인접 행렬(adjacency matrix)을 생성한다. 이 행렬은 어텐션 그래프 합성곱 네트워크(attentional graph convolutional network, aGCN) 아키텍처 기반 메시지 패싱(message passing)을 사용하는 쌍대(Siamese) 네트워크의 입력으로 사용되어 부품 간 연결을 특성화한다. 우리는 운송 수단으로 조립할 수 있는 장난감 모델 부품으로 구성된 연구용 데이터셋에서 방법을 검증한다.
AI 생성 이미지 탐지에서 일반화는 여전히 핵심 병목이다. 많은 최신 생성기가 독점적이거나 적대적으로 수정되어 있기 때문에, 기존 탐지기는 접근 가능한 학습 데이터의 저수준 텍스처 패턴에 과적합되어, 보지 못한 도메인에서 심각한 실패를 초래한다. 기존 정규화 기법(예: $L_1$/$L_2$ 노름, 드롭아웃)은 무차별적인 파라미터 제약을 적용하며, 생성기 간 견고성에 필요한 도메인 불변 구조를 제공하지 못한다. 이를 해결하기 위해, 우리는 Feature-Augmented Implicit Regularization(FAIR)을 제안한다. FAIR은 학습 중에 직교적이고 거시적 구조 사전(prior), 구체적으로 Scene Composition Structure(SCS)를 도입하여 모델의 최적화 궤적을 기하학적으로 제약한다. 도메인 불변 SCS 특징으로 주요 특징 공간을 증강함으로써, FAIR은 텍스처 편향 단축 학습을 명시적으로 억제한다. 중요하게도, 이 구조적 사전은 추론 시 완전히 폐기되어, 아키텍처 또는 계산 오버헤드 없이 평활화되고 일반화된 결정 경계를 제공한다. 다섯 개의 대규모 벤치마크에 걸친 광범위한 평가는 FAIR을 최신 탐지기에 통합하면 생성기 간 일반화가 크게 향상되어 정확도가 최대 8.04%까지 증가하고, 제로샷 전이 시나리오에서 새로운 최첨단 견고성을 확립함을 보여준다.
자율주행 시스템이 실제 배치를 향해 나아가면서, 해석 가능한 행동 수준 의사결정은 안전성, 신뢰, 규제를 위해 필수적이다. 우리는 융합된 다중 센서 데이터로부터 자차에 대한 간결하고 사람이 읽을 수 있는 행동 설명을 생성하는 멀티모달 대규모 언어 모델(LLM)인 CommandLM을 제안한다. 우리 모델은 LiDAR와 다중 카메라 입력으로부터 시간적으로 융합된 조감도(bird's-eye view) 표현을 Q-Former 어댑터를 통해 양자화되고 LoRA 파인튜닝된 언어 모델에 연결하여 처리한다. CommandLM-nuScenes 데이터셋으로 학습된 CommandLM은 플래너 감독 및 안전성 감사에 적합한 의도 인식 가능한 해석 가능한 캡션을 생성한다. 실험은 강한 언어적 및 행동적 정렬(alignment)을 보여주며, CIDEr 0.67 및 BERT-F1 0.88을 달성하여 BLIP-2 기준선(CIDEr 0.52, BERT-F1 0.86)을 크게 능가한다. 인간 평가에서 생성된 설명의 58%가 정확하고 효율적이며 규칙을 준수하는 것으로 평가되어, 실제 세계에서의 타당성을 확인했다. 나머지 설명은 항상 가장 효율적이고 목표 지향적인 행동을 선택하지는 않을 수 있지만, CommandLM의 해석 가능한 출력은 하류 검증 시스템이 이러한 사례를 식별하고 수정할 수 있게 하여, 투명한 행동 감사를 위한 효과적인 도구가 된다. 이 결과는 멀티모달 융합과 언어 추론의 통합이 자율주행을 위한 효율적이고 투명한 행동 수준 이해를 가능하게 함을 보여준다. 우리는 코드와 데이터셋을 https://github.com/b-tok/CommandLM 에서 공개한다.
무인항공기(UAV) 통신은 6G 이동통신 네트워크에서 다양한 저고도 응용을 지원할 것으로 기대된다. 그러나 전통적인 통계적 채널 모델은 특정 환경에서 정확도가 제한적이며, 광선 추적(ray tracing)과 같은 결정론적 방법은 일반적으로 정확한 3차원 환경 모델에 의존하고 높은 계산 복잡도를 수반한다. 기존의 멀티모달 채널 예측 접근법은 주로 경로 손실(path loss)과 같은 대규모 지표에 초점을 맞추며, 소규모 파라미터 모델링에는 여전히 부족하다. 이러한 한계를 해결하기 위해 본 논문은 PanoLAMP(Panoramic perception and vision-language model-based Low-Altitude Multipath Prediction) 프레임워크를 제안한다. 이는 사전학습된 비전-언어 모델을 백본으로 채택하고, 송신기와 수신기 모두에서 수집한 파노라마 RGB-D 관측을 통해 전파 환경 특징을 포착하여 시선(line-of-sight) 경로에 대한 지연, 전력, 방위각, 천정각 오프셋을 예측한다. 실험은 7가지 UAV 고도에 걸친 18,949개의 UAV-차량 링크를 포함하는 합성 데이터셋에서 수행되었다. 실험 결과, 제안 방법은 다중경로 파라미터와 통계적 지표 모두에서 대표적인 베이스라인을 지속적으로 능가하며, 서로 다른 비행 고도에 걸쳐 더 강한 일반화 성능을 보였다.
시맨틱 3D 가우시안은 복셀 단위 감독 하에 시맨틱 원시(primitive)를 복셀 볼륨으로 렌더링함으로써 3D 시맨틱 점유 예측을 위한 압축적 표현을 제공한다. 최근 방법들은 더 유연한 원시 형태, 기하 가이드 초기화, 점진적 밀집화(densification)를 통해 이 표현의 모델링 능력과 효율성을 개선해 왔다. 그러나 이러한 발전은 주로 원시가 어떻게 표현되고, 초기화되며, 추가되는지를 결정할 뿐, 메모리와 연산을 제어하기 위해 가우시안의 총 개수가 제한되어야 할 때 가장 유용한 가우시안을 어떻게 선택할지는 명시적으로 다루지 않는다. 이 불균형은 할당 병목을 만든다: 단순한 영역에는 중복된 가우시안이 남아 있고, 어려운 영역에는 시맨틱 지원이 부족하다. 우리는 가우시안 속성과 지역 기하-시맨틱 특징을 사용하여 후보를 점수화하고 고정된 최종 가우시안 집합을 선택하는 시맨틱 가우시안 할당 트랜스포머(Semantic Gaussian Allocation Transformer, SAGFormer)를 제안한다. nuScenes-SurroundOcc 및 SSCBench-KITTI-360에서의 실험은 SAGFormer가 평가된 프로토콜 하에서 점유 예측을 개선하고, 더 시맨틱적으로 일관되며 더 잘 활용되는 가우시안 표현을 산출함을 보여준다. 유사한 최종 개수와 원시(raw) 커버리지 하에서, 시맨틱 혼합을 줄이고, 클래스 일관적인 복셀 지원을 강화하며, 사용되지 않는 가우시안을 더 적게 생성한다. 결과는 명시적 용량 할당이 시맨틱 점유 예측을 위한 가우시안 정제(refinement)에 유용한 보완이 됨을 시사한다.
학습 없는(training-free) ObjectNav 에이전트는 점점 더 비전-언어 모델(VLM)을 사용하지만, 일반적으로 각 요청 후 획득한 장면 지식을 버립니다. 우리는 에피소드 간 ObjectNav를 연구하며, 여기서 각 요청은 독립적으로 초기화된 단일 목표 에피소드이고 에피소드 간에 유지되는 것은 자체적으로 획득한 장면 범위 메모리뿐입니다. 고정된 모델 파라미터와 내비게이션 구성 요소를 가진 에이전트가 재학습이나 오라클 정보 없이 이러한 경험을 재사용할 수 있는지 묻습니다. 우리는 지속적인 계층적 시각-위상 메모리(Hierarchical Visual-Topological Memory, VTM)를 갖춘 학습 없는 프레임워크인 VTM-Nav를 제안합니다. VTM은 거친 방 위상 구조를 사용하여 방별 시각 메모리를 색인하고, 방 내부와 원격 가시 증거를 구분하며, 성공적인 접근 단서를 유지합니다. 각 요청에 대해 VTM-Nav는 누적된 장면 구조에서 에이전트를 재위치시키고, 그럴듯한 방에서 목표 관련 기록을 검색하며, 현재 관측에서 도출된 후보에 메모리 안내를 그라운딩(grounding)합니다. 보수적인 실행 가드(execution guard)는 추가로 국소적 실패를 처리합니다. 일치하는 40스텝 비교에서 VTM-Nav는 HM3D v0.1, HM3D v0.2, MP3D에서 각각 메모리 리셋 WMNav 대조군보다 SR 4.6, 2.0, 0.8 포인트 높으며, SPL은 유사하거나 더 높습니다. HM3D에서는 텍스트 메모리를 활용한 WMNav보다 SR 3.1 및 5.5 포인트 높기도 합니다. 이 결과는 계층적 시각-위상 메모리를 통한 에피소드 간 장면 경험의 효과적인 재사용을 보여줍니다.