arXiv:2406.03015

Balancing Performance and Efficiency in Zero-shot Robotic Navigation

Dmytro Kuzmenko, Nadiya Shvai

제출 2024-06-05

원문 초록

We present an optimization study of the Vision-Language Frontier Maps (VLFM) applied to the Object Goal Navigation task in robotics. Our work evaluates the efficiency and performance of various vision-language models, object detectors, segmentation models, and multi-modal comprehension and Visual Question Answering modules. Using the $\textit{val-mini}$ and $\textit{val}$ splits of Habitat-Matterport 3D dataset, we conduct experiments on a desktop with limited VRAM. We propose a solution that achieves a higher success rate (+1.55%) improving over the VLFM BLIP-2 baseline without substantial success-weighted path length loss while requiring $\textbf{2.3 times}$ less video memory. Our findings provide insights into balancing model performance and computational efficiency, suggesting effective deployment strategies for resource-limited environments.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.16003v1cs.CL공통 태그 Question Answering, Computational Efficiency

PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론

PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion

문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.

arXiv:2609.26913v1cs.CL공통 태그 Question Answering, Computational Efficiency

COMED: 다중 LLM 추론에서 라우팅과 협업 사이의 빠진 중간 영역

COMED: The Missing Middle Between Routing and Collaboration in Multi-LLM Inference

어떤 단일 대규모 언어 모델(LLM)도 모든 질의에 대해 일관되게 신뢰할 수는 없으며, 이는 모델 간 라우팅을 수행하거나 모델들의 출력을 결합하는 다중 모델 추론(inference) 시스템의 필요성을 이끌어냈습니다. 그러나 라우팅은 초기 모델을 선택한 후 멈추는 반면, 밀집 협업(dense collaboration)은 모든 질의마다 동료 모델(peers)을 호출합니다. 본 연구에서는 협업이 비단조적(non-monotonic)임을 보여줍니다. 동료 모델은 어떤 모델도 단독으로 해결하지 못한 실패를 복구할 수도 있지만, 초기에 정답이었던 답변을 손상시킬 수도 있습니다. 이에 따라 선택적 교차 모델 협업을 위한 앵커 사후 컨트롤러인 COMED(Controlled Model Escalation for Multi-LLM Deliberation)를 제안합니다. COMED는 앵커 자체 일관성(self-consistency), 라우터 마진(margin), 그리고 경량 동료 프로브(probe)를 활용하여 확신도가 높은 답변은 수용하고, 모호한 경우는 검증하며, 협업이 유익할 가능성이 높을 때만 에스컬레이션합니다. 본 논문에서는 협업으로 유발되는 피해보다 복구된 오류가 더 많을 때 선택적 협업이 성능을 향상시킨다는 점을 구제-피해 분해(rescue-harm decomposition)를 통해 정식화합니다. 의학, 과학 및 일반 추론 벤치마크 전반에 걸쳐 COMED는 밀집 협업보다 더 적은 수의 모델을 호출하고 더 적은 디코딩 토큰(token)을 사용하면서도, 16개의 모든 오픈 가중치(weight) 설정에서 고정 및 라우팅된 앵커를 개선하였으며 MedQA에서는 최대 +10.7%p의 향상을 달성했습니다. 프론티어 모델을 활용한 HLE에서 COMED는 GPT-5.5의 성능을 23.1%에서 28.1%로 끌어올려 밀집 협업을 능가하고 최고 성능을 기록했습니다.

arXiv:2609.27233v1cs.CL공통 태그 Question Answering, Computational Efficiency

트랜스포머 언어 모델의 순차 연산 증류

Distilling Sequential Computation in Transformer Language Models

트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.

arXiv:2609.27373v1cs.CL공통 태그 Question Answering, Computational Efficiency

어텐션 라우팅은 조기에 안정화된다: 순환 언어 모델을 위한 작업 집합 추론

Attention Routing Stabilizes Early: Working-Set Inference for Recurrent Language Models

순환 언어 모델(Recurrent language model)은 잠재 표현(latent representation)을 정제하기 위해 공유된 네트워크 블록을 반복적으로 적용하지만, 표준 추론(inference)은 모든 순환 단계에서 전역 어텐션(global attention)을 재계산합니다. 본 연구에서는 순환 깊이에 따른 어텐션 동역학을 분석하여, 어텐션 지지 집합(attention support)과 분포가 은닉 상태(hidden state) 및 어텐션 출력보다 훨씬 조기에 안정화된다는 점을 발견했습니다. 이는 2단계 구조를 시사합니다. 즉, 초기 단계에서는 관련된 문맥의 희소한 작업 집합(working set)을 탐색하고, 후기 단계에서는 대체로 동일한 라우팅 지지 집합 상에서 표현을 정제합니다. 이러한 구조에 착안하여, 초기 순환 과정에서는 제한 없는 전역 어텐션을 사용하고 이후에는 순환 깊이와 지지 집합 내부의 어텐션 계산을 동적으로 유지하면서 직접 탐색된 블록 구조 지지 집합을 재사용하는 학습(training) 불필요 방식인 WISE(Working-set Inference with Support Exploitation, 지지 집합 활용 기반 작업 집합 추론)를 제안합니다. 통제된 개입 실험을 통해 순환 탐색이 중요하며, 지지 집합만을 재사용하는 것이 더 제한적인 어텐션 재사용 대안들에 비해 모델 동작을 더 잘 보존함을 입증합니다. 다단계 질의응답(multi-hop QA) 벤치마크 전반에서 WISE는 전체 어텐션 성능을 대체로 보존하는 반면, 문맥 스케일링(context scaling)을 통해 점점 더 희소해지는 작업 집합과 더 큰 효율성 향상을 보여줍니다. 2K 문맥까지는 품질이 대체로 유지되며, 4K에서는 측정 가능한 손실(loss)이 발생합니다. 최적화된 희소 어텐션 구현은 4K에서 기존 FlashAttention 대비 최대 1.76배의 어텐션 속도 향상을, 전체 32단계 어텐션 궤적에 대해 1.36배의 속도 향상을 달성합니다. 코드는 https://github.com/tbn5pj/WISE_code 에서 확인할 수 있습니다.

arXiv:2609.27380v1cs.CL공통 태그 Question Answering, Computational Efficiency

MORSE: 증거 보존 압축을 위한 역방향 스코어링 기반 다중 컨텍스트 순서 결정

MORSE: Multi-Context Ordering via Reverse Scoring for Evidence-Preserving Compression

가능도(likelihood) 기반 컨텍스트 압축은 순차적 스코어링을 통해 컨텍스트 간 중복을 고려할 수 있지만, 이로 인해 압축 결과가 컨텍스트 순서에 민감해진다. 본 논문은 동일한 컨텍스트 모음의 서로 다른 순열이 압축기를 변경하지 않아도 증거 보존 결과에서 뚜렷한 차이를 만들 수 있음을 보인다. 우리는 이러한 민감성을 정보 선점(information preemption)으로 설명한다. 즉, 부분적으로만 관련된 앞선 컨텍스트가 공유된 정보에 대한 기여도를 흡수하여, 더 강력한 증거를 담고 있는 뒤쪽 컨텍스트의 증분 점수를 억제하고 그 컨텍스트가 제거될 위험을 높인다. 통제된 쌍 교환(pair-swap) 개입 실험은 증거를 앞에 두는 순서가 뒷받침 증거의 생존율을 크게 향상시킴을 보여 이 메커니즘을 직접적으로 뒷받침한다. 이 문제를 해결하기 위해 우리는 증거 보존을 위한 압축 인지형 컨텍스트 순서 결정 방법인 MORSE를 제안한다. MORSE는 개별 컨텍스트와 압축된 후보 출력 모두에 공통의 역방향 쿼리-증거 원리를 적용하여, 전자로는 증거 우선 앵커를 구성하고 후자로는 압축 인지형 순열 선택을 안내한다. 멀티홉 QA 벤치마크, 압축 절차, 예산, 스코어링 모델 전반에서 MORSE는 정적 역순 정렬과 연산량을 맞춘 무작위 탐색보다 일관되게 증거 보존을 향상시켰으며, 이에 상응하여 다운스트림 QA 성능도 전반적으로 개선되었다. 코드는 https://github.com/tbn5pj/MORSE_code 에서 확인할 수 있다.

arXiv:2609.27395v1cs.CL공통 태그 Computational Efficiency, Visual Question Answering

PRISM-VLM: 소형 비전-언어 모델을 위한 다축 변별 벤치마크

PRISM-VLM: A Multi-Axis Discriminative Benchmark for Compact Vision-Language Models

소형 비전-언어 모델(VLM)은 이제 멀티모달 애플리케이션의 점점 더 큰 비중을 뒷받침하고 있다. 그러나 이들을 비교하는 데 사용되는 벤치마크는 프런티어 모델 중심의 설계를 그대로 따르고 있다. 즉, 각 모델을 단일 정확도 수치로 환원함으로써, 포화된 평가 세트에서는 모델 간 격차가 좁아지고 더 어려운 평가 세트에서는 모델들이 낮은 점수대에 몰리게 된다. 본 논문에서는 반복적으로 나타나는 실패 양상(과제 품질, 행동적 견고성, 능력 병목)을 아우르는 일곱 개의 축에 따라 모든 항목을 채점하고 이를 하나의 PScore로 결합하는 다축 변별 벤치마크 PRISM-VLM을 소개한다. 항목은 15개의 공개 벤치마크에서 재활용하였다. 지난 2년간 발표된 소형 VLM들을 대상으로 한 실험에서, PScore는 항목 단위 쌍체 부트스트랩(item-level paired bootstrap) 하에서 기존의 단일 축 벤치마크보다 모델 쌍을 더 신뢰성 있게 구분하며, 이러한 벤치마크가 평균화 과정에서 가려 버리는 행동적 차이를 드러낸다. PScore가 통계적으로 구분되지 않는 모델들조차 축별 프로파일에서는 크게 갈리며, 특히 단일 프롬프트 정확도와 거의 직교하는 아첨(sycophancy) 축에서 두드러진다. 전체 파이프라인, 프롬프트, 항목별 주석을 공개할 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.