Language-Informed Transfer Learning for Embodied Household Activities
원문 초록
For service robots to become general-purpose in everyday household environments, they need not only a large library of primitive skills, but also the ability to quickly learn novel tasks specified by users. Fine-tuning neural networks on a variety of downstream tasks has been successful in many vision and language domains, but research is still limited on transfer learning between diverse long-horizon tasks. We propose that, compared to reinforcement learning for a new household activity from scratch, home robots can benefit from transferring the value and policy networks trained for similar tasks. We evaluate this idea in the BEHAVIOR simulation benchmark which includes a large number of household activities and a set of action primitives. For easy mapping between state spaces of different tasks, we provide a text-based representation and leverage language models to produce a common embedding space. The results show that the selection of similar source activities can be informed by the semantic similarity of state and goal descriptions with the target task. We further analyze the results and discuss ways to overcome the problem of catastrophic forgetting.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
스케일과 생성을 넘어: 언어 모델 기반 엔티티 매칭 이해
Beyond Scale and Generation: Understanding Language Model-based Entity Matching
엔티티 매칭은 동일한 실세계 엔티티를 가리키는 레코드를 식별하는 작업이다. 언어 모델은 bi-encoder, cross-encoder, generative matcher 아키텍처를 통해 이 작업에 적용할 수 있다. 그러나 선행 연구들은 종종 매처 아키텍처와 모델 백본, 모델 변형(서로 다른 사전학습 목표를 반영), 모델 크기의 차이를 혼동하여 성능 향상의 원인을 분리하기 어렵게 한다. 우리는 Qwen3 패밀리의 세 가지 매처 아키텍처, 세 가지 모델 변형, 세 가지 모델 크기, 그리고 아홉 개의 데이터셋에 걸친 통제된 요인 실험을 통해 이 문제를 해결하며, 총 1,215회의 미세조정 실행을 수행한다. 또한 데이터셋 간 전이 가능성과 계산 비용을 평가한다. 결과는 bi-encoder에서 모델 변형이 핵심적임을 보여준다: 임베딩 지향 변형은 더 강한 초기화와 하위 매칭 성능을 예측하는 더 유리한 표현 기하학을 제공한다. cross-encoder는 각 레코드를 독립적으로 표현하는 대신 레코드 쌍을 공동으로 인코딩하기 때문에 bi-encoder 대비 일관된 이점을 유지하며, 더 큰 모델이 이 격차를 부분적으로 줄이기는 한다. generative matcher는 보편적으로 cross-encoder를 능가하지 않는다. 대신 그들의 이점은 레코드 스키마의 미묘한 미관측 차이와 데이터셋 간 전이를 포함한 분포 이동(distribution shift) 하에서 집중된다. 우리는 더 큰 모델이 단축 학습(shortcut learning)에 더 크게 의존하므로 반드시 더 나은 성능을 내지는 않는다는 점도 추가로 밝힌다. 이러한 발견은 매처 아키텍처 간 성능 차이를 뒷받침하는 요인을 명확히 하고, 분포 이동과 데이터셋 간 전이 가능성을 명시적으로 평가하면서 아키텍처 선택과 모델 수준 요인을 더 잘 분리하는 미래 연구 및 벤치마크 설계를 촉진한다. 우리는 실험 결과, 코드, 학습 스크립트, 평가 데이터를 https://github.com/Jantory/llm-trained-matcher 에서 공개한다.
Securing from Unseen: Connected Pattern Kernels (CoPaK) for Zero-Day Intrusion Detection
Investigating Large Language Models for Financial Causality Detection in Multilingual Setup
A character-based steganography using masked language modeling
A Critical Re-evaluation of Neural Methods for Entity Alignment
토론
이 논문과 연결된 포럼 글이 아직 없습니다.