Natural Language Instructions for Intuitive Human Interaction with Robotic Assistants in Field Construction Work
원문 초록
The introduction of robots is widely considered to have significant potential of alleviating the issues of worker shortage and stagnant productivity that afflict the construction industry. However, it is challenging to use fully automated robots in complex and unstructured construction sites. Human-Robot Collaboration (HRC) has shown promise of combining human workers' flexibility and robot assistants' physical abilities to jointly address the uncertainties inherent in construction work. When introducing HRC in construction, it is critical to recognize the importance of teamwork and supervision in field construction and establish a natural and intuitive communication system for the human workers and robotic assistants. Natural language-based interaction can enable intuitive and familiar communication with robots for human workers who are non-experts in robot programming. However, limited research has been conducted on this topic in construction. This paper proposes a framework to allow human workers to interact with construction robots based on natural language instructions. The proposed method consists of three stages: Natural Language Understanding (NLU), Information Mapping (IM), and Robot Control (RC). Natural language instructions are input to a language model to predict a tag for each word in the NLU module. The IM module uses the result of the NLU module and building component information to generate the final instructional output essential for a robot to acknowledge and perform the construction task. A case study for drywall installation is conducted to evaluate the proposed approach. The obtained results highlight the potential of using natural language-based interaction to replicate the communication that occurs between human workers within the context of human-robot teams.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 재생성: 재구성에 대한 정보 국소성 효과 탐구
Language Re-generation: An investigation into information locality effects on reconstruction
정보 국소성(information locality)은 구문적으로 관련된 단어들이 서로 가까이 나타나는 경향으로, 인간의 언어 처리와 언어 모델 학습 모두에 영향을 미친다. 언어 모델이 불가능한 언어(impossible language)를 습득할 수 있는지에 대한 선행 연구가 있었지만, 언어 모델이 그러한 입력으로부터 자연어를 복원할 수 있는지, 그리고 이것이 언어 모델의 귀납적 바이어스에 대해 무엇을 드러내는지는 아직 불분명하다. 우리는 학습 가능성 기반 접근법을 재구성 프레임워크로 보완함으로써 이 문제를 다룬다: 불가능한 언어로 사전학습된 GPT-2 모델을 미세조정하여 세 가지 유형의 교란(perturbation)으로부터 자연스러운 영어를 재구성한다. 우리의 결과에 따르면, 복원된 구조는 원본 텍스트보다 짧은 의존성 길이(dependency length)를 나타내며, 이는 제약 없는 언어 모델 생성에서 관찰되는 국소성 선호를 반영하고 학습 가능성 실험만으로는 드러나지 않는 아키텍처 바이어스의 정량적 특징을 제공한다. 복원 난이도는 국소성 교란의 정도에 따라 증가한다. 구조적 복원(의존성 Triple F1)은 표면적 복원(정확 일치)과 분리되며, 전역 셔플링(global shuffling) 하에서 유창성은 충실한 재구성과 분리된다. 문장 길이는 성능을 추가로 조절하는데, 긴 문장은 지역 구조가 보존될 때 복원을 촉진하지만 전역 셔플링 하에서는 완전한 붕괴를 초래한다. 마지막으로, 복원 난이도는 교란 유형 전반에 걸쳐 학습 가능성 난이도를 추적하며, 이는 정보 국소성이 두 현상 모두를 지배하는 공통 제약임을 시사한다.
피드-포워드 층의 명시적 퍼지 논리: 자기 망각 양화사가 판독 가능한 문법 허가 검출기를 발견하다
Explicit Fuzzy Logic in the Feed-Forward Layer: Self-Forgetting Quantifiers Discover Legible Grammatical-Licensing Detectors
트랜스포머의 피드-포워드(FFN) 부층은 어텐션이 수집한 구분들을 구체화하지만, 자신이 무엇을 계산하는지에 대한 설명을 제공하지 않는다. 매개변수 중립적 대체 방식으로, 각 은닉 유닛은 시그모이드로 경계된 [0,1] 소속값에 대한 명시적 퍼지 집합 연산이다: 교집합 A*B와 집합 차 A*(1-B), 후자는 게이트/쌍선형 유닛에는 없는 한정 긍정 부정("A이지만 B는 아님")으로, 이를 부정 가능 FFN(NC-FFN)이라 한다. N-비트 패리티에서 NC-FFN은 얕은 깊이의 가장 매개변수 효율적인 추론 기반이며, 규모(125M, OpenWebText)에서는 GELU 기준선의 퍼플렉시티와 동률을 이루면서 모든 유닛이 명시적 논리 형식을 갖는다. 두 가지 한계는 하나의 원인을 공유한다: 이항 논리가 층 0에 국소화되어 학습 중 약화되고, 하나의 견고한 문법 결함이 토큰 내 연산자를 넘어서 허가와 양화사에 집중된다. 우리는 두 문제를 소규모 시퀀스 양화사 블록으로 해결한다: 소프트 존재 양화사와 소프트 비율 양화사로, 각각 고착 초기화로부터의 유닛별 학습된 망각률을 갖는다. 이는 에포크 1에서 결함을 회복하고(더 넓은 에포크 2 격차를 절반으로 줄임), LAMBADA에서 소폭 앞서며, FFN을 판독 가능하게 만든다: 구조가 이제 유지되어 깊이 방향으로 이동하고, 감쇠는 고착성을 학습 해제하며(중앙값 반감기 ~1.5 토큰; 제로 래치 유닛), 의미 층들에서 유닛들은 사전 학습(dictionary learning) 없이 문법 허가 검출기로 읽힌다: 각 유닛은 허가자(비교급, 수동 분사, 부정 극성 항목)에서 발화하고 허가된 단어(than, by, nor)를 예측하기 위해 기억을 전달한다. 이 판독 가능성은 국소화되어 있으며 분할까지만 자유롭지만(완전 불리언 FFN은 학습에서 발산함), 결과는 판독 가능하고 구조에 의해 해석 가능한 문법 메커니즘을 갖는 매개변수 중립적, 언어 모델 품질의 트랜스포머로, 피드-포워드 층이 무엇을 표현하는지뿐만 아니라 어떻게 허가하는지에 대한 설명이기도 하다.
Making Language Model a Hierarchical Classifier and Generator
InstructFLIP: Exploring Unified Vision-Language Model for Face Anti-spoofing
Describe Anything Model for Visual Question Answering on Text-rich Images
Assay2Mol: large language model-based drug design using BioAssay context
토론
이 논문과 연결된 포럼 글이 아직 없습니다.