New Approaches for Natural Language Understanding based on the Idea that Natural Language encodes both Information and its Processing Procedures
원문 초록
We must recognize that natural language is a way of information encoding, and it encodes not only the information but also the procedures for how information is processed. To understand natural language, the same as we conceive and design computer languages, the first step is to separate information (or data) and the processing procedures of information (or data). In natural language, some processing procedures of data are encoded directly as the structure chunk and the pointer chunk (this paper has reclassified lexical chunks as the data chunk, structure chunk, and the pointer chunk); some processing procedures of data imply in sentences structures; some requests of processing procedures are expressed by information senders and processed by information receivers. For the data parts, the classification encoding system of attribute information and the information organization architecture (including constitutional structures of information sets and the hierarchy between the information sets) were discussed. In section 2, the theoretical part elaborated in section 2 has been verified in examples and proofed that the studies in this paper have achieved the goal of enabling machines to understand the information conveyed in the dialogue. In section 4, the author summarizes the basic conditions of "Understanding", rethinks what "Understanding" is and how to proceed. The study in this paper provides a practical, theoretical basis and research methods for NLU. It also can be applied in large-scale and multi-type information processing in the artificial intelligence (AI) area.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
JD Oxygen AI Item Center(Oxygen AIIC) V1: 상품 이해·관리·적용을 위한 산업 규모 LLM/VLM 중심 솔루션
JD Oxygen AI Item Center (Oxygen AIIC) V1: An Industrial-Scale LLM/VLM-Centric Solution for Item Understanding, Management, and Applications
JD.com은 세계 최대 규모의 전자상거래 플랫폼 중 하나로, 7억 명 이상의 활성 사용자와 수백만 명의 판매자에게 서비스를 제공하며, 수십억 개의 SKU로 구성된 카탈로그를 보유하고 있습니다. 이러한 규모에서 고품질의 구조화된 상품 지식은 더 나은 소비자 경험, 낮은 관리 비용, 높은 운영 효율성의 기반이 되지만, 이를 생산하고 제공하는 것은 세 가지 산업 규모의 과제를 야기합니다: 급속히 등장하는 개념, 대규모 SKU에 대한 고품질 지식 생산, 그리고 다양한 다운스트림 요구사항. 이러한 과제를 해결하기 위해, 상품 지식 생산 및 서비스를 위해 LLM/VLM 기반으로 구축된 산업 규모 플랫폼인 JD Oxygen AI Item Center(Oxygen AIIC)를 제시합니다. Oxygen AIIC는 네 가지 핵심 기둥을 중심으로 구축되었습니다: (i) 효율적인 인간-AI 협업에 의해 추진되는 온톨로지 엔지니어링으로, 수백만 개의 항목을 포함하는 온톨로지의 동적 진화와 민첩한 확장을 지원합니다; (ii) 처리량 개선 전략과 결합된 "Semantic Search then Discrimination"(S2D) 지식 식별 아키텍처로, 수십억 SKU에 대한 확장 가능하고 확장성 있으며 고처리량 AI Item Library 생산을 가능하게 합니다; (iii) 안정적이고 통제 가능한 방식으로 개선되는 자기 진화형 상품 이해 LLM/VLM으로, 정밀도 94.2%, 재현율 82.8%의 지식 생산을 가능하게 합니다; (iv) 데이터 및 서비스 허브로서 기능하는 통합 item tunnel. Oxygen AIIC는 현재 수만 개의 JD 카테고리를 다루며, Huawei Ascend NPU에서 하루 수억 건의 상품 업데이트를 처리합니다. 수천억 개의 상품 지식 자산을 축적했습니다. 검색, 추천, 운영, 카테고리 기획 등 핵심 비즈니스 시나리오에 배포된 Oxygen AIIC는 규모에 걸맞은 측정 가능한 성과를 달성했습니다. 검색 트래픽 커버리지는 80.4%에 달하고, 상품 정보 품질 이슈는 37% 감소했으며, 상품 등록 시 핵심 속성의 자동 입력률은 80%를 초과합니다.
대규모 언어 모델에서 진실의 트릴레마
The Trilemma of Truth in Large Language Models
일반 대중은 대규모 언어 모델(LLM)에 인간과 유사한 특성을 부여하며, LLM이 특정 정보를 '알고' 있다고 가정하는 경우가 많다. 실제로 LLM은 학습 중 보존된 정보를 내부적 확률적 지식으로 인코딩한다. 본 연구는 해당 지식의 진위를 탐칭(probing)하는 기존 방법들을 검토하고, 세 가지 결함 있는 근본 가정을 밝힌다. 이러한 결함을 해결하기 위해, 다중 인스턴스 학습(MIL)과 conformal prediction을 결합한 다중 클래스 탐칭 프레임워크인 sAwMIL(Sparse-Aware Multiple-Instance Learning)을 제안한다. sAwMIL은 LLM의 내부 표현(representation)을 활용하여 진술을 참, 거짓, 또는 둘 다 아님으로 분류한다. 우리는 새롭게 구축한 세 개의 데이터셋을 사용하여, 기본형 및 채팅 기반 변형을 포함한 16개의 오픈소스 LLM에 대해 sAwMIL을 평가한다. 결과는 (1) 일반적인 탐칭 방법은 신뢰할 수 있고 전이 가능한(transferable) 진위 방향을 제공하지 못하며, 일부 설정에서는 제로샷(zero-shot) 프롬프팅(prompting)보다 성능이 낮음을, (2) 진실과 거짓은 대칭적으로 인코딩되지 않음을, (3) LLM이 참과 거짓 모두와 구별되는 제3의 유형의 신호를 인코딩함을 보여준다.
Attributes Shape the Embedding Space of Face Recognition Models
Vision Language Action Models in Robotic Manipulation: A Systematic Review
Ref-Long: Benchmarking the Long-context Referencing Capability of Long-context Language Models
Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations
토론
이 논문과 연결된 포럼 글이 아직 없습니다.