arXiv:2403.04105

Natural Language Processing in Patents: A Survey

Lekang Jiang, Stephan Goetz

제출 2024-03-06

원문 초록

Patents, encapsulating crucial technical and legal information, present a rich domain for natural language processing (NLP) applications. As NLP technologies evolve, large language models (LLMs) have demonstrated outstanding capabilities in general text processing and generation tasks. However, the application of LLMs in the patent domain remains under-explored and under-developed due to the complexity of patent processing. Understanding the unique characteristics of patent documents and related research in the patent domain becomes essential for researchers to apply these tools effectively. Therefore, this paper aims to equip NLP researchers with the essential knowledge to navigate this complex domain efficiently. We introduce the relevant fundamental aspects of patents to provide solid background information, particularly for readers unfamiliar with the patent system. In addition, we systematically break down the structural and linguistic characteristics unique to patents and map out how NLP can be leveraged for patent analysis and generation. Moreover, we demonstrate the spectrum of text-based patent-related tasks, including nine patent analysis and four patent generation tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.13560v1q-bio.NC공통 태그 Navigate, Survey

생물체와 미래 체화 AI의 그라운딩 세계 모델

Grounded world models in biological organisms and future embodied AI

최근 생성 AI 및 체화 AI의 발전은 멀티모달 데이터에 대한 대규모 예측 학습에 의해 이끌려 왔다. 그러나 그로 인해 만들어진 시스템들은 여전히 대체로 수동적 학습 체계에 기반하며, 여기서는 언어적 규칙성이 다른 모달리티의 정보가 부착되는 골격을 형성한다. 반면, 신경과학과 인지과학은 생물학적 지능이 반대 방식으로 조직되어 있다고 제시한다. 즉, 환경과의 상호작용을 통해 획득한 그라운딩된 세계 모델이 언어가 부착되는 의미론적 골격을 제공한다. 여기서 우리는 그라운딩된 세계 모델링을 지지하는 신경 회로의 다섯 가지 사례를 설명한다. 이는 물리적·개념적 공간에서의 내비게이션, affordance 기반 지각 및 객체와의 상호작용, 능동적 지각과 탐색적 학습, allostatic 통제와 정서, 자기와 세계에서 생성된 결과 간의 구분을 뒷받침한다. 이러한 사례들은 현재 체화 AI에서 대체로 부족한 여러 특성을 부각한다. 여기에는 학습의 토대로서의 내재적 동역학의 역할, 외부 세계와 이러한 동역학을 정렬하는 데 있어 행동의 중심성, 외부에서 제공되는 데이터의 수동적 흡수보다 자율적 경험과 개방형 학습의 두드러짐, 그리고 초기 예측·통제 메커니즘이 추론, 개념적 내비게이션, 계획, 상상, 타인의 마음 이해, 의사소통과 같은 고차 인지 능력의 골격을 형성한다는 점이 포함된다. 마지막으로, 생물학적 시스템에서 도출된 원칙이 미래 체화 AI에 어떻게 기여할 수 있는지, 특히 세계 모델이 그라운딩될 뿐 아니라 사회적으로 공유되고 인간의 규범과 가치에 정렬되도록 사회적 상호작용에 기반한 학습 체계를 포함하여 논의한다.

arXiv:2607.09792v1cs.RO공통 태그 Navigate, Survey

구현된 비전-언어 내비게이션의 종합적 서베이 및 체계적 실세계 평가

A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigation

내비게이션은 자율 시스템의 기본적인 능력이지만, 기존 대부분의 접근법은 고도로 구조화된 모델과 강한 사전 가정에 의존하여 열린 불확실한 실세계 환경에서의 견고성을 제한한다. 비전-언어 내비게이션(VLN)은 로봇이 데이터 기반 방식으로 자연어 이해와 시각적 지각을 통합할 수 있게 함으로써 유망한 방향을 제시한다. VLN이 점점 더 많은 연구 관심을 받고 있음에도 불구하고, 체계적인 방법론적 분류와 실세계 검증은 여전히 제한적이다. 본 서베이는 VLN 연구에 대한 종합적인 리뷰를 제시한다. 구체적으로, 최신 방법들을 두 가지 직교 차원에 따라 정리한다: 계층적 및 단일체(monolithic) 프레임워크를 포함하는 행동 패러다임과, 판별적(discriminative) 및 생성적(generative) 접근법을 포함하는 모델 패러다임. 각각의 강점과 한계에 대한 비판적 분석이 제공된다. 또한, 물리적 로봇 플랫폼에서 대표적인 VLN 시스템 구성에 대한 체계적인 실세계 평가를 수행한다. 열 가지 다양한 실세계 장면에 걸친 실험은 테스트된 구성에서 시뮬레이션과 실세계 배포 간의 상당한 성능 격차를 보여준다: 대표적인 단일체 RGB 전용 방법은 시뮬레이션에서 61%의 성공률을 달성하지만 실세계 배포에서는 22%로 떨어지는 반면, 계층적 프레임워크는 51%의 더 높은 실세계 성공률을 달성하여 우리의 평가 환경에서 더 강한 견고성을 시사한다. 마지막으로, 향후 연구에서 반드시 해결해야 할 지각, 의사결정, 제어 분야의 핵심 과제들을 강조한다.

arXiv:2607.22305v2cs.AI공통 태그 Survey

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2609.26142v2stat.ME공통 태그 Survey

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

arXiv:2609.22695v2cs.AI공통 태그 Survey

선형 표현 가설에 관한 서베이

A Survey on the Linear Representation Hypothesis

"선형 표현 가설(LRH, Linear Representation Hypothesis)"이라는 용어는 인공지능, 뇌과학, 인지과학의 다양한 하위 분야 전반에 걸쳐 등장해 왔습니다. 그러나 이전 연구들은 LRH를 반증 가능한 과학적 가설로 일관되게 다루지 않았습니다. 본 연구에서는 이러한 불일치를 분석하고, 기존의 이론적·방법론적 결과들이 어떻게 해석되어야 하는지에 미치는 영향을 살펴봅니다. 이러한 분석을 바탕으로, 선형 표현에 관한 주장은 모델, 표현의 위치, 특징(feature) 정의 및 평가 데이터셋에 대한 면밀한 검토를 통해서만 명확하게 정의될 수 있다고 주장합니다. 따라서 우리는 이러한 의존성을 명시화하여 해당 가설을 반증 가능한 과학적 주장으로 평가할 수 있도록 하는, 더욱 엄밀하게 정식화된 LRH를 제안합니다. 마지막으로, 연구 커뮤니티의 추가적인 관심이 필요한 몇 가지 중요한 미해결 과제들을 제시합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.