arXiv:2402.11291

Puzzle Solving using Reasoning of Large Language Models: A Survey

Panagiotis Giadikiaroglou, Maria Lymperaiou, Giorgos Filandrianos, Giorgos Stamou

제출 2024-02-17

원문 초록

Exploring the capabilities of Large Language Models (LLMs) in puzzle solving unveils critical insights into their potential and challenges in AI, marking a significant step towards understanding their applicability in complex reasoning tasks. This survey leverages a unique taxonomy -- dividing puzzles into rule-based and rule-less categories -- to critically assess LLMs through various methodologies, including prompting techniques, neuro-symbolic approaches, and fine-tuning. Through a critical review of relevant datasets and benchmarks, we assess LLMs' performance, identifying significant challenges in complex puzzle scenarios. Our findings highlight the disparity between LLM capabilities and human-like reasoning, particularly in those requiring advanced logical inference. The survey underscores the necessity for novel strategies and richer datasets to advance LLMs' puzzle-solving proficiency and contribute to AI's logical reasoning and creative problem-solving advancements.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.18532v2cs.CR공통 태그 Survey

AI 샌드박스: 위협 모델, 분류 체계 및 측정 프레임워크

AI Sandboxes: A Threat Model, Taxonomy, and Measurement Framework

AI 샌드박스는 소프트웨어 도구, 네트워크로 연결된 장치, 또는 물리적 액추에이터를 통해 작동할 수 있는 시스템에 대한 증거를 생산한다. 이 증거의 해석은 실험의 경계에 달려 있다. 우리는 샌드박스 장치를 정의하고, 서로 겹치는 다섯 가지 원형을 구분하며, 주장 상대적인 측정 차원 열다섯 가지를 명시한다. 최약 고리 허가 규칙(weakest-link licensing rule)은 배치 주장을 가장 약한 필수 증거 차원 수준으로 제한한다. 우리는 이 규칙을 외부로의 피해와 평가 장치의 훼손을 모두 다루는 위협 모델과 연결하고, 주행, 산업 제어, 도구를 사용하는 에이전트, 비전-언어-행동 조작을 아우르는 네 가지 실제 사례에 적용한다. 또한 필요한 산출물을 표준 및 규제 수단에 대응시킨다. 이 프레임워크는 제한된 실험이 어떤 주장을 뒷받침하는지, 그 통제가 어떤 실패를 억제하는지, 그리고 배치 이전에 어떤 가정이 추가 검증을 필요로 하는지를 식별한다.

arXiv:2607.22305v2cs.AI공통 태그 Survey

영향력 있는 다원주의적 정렬 연구를 위한 로드맵

A Roadmap to Impactful Pluralistic Alignment Research

책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.

arXiv:2609.26142v2stat.ME공통 태그 Survey

하나의 해답을 향한 세 가지 경로: 응용 연구자를 위한 AIPW, TMLE 및 이중 머신러닝의 일치화

Three Routes to One Answer: Reconciling AIPW, TMLE, and Double Machine Learning for Applied Researchers

증강 역확률 가중(AIPW), 표적 최대우도 추정(TMLE), 이중/편향 제거 기계학습(DML)은 평균 처치 효과에 대한 동일한 효율적 영향 함수에 이르는 점근적으로 동등한 세 가지 경로이다. 우리는 실제 데이터에서 공유된 교란 모수를 이용한 실제 사례 조정을 제시한다. 즉, 이 경로들과 해당 소프트웨어가 일치하려면 실무자가 무엇을 고정해야 하는지, 그리고 언제 일치하지 않는지를 다룬다. 금연과 체중 변화에 대한 공개 데이터(n = 1566), 하나의 Super Learner 라이브러리, 방식 내에서 일치시킨 폴드를 사용하여, 전체 표본, 교차 적합, 이중 교차 적합 변형으로 세 가지를 모두 직접 구현한다. 고정된 설계에서 표본 평균 효과가 알려진 준합성 벤치마크로 구간 포함률을 평가한다. 여섯 개의 이중 강건 추정치는 반복 분할에 걸쳐 3.32--3.39 kg의 범위를 보인다. 우리 코드와 tmle, AIPW, DoubleML, tmle3 패키지의 단일 실행 결과는 3.32--3.49 kg의 범위를 보이며, 이는 적합 방식의 차이와 단일 분할 잡음과 부합한다. 20개의 시드에 걸쳐, 우리 라이브러리를 공유하는 세 가지 구현은 그중 하나가 TMLE임에도 중앙값 기준 0.01 kg 이내에서 일치한다. 일치는 실패할 수 있다. 이진 사망 결과에 대해 표본 내 교란 모수 적합을 사용하는 경우와, 직업 훈련 사례에서 겹침이 부족한 경우가 그러하다. 우리는 추정량을 선택하기 전에 겹침을 진단할 것을 권장하며, 보고 체크리스트와 소프트웨어 코드를 제공한다.

arXiv:2606.20631v2cs.AI공통 태그 Survey

에이전트 스킬 활용: 스킬 중개 LLM 에이전트를 위한 아키텍처 패턴과 참조 아키텍처

Harnessing Agent Skills: Architectural Patterns and a Reference Architecture for Skill-Mediated LLM Agents

맥락: 에이전트 스킬은 대규모 언어 모델 에이전트가 실행 중에 불러오거나 적용하는 재사용 가능한 행동 지침과 자원을 패키징한 것이다. 에이전트 하네스 내에서 에이전트 스킬 하네싱은 어떤 스킬이 실행에 들어올지, 그 스킬이 어떤 동작을 유발할 수 있는지, 그 사용이 어떻게 기록되어 수정에 반영되는지를 통제하는 서로 연결된 아키텍처상의 책임들로 구성된다. 목적: 우리는 에이전트 스킬 하네싱을 위한 아키텍처 패턴을 식별하고, 그 책임을 이러한 연결을 명시적으로 드러내는 참조 아키텍처로 조직한다. 방법: 실무 시스템 36개와 학술 논문 51편을 대상으로 다문헌 문헌 고찰을 수행하였으며, 실천 사례를 패턴으로 통합하고 패턴, 출처 증거, 아키텍처적 추론으로부터 참조 아키텍처를 도출하였다. 참조 아키텍처는 8개 시스템을 매핑하고 Deep Agents와 Hermes Agent에 적용하여 평가하였다. 결과: 10개의 패턴이 스킬 공급 및 활성화, 스킬 선언과 실행 권한, 스킬 사용의 검증 및 기록, 그리고 수리와 통제된 수정에 반영되는 실행 증거를 포괄한다. 참조 아키텍처는 이들의 책임을 네 개의 계층(공급망, 중재, 실행 제어, 증거 및 피드백)과 두 개의 횡단 기반으로 조직하며, 권한 결정을 집행과 분리하고 지속적 수정을 승인 절차를 거치도록 한다. 8개 시스템을 매핑한 결과 처음 세 계층은 대체로 구현되어 있었고, 증거 및 피드백 계층에서는 15개 평가 중 14개가 부분적이거나 확립되지 않은 것으로 나타났다. Deep Agents와 Hermes Agent에 아키텍처를 적용하자 요구사항이 점검 항목으로 바뀌어, 파일 도구 규칙 밖의 셸 경로와 미리보기-적용 불일치가 드러났다. 결론: 이 패턴과 참조 아키텍처는 구현을 비교하고 요구사항을 책임 할당과 점검으로 전환하는 데 도움이 된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.