PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2502.11741v4cs.DB공식 코드 · Papers with Code

SQL-o1: 자기 보상 휴리스틱 탐색을 통한 자동 Text-to-SQL 프로그램 합성

SQL-o1: Automatic Text-to-SQL Program Synthesis via Self-Reward Heuristic Search

효율적인 사람과 데이터베이스 간 상호작용은 소프트웨어 공학의 핵심 문제이다. Text-to-SQL(Text2SQL)은 자연어 질문을 실행 가능한 SQL 질의로 매핑하여 자동 SQL 합성과 신뢰할 수 있는 상호작용을 가능하게 함으로써 이 문제를 다룬다. 대규모 언어 모델(LLM)이 크게 발전했음에도, 현재의 접근법은 오픈소스 LLM으로의 낮은 전이성, 복잡한 질의의 논리 및 함수 오류에 대한 제한된 강건성, 구조적 탐색의 비효율성 문제를 겪는다. 우리는 모델의 추론 능력을 향상시키기 위해 에이전트 기반 아키텍처 위에 구축된 자기 보상 기반 휴리스틱 탐색 프레임워크 SQL-o1을 소개한다. SQL-o1은 구조적인 다단계 탐색에 몬테카를로 트리 탐색(MCTS)을 활용하고, 정확도를 희생하지 않고 추론을 가속하는 동적 가지치기 전략을 도입한다. Spider와 BIRD 벤치마크에서 SQL-o1은 복잡한 BIRD 데이터셋에서 실행 정확도를 10.8포인트 향상시켜 GPT-4 기반 모델까지 능가한다. 또한 강한 퓨샷 일반화 성능과 오픈소스 LLM 간의 견고한 모델 간 전이성을 보인다. 코드는 https://github.com/ShuaiLyu0110/SQL-o1 에서 공개되어 있다.

arXiv:2303.16570v3cs.CV공식 코드 · Papers with Code

포인트 클라우드의 자기 지도 표현 학습을 위한 point2vec

point2vec for Self-Supervised Representation Learning on Point Clouds

우리는 교사 네트워크의 잠재 특징에 대한 마스킹 예측을 통해 포인트 클라우드 표현을 학습하는 자기 지도 방법인 point2vec을 제시한다. data2vec을 기반으로 하여, 이 접근법을 포인트 클라우드에 적용할 때의 한계를 조사한다. 마스킹된 패치와 연관된 위치 정보가 학생 네트워크에 전체 객체 형태를 드러내어, 강한 마스킹 하에서도 학습 과제를 약화시킨다는 점이다. point2vec은 보이는 패치만 학생 인코더에 전달하고 마스킹된 패치의 표현을 예측하는 얕은 디코더를 도입하여 이 문제를 해결한다. 교사는 완전한 포인트 클라우드를 처리하여 맥락화된 학습 목표를 제공한다. 이러한 목표는 교사의 셀프 어텐션을 통해 전역 맥락을 포착하여 개별 패치의 국소 기하를 넘어선 지도를 제공한다. 이 설계는 마스킹된 패치의 위치를 학생에게 숨기고 사전 학습 중 계산 비용을 줄인다. 어블레이션 결과, 디코더만으로는 개선의 일부만 얻어지며 위치 정보를 숨기는 것이 핵심임을 보인다. ShapeNet에서 사전 학습한 후, point2vec은 ModelNet40과 ScanObjectNN의 형상 분류 및 ModelNet40의 퓨샷 분류에서 평가된 자기 지도 기준 모델들을 능가하며, ShapeNetPart의 부분 분할에서는 경쟁력 있는 결과를 달성한다.