PyTorchKR Papers

업데이트된 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.05171v2cs.CL

RABBiT: 뇌-튜닝을 통한 빠른 적응형 BOLD 기반 모델로 음성 유발 뇌 반응의 정확한 제로샷 및 퓨샷 예측

RABBiT: Rapidly adaptive BOLD foundation model via brain-tuning for accurate zero-shot and few-shot prediction of speech-elicited responses in the brain

뇌에서의 언어 이해는 맥락 의존적이며, 실험 자극과 개인에 따라 달라지기 때문에 두 가지 모두에 걸쳐 일반화되는 계산 모델을 구축하기 어렵다. 이는 새로운 참가자와 입력에 효율적으로 적응하면서 공유 구조를 포착할 수 있는 언어 유발 뇌 활동의 기반 모델(foundation model)을 필요로 한다. 우리는 정확한 제로샷 및 퓨샷 예측을 위해 설계된 소형 오디오-fMRI 인코더인 RABBiT(Rapidly Adaptive BOLD foundation model via BraIn-Tuning)을 소개한다. 여러 미공개 fMRI 데이터셋에서 324명의 참가자를 대상으로 한 종합적인 평가에 따르면, RABBiT은 청각 및 언어 선택 영역에 걸쳐 자연 음성에 대한 fMRI 반응의 정확한 제로샷 예측을 가능하게 하며, fMRI를 위한 SOTA 기반 모델과 집단 평균 기반 예측을 능가한다. 참가자별 데이터 10분만으로도 RABBiT은 매개변수 효율적 튜닝을 통해 성능을 더욱 향상시키며, 참가자별 선형 모델을 크게 능가한다. RABBiT의 성능은 두 가지 핵심 혁신에 의해 구현된다: (1) 학습된 영역별 어텐션, (2) 뇌-튜닝된 음성 백본과 결합된, 뇌 반응을 공유 및 피험자별 구성 요소로 분해하는 방법. 강력한 예측 정확도를 지원하는 것 외에도, RABBiT이 학습하는 구조화된 영역별 표현은 해석 가능성을 제공한다. 광범위한 참가자별 데이터와 모델 피팅의 필요성을 제거함으로써, RABBiT은 인간 뇌에서의 언어에 대한 확장 가능한 집단 수준 분석을 가능하게 한다. 코드는 https://github.com/bridge-ai-neuro/rabbit 에서 제공된다.

arXiv:2607.04926v2cs.LG

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2503.18998v2eess.IV

FACE: 피험자 간 EEG 감정 인식을 위한 교차 뷰 융합 기반 퓨샷 어댑터

FACE: Few-shot Adapter with Cross-view Fusion for Cross-subject EEG Emotion Recognition

피험자 간 EEG 감정 인식은 피험자 간의 큰 변동성과 복잡하게 얽힌 피험자 내 변동성으로 인해 어려움을 겪는다. 기존 연구는 주로 도메인 적응 또는 일반화 전략을 통해 이러한 문제를 다루어 왔다. 그러나 이러한 방법은 일반적으로 대상 피험자의 방대한 데이터를 필요로 하거나 보지 못한 피험자에 대해 제한적인 일반화 성능을 보인다. 최근의 퓨샷 학습 패러다임은 이러한 한계를 해결하려 하지만, 제한된 샘플로 피험자별 적응을 수행할 때 치명적인 과적합을 겪는 경우가 많다. 본 논문은 동적 교차 뷰 융합과 효과적인 피험자별 적응을 활용하는, 피험자 간 EEG 감정 인식을 위한 교차 뷰 융합 퓨샷 어댑터 방법인 FACE를 소개한다. 구체적으로 FACE는 피험자별 융합 가중치를 통해 전역 뇌 연결성과 국소 패턴을 동적으로 통합하여 상호 보완적인 감정 정보를 제공하는 교차 뷰 융합 모듈을 포함한다. 또한 메타러닝으로 어댑터 구조를 강화하여 보지 못한 피험자에 대한 신속한 적응을 가능하게 하고 과적합을 줄이는 퓨샷 어댑터 모듈을 제안한다. 세 가지 공개 EEG 감정 인식 벤치마크에 대한 실험 결과는 퓨샷 피험자 간 평가에서 FACE의 효과를 입증한다.

arXiv:2609.27710v3cs.CV

FFM-CP: 퓨샷 계산병리학을 위한 비전-언어 기반 모델의 교차 백본 융합

FFM-CP: Cross-Backbone Fusion of Vision-Language Foundation Models for Few-Shot Computational Pathology

병리학 비전-언어 기반 모델은 질환과 과제에 따라 성능이 달라지며, 어떤 단일 모델도 일관되게 최고 성능을 내지 못한다. 전문가 병리 주석의 높은 비용은 과제별 적응에 사용할 수 있는 라벨 데이터를 제한하기도 한다. 상호 보완적인 사전학습 표현을 결합하는 것은 이러한 한계에 대한 잠재적 접근이지만, 소수의 라벨 예시로부터 효과적인 융합을 학습하는 것은 여전히 어렵다. 본 연구는 퓨샷 학습 설정에서 여러 병리학 비전-언어 모델을 결합하는 프레임워크인 Few-shot Fusion Foundation Models of Computational Pathology(FFM-CP)를 제안한다. 이 프레임워크는 먼저 대응하는 서포트 이미지로부터 추정한 폐형식(closed-form) 직교 프로크루스테스(Orthogonal Procrustes) 변환을 사용하여 이질적인 표현을 정렬한다. 이 정렬은 추가 정렬 네트워크를 학습하지 않고도 모델 내부 특징 기하를 보존한다. 정렬된 공간 안에서 통합 그래프는 서포트 이미지 특징과 시각·텍스트 클래스 프로토타입을 공동으로 정제함으로써 백본 간 정보 교환을 가능하게 한다. 이렇게 정제된 표현은 의미적 클래스 지식과 클래스 내 시각적 변이를 각각 포착하는 상호 보완적인 텍스트-프로토타입 분기와 케이스 검색(case-retrieval) 분기를 지원한다. 각 분기는 모든 순서화된 백본 쌍의 예측을 결합하는 방법을 학습하여, 한 모델로 인코딩된 쿼리가 다른 모델이 표현한 증거를 활용할 수 있게 한다. 우리는 6개의 조직병리학 데이터셋에서 클래스당 4, 8, 16샷 조건으로 3가지 백본 조합을 평가했다. FFM-CP는 54번 비교 중 50번에서 각 융합 집합의 개별 적응 멤버 중 가장 강한 모델보다 더 높은 평균 macro-F1을 달성했다. 이러한 결과는 주석이 제한될 때 상호 보완적인 사전학습 표현의 결합이 조직병리학 분류를 개선할 수 있음을 시사한다.

arXiv:2605.01973v4cs.CL

임의의 텍스트 조건화를 위한 학습의 학습: 하이퍼네트워크 기반 메타 게이트 LLM

Learn-To-Learn on Arbitrary Textual Conditioning: A Hypernetwork-Driven Meta-Gated LLM

기존 LLM은 코퍼스 이질성과 미묘한 조건 변화로 어려움을 겪을 수 있다. 파인튜닝은 파국적 망각 문제를 일으킬 수 있고, LLM에 대한 메타러닝의 적용 역시 복잡성과 확장성 때문에 제한적이다. 본 논문에서는 SwiGLU 블록 내의 메타 신호 $\beta$를 활성화하여 FFN의 비선형성을 적응적으로 조절하는 메타 게이팅 메커니즘을 구현한다. 텍스트 조건에 따라 $\beta$를 동적으로 생성하는 하이퍼네트워크를 사용하여 LLM에 메타 제어 가능성을 부여한다. 과제, 도메인, 페르소나, 스타일 등 다양한 조건 유형에서 시험한 결과, 우리의 방법은 파인튜닝 및 메타러닝 기준선을 능가하며 보지 못한 과제, 조건 유형, 지시에 대해서도 합리적으로 일반화할 수 있다. 코드는 https://github.com/AaronJi/MeGan 에서 확인할 수 있다.

arXiv:2502.11741v4cs.DB공식 코드 · Papers with Code

SQL-o1: 자기 보상 휴리스틱 탐색을 통한 자동 Text-to-SQL 프로그램 합성

SQL-o1: Automatic Text-to-SQL Program Synthesis via Self-Reward Heuristic Search

효율적인 사람과 데이터베이스 간 상호작용은 소프트웨어 공학의 핵심 문제이다. Text-to-SQL(Text2SQL)은 자연어 질문을 실행 가능한 SQL 질의로 매핑하여 자동 SQL 합성과 신뢰할 수 있는 상호작용을 가능하게 함으로써 이 문제를 다룬다. 대규모 언어 모델(LLM)이 크게 발전했음에도, 현재의 접근법은 오픈소스 LLM으로의 낮은 전이성, 복잡한 질의의 논리 및 함수 오류에 대한 제한된 강건성, 구조적 탐색의 비효율성 문제를 겪는다. 우리는 모델의 추론 능력을 향상시키기 위해 에이전트 기반 아키텍처 위에 구축된 자기 보상 기반 휴리스틱 탐색 프레임워크 SQL-o1을 소개한다. SQL-o1은 구조적인 다단계 탐색에 몬테카를로 트리 탐색(MCTS)을 활용하고, 정확도를 희생하지 않고 추론을 가속하는 동적 가지치기 전략을 도입한다. Spider와 BIRD 벤치마크에서 SQL-o1은 복잡한 BIRD 데이터셋에서 실행 정확도를 10.8포인트 향상시켜 GPT-4 기반 모델까지 능가한다. 또한 강한 퓨샷 일반화 성능과 오픈소스 LLM 간의 견고한 모델 간 전이성을 보인다. 코드는 https://github.com/ShuaiLyu0110/SQL-o1 에서 공개되어 있다.

arXiv:2511.02496v3cs.LG

표현 품질의 빠진 축으로서의 기하: 데이터 부족 상황에서의 변분 기하 정보 병목

Geometry as a Missing Axis of Representation Quality: The Variational Geometric Information Bottleneck under Data Scarcity

우리는 데이터가 부족한 학습에서 표현 품질의 명시적 구성 요소로서 잠재 기하를 연구한다. 인코더 (\phi)에 대해 (Q_{\beta,\gamma}(\phi)=I(\phi(X);Y)-\beta\mathcal C(\phi)-\gamma d_{\mathrm{int}}(\phi))를 정의하며, 이는 과제 관련 정보에 곡률과 내재적 잠재 차원에 대한 페널티를 결합한 것이다. 이에 따라 기하는 사후 진단에 그치지 않고 병목 기준의 일부가 된다. 매끄러운 다양체, 손실 전이, 추정량 집중에 관한 가정 아래에서, 내재 차원과 피복 복잡도가 명시적으로 들어가는 비점근적 저레이블 일반화 경계를 도출한다. 또한 정보-기하 프런티어를 규명하고 경험적 대리 목적함수의 일치성을 증명한다. 이 분석은 잠재 피복수, 손실 클래스 엔트로피, 균등 편차를 통해 인코더 기하를 학습과 연결한다. 우리는 이 이론을 변분 병목 학습에 곡률 및 차원 페널티를 추가한 \texttt{V-GIB}로 구현한다. 실제 저레이블 벤치마크에서 (1%)–(20%) 레이블 비율에 걸쳐 \texttt{V-GIB}를 ERM, VIB 및 절제 실험과 비교한다. 결과는 특히 FashionMNIST와 CIFAR-10을 비롯한 여러 영역에서 성능이 향상되고 기하적 복잡도가 감소함을 보여 주며, 동시에 보편적으로 우세한 고정 정칙화 항은 존재하지 않음을 확인한다.

arXiv:2303.16570v3cs.CV공식 코드 · Papers with Code

포인트 클라우드의 자기 지도 표현 학습을 위한 point2vec

point2vec for Self-Supervised Representation Learning on Point Clouds

우리는 교사 네트워크의 잠재 특징에 대한 마스킹 예측을 통해 포인트 클라우드 표현을 학습하는 자기 지도 방법인 point2vec을 제시한다. data2vec을 기반으로 하여, 이 접근법을 포인트 클라우드에 적용할 때의 한계를 조사한다. 마스킹된 패치와 연관된 위치 정보가 학생 네트워크에 전체 객체 형태를 드러내어, 강한 마스킹 하에서도 학습 과제를 약화시킨다는 점이다. point2vec은 보이는 패치만 학생 인코더에 전달하고 마스킹된 패치의 표현을 예측하는 얕은 디코더를 도입하여 이 문제를 해결한다. 교사는 완전한 포인트 클라우드를 처리하여 맥락화된 학습 목표를 제공한다. 이러한 목표는 교사의 셀프 어텐션을 통해 전역 맥락을 포착하여 개별 패치의 국소 기하를 넘어선 지도를 제공한다. 이 설계는 마스킹된 패치의 위치를 학생에게 숨기고 사전 학습 중 계산 비용을 줄인다. 어블레이션 결과, 디코더만으로는 개선의 일부만 얻어지며 위치 정보를 숨기는 것이 핵심임을 보인다. ShapeNet에서 사전 학습한 후, point2vec은 ModelNet40과 ScanObjectNN의 형상 분류 및 ModelNet40의 퓨샷 분류에서 평가된 자기 지도 기준 모델들을 능가하며, ShapeNetPart의 부분 분할에서는 경쟁력 있는 결과를 달성한다.