PyTorchKR Papers

최신 논문

총 3,382편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22600v3cs.LG

온-정책 증류의 위치 바이어스

On the Position Bias of On-Policy Distillation

온-정책 증류(On-Policy Distillation, OPD)는 교사로부터의 밀집적인 토큰 수준 지도를 통해 표준 강화학습의 학습 효율을 향상시킨다. OPD의 표준 KL 목적함수에서는 토큰 수준 손실이 균일하게 평균화되어 모든 토큰에 동등한 가중치가 부여됨을 의미한다. 그러나 모든 토큰이 동등하게 생성되는 것은 아님을 발견한다. 학생(student) 롤아웃이 길어질수록 교사의 분포로부터 더 멀어지며, 이로 인해 후반 위치에서의 지도 품질이 저하된다. 그 결과, 전체 토큰을 사용하는 것과 비슷한 성능을 내기 위해 OPD에서 토큰의 처음 30%만 사용해도 충분하며, 반면 마지막 30%의 토큰만 사용하는 OPD는 거의 학습하지 못한다. 본 연구에서는 제약 최적화(constrained optimization)의 관점을 통해 이 문제에 대한 원칙적인 이해를 제공한다. 이러한 통찰을 바탕으로, 각 토큰에 부여되는 가중치가 학생과 교사 분포 간 누적 불일치에 따라 결정되어 자연스럽게 초기 토큰의 가중치를 높이고 편차가 큰 후반 토큰의 가중치를 낮추는 중요도 가중 온-정책 증류(Importance-Weighted On-Policy Distillation, IW-OPD)를 도출한다. IW-OPD가 OPD보다 현저히 빠르게 수렴하며 더 나은 학습 효율을 보이고, 동일 규모 및 교차 규모 설정 모두에서 표준 OPD보다 더 나은 최종 성능을 달성함을 보인다. AIME-2025에서 최대 6.9점의 성능 향상을 이룬다.

arXiv:2606.27793v1cs.CL

위치 바이어스 보정만으로는 원패스 어텐션 정렬에 충분하지 않다

Position Bias Correction is Insufficient for One-Pass Attention Sorting

긴 컨텍스트에서 발생하는 위치 바이어스(position bias)를 단일 패스로 보정하기 위해 저어텐션 문서군에서 추정한 바이어스 곡선으로 어텐션 점수를 교정하는 Debiased One-Pass Attention Sorting을 제안하였으나, LLaMA-2-7B-32K-Instruct에서는 보정 전 단일 패스와 동일한 성능을, YaRN-Llama-2-7b-64k에서는 반복 정렬(k=5) 대비 격차의 37%만을 좁히는 데 그쳐 위치 바이어스 보정만으로는 반복적 재정렬을 대체하기에 불충분함을 실험적으로 확인하였다.

arXiv:2606.27705v1cs.CL

층별 위치 임베딩 스케일링을 통한 트랜스포머의 위치 바이어스 완화

Mitigating Position Bias in Transformers via Layer-Specific Positional Embedding Scaling

RoPE 기반 LLM의 'lost-in-the-middle' 문제를 해결하기 위해, 각 레이어에 서로 다른 스케일링 계수를 할당하는 층별 위치 임베딩 스케일링(LPES) 방법을 제안하며, Bézier 곡선으로 탐색 공간을 줄인 유전 알고리즘으로 최적 계수를 도출한다. 파라미터 파인튜닝이나 추론 지연 없이 균형 잡힌 어텐션 분포를 달성하며, 키-값 검색 데이터셋에서 최대 11.2% 정확도 향상을 기록했다.

arXiv:2606.27379v1cs.CL

입장: LLM에서 '머신 언러닝' 용어의 과용

Position: The Term "Machine Unlearning" Is Overused in LLMs

대규모 언어 모델(LLM) 연구에서 "머신 언러닝(machine unlearning)"이라는 용어가 과용되고 있으며, 이 용어는 정확히 지정된 forget set의 학습 영향을 제거하여 재학습 모델과 구별되지 않도록 하는 데이터셋 기반 삭제에만 사용되어야 한다고 주장한다. 현재 언러닝으로 분류되는 유해 요청 거부, 지식 제거, 행동 억제 등의 작업은 정렬(alignment), 억제(suppression), 편집(editing) 등 서로 다른 목표를 가지며, 이 용어 혼용으로 인해 벤치마크와 평가 지표가 의도된 범위 밖에서 재사용되어 재학습 동등성 검증 없이 표면적 비공개만을 보상하는 문제가 발생한다.

arXiv:2606.16494v2cs.CL

끝에서 소실(Lost at the End): 다중모달 검색-증강 질의응답의 초두 바이어스

Lost at the End: Primacy Bias in Multimodal Retrieval-Augmented Question Answering

지식 기반 시각 질의응답(KB-VQA)은 Wikipedia 규모의 지식 베이스에서 검색한 구절을 리더(reader)에 조건으로 제공함으로써, 비전-언어 시스템이 매개변수적 지식을 넘어서는 질문에 답할 수 있게 한다. 순수 텍스트의 장문맥 LLM에서는 검색된 컨텍스트 활용이 Liu et al. (2024)의 U자형 "lost-in-the-middle" 효과를 따른다: 컨텍스트의 시작과 끝에 있는 정보는 사용되지만, 중간은 소실된다. 이 현상이 배포된 다중모달 KB-VQA로 전이되는지는 아직 열려 있다. 이 공백을 메우기 위해, 우리는 다중모달 KB-VQA에서 리더 측 위치 의존성을 최초로 통제적으로 탐색하는 프로브를 설계한다. 이는 질문 내에서 오직 정답(gold) 구절의 프롬프트 슬롯만 변화시키는 gold-position 프로토콜이다. 이를 세 개의 오픈소스 7B/8B VLM 리더와 두 개의 KB-VQA 벤치마크에서 k=20까지 실행한다. 효과의 형태는 U자형에서 초두 효과(primacy)로 뒤집힌다: gold-at-first는 모든 리더×벤치마크 조합에서 gold-at-last보다 16~26점 높으며, 우리는 이 효과를 "Lost at the End"라고 부른다. 세 가지 표적 ablation이 원인을 좁힌다: 텍스트 전용 통제는 다중모달 설정이 이미 존재하는 텍스트 모드의 초두 효과를 2.2~4.5배 증폭시킴을 보여주고, 이미지 위치 및 distractor 셔플 ablation을 함께 보면 원인은 instruction-tuned 리더의 프롬프트 슬롯 0에 있다. 고정(frozen) 리더에서는 세 가지 검색 측 수정(MMR, oracle reranking, rank-based reordering) 모두 격차를 그대로 남겨(분리 가능한 개선 없음) 둔다. 우리의 발견은 배포된 KB-VQA에서 재현율@k가 잘못된 지표임을, 그리고 격차를 줄이려면 리더 측 개입이 필요함을 시사한다. 우리는 이러한 개입을 평가하기 위한 통제된 도구로 해당 프로토콜을 공개한다.

arXiv:2603.10863v2cs.CV

순차적 거리를 넘어: 모달 간 거리 불변 위치 인코딩

Beyond Sequential Distance: Inter-Modal Distance Invariant Position Encoding

다중모달 대규모 언어 모델(MLLM)의 놀라운 능력에도 불구하고, 긴 컨텍스트 시나리오에서 여전히 시각적 페이딩(visual fading) 문제를 겪는다. 구체적으로, 텍스트 시퀀스가 길어질수록 시각 토큰에 대한 어텐션이 약해져 시각적 제약에서 벗어난 텍스트 생성이 발생한다. 우리는 이러한 성능 저하의 원인을 다중모달 RoPE의 고유한 귀납적 바이어스에 두는데, 이는 시각 토큰과 텍스트 토큰 사이의 거리가 증가할수록 모달 간 어텐션에 페널티를 부과한다. 이를 해결하기 위해, 모달리티 상호작용에 기반하여 위치 인코딩을 분리하는 단순하지만 효과적인 메커니즘인 모달 간 거리 불변 위치 인코딩(DIPE)을 제안한다. DIPE는 모달 내 상호작용에 대해 자연스러운 상대적 위치 관계를 유지하여 지역 구조를 보존하면서, 모달 간 상호작용에 대해서는 고정된 지각적 근접성을 강제한다. 이 전략은 모달 간 거리 기반 페널티를 효과적으로 완화하여, 컨텍스트 길이와 관계없이 시각 신호가 지각적으로 일관되게 유지되도록 한다. 실험 결과, DIPE를 다중모달 RoPE와 통합하면 모델이 긴 컨텍스트 시나리오에서 안정적인 시각적 그라운딩(visual grounding)을 유지하며, 시각적 페이딩을 크게 완화하면서 표준 단기 컨텍스트 벤치마크에서의 성능은 보존함을 보여준다. 코드는 https://github.com/lchen1019/DIPE 에서 제공된다.

arXiv:2505.23847v4cs.CR

교차 도메인 다중 에이전트 LLM 시스템에서 반드시 해결해야 할 7가지 보안 과제

Seven Security Challenges That Must be Solved in Cross-domain Multi-agent LLM Systems

대규모 언어 모델(LLM)은 조직 경계를 넘나들며 협력하는 자율 에이전트로 빠르게 진화하고 있으며, 데이터 소유권을 포기하지 않으면서도 분산된 전문성을 요구하는 공동 재난 대응, 공급망 최적화 및 기타 과업을 가능하게 한다. 그러나 교차 도메인 협업은 현재의 정렬(alignment) 및 격리(containment) 기법이 전제로 하는 통합된 신뢰 가정을 무너뜨린다. 격리된 상태에서는 양성인 에이전트라도 신뢰할 수 없는 피어(peer)로부터 메시지를 수신하면 비밀을 유출하거나 정책을 위반할 수 있으며, 이는 고전적인 소프트웨어 버그가 아니라 창발적 다중 에이전트 역학에 의해 유발되는 위험을 낳는다. 본 포지션 논문(position paper)은 교차 도메인 다중 에이전트 LLM 시스템의 보안 의제를 정리한다. 우리는 새로운 보안 과제의 7가지 범주를 제시하고, 각 범주에 대해 그럴듯한 공격, 보안 평가(evaluation) 지표, 향후 연구 지침도 함께 제시한다.

arXiv:2509.22259v4cs.LG

그래프를 위한 회전 위치 인코딩

Rotary Position Encodings for Graphs

본 연구에서는 대규모 언어 모델(LLM)과 비전 트랜스포머(ViT)에 널리 채택된 최근의 트랜스포머 위치 인코딩 알고리즘인 회전 위치 인코딩(RoPE)을 그래프 구조 데이터에 적용할 수 있는 범위를 연구한다. 그래프 라플라시안의 스펙트럼에 따라 토큰을 회전시키면 어텐션 메커니즘에 구조적 정보를 효율적으로 주입할 수 있으며, 합성 및 실세계 그래프 학습 태스크에서 성능을 향상시킴을 발견하였다. _Wave-Induced Rotary Encodings_ (WIRE)로 명명된 이 접근법은 흥미로운 이론적 특성을 갖는다: 격자 구조에서 일반 RoPE를 복원하며, 그래프의 유효 저항(effective resistance)에 점근적으로 의존한다. 바이어스 기반 상대적 위치 인코딩과 달리, WIRE는 선형 어텐션과 호환된다.

arXiv:2606.27332v1cs.CV

RoPEMover: 위치 임베딩을 통한 깊이 인식 객체 재배치

RoPEMover: Depth-Aware Object Relocation via Positional Embeddings

단일 이미지에서 객체를 기하학적으로 일관되게 옮기는 문제에 대해, 디퓨전 트랜스포머의 회전 위치 임베딩(RoPE) 공간 표현을 직접 변형하는 RoPEMover를 제안한다. 2D RoPE를 깊이 인식 3D 형식으로 확장하고 합성 데이터와 소량의 실제 이미지로 파인튜닝(fine-tuning)해 가려짐·새로 드러난 영역·그림자와 조명까지 일관되게 갱신하며, 표준 객체 이동 벤치마크에서 모든 평가 지표에서 최첨단 성능을 보인다.

arXiv:2606.25293v1cs.LG

Communicability-Inspired Positional Encoding (CIPE)

비유클리드 그래프 Transformer에서 self-attention의 내적이 구조적 관련성을 반영하도록 communicability를 기반으로 위치 인코딩(positional encoding) 기하를 만드는 CIPE(Communicability-Inspired Positional Encoding)를 제안하고, 그래프 크기에 맞춘 차원 정렬(dimensionality alignment)로 실용 학습을 가능하게 한다. 구조 무시형 Transformer는 7개 벤치마크에서 평균 35.5% 향상됐고, 구조 편향 그래프 Transformer에서도 기존 대표 PE 대비 일관된 개선을 보였다.

arXiv:2606.25008v1cs.LG

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

신경 스케일링 법칙의 지수는 Softmax 비선형성에 따른 시간 1/3 스케일링, 표현 중첩(superposition)에 따른 폭 역비례, Transformer 레이어 앙상블 평균에 따른 깊이 역비례 같은 범용 메커니즘으로 고정된 보편성 클래스를 이룬다고 제안한다. 계수는 데이터와 아키텍처에 민감해 최적 모델 형태와 연산-최적 경계(compute-optimal frontier)를 직접 결정하므로, 단기 성능 향상의 핵심은 지수가 아니라 계수 이해에 있다고 강조한다.

arXiv:2606.24975v1cs.LG

Why Do Accumulated Transformations Extrapolate?

PaTH Attention의 Householder 반사보다 단순한 RoPE식 SO(2) 누적 회전에서도 길이 외삽(extrapolation) 후 극장 컨텍스트에서의 성능 저하가 반복되며, 누적 직교 변환 곱이 유한 단계 뒤 비일관화되어 먼 토큰 attention을 억제하는 일반 메커니즘임을 이론적으로 설명한다. 명시적 far-mass 제어 없이는 아무 회전 선택도 무한 길이에서 근거리 신호를 보장할 수 없다는 하한을 제시하고, value 회전과 ALiBi 대조 실험으로 예측을 뒷받침한다.

arXiv:2511.17388v3cs.CL

Selective Rotary Position Embedding

Position information is essential for language modeling. In softmax transformers, Rotary Position Embeddings (\textit{RoPE}) encode positions through \textit{fixed-angle} rotations, while in linear transformers, order is handled via input-dependent (selective) gating that decays past key-value associations. Selectivity has generally been shown to improve language-related tasks. Inspired by this, we introduce \textit{Selective RoPE}, an \textit{input-dependent} rotary embedding mechanism, that generalizes \textit{RoPE}, and enables rotation in \textit{arbitrary angles} for both linear and softmax transformers. We show that softmax attention already performs a hidden form of these rotations on query-key pairs, uncovering an implicit positional structure. We further show that in state-space models and gated linear transformers, the real part manages forgetting while the imaginary part encodes positions through rotations. We validate our method by equipping gated transformers with \textit{Selective RoPE}, demonstrating that its input-dependent rotations improve performance in language modeling and on difficult sequence tasks like copying, state tracking, and retrieval.

arXiv:2606.22329v1cs.CL

BabelJudge: 언어 및 에이전트 궤적에 걸친 LLM-as-a-judge 신뢰성 측정

BabelJudge: Measuring LLM-as-a-Judge Reliability Across Languages and Agent Trajectories

LLM-as-a-judge의 위치·장황함·순서 불일치·다국어 성능 저하 같은 체계적 바이어스를 인간 선호 라벨 없이 측정하는 오픈소스 벤치마크 BabelJudge를 제안하며, 고품질 참조 응답에 통제된 교란을 적용하는 저하 기반 골드 라벨링으로 정답 쌍을 구성한다. Qwen2.5-7B-Instruct-4bit 평가에서 복합 바이어스 페널티 신뢰성 점수는 힌디어 0.714에서 스와힐리어 0.550으로 급락하고, 스와힐리어의 순서 일관성은 0.480까지 무너져 원시 정확도만으로는 드러나지 않는 심사 실패가 확인되었다.

arXiv:2606.21249v1cs.LG

RoPE는 검색 헤드를 억제하는가, 아니면 저하시키는가? 모델 패밀리를 아우르는 메커니즘 분석

Does RoPE Prevent or Degrade Retrieval Heads? A Mechanistic Analysis Across Model Families

검색 헤드(retrieval head)는 이전 컨텍스트의 정보를 현재 위치로 복사하는 어텐션 헤드로, 장문 컨텍스트 재현율의 메커니즘적 기반으로 제안되어 왔다. 회전 위치 임베딩(RoPE)은 기저 하이퍼파라미터 theta에 따라 감쇠하는 주파수로 쿼리와 키를 회전시키며, 이 회전이 검색 헤드의 형성을 방지하거나 그 기능을 저하시킨다는 가설이 자연스럽게 제기되어 왔다. 우리는 멀티헤드 및 그룹 쿼리 어텐션을 아우르며 theta 범위가 100배에 달하는 네 가지 오픈 가중치 7-8B 모델에 대해, 페어드 시드 건초더미 바늘 찾기 테스트(needle-in-a-haystack test), 층 클러스터 순열, 인과적 헤드 마스킹을 활용하여 두 가설 모두를 검증한다. (i) 검색 헤드는 인과적으로 필수적이다: OLMo-2에서 탐지된 87개 헤드를 마스킹하면 재현율이 1.00에서 0.00으로 붕괴되는 반면, 대응하는 무작위 헤드를 마스킹해도 아무런 영향이 없으며, 이는 Qwen에서도 재현된다. (ii) theta 값이 높을수록 검색 헤드 수가 감소하지 않으며(theta=500K인 LLaMA-3.1은 47개, theta=10K인 LLaMA-2는 42개), 이는 억제 가설을 반박한다. (iii) 노름-활용도(norm-utility) 관계는 모델 패밀리에 따라 다르며 반대 방향으로 유의미하다(Qwen d=-0.49, OLMo d=+0.50, 모두 유의미; LLaMA는 유의미하지 않음); OLMo와 LLaMA-3.1이 theta=500K를 공유하면서도 차이를 보이므로, 이 효과는 theta에 의해 유발되지 않는다. (iv) Chiang and Yogatama (2025)를 기반으로, 통제된 패치 실험을 통해 검색 헤드의 최저 주파수 RoPE 차원을 0으로 설정하면 재현율이 용량 의존적으로 저하됨을 보인다(128개 차원 중 32개를 0으로 설정 시 1.00에서 0.18로 감소; 무작위 차원의 경우 0.98 유지); 이 효과는 헤드별, 과제별로 특이적이다. 인과 변수는 노름-활용도가 아닌 RoPE 주파수이다. 이 방향성은 네 가지 계보와 두 가지 규모에 걸쳐 패치된 다섯 개 모델 전체(OLMo-2, Qwen2.5-7B/14B, Gemma-2, Mistral)에서 유지된다. 모델 간 효과 크기에 대한 주장은 하지 않는다. 코드와 페어드 시드 하네스가 공개되었다.

arXiv:2606.22694v1cs.CV

SATURN: 다관점 그라운딩을 위한 심볼릭 공간 추론

SATURN: Symbolic Spatial Reasoning for Multi-Perspective Grounding

비전-언어 모델(VLM)은 공간 추론이 기준 좌표계에 따라 의미가 달라지는 관계들을 조합해야 할 때 여전히 신뢰할 수 없다. 기존 신경-심볼릭(neuro-symbolic) 방법은 추론을 더 명시적으로 만들지만, 종종 불안정한 기하학적 절차와 노이즈가 많은 지각(perception)에 대한 경성(hard) 결정에 의존한다. 우리는 관점 인식(perspective-aware) 구성적(compositional) 공간 추론을 위한 신경-심볼릭 프레임워크인 SATURN을 제안한다. SATURN은 근사 3D 장면을 재구성하고, 소프트(soft) 관점 인식 공간 술어(predicates)를 도출한 뒤, 학습 없는(training-free) Pythonic 심볼릭 실행기(symbolic executor)로 이를 조합하여, 다중 홉(multi-hop) 추론을 통해 불확실성을 보존하면서 지각과 추론을 분리한다. 또한 공간 배치 그라운딩(SAG)과 지시 표현 그라운딩(REF)에 걸쳐 추론 깊이, 시점(view), 관점 구성을 제어하는 진단 벤치마크인 3D FORCE를 도입한다. 3D FORCE에서 VLM과 공간적으로 학습된 모델은 깊이와 관점 복잡도가 증가할수록 급격히 성능이 저하되는 반면, SATURN은 안정적으로 유지되며 강력한 기준선들을 능가한다. 실세계 벤치마크 MindCube에서 SATURN은 78.57%의 전체 정확도를 달성하여, 가장 강력한 기준선보다 14%p 높다.

arXiv:2503.10945v3cs.LG공식 코드 · Papers with Code

머신러닝에서 차분 프라이버시 보장을 보고하기 위한 가우시안 DP

Gaussian DP for Reporting Differential Privacy Guarantees in Machine Learning

DP-SGD와 같은 머신러닝(ML) 알고리즘에 대한 차분 프라이버시(DP) 보장을 보고하는 현재의 관행은 불완전하고 잠재적으로 오해를 초래할 수 있는 그림을 제시합니다. 예를 들어, 어떤 메커니즘에 대해 단일 $(\varepsilon, \delta)$만 알려진 경우, 표준 분석은 학습 데이터 레코드에 대한 매우 정확한 추론 공격이 존재할 수 있음을 보여주지만, 보다 신중한 분석을 통해 살펴보면 대부분의 실용적인 메커니즘에서는 그러한 정확한 공격이 존재하지 않습니다. 이 포지션 페이퍼에서 우리는 ML에서 DP 보장을 전달하는 주요 수단으로 _비점근적_ 가우시안 차분 프라이버시(GDP)를 사용하는 것이 이러한 잠재적 단점을 피할 수 있다고 주장합니다. DP 문헌의 두 가지 최근 발전, 즉 (i) DP-SGD의 프라이버시 프로파일과 $f$-DP 곡선을 임의의 정확도로 계산할 수 있는 오픈소스 수치 어카운턴트, (ii) DP 표현에 대한 의사결정 이론적 메트릭을 활용하여, 우리는 수치 어카운턴트를 사용해 GDP에 대한 비점근적 경계를 제공하는 방법을 보이고, GDP가 해당 메트릭으로 정량화된 오차를 거의 없이 DP-SGD 및 관련 알고리즘의 전체 프라이버시 프로파일을 포착할 수 있음을 보여줍니다. 우리의 주장을 뒷받침하기 위해, 최신 DP 대규모 이미지 분류와 미국 10년 인구조사를 위한 TopDown 알고리즘의 프라이버시 프로파일을 조사하였으며, 모든 경우에서 GDP가 해당 프로파일에 현저히 잘 맞음을 관찰하였습니다. 마지막으로 이 접근 방식의 강점과 약점에 대해 논의하고, GDP로부터 이점을 얻을 수 있는 다른 프라이버시 메커니즘에 대해 논의합니다.

arXiv:2606.12146v1cs.LG

nD-RoPE: n차원 위치 임베딩을 위한 일반화된 RoPE

nD-RoPE: A Generalized RoPE for n-Dimensional Position Embedding

회전 위치 임베딩(RoPE)은 트랜스포머 모델에서 널리 채택되었으나, 고차원 도메인으로의 확장에는 통일된 이론적 정식화가 부족합니다. 대부분의 기존 접근 방식은 각 축을 따라 독립적으로 회전을 적용하거나 경험적으로 주파수를 혼합하는데, 이는 차원 간 상호작용을 제한하고 방향 의존적 표현을 생성합니다. 이러한 제한 사항을 해결하기 위해, 우리는 임의의 차원으로의 분해 없는 RoPE 일반화인 nD-RoPE를 제안합니다. 연속 힐베르트 공간에서의 병진 불변 정식화로부터, 우리는 위치와 주파수를 결합된 \(n\)-차원 벡터로 처리해야 하는 등방성에 대한 스펙트럼 조건을 유도합니다. 우리는 비퇴화 공간 커버리지와 대칭적이며 방향적으로 균형 잡힌 2차 응답을 제공하는 다중 스케일 정단체 파동 벡터 설계를 통해 이 정식화를 구체화합니다. 이미지, 비디오 및 포인트 클라우드에 걸친 실험은 고차원 설정에서 일관된 성능 향상과 개선된 일반화를 입증합니다.

arXiv:2606.11275v1cs.LG

RoVE: 상대 위치 의존적 값 경로를 위한 회전형 값 임베딩 어텐션

RoVE: Rotary Value Embeddings Attention for Relative Position-dependent Value Pathways

회전형 위치 임베딩(RoPE)은 어텐션 점수를 위치에 상대적으로 만들지만, 값 경로(value pathway)는 위치를 인식하지 못하게 둡니다. 즉, 값 토큰이 전달하는 메시지는 쿼리로부터의 거리에 관계없이 동일합니다. 본 논문에서는 RoVE를 제안합니다. RoVE는 키(key)와 동시에 값을 회전시켜 위치에 민감하게 만드는 매개변수가 없는 수정 방식이며, RoPE 어텐션을 어텐션 합성곱(attentive convolution)으로 변환함을 보여줍니다. 이 새로운 관점은 컴퓨터 비전, 로봇공학, 현대 대규모 언어 모델(LLM) 아키텍처에 걸쳐 동일한 연산에 대한 여러 독립적인 정형화를 통합합니다. 학습된 124M 및 354M GPT-2 모델은 퓨샷 문맥 내 학습(ICL), 분포 외 퍼플렉서티, 긴 문맥 검색에서 RoPE 대비 일관된 경험적 이득을 보여주었으며, 특히 장거리 집계가 필요한 작업에서 가장 명확한 개선 효과를 나타냈습니다.

arXiv:2606.11245v1cs.AI

입장: 해마의 명시적 기억은 인공 일반 지능(AGI)의 초석이다

Position: Hippocampal Explicit Memory Is the Cornerstone for AGI

대규모 언어 모델(LLM)이 인공 일반 지능(AGI)으로 나아가기 위해서는 해마의 명시적 기억(explicit memory)을 통합하는 것이 핵심이라고 주장합니다. LLM의 암시적 학습 메커니즘만으로는 장기 전략 계획이나 상징적 추론 같은 고차원 인지 기능을 구현할 수 없으므로, 인공 명시적 기억 시스템의 계산적 요구사항을 제시합니다.