멀티모달 대규모 언어 모델(MLLM)은 이미지를 표현하기 위해 수백 개의 시각적 토큰에 의존하기 때문에 상당한 계산 오버헤드를 발생시킵니다. 토큰 가지치기(token pruning)는 MLLM의 추론(inference) 비용을 줄이기 위한 유망한 접근법으로 부상했으나, 기존 방법들은 일반적으로 희소(sparse) 또는 연속적(continuous) 위치 임베딩(position embedding)을 사용하여 유지된 토큰에 위치 임베딩을 재할당하며, 각각 고유한 한계를 야기합니다. 희소 위치 임베딩은 시각적 토큰에 할당되는 어텐션(attention) 값을 감소시키는 경향이 있어 MLLM의 인식 능력을 저하시키는 반면, 연속적 위치 임베딩은 시각적 토큰의 원래 공간적 대응 관계를 왜곡하여 그라운딩(grounding) 능력을 약화시킵니다. 이러한 문제를 완화하기 위해 본 논문에서는 언어 디코더에 대한 층별 분석을 수행하고, 중간 층이 토큰 가지치기 상황에서 MLLM의 그라운딩 능력을 유지하는 데 중요한 역할을 한다는 점을 관찰했습니다. 이 관찰을 바탕으로, 그라운딩에 민감한 층에서는 희소 위치 임베딩으로 전환하고 그 외의 층에서는 연속적 위치 임베딩을 유지하는 층 인식(layer-aware) 위치 임베딩 전략을 제안합니다. 대표적인 가지치기 방법들과 다양한 벤치마크에 걸친 광범위한 실험을 통해, 본 접근법이 표준 희소 및 연속적 위치 임베딩과 비교하여 가지치기된 MLLM의 포괄적인 멀티모달 성능을 향상함을 입증합니다.
언어 기반 3D 위치 추정(localization)은 주변 객체와 그 공간적 관계에 대한 설명으로부터 목표 위치를 포함하는 포인트 클라우드 서브맵을 검색하는 작업이다. 기존 방법들은 일반적으로 질의(query)와 서브맵을 전역 디스크립터(global descriptor)로 압축하는데, 이는 객체 수준의 의미와 설명 간 공간적 일관성을 모호하게 만들 수 있다. 본 논문에서는 대략적인(coarse) 텍스트-투-포인트 클라우드 위치 추정을 위한 질의 위치 인식(query-position-aware) 프레임워크인 위치 조건부 증거 위치 추정(Position-Conditioned Evidence Localization, PosEviLoc)을 제안한다. 전역 매칭에 의존하는 대신, PosEviLoc은 명시적인 의미적 및 공간적 증거를 사용하여 각 후보 서브맵을 평가한다. 이 방법은 방향을 객체 위치와 가상의 질의 위치에 의해 공동으로 결정되는 관계로 모델링한다. 그 결과로 생성되는 질의-위치 공간 증거 필드(Query-Position Spatial Evidence Field, QSEF)는 각 가상 위치에서 지지되는 질의 설명의 비율을 측정하며, 증거 필드를 구성하는 데 실제(ground-truth) 질의 자세(pose)를 사용하지 않고도 설명들 간의 일치도를 명시적으로 포착한다. 다중 레벨 증거 판독(Multi-Level Evidence Readout, MER)은 이러한 증거를 압축된 표현으로 요약하며, 경량 MLP가 이를 검색 점수(retrieval score)로 변환한다. 다섯 개의 벤치마크(benchmark)에서 PosEviLoc은 재현율@1(Recall@1) 기준으로 MNCL을 평균 17퍼센트포인트(percentage point) 앞선다. 플러그 앤 플레이(plug-and-play) 재랭커(reranker)로 사용될 경우, MNCL을 평균 16퍼센트포인트 개선한다. 또한 PosEviLoc은 기존 방법들에 비해 훨씬 적은 파라미터(parameter)를 도입하며 더 빠른 추론(inference) 속도를 달성한다.
복잡한 도시 환경에서 정확한 다중 사용자 위치 추정은 어려운 과제이다. 이러한 환경에서는 무선 측정값이 잡음(noise), 차단(blockage), 다중경로(multipath)로 인해 모호해질 수 있는 반면, 시각적 관측은 이를 보완하는 공간적 맥락을 제공한다. 본 논문은 파일럿 인덱싱된 채널 상태 정보(CSI)를 활용한 다중 사용자 위치 추정을 위한 비전-무선 융합 프레임워크를 제시한다. 직교 파일럿 인덱스는 CSI 토큰 시퀀스와 위치 추정 출력 내에서 통신 중인 UE(사용자 단말)의 식별 정보를 보존한다. 이 모델은 파일럿 인덱싱된 각 CSI 관측을 쿼리 토큰으로 인코딩하고, 교차 어텐션(cross-attention)을 사용하여 공간적 시각 메모리로부터 사용자별 정보를 검색한다. CSI 토큰 간의 셀프 어텐션(self-attention)은 사용자 간 상호작용을 추가로 포착하며, 그 결과로 얻어진 멀티모달 표현은 사용자별 위치 추정에 사용된다. 서로 다른 데이터셋에 대한 실험은 모델 기반, CSI 전용, 멀티모달 융합 베이스라인 대비 일관된 성능 향상을 보여준다. 추가 실험은 서로 다른 무선 및 시각 조건 하에서 모델을 평가한다.
자동 형식화(autoformalization)는 비형식적 자연어를 기계적으로 검증 가능한 형식 언어로 번역한다. 대부분의 연구는 개별 명제에 초점을 맞추지만, 실제 형식화 작업은 본질적으로 이론 수준의 작업이다. 목표 정리를 진술하기조차 하려면 공리, 정의, 보조정리의 전체 연결망이 필요하다. 본 입론(position paper)에서는 이론 수준 자동 형식화를 주장한다. 상호 의존성을 모두 포함한 완전한 이론을 구조화된 라이브러리로 형식화하는 것이다. 우리는 이러한 전환의 의의를 검토하고, 대안적 관점에 대응하며, 미해결 과제를 식별하고, 세 가지 유망한 전진 경로를 제안한다. 자동 형식화에 대한 우리의 서베이는 https://github.com/marcusm117/Awesome-Autoformalization 에서 확인할 수 있다.
DeepSeek-V2에서 도입된 Multi-head Latent Attention(MLA)은 공유 저차원 병목(cKV)을 통해 key-value 쌍을 압축하여, 추론 시 KV-cache를 81% 감소시킨다. 대규모 프로덕션 모델에서 채택되었음에도, 이 병목이 어떤 정보를 보존하거나 폐기하는지, 또는 내부 트랜스포머 회로를 어떻게 재구성하는지에 대한 선행 연구는 없었다. 우리는 MLA에 대한 최초의 포괄적인 메커니즘적 해석가능성 연구를 제시하며, 114M-매개변수 트랜스포머(웹/코드/수학 혼합 데이터로 사전학습, TinyStories로 파인튜닝)를 학습하고 SVD, 어텐션 헤드 분류, linear probing, 및 disruption-attribution 분석을 통해 표현을 분석한다. 주요 발견은 다음과 같다: (1) cKV 병목은 순수한 콘텐츠 표현을 학습하여, 위치 정보는 폐기하면서 개체 동일성(entity identity)을 98% 보존하며, RoPE를 통한 MLA의 콘텐츠-위치 분리를 검증한다; (2) induction head는 표준 MHA에서의 분산된 형성과 달리 단일 층(Layer 12)에 공존한다; (3) 단일 "semantic hub" 층(Layer 15)이 동시에 가장 높은 SVD 유효 순위(effective rank)와 가장 강한 disruption-attribution 점수를 보인다; (4) 병목은 전역적으로 과잉 할당(over-provisioned)되어 있으며, 평균적으로 용량의 46%만 사용한다. 이러한 발견은 MLA가 단순히 어텐션을 수동적으로 압축하는 것이 아니라, 모델이 콘텐츠, 위치, 회로 구조를 조직하는 방식을 재구성함을 시사한다. 우리는 이를 초기 데이터 포인트로 간주하며, Section 5에서 범위 제한을 상세히 기술한다.
본 기고는 얼굴 인식 알고리즘, 그 구현 및 실용적 활용에 대한 개요를 제공한다. 먼저, 서로 다른 사람들의 얼굴로 구성된 학습 세트를 수집하여 얼굴 인식기를 학습해야 한다. 그 결과로 얻어진 얼굴 모델은 사람들을 특정 개인 또는 미지의 대상으로 분류하는 데 활용할 수 있다. 인식된 얼굴을 추적하고 음향 음원의 위치를 추정한 후, 두 정보를 결합하여 가능한 화자에 대한 상세 정보와 그들이 말하고 있는지 여부를 제공할 수 있다. 이는 상황에 대한 정밀한 실시간 기술로 이어지며, 예를 들어 적응형 빔포머(adaptive beamformer)를 이용한 다채널 음성 향상과 같은 후속 응용에 활용할 수 있다.
전기 관절 시스템은 수중 매니퓰레이터의 구동, 드라이브 및 제어에 있어 중요한 구성 요소이다. 수중 환경에서 작동할 때 관절은 큰 주변압을 받는다. 이를 견디기 위해 주변압 보상 방법이 일반적으로 사용되지만, 가압된 오일은 밀봉 문제뿐 아니라 관절 동역학 모델에 대한 파라미터 불확실성 및 알려지지 않은 외란을 야기한다. 이러한 문제를 해결하기 위해 본 연구는 수중 오일 충전 전기 관절을 위한 설계 프레임워크를 제안한다. 주변압 보상 모듈의 동역학을 분석하고, 내부 유압 오일을 밀봉하기 위해 관절 구조를 최적화한다. 오일 충전 관절의 불확실성 동역학 모델을 수립하고, 구조화 특이값 합성(structured singular value synthesis, μ-합성)에 기반한 강건 위치 제어기를 설계한다. 실험 결과는 제안 방법의 타당성을 검증한다.
본 회의록에는 네 번째 프로그래밍의 논리와 실습(LPOP) 워크숍에서 발표될 연구의 초록과 포지션 페이퍼(position paper)가 수록되어 있다. 워크숍은 2024년 10월 13일 미국 텍사스주 달러스에서 하이브리드 형태로 개최되며, 제40회 국제 논리 프로그래밍 컨퍼런스(ICLP)와 연계하여 진행된다. 본 워크숍의 초점은 신뢰할 수 있는 AI(trustworthy AI)를 위한 추론 시스템 통합이며, 특히 규칙과 제약 조건을 포함한 다양한 프로그래밍 모델의 통합을 다룬다.
Möbius RoPE는 반주기 주파수 사다리 $θ_i=π(2i+1)/N$ 위에 구축된 회전 위치 인코딩(RoPE)이다. 각 회전 평면은 학습 컨텍스트 전체에서 $π$의 홀수 배만큼 진행하므로, 위치 홀로노미(holonomy)는 $-1$이 되고 시퀀스의 양 끝은 폐형식 Dirichlet "dipole"을 통해 결정적으로 결합된다. 우리가 아는 한 이는 위치 인코딩에서 최초의 반주기 경계 조건이다. 우리는 이론을 수치적으로 $\sim 10^{-6}$까지 검증하고, 6개의 160M급 및 3개의 410M급 실험 분기에 걸쳐 48개 모델을 사전학습했다(각각 2B FineWeb-Edu 토큰; 하이브리드 분기는 헤드의 25%에 Möbius 주파수를 배치한다). 하이브리드 perplexity는 변하지 않았으나(29.66 대 29.72), 건초 더미 속 바늘(needle-in-a-haystack) 검색이 신뢰 가능해진다. 컨텍스트 512에서 $90.3\pm5.7\%$ 대 $63.3\pm31.4\%$($n=6$ 시드), 관측된 최악 시드 86% 대 14%, 강건 분산 검정 $p=0.013$-$0.029$(보정 없음), 410M에서도 재현된다(Levene $p=0.040$). 대응 통제 실험이 메커니즘을 분리한다. 동일 주파수 대역의 비주기(aperiodic) 사다리는 효과를 전혀 재현하지 않으며, 주기(holonomy $+1$) 사다리는 일부만 재현한다. 학습된 모델의 주파수 테이블을 표준 RoPE로 되돌리면(가중치 고정) 검색이 붕괴하며, 손상은 먼 바늘에 집중된다. 학습된 모델은 이 장거리 기하학에 의존한다. NoPE 분기는 짧은 컨텍스트에서 더욱 신뢰 가능하지만 13% perplexity 비용을 지불하며 외삽(extrapolation)이 최악이다. 반주기 하이브리드만이 기준선 perplexity와 높은 신뢰성 하한(floor)을 함께 달성한다. 이 효과는 학습 윈도우 내 단일 바늘 검색으로 범위가 한정된다. 따라서 한 줄 주파수 교체만으로 검색 시드 복권(seed lottery)에 대한 무(無)비용 보험을 제공한다.
최근 대규모 언어 모델(LLM)의 발전과 광범위한 채택으로, 자연어가 소프트웨어 설계를 위한 프로그래밍 언어와 같은 형식 언어를 완전히 대체할 수 있다는 주장이 제기되고 있다. 본 포지션 논문에서 우리는 이러한 관점이 자연어의 근본적인 언어적 특성, 특히 개방형 맥락에서 과소 명시(underspecification)에 최적화되어 있다는 점을 간과한다고 주장한다. 우리는 작업 특이성(task specificity)을 중심으로 한 형식적 프레임워크를 제안하며, 이를 사용자의 구체적인 요구 사항이 주어졌을 때—가능한 모든 이미지와 같은—출력 공간에서의 불확실성을 정보 이론적으로 줄이는 것으로 정의한다. 우리는 특이성 교차 정리(specificity crossover theorem)를 증명하여, 형식적 요구 사항을 자연어로 표현하는 비용이 직접적인 형식 명세의 비용을 초과하는 임계값의 존재를 보인다. 이미지 생성, 코드 합성, 오디오 제작과 같은 다양한 모달리티에 걸친 사례 연구를 분석함으로써, 자연어는 낮은 특이성 작업에서 뛰어난 반면 형식 언어는 더 엄격한 요구 사항을 갖는 작업에서 유리함을 보여준다. 우리는 자연어와 형식 언어가 상호 보완적인 도구이며, 사용자가 특이성 스펙트럼을 넘나들 수 있게 하는 하이브리드 시스템의 개발을 주장한다.
라디오 맵(RM) 추정은 희소 측정값으로부터 수신 신호 강도(RSS)와 같은 무선 신호 특성의 공간 분포를 재구성하는 것을 목표로 하며, 이는 현대 무선 네트워크에서 스펙트럼 관리, 간섭 완화, 위치 추정에 핵심적인 과제이다. 전통적인 접근법인 보간법과 심층 학습은 복잡한 전파 효과를 포착하기 어렵거나, 새로운 샘플링 패턴마다 대규모 재학습이 필요하여 일반화 능력이 제한된다. 최근에는 사전 기반 방법들이 사전학습된 생성 모델과 측정값을 결합하여 배포 시점 모델 미세조정의 필요성을 줄이고 있으나, 일반적으로 사전 분포(prior)를 단순한 정규화(regularizer)로 취급하며 명시적인 송신기 인식 통합이 부족하다. 본 논문에서는 배포 시점 미세조정 없이 희소 RSS 측정값과 고정된 사전학습 확산 사전 분포를 긴밀히 통합하는 새로운 RM 추정 프레임워크인 RadioTrace를 제안한다. RadioTrace는 송신기(Tx) 위치 추정을 디노이징 루프에 직접 통합하여, 재구성 품질에 기반해 Tx 좌표를 반복적으로 정제함으로써 생성 과정을 안내한다. 견고성을 더욱 향상시키기 위해, Tx 업데이트에서 불량한 국소 최솟값을 완화하고 기하학적으로 일관된 시작점을 제공하는 전파 유도 K-means 초기화를 도입한다. 또한 Tx 좌표 정제 구성 요소에 대한 확률적 안정성 분석을 제공하여, Tx 업데이트가 확산 샘플링과 Tx-맵 완화(relaxation)에 의해 유발되는 섭동 하에서도 안정적으로 유지됨을 보인다. 광범위한 실험을 통해 RadioTrace가 무작위 샘플링 하에서 최첨단 학습 기반 방법들과 경쟁력 있는 성능을 달성하고, 제한 구역 샘플링 하에서도 강력한 재구성 품질을 유지함을 보여주며, 이는 적응성, 견고성, 실용적 관련성을 강조한다.
다지선다형 LLM 평가에서의 위치 바이어스(position bias)는 능력 비교의 교란 요인으로 널리 인용되지만, 기존에 발표된 측정은 단일 답변 순서 셔플에 의존하며, 그 결과는 바이어스 신호를 내용 수준의 노이즈와 샘플링 확률성과 혼동한다. 저는 inspect_ai 평가 프레임워크의 오픈소스 확장인 inspect_permute를 소개한다. 이 도구는 문항별로 모든 답변 순서 순열을 실행하고, 부트스트랩 신뢰구간과 함께 위치 바이어스의 카이제곱(chi-squared)/크래머 V(Cramer V) 특성을 보고한다. 저는 temperature-0 생성 설정 하에 24,000회의 API 호출로, 네 개 벤더(gpt-4o-mini, claude-haiku-4-5, gemini-2.5-flash, grok-3)와 다섯 MMLU 과목에 이 도구를 적용했다. 데이터의 절반을 관측하기 전에 공개 SHA-256 해시를 통해 반증 예측을 사전 등록했다. 위치 바이어스는 대략 60–95% 기본 정확도의 골디락스 존(Goldilocks zone) 내에서만 통계적으로 탐지 가능한 것으로 나타났다. 그보다 낮으면 처리 부하(processing load) 우세가 과목별 신호를 압도하고, 그보다 높으면 천장 효과가 분산을 카이제곱 검정 해상도 이하로 압축한다. 탐지 가능한 셀은 두 가지 메커니즘 유형으로 구분된다: 단조 A→D 감소(processing_load, 저급 모델)와 비단조 D-하락(content_ambiguity, 좁은 능력 대역). 표준 MMLU는 모든 프론티어급 모델을 탐지 대역 위에 배치하므로, 그곳에서 신호가 없는 것은 편향 없음이 아니라 측정 불가로 해석해야 한다. arXiv:2606.26185의 천장 효과 특성화와 함께, 본 연구는 위치 바이어스 측정의 탐지 가능 영역을 규명하고 분야의 핵심 질문을 검증 가능한 형태로 제기할 수 있게 한다. 패키지, 데이터, 사전 등록은 MIT 라이선스 하에 제공된다.
많은 현대 AI 시스템은 다양하고 개방형(open-ended)인 사용 사례 하에서 동작하도록 설계된다. 배포된 시스템의 일반화를 돕기 위해, 많은 배포 시스템 유지보수 파이프라인은 사용자 행동(오류)으로부터 발생하는 피드백을 관찰하고 그에 따라 모델을 패치하는 반응적(reactive) AI 플라이휠을 사용한다. 그러나 주요 유지보수 메커니즘으로 사용될 때, 이러한 플라이휠은 시스템 목표 내에서 이러한 오류의 더 넓은 맥락을 종종 무시하여 잠재적인 미래 엣지 케이스(edge case)를 선제적으로 방지하지 못하고, 이는 더 많은 불필요한 플라이휠 반복으로 이어진다. 또한 개방 세계(open-world) 사용 사례의 롱테일(long-tail) 특성으로 인해 남은 오류를 수집하는 것이 통계적으로 점점 더 어려워진다. 본 입장 논문(position paper)은 반응적 플라이휠의 한계를 해결하고 일반화 가능한 시스템에 접근하기 위해 선제적(proactive) 테스트 주도(test-driven) 플라이휠이 필요하다고 주장한다. 우리는 피드백 데이터를 태스크 목표에 기술적으로 매핑하기 위한 테스트 공간(test space)을 생성하여 플라이휠을 반응적에서 선제적으로 진화시키는 것을 옹호한다. 우리는 선제적 플라이휠이 반응적 플라이휠보다 더 적은 반복으로 더 나은 장기 스케일링(scaling)을 달성한다는 것을 수학적으로 증명함으로써 입장을 보강한다.
트랜스포머 해석 가능성 연구에서 평균 교차 위치 어텐션 저하는 널리 보고되지만, 이것이 문맥 검색을 인과적으로 제한하는지는 아직 검증되지 않았다. 우리는 GPT-2, LLaMA-3.2-1B/3B, OPT-1.3B, distilgpt2에 걸친 6개의 연계 실험을 제시한다. 먼저 단기(5–100 토큰) 어텐션 저하를 특성화한 결과, 속도가 깊이와 역상관하는 보편적인 지수-후-정체 패턴과 아키텍처별로 구별되는 층별 엔트로피 특성을 발견했다. 기능 토큰 앵커링은 아키텍처에 따라 달라짐이 드러났다: OPT-1.3B(절대 위치 인코딩)는 거리 의존적 전치사 특이성을, GPT-2는 균일한 비특이적 의존성을, LLaMA(RoPE)는 장거리에서의 역전을 보인다. 절 경계에서의 전략적 쉼표 삽입은 40–80 토큰 구간에서 예측 저하를 인과적으로 줄이며, 그 이점은 토큰 밀도보다는 구문 경계 정렬과 연관된다. 그런 다음 메커니즘을 인과적으로 검증했다: 기능 토큰 위치로 어텐션 로짓을 편향시키는 Relay-Aware Attention(RAA)은 어텐션 질량을 16–24% 확실히 증가시키지만, GPT-2와 LLaMA-1B에서는 효과가 없고, LLaMA-3B에서는 예비적으로 해를 끼치며, OPT-1.3B에서는 혼재된 효과로 대략 0에 수렴한다. 다중 사실 검색 프로브는 추가로, 저하율이 모델 간 검색 정확도를 예측하지 않음을 보여준다. 우리는 평균 어텐션 저하가 대체로 서술적이지 규범적이 아님을 결론짓는다: 기능 토큰은 받는 어텐션이 아니라 은닉 상태가 계산하는 내용을 통해 기여한다 — 이는 해석 가능성 방법론과 KV-cache eviction과 같은 어텐션 점수 기반 추론 최적화에 함의를 갖는다.
Rotary Position Embedding(RoPE)는 Transformer에서 위치 정보를 인코딩하기 위해 널리 채택되지만, 표준 구현은 모든 어텐션 헤드에 대해 균일한 주파수 스케줄과 스케일링을 강제한다. 단순화된 검색(retrieval) 과제와 길이 일반화(length generalization) 시나리오를 사용하여, 기능적 역할이 다른 헤드는 효과적으로 동작하기 위해 서로 다른 주파수 범위와 어텐션 스케일링 계수가 필요함을 실증적·이론적으로 모두 보인다. 이 구조를 무시하면 임베딩 차원이 최적으로 활용되지 않고 성능이 저하되며, 특히 긴 컨텍스트(long-context) 설정에서 두드러진다. 이러한 한계를 해결하기 위해, 각 어텐션 헤드에 학습 가능한 회전 주파수와 어텐션 스케일링 계수를 부여하는 AdaRoPE를 제안한다. AdaRoPE를 적용한 사전학습 LLM은 partial RoPE 및 NoPE 베이스라인을 포함한 기존 RoPE 변형보다 일관되게 우수한 성능을 보인다. 컨텍스트 확장(context extension)의 경우, YaRN과 같은 방법에서 사용되는 균일한 주파수 및 어텐션 스케일링이 차선임을 추가로 보인다. 헤드별 스케일링을 적용함으로써 AdaRoPE는 외삽(extrapolation) 설정과 긴 컨텍스트 지속 사전학습(long-context continued pretraining) 설정 모두에서 짧은 컨텍스트 성능을 더 잘 유지하면서 더 나은 컨텍스트 확장을 가능하게 한다. 이 결과는 개별 어텐션 헤드 수준에서 회전 위치 임베딩(rotary position embedding)을 최적화하는 것의 중요성을 강조한다.
Explainable AI(XAI) 기법—특징 기여도(feature attribution)부터 희소 자기인코더(sparse autoencoder)에 이르기까지—의 확산에도 불구하고, 설명은 실제 업무 흐름에 거의 영향을 미치지 않는다. 실무에서는 설명이 종종 생성된 뒤 버려지며, 의미 있는 행동을 이끌어내지 못한다. 이 격차는 기초적 한계를 반영한다. 연구는 아직 설명을 end-to-end, human-in-the-loop 시스템에 통합하는 방법론을 확립하지 못했다. 본 position paper는 기계학습 커뮤니티가 임시방편적 XAI 방법에서 방향을 전환하여, 불명확한 문제 정식화, 명시가 부족한 평가 목표, 설명 기반 피드백을 위한 파이프라인 부재 등 기초적·구조적 과제를 해결해야 한다고 주장한다. 최근 ICML, NeurIPS, ICLR 논문 분석과 XAI 실무자 설문을 통해 이 주장을 뒷받침하며, 누적적 진보를 제한하는 반복적 문제를 드러낸다. 마지막으로 XAI를 보다 인간 중심적이고 행동 지향적인 패러다임으로 전환하기 위한 실용적 체크리스트를 개략적으로 제시한다. 임시방편적 방법 개발보다 기초적 명확성을 강조함으로써, 설명을 실행 가능하고 피드백 기반 AI 시스템에 통합하기 위한 로드맵을 제공하고자 한다.
본 입론(position paper)은 에이전트형 AI(Agentic AI)와 Model Context Protocol(MCP)가 송전계통 운영자(TSO) 환경에서 전력망 연구를 어떻게 지원할 수 있는지 탐구한다. 우리는 대규모 언어 모델(LLM)을 수치 시뮬레이션 도구, 구조화된 워크플로, 인간 감독과 통합하는 데 중점을 둔다. 에이전트가 지원하는 전력망 연구를 위한 핵심 산업 요구사항을 식별하고, 시뮬레이션 도구 pypowsybl의 선별된 기능을 AI 에이전트에 노출하는 MCP 기반 인터페이스인 pypowsybl-mcp를 소개한다. 이 첫 단계는 에이전트가 시뮬레이션을 설정하고, 분석을 실행하며, 결과를 검색하고, 표준화된 도구 호출을 통해 전력계통 시뮬레이터와 상호작용할 수 있는 방식을 연구하기 위한 테스트베드(testbed)를 제공한다. 또한 인간-참여(human-in-the-loop), 멀티 에이전트 워크플로에 대한 원칙을 논의하고, 기술 지표와 실무자 피드백을 결합한 평가 전략을 개략적으로 제시한다. 본 논문은 MCP 기반 도구 통합을 보다 상호작용적이고, 감사 가능하며, 확장 가능한 전력망 연구 환경을 향한 한 걸음으로 포지셔닝한다.
대규모 언어 모델(LLM) 에이전트는 계획을 수립하고, 도구를 사용하며, 메모리를 유지하고, 장기 지평(long-horizon) 과제를 실행할 수 있다. 본 논문은 자기 인식 재귀적 자기 개선(Self-Aware Recursively Self-Improving, SARSI) 에이전트를 제안한다. 이는 정체성, 목표, 역량, 한계, 불확실성, 관계, 이력, 발달적 변화에 대한 지속적인 자기 모델(self-model)을 유지하고, 그 모델을 사용하여 재귀적 개선을 안내하고 평가하는 거버넌스가 적용된 에이전트이다. 자기 인식(self-awareness)은 기능적으로 정의되며, 주관적 경험이나 현상적 의식(phenomenal consciousness)을 함의하지 않는다. SARSI 에이전트를 개인적 특이점(personal singularity)과 결합한다. 이는 에이전트 생태계가 사용자가 확장되는 사용자 정의 실현 가능 역량 프론티어(feasible capability frontier)에 접근하도록 돕는, 경계가 설정된 인간-AI 공동 개발 목표이다. 각 에이전트는 목표 계약(goal contract), 경계가 설정된 범위(scope), 검증된 도구 레지스트리, 도구 테스트, 종단 간(end-to-end) 벤치마크, 소유자 통제 자율성, 라우팅, 메모리, 자기 모델, 개선 정책을 갖는다. 범위 라우터(scope router)는 수락된 모든 과제를 하나의 책임 있는 주(primary) 에이전트에 할당하고, 범위 밖 작업을 구조화된 핸드오프(handoff)를 통해 이관한다. 사용자 대면 Auto-Index는 외부 권한을 재정의하지 않고 대화형, 하이브리드, 자율, 또는 예약된 동작을 선택한다. 아키텍처는 계획-실행-검증 루프, 증거 게이트가 적용된 개선 루프, 외부 거버넌스 평면(governance plane), 분산 계보(lineages), 소유자 지향 에이전트 파운드리(foundry), 그리고 작업, 계산 영상(computational-imaging), 업무 프로세스 학습, 개인 학습 에이전트를 조율하는 Personal Singularity OS를 결합한다. 기능적 자기 인식, 범위, 라우팅, 개선 수용, 경계가 설정된 목표 진화, 도구 우선 실행, 인간 역량 이전(human capability transfer)을 형식화하고, 안전성 불변식(invariants), 벤치마크 설계, 단계적 구현 로드맵을 제공한다. 이는 입장(position) 및 시스템 설계 논문이며, 의식, 무제한 재귀적 자기 개선, 또는 개인적 특이점이 달성되었다는 증거가 아니다.
장면 텍스트 인식(STR)은 곡률, 회전, 원근 왜곡 등 텍스트 외형의 다양성 때문에 여전히 어려운 과제로 남아 있다. 최근 트랜스포머 기반 접근법은 성능이 좋지만, 일반적으로 텍스트 이미지의 2차원 공간 구조를 무시하는 1차원 위치 인코딩에 의존한다. 시각 트랜스포머를 위한 회전 위치 임베딩(RoPE)의 축 방향 2차원 확장은 존재하지만, 대체로 정방형이고 등방성인 이미지 내용을 가정하며 인코더 자기-어텐션(self-attention) 내에서만 회전을 적용한다. 장면 텍스트는 두 가정 모두를 위반한다. 크롭은 뚜렷이 비등방성(anisotropic)이고, STR 모델은 인코더-디코더 구조이므로 디코더는 크로스-어텐션(cross-attention)을 통해 쿼리를 인코더의 2차원 배치와 연관짓어야 한다. 우리는 2D-RoPE-STR을 제안한다. 이는 (1) 텍스트 종횡비에 맞춘 비등방성 행/열 차원 할당과 (2) 인코더-디코더 크로스-어텐션으로의 회전 결합(rotary coupling) 확장을 통해 축 방향 2D-RoPE를 이 설정에 맞게 조정하며, 자기회귀(autoregressive) 디코딩 단계가 2차원 배치에 따른 인코더 토큰에 어텐션할 수 있게 한다. 이는 이전 인코더 전용 공식화가 다루지 않았던 설정이다. 두 변경 모두 본질적으로 매개변수 추가 없이(parameter-free) 적용되며, 위치 인코딩 모듈 외의 구조적 재설계가 필요하지 않다. 또한 우리는 상대적 2차원 위치가 어디에서 왜 도움이 되는지 식별하는 진단 프로토콜(위치 인코딩만을 분리하는 통제된 ablation 쌍, 이미지 수준 net-win 불일치 분석, 인코더 어텐션 시각화)을 도입한다. 이는 읽기 순서가 수평 직선에서 벗어나는 곡선, 회전, 원근 왜곡 배치에서 해당된다. 6개의 표준 벤치마크(IIIT5K, SVT, ICDAR 2013, ICDAR 2015, CUTE80, SVTP)에서 성능 향상은 바로 이러한 불규칙 배치에 집중되며, ablation은 1D RoPE 및 2D 사인·학습 가능 대안과 각 설계 선택을 분리한다.
멀티모달 학습에서 모달리티 간 대응이 실제로는 다대다(many-to-many) 관계임에도 불구하고 기존 연구들이 일대일(one-to-one) 정렬 가정에 의존해온 문제를 지적하며, 이러한 다중성(multiplicity)이 단순한 노이즈가 아닌 모달 내 변동성·모달 간 비대칭성·과제 의존적 모호성에서 비롯된 근본적 특성임을 형식화한다. 저자들은 이 다중성이 데이터 구축, 학습, 평가 벤치마크 전 단계에 걸쳐 학습 불확실성·신뢰할 수 없는 평가·데이터셋 품질 저하를 초래함을 보이며, 다중성 인식(multiplicity-aware) 학습 프레임워크와 평가 프로토콜 연구를 촉구한다.