SharQ는 LLM 추론에서 활성화 희소성과 FP4 양자화를 온라인 희소-밀집 분해로 연결하는 학습 없는(training-free) 방법으로, 입력 적응형 N:M 마스크로 추출한 희소 백본을 FP4로 처리하고 밀집 잔차 경로가 마스크 손실과 희소 경로 양자화 오류를 함께 보상한다. 보정·재학습·모델별 튜닝 없이 Llama·Qwen 등에서 NVFP4 대 FP16 정확도 격차의 43–63%를 회복하며, RTX 5090에서 FP16 대비 2.2–2.4배 지연 감소와 FP8 대비 1.2–1.4배 처리량 향상을 달성한다.
고주파 대규모 다중 입출력(MIMO) 시스템은 초고속 데이터 전송률을 약속한다. 그러나 과도한 빔 훈련 오버헤드와 다중 사용자 MIMO(MU-MIMO) 시나리오에서 요구되는 복잡한 조정으로 인해 효율적인 빔 관리는 여전히 어렵다. 이러한 병목을 해결하기 위해, 환경 인식 통신이 유망한 패러다임으로 부상했으며, 이는 특정 지역에 관한 지식을 활용하여 파일럿 기반의 전수 빔 훈련을 피하고 다중 사용자 통신을 간소화한다. 본 논문은 다중 모달 환경 데이터, 구체적으로 지역 3D 라이다(LiDAR) 점군과 위치 정보를 활용하여 오프라인 가상 기지국(VBS) 데이터베이스를 구축하는 기하 기반 프레임워크를 제안한다. 점군으로부터 복원한 건물 외벽에 대한 거울 대칭을 통해 지배적인 반사 경로를 모델링함으로써, VBS 데이터베이스는 무선 전파 환경에 대한 간결하고 희소한 기술을 제공한다. 사용자 위치가 주어지면 VBS 표현은 온라인 조대 채널 복원과 빔 공간 사전 분포의 생성을 지원한다. 조대 추정치를 정제하기 위해 제한된 온라인 측정으로 VBS 보조 직교 파일럿(VOP) 기반 부분 빔 훈련 방식을 설계한다. 마지막으로 사용자 간 간섭 하에서 빔 선택을 조정하기 위해 협조적 빔 선택을 위한 계층적 이중 에이전트 듀얼링 더블 심층 Q-네트워크(DD3QN-CBS)를 개발한다. 시뮬레이션 결과, 제안 프레임워크는 평가한 확률적, 휴리스틱, 기존 학습 기반 기준 방식보다 유효 스펙트럼 효율을 향상시키면서 더 적은 온라인 빔 측정으로 경쟁력 있는 성능을 달성함을 보여 준다.
대규모 언어 모델(LLM)은 의미 프레임과 함수 호출을 포함하여 자연어 지시로부터 구조화된 출력을 생성하는 데 점점 더 많이 사용되고 있다. 입력이 음성일 때 이 과제는 음성 의미 구문 분석이 되며, 이는 음성 LLM 또는 ASR-LLM 캐스케이드를 사용해 수행할 수 있다. 두 접근법 모두 텍스트 전용 과제 지도로 적응시킬 수 있지만, 음향 열화에 대한 상대적 강건성은 아직 명확하지 않다. 우리는 3B 및 7B 모델을 사용하여 세 개의 데이터셋에서 동일한 텍스트 형태의 지도 하에 이 접근법들을 비교하며, 깨끗한 음성과 다섯 가지 SNR 수준의 babble 잡음에서 평가한다. 결과는 음성 LLM이 명령 이해, 의도 예측, 함수 호출에서 대체로 더 나은 성능을 보이며 특히 심한 잡음 조건에서 그러함을 보여주는 반면, 세밀한 개체 예측에서의 향상은 일관성이 떨어진다. 추가 평가에서는 음성 LLM이 두 모델 규모 모두에서 ASR-LLM 캐스케이드보다 샘플당 평균 추론 시간이 짧음을 보인다.
판 및 쉘 구조는 공학 분야에서 널리 사용된다. 복잡한 기하, 이질적 재료, 변화하는 하중 하에서 이러한 구조에 대한 신속한 응답 예측은 공학 설계에 중요하지만, 기존 수치 방법은 물리적 구성이 변경될 때 반복적인 모델링과 해법이 일반적으로 필요하다. 이 문제를 해결하기 위해 본 연구는 Mindlin-Reissner 판을 위한 기하 인식 변분 물리 정보 신경 연산자(geometry-aware variational physics-informed neural operator, GA-VINO)를 제안한다. GA-VINO는 경계 포인트 클라우드를 사용하여 판 기하를 표현하고, 공간적으로 무작위인 재료장, 공간적으로 변화하는 압력 하중, 샘플 수준의 균일 매개변수를 처리하기 위해 재료 인코더, 하중 인코더, 스칼라 매개변수 분기를 통합한다. 다중 분기 포인트 클라우드 인코딩과 교차 어텐션(cross-attention)을 통해 GA-VINO는 기하, 재료, 하중, 쿼리 포인트 정보를 융합하고, 임의의 쿼리 위치에서 횡방향 처짐과 회전을 예측한다. 기존 데이터 기반 신경 연산자와 달리 GA-VINO는 학습 동안 레이블이 붙은 해 데이터가 필요하지 않다. 대신 Mindlin-Reissner 판의 이산화된 총 잠재 에너지로부터 구성된 변분 물리 정보 손실을 최소화한다. 격자 기반 신경 연산자와 비교하여 GA-VINO는 불규칙 포인트 클라우드를 직접 처리하고, 서로 다른 물리장이 서로 다른 포인트 집합에서 이산화될 수 있도록 하여 공통 격자로의 강제 보간을 피한다. 이 방법은 서로 다른 기하, 재료장, 하중 분포를 포함하는 여러 예제에서 검증된다. 결과는 GA-VINO가 처짐, 회전, 그래디언트 민감, 에너지 기반 지표에서 유망한 정확도를 달성하고, 새로운 샘플에 대한 전장 추론을 밀리초 이내에 완료하며, 유망한 교차 기하 일반화 능력을 보인다는 것을 나타낸다.
최신 가속기에서 최고 성능을 달성하려면 커널, 연산자 융합, KV 캐시 관리, 양자화, 스케줄링, 통신 중첩 전반에 걸친 조율된 최적화가 필요하며, 이 과정은 모델과 하드웨어 플랫폼마다 전문가의 수주에 걸친 노력을 요구한다. 본 논문은 자율 에이전트에게 추론하고, 되돌아가며, 경험으로 심화할 수 있는 명시적 최적화 트리를 제공하는 시스템 Arbor를 제시한다. Arbor는 교체 가능한 탐색 정책, 점수 기반 밴딧 순회, 병렬 에이전트 스웜, 깊이 우선 스윕을 지원하며, 컨테이너 격리, 자동 롤백, 종단 간 검증으로 이루어진 공통 하네스를 공유한다. Arbor는 여러 도메인에 일반화되어, 두 세대의 GPU에 걸친 여섯 개의 상용 추론 모델에서 +40%에서 +193%, LLM 학습에서 +42.8%, 추천 모델 학습에서 +41%의 향상을 달성하였으며, 이 과정에서 에이전트는 수천 줄에 달하는 커널 수준 및 프레임워크 수준의 최적화를 자율적으로 작성하였다. 모든 탐색 정책이 동일한 에이전트, 트리, 도구를 받는 통제된 절제 실험에서, 탐색 구조가 최적화의 규모와 성격을 모두 좌우함을 확인하였다. 밴딧은 표적화된 프레임워크 수정을 통해 +30.1%, 스윕은 깊은 커널 재작성을 통해 +26.4%, 스웜은 독립적인 변경을 누적하여 +33.4%를 달성한다. 동일한 하네스, 도구, 정보를 받되 스스로 대상을 선택하는 에이전트 주도 루프는 +14%에 도달하며, 성능 향상 1퍼센트포인트당 Arbor의 구조화된 탐색 정책보다 4배 많은 코드를 작성한다. 또한 장시간 수행되는 최적화 캠페인 전반에서 에이전트의 탐색 행동을 규명하도록 설계된, 효율성, 근거성, 견고성, 깊이를 아우르는 자율 루프 기반 에이전트 평가 프레임워크를 추가로 제안한다.
구매한 인공지능(AI) 추론은 기업 온실가스 인벤토리의 Scope 3 카테고리 1에 속하지만, 실무에서는 이를 누락하거나 물리적 추정치의 1.7배에서 12.3배를 주는 지출 기반 계수를 적용하며, 이 계수는 모델이나 지역 간 차이를 구분하지 못한다. 본 논문은 토큰 기반 방법과 공개 데이터셋을 제시한다. 여기에는 원료 채취부터 출하까지의 경계, 네 단계의 활동 데이터, 유효 토큰 기준, 네 개 항(서빙 전력, 내재 하드웨어, 데이터센터 건설, 공개된 최종 학습 실행)으로 이루어진 계수, 그리고 임의의 모델 식별자와 지역을 계수로 대응시키는 규칙이 포함된다. 추론 발자국은 모델 등급 간 12배, 지역 간 9배에 걸쳐 나타난다. 세계 평균 전력망에서 중간 등급 계수는 청구 토큰 100만 개당 이산화탄소 환산량(CO2e) 0.039 kg이며, 이는 제시된 구조적 범위의 하단이다. 효율이 낮은 서빙 구성은 이를 2.8배로 높이고, 학습 항을 모든 모델 개발로 대체하면 자체 경계에서 그 값의 1.5배에서 2.9배가 된다. 입력 범위만으로는 -18%에서 +29%이다. 중간 등급 모델을 설명할 수 있는 기존 공표된 질의당 에너지 추정치는 중간 등급 에너지의 2.4배에서 7.2배이며, 다섯 행 중 네 행에서 그 구조적 범위를 넘는다. 최전선 등급 모델을 설명할 수 있는 추정치는 0.7배에서 1.6배로 이를 아우른다. 적용 예시에서 직원 200명 규모 기업은 연간 8.5 kg CO2e, 중간 등급 모델에서 에이전트형 코딩 도구를 사용하는 개발자 50명은 2.1톤, 최전선 등급 모델에서는 8.3톤이다. 본 연구의 기여는 추적 가능한 수치이며, 계량된 에너지에 대한 정확도는 검증되지 않았다.
개념 병목 모델은 입력에서 검출된 고수준 개념을 사용하여 예측한다. 이러한 모델은 해석 가능성의 이점을 얻는 간단한 방법을 제공하지만, 개념 레이블을 포함하는 실제 데이터셋이 매우 적기 때문에 학습과 평가가 어렵다. 본 논문에서는 개념 병목 모델을 위한 합성 벤치마크를 개발한다. 이 벤치마크를 통해 연구자들은 레이블이 있는 데이터셋을 생성하고, 데이터 양식, 개념의 선택, 주석 품질 등 성능에 영향을 미치는 속성을 제어할 수 있다. 따라서 이러한 모델에 적합한 문제를 찾고 실패의 원인 요인을 분리할 수 있다. 본 벤치마크가 개념 병목 모델의 주요 사용 사례, 즉 인간 전문가가 더 나은 결정을 내리도록 돕는 의사결정 지원과, 감독 없이 일상적인 작업을 처리하는 자동화를 평가하는 데 어떻게 사용될 수 있는지 보인다. 시연 결과는 이 벤치마크가 새로운 실패 모드를 식별하고 이를 아키텍처 또는 데이터의 탓으로 귀속할 수 있음을 보여 준다.
추천 시스템은 우리가 보는 정보를 형성하며, 필터 버블, 급진화, 양극화, 사회적 불평등에 대한 우려를 낳는다. 대규모 언어 모델(LLM)은 이러한 역학을 심화할 수 있는 더 강력한 개인화를 가능하게 하지만, 대부분의 추천 시스템은 참여도나 좁은 정확도 지표에 맞춰 조정되어 있으며 더 넓은 사회적 영향에는 거의 주의를 기울이지 않는다. 본 연구는 LLM 보조 재순위화가 개인화를 개선하면서, 이론적으로 제기되었으나 아직 실증적으로 규명되지 않은 위험인 이념적으로 부합하거나 극단적이거나 음모론적인 정치 콘텐츠에 대한 노출을 의도치 않게 증폭하는지 조사한다. 실제 YouTube 궤적을 사용하여, 임베딩 베이스라인과 함께 세 개의 모델에 대한 제로샷 프롬프팅으로 플랫폼의 사이드바 후보를 재순위화하고, 관련성, 이념적 정렬과 다양성, 음모론적 또는 극단주의적 콘텐츠에 대한 노출을 평가한다. 결과는 다음과 같다. (i) 순수한 개인화 지시 하에서 재순위화는 관련성을 개선하는 한편 이념적 노출을 좁히며, 세 모델 중 두 모델에서는 그러한 이력을 가진 사용자에게 문제적 콘텐츠를 부각시킨다. 가장 명시적으로 당파적인 요청을 거절하는 세 번째 모델은 모델별 가드레일을 시사한다. (ii) 경량의 프롬프트 수준 제약은 세 모델 모두에서 문제적 노출을 상당히 줄이며, 정규화된 재순위기는 여전히 관련성에서 플랫폼 베이스라인보다 높은 순위를 유지한다. (iii) 주제 단서와 당파 단서를 독립적으로 변화시킨 합성 실험은 둘 사이에 고정된 선호가 없음을 보여 준다. 낙태와 이민에서는 주제가 지배적이고, 주제 신호가 더 약한 선거에서는 당파성이 우세해진다. 본 결과는 위험이 큰 정치 추천에서 맥락적 뉘앙스를 구현하는 LLM의 힘을 부각하며, LLM 보조 개인화를 정확도를 넘어 평가해야 하고 프롬프트 설계를 중립적 기본값이 아닌 가치 개입적 선택으로 다루어야 할 필요성을 강조한다.
뇌전도(EEG)는 뇌의 전기적 활동을 모니터링하는 중요한 비침습적 방법이다. EEG는 수 초에서 수 시간까지 길이가 다양하여 기존 딥러닝 방법에 큰 어려움을 야기하는데, 이는 두 가지 주요 요인 때문이다. (1) 기존 EEG 모델은 대부분 어텐션 메커니즘에 기반하므로 시퀀스 길이가 늘어날수록 계산량이 제곱으로 증가한다. (2) 고정 길이 입력 요구 사항 때문에 원시 EEG 신호를 슬라이딩 윈도우 방식으로 처리해야 하며, 이로 인해 전체 신호에 대한 전역적 이해가 불가능하다. 이를 해결하기 위해 본 논문은 EEG 신호의 실시간 추론이 가능한 최초의 인과적 Mamba 기반 상태 공간 모델(SSM)인 CaMBRAIN을 제안하며, EEG의 인과적이고 단방향적인 특성을 고려할 때 양방향 접근법은 불필요하게 비용이 크다고 주장한다. 그러나 이러한 모델의 학습은 간단하지 않은데, 중요한 EEG 이벤트는 1초 미만의 극히 짧은 구간에 나타날 수 있으면서도 수 분에 걸친 긴 간격으로 떨어져 있을 수 있기 때문이다. 현재의 EEG 방법은 신호 재구성을 최적화하는 자기지도 목적함수를 사용하지만, 이는 스트리밍 SSM에는 적합하지 않으며 스트리밍 추론에 필요한 핵심적인 장거리 문맥을 은닉 상태가 유지하도록 명시적으로 학습시키지 못한다. 따라서 본 논문은 상태 공간 모델의 선형 시간 복잡도를 유지하면서 장거리 기억 유지와 EEG 신호에 대한 강력한 성능을 촉진하도록 특별히 설계된 다단계 자기지도 학습 파이프라인을 도입한다. CaMBRAIN은 3개의 서로 다른 EEG 데이터셋에서 기존 모델 대비 10배 이상 높은 처리량으로 최첨단(SOTA) 성능을 달성하였으며, 가변 길이 EEG 신호에 대한 장거리 연속 추론이 가능한 최초의 모델을 구현하였다.
대규모 언어 모델의 암기 현상은 자기회귀 모델에 자연스러운 접두사 조건부 추출을 통해서만 거의 독점적으로 연구되어 왔다. 그러나 확산 언어 모델(DLM)은 임의의 위치에서 마스킹된 토큰을 디노이징할 수 있다. 따라서 접두사만을 이용한 탐색은 DLM의 암기 현상의 한 측면만을 보여 주며 학습 데이터 추출 위험을 크게 과소평가한다. DLM에서 학습 데이터의 추출 가능성을 현실적으로 모델링하기 위해, 본 논문은 임의의 이진 마스크로 매개변수화되어 접두사 전용 탐색을 포괄하고 DLM의 양방향 귀납적 편향을 반영하는 데이터 추출 프로토콜인 인필링 추출을 도입한다. 이를 LLaDA-8B와 Dream-7B에 대해 다섯 가지 추출 방식, 세 가지 학습 파이프라인, 그리고 원문 그대로의 유출과 부분적 유출을 포괄하는 세 가지 말뭉치에 적용한 결과, 마스크의 기하학적 구조가 추출 가능성을 좌우함을 확인하였다. 가장자리 조건부 마스크는 접두사 조건부 마스크보다 최대 3배 더 많은 원문 시퀀스를 추출하며, 양방향 접근은 자기회귀 모델에서는 접근할 수 없는 경로를 연다. 특히 학습 데이터의 개인정보(PII)가 삭제된 사본을 확보한 공격자는 표적 인필링을 통해 미세 조정된 DLM에서의 PII 재현율을 접두사 조건부 추출 대비 2.5~4.5배 높일 수 있으며, 이는 규모가 동등한 자기회귀 모델과의 격차를 크게 좁히고, 이메일 주소에 대한 LLaDA의 경우에는 탐욕적 접두사 조건부 추출 하의 자기회귀 모델을 능가한다. 디코딩의 조절 가능한 매개변수는 추출 성능에 유의미한 영향을 미치며, 후속 지도 미세 조정 단계는 기존의 암기를 제거하지 못한다.
LLM 기반 발견 및 최적화 시스템은 제안-평가-수정이라는 공통 루프를 구현하며 여러 분야에 점점 더 많이 적용되고 있다. 이러한 최적화 또는 발견은 환경으로부터 받은 피드백에 대한 문맥 조건화를 통해 진행된다. 그러나 현대 LLM 에이전트의 구조가 점점 복잡해짐에 따라 어떤 구성 요소가 가장 크게 기여하는지, 그리고 이러한 탐색이 언제 어떻게 실패할 수 있는지를 평가하기 어렵다. 우리는 세 가지 통제된 실험을 통해 이 질문들에 답한다. 연구 결과는 다음과 같다. (1) 순수 블랙박스 최적화에서 LLM은 탐욕적 최적화기로 동작한다. (2) 제로샷 커널 생성에서 명시적인 입력 크기 정보를 제공해도 측정 가능한 효과가 없으며, 모델은 마치 크기 지시가 보이지 않는 것처럼 크기나 온도와 무관하게 동일한 커널 매개변수로 수렴한다. 더욱이 흔하지 않은 커널 크기에 대해 커널 최적화를 수행하도록 하면 사용한 언어와 관계없이 성능이 급격히 저하된다. (3) 피드백 루프 기반 커널 최적화에서 CUDA는 반복적 피드백 하에서 단조롭게 향상되는 반면 TVM IR은 오히려 악화되며, 이는 모델이 정보 밀도가 낮은 언어로 작업할 때 커널 최적화가 저하됨을 보여 준다. 우리의 결과는 코드 최적화 과제에서 LLM이 제공된 피드백이나 에이전트 구조보다 사전 학습된 사전 지식에 크게 의존한다는 결론을 내린다.
선형 어텐션은 문맥 길이에 대해 디코딩 비용이 일정하다는 점 때문에 장문맥 추론에서 최근 큰 주목을 받고 있다. 그러나 기존 서빙 시스템은 일반적으로 매 디코딩 단계마다 큰 선형 어텐션 상태를 순환적으로 계산하고 갱신하여 선형 어텐션을 서빙한다. 상태가 토큰별 키와 값보다 훨씬 크기 때문에, 순환 디코딩은 상당한 메모리 접근을 유발하여 선형 어텐션 서빙에 비효율적이다. 본 논문에서는 선형 어텐션을 위한 IO 인식 서빙 메커니즘인 KVBuffer를 제안한다. 최근의 키와 값을 버퍼링함으로써 KVBuffer는 서빙 시스템이 더 유연하고 메모리 효율적인 방식으로 선형 어텐션 출력을 계산할 수 있게 한다. 디코딩에서는 KVBuffer가 청크 단위 계산을 가능하게 하여 상태 갱신을 미루고 일괄 적용함으로써 평균 메모리 접근과 디코딩 지연 시간을 줄인다. 추측 디코딩에서는 KVBuffer가 초안 토큰을 병렬로 검증하고 임시 상태의 저장을 피한다. 짧은 문맥에서는 KVBuffer가 선형 어텐션 상태를 생성하거나 갱신하지 않고 버퍼링된 키와 값으로부터 직접 어텐션 출력을 계산한다. 우리는 KVBuffer를 Qwen3.5 및 Nemotron-3 시리즈 모델을 대상으로 SGLang에 구현하였다. 평가 결과, KVBuffer는 배치 디코딩을 최대 1.47배 가속할 수 있으며, 초안 토큰 네 개를 검증하는 추측 디코딩에서 서빙 가능한 최대 요청 수를 5배 늘릴 수 있다.
시간적, 다중 모달, 부분 관측 데이터로부터 잠재 상태를 학습하려면 표현이 어떤 정보를 유지하고, 버리고, 조직해야 하는지에 대한 결정이 필요하다. 나는 예측 충분성, 최소성, 시간적 일관성, 관측 적합성, 교란 요인 불변성, 구조적 제약이라는 여섯 가지 상호 보완적 속성이 이러한 결정을 명확히 하는 데 도움이 된다고 주장한다. 기존의 확립된 접근법을 바탕으로, 학습 목적함수나 평가 지표 어느 쪽도 어떤 속성이 달성되었음을 보장하지 않으므로, 바람직한 표현 속성을 이를 촉진하기 위해 사용되는 목적함수 및 이를 평가하기 위해 사용되는 진단과 구분한다. 통제된 합성 실험을 통해 학습 목적함수가 예측 성능, 교란 요인 디코딩 가능성, 잠재 공간의 조직에 어떻게 영향을 미치는지 검토한다. 그 결과는 겉보기에 유리한 진단 결과와 학습된 표현에 실제로 유지된 정보 사이의 불일치, 그리고 동등한 예측 성능 하에서의 잠재 좌표 모호성을 드러내며, 상호 보완적인 평가가 해석을 개선하고 설계 선택을 이끄는 데 어떻게 기여할 수 있는지를 보여 준다. 이러한 분석들은 함께 학습된 잠재 상태를 설계, 비교, 평가하기 위한 토대를 제공한다.
스파이크 활동(spike activity)은 높은 시공간 해상도를 통해 정확한 디코딩을 지원하므로 행동 디코딩을 위한 지배적인 신경 신호로 활용되어 왔습니다. 그러나 피질 내 뇌-컴퓨터 인터페이스(iBCI)가 더 많은 채널 수와 무선 작동을 지향함에 따라, 스파이크 기록에 필요한 높은 샘플링 레이트는 상당한 전력 및 대역폭 수요를 발생시킵니다. 국소 장 전위(LFP, local field potential)는 더 뛰어난 장기적 안정성, 더 낮은 에너지 소비 및 더 낮은 대역폭 요구 사항 등 상호 보완적인 이점을 제공합니다. 그러나 LFP 기반 디코더는 종종 더 낮은 정확도를 보이며, 실시간 배포에 직접 사용할 수 없는 비인과적(non-causal) 아키텍처에 의존합니다. 본 논문에서는 인과적 LFP 행동 디코딩을 위한 회고적 지식 증류(RKD) 프레임워크인 REALM을 제안합니다. 음성 인식의 오프라인-온라인 증류에서 영감을 얻은 REALM은 사전학습된 다중 세션 양방향 LFP 교사 모델의 비인과적 표현 지식을 인과적 학생 모델로 전달합니다. 먼저 연속 마스크 오토인코딩(CMAE)을 사용하여 여러 기록 세션에 걸쳐 양방향 Mamba-2 교사 모델을 사전학습한 다음, 표현 정렬과 오토인코딩의 결합된 목적 함수를 사용하여 해당 표현을 소형 인과적 학생 모델로 증류합니다. REALM은 레이블이 없는 파이프라인과 파인튜닝 파이프라인 모두에서 비교 대상 디코더 중 가장 높은 평균 정확도를 달성하며, SOTA(최첨단) CrossModalDistill을 포함한 각 기준선 대비 통계적으로 유의미한 향상을 보여줍니다. 또한 사전학습, 지식 증류 및 디코딩 전반에 걸쳐 LFP만을 사용하면서도 CrossModalDistill에 공개된 학생 모델 파라미터의 절반 미만과 10분의 1 수준의 사전학습 시간만으로 이를 달성합니다. 이러한 결과는 인과적 LFP 전용 모델이 비인과적 다중 모달(multi-modal) 모델과 경쟁할 수 있는 디코딩 정확도를 달성할 수 있음을 보여주며, 차세대 무선 및 이식형 iBCI를 위한 실용적이고 확장 가능한 접근 방식을 제공합니다.
고위험 분야에서 AI 모델이 관심 결과를 예측하여 의사결정자를 지원할 때, 예측의 신뢰도를 함께 전달해야 한다는 데에는 널리 의견이 일치한다. 그러나 경험적 증거에 따르면 의사결정자는 전달된 신뢰도만으로는 예측을 언제 신뢰해야 하는지 판단하기 어려워하는 경우가 많다. 이러한 맥락에서 최근의 이론적, 경험적 연구는 AI 지원 의사결정의 효용과, AI의 신뢰도와 의사결정자가 자신의 예측에 대해 갖는 신뢰도 사이의 정렬 정도 간에 양의 상관관계가 있음을 시사한다. 그러나 이러한 발견은 이 정렬이 반복적인 상호작용을 통해 최적의 의사결정을 학습하는 복잡도에 어느 정도 영향을 미치는지는 아직 밝히지 못한다. 본 논문에서는 이진 예측과 이진 의사결정이라는 표준적인 경우에서 이 문제를 다룬다. 먼저 이 문제가 완전한 피드백을 갖는 두 팔 온라인 맥락적 학습 문제와 동등함을 보이고, 어떤 학습자든 달성할 수 있는 기대 후회에 대해 $\Omega (\sqrt{|H| \cdot |B| \cdot T} )$의 하한을 수립한다. 여기서 $H$와 $B$는 각각 인간과 AI의 신뢰도 값의 집합을 나타낸다. 이어서 AI와 인간의 신뢰도가 완벽하게 정렬된 경우 학습자가 $O(\sqrt{|H| \cdot T\log T})$의 기대 후회를 달성할 수 있으며, $\sqrt{|H|} = O(\log T)$이고 $B$가 가산 집합일 때에는 Dvoretzky-Kiefer-Wolfowitz 부등식의 비자명한 일반화를 통해 후회 한계가 $O(\sqrt{T\log T})$로 개선됨을 보인다. 종합하면 이러한 결과는 정렬이 AI 지원 의사결정 학습의 복잡도를 줄일 수 있음을 보여 준다. 참가자들이 AI 모델의 지원을 받아 단순한 의사결정 과제를 푸는 두 가지 인간 대상 연구의 실제 데이터를 이용한 실험은, 우리의 이론적 결과가 완전한 정렬이 깨지는 경우에도 강건함을 보여 준다.
실제 임상 진단은 의사가 환자와의 상호작용과 의학적 검사 수행을 모두 통해 정보를 얻어야 하는 복잡한 과정이다. 또한 의사는 다양한 환자 성향에 적응해야 하며, 과정 중 언제든 발생할 수 있는 잡음이 있고 불완전한 정보에도 대응해야 한다. 그러나 의료용 LLM에 대한 기존 벤치마크와 자동 진단 방법은 이 과정을 단일 턴 질의응답, 잡음 없는 대화, 순차적 검사 수행 등으로 단순화하여, 임상 진단의 상호작용적이고 불확실한 특성을 간과한다. 본 논문은 이러한 간극을 해소하기 위해 임상 진단을 환자에게 질문하기, 도구 호출로서 의학적 검사 지시하기, 진단 내리기의 세 가지 행동 유형을 갖는 부분 관측 마르코프 결정 과정(POMDP)으로 형식화한다. 또한 7가지 환자 잡음 유형과 3가지 검사 잡음 유형으로 구성된 체계적인 잡음 모델을 도입한다. 제안한 환경을 사용하여, 우리는 두 단계 파이프라인을 통해 효과적인 진단 에이전트 \textbf{MedExAgent}를 훈련한다. 먼저 임상 면담을 위한 Calgary-Cambridge 모델에 따라 구조화한 합성 대화에 대해 지도 미세조정을 수행하고, 이어서 DAPO를 적용하여 진단 정확도, 도구 호출 품질, 그리고 금전적 비용과 환자의 불편을 포함한 검사 비용을 반영한 복합 보상을 최적화한다. 광범위한 실험과 제거 연구를 통해 MedExAgent가 비용 효율적인 검사 전략을 유지하면서도 더 큰 모델에 필적하는 진단 성능을 달성함을 보인다.
개인 비서는 이제 같은 사용자와 수개월 동안 대화하며, 사용자의 선호는 삶이 변함에 따라 바뀐다. 사용자가 더 이상 따르지 않는 선호를 계속 제공하는 비서는 그 사용자에게 실패한 것이다. 실제 대화에는 선호가 언제 왜 바뀌었는지가 기록되지 않으며, 기존 벤치마크는 선호를 고정하거나 사용자가 변화를 직접 말하게 하므로, 모델이 사용자가 한 말을 잊은 것인지 사용자에 대한 신념을 갱신하지 못한 것인지 구분할 수 없다. 우리는 HorizonBench와 그 데이터 생성기를 소개한다. 이는 사용자의 선호가 어떻게 변하는지를 표본 추출하고 그 순서에 따라 6개월 분량의 대화를 생성하며, 각 변화는 사용자가 새 선호를 명시하지 않은 채 언급하는 삶의 사건에 뒤따른다. 우리가 수집하여 공개하는 인간 종단 선호 데이터셋인 160명의 13주간 83,024개 평점은 삶의 사건이 선호를 얼마나 자주, 얼마나 크게 바꾸는지를 결정한다. HorizonBench는 360명의 사용자에게서 나온 4,245개의 질문을 포함하며, 선호가 바뀐 경우 이전 값이 답안 선택지 중 하나로 들어 있다. 평가한 25개의 최첨단 모델 모두 오류가 고르게 분포한다고 가정했을 때의 예측보다 더 자주 낡은 선호를 선택하였고, 최고 모델의 정확도는 52.8%에 달한다. 최신 모델 두 개는 전체 이력을 줄 때보다 관련 대화만 줄 때 점수가 더 높지 않지만, 변화를 명시한 문장 하나를 추가하면 정확도가 11~22포인트 상승하며, 검색 및 메모리 방법은 잃어버린 정확도를 회복하지 못한다. 따라서 사용자가 말한 것을 기억하는 것과 사용자가 현재 무엇을 선호하는지 아는 것은 별개의 능력이며, HorizonBench와 그 생성기, 인간 데이터셋은 두 능력에 대한 연구를 뒷받침한다.
실제 환경에서 강건한 로봇 정책을 학습하려면 다양한 데이터 증강이 필요하지만, 물리적 자산을 확보하고 환경을 재구성해야 하므로 실제 데이터 수집을 확장하는 데에는 비용이 많이 든다. 따라서 실제 장면을 시뮬레이션으로 증강하는 것이 효율적인 학습과 평가를 위한 실용적인 증강 방식이 되었다. 우리는 실제 파노라마를 고충실도의 과제 수행 가능한 시뮬레이션 환경으로 매핑하고, 장면 및 객체 변형을 통해 다양한 디지털 사촌(Digital Cousins)을 추가로 합성하는 자동화된 생성형 Real2Sim2Real 프레임워크인 WorldComposer를 제시한다. 고품질 물리 엔진 및 사실적인 자산과 결합하여, WorldComposer는 강체, 관절체, 변형 가능 객체 전반에 걸친 상호작용형 조작을 지원한다. 또한 장기 과제를 위한 일관된 대규모 환경을 구성하기 위해 다중 방 스티칭을 도입한다. 실험은 플랫폼의 충실도를 검증하는 강한 시뮬레이션-실제 상관관계를 보여 주며, 데이터 생성을 크게 확장하면 보지 못한 장면 및 객체 변형에 대한 일반화가 유의미하게 향상됨을 보여 줌으로써, 일반화 가능한 로봇 학습과 평가에서 디지털 사촌의 효과를 입증한다.
동결된 언어 모델에 같은 요청에 대한 두 개의 응답을 보여 주되, 그중 하나는 사람이 선호한 것이라고 하자. 모델의 은닉 상태에 대한 작은 프로브가 어느 쪽인지 알아낼 수 있을까? 토큰마다 층을 네 번 실행하는 모델인 Ouro-2.6B-Thinking과 Anthropic의 HH-RLHF 데이터에서 답은 그렇다이지만, 아주 약하게만 그렇다. 선형 프로브는 선호된 응답을 61.5%의 확률로 고르고, 각 응답을 별도로 점수화하는 작은 비선형 네트워크는 64.9%, 버전 1을 위해 학습된 평가기는 테스트 분할에서 64.7%에 도달한다. 이는 더 긴 응답을 고르는 것과 같은 단순한 규칙보다 분명히 낫지만 미약하다. 선호가 두 응답 사이의 비교로 저장되는지, 각 응답의 속성으로 저장되는지는 여전히 열려 있다. 선형 프로브는 이를 구분할 수 없으며, 두 응답을 함께 읽는 네트워크는 각 응답을 별도로 점수화하는 네트워크에 비해 추정 이점이 0.7포인트(95% CI 0.0~1.4)에 불과하다. 이 수치는 세 가지 통제 하에서도 유지된다. 즉 모든 쌍을 두 가지 순서로 점수화하고, 데이터를 쌍 단위로 분할하며, 프로브의 경우 두 응답이 달라지는 각 대화의 끝부분을 유지하는 것이다. 버전 1의 95.2%와 84.5%는 처음 두 통제 없이 얻은 것이어서 성립하지 않으며, 세 번째 통제 없이 얻은 버전 2의 수정된 관계형 프로브 정확도는 4~5포인트 낮게 나온 것이었다. 이 버전은 둘 모두를 대체한다.
연속적인 시각 스트림으로부터 새로운 개념을 학습하는 인간과 달리, 기존의 개인화 비전-언어 모델(VLM)은 학습 중에 미리 정의된 개념 집합을 내재화하며 정적 이미지나 오프라인 비디오에서 동작한다. 이러한 모델은 사용자가 스트림 도중에 정의한 개념을 등록하지 못하며, 그 개념이 앞서 등장했던 순간을 상기하지도 못한다. 우리는 이 과제를 개인화 스트리밍 비디오 이해(Personalized Streaming Video Understanding, PSVU)로 정식화하고, 이 과제를 위한 최초의 벤치마크인 PSVU-Bench를 소개한다. PSVU-Bench는 132개 비디오에 타임스탬프가 있는 질문을 주석으로 달았다. 개념 정의(Concept-Definition), 실시간(Real-Time), 과거 시점(Past-Time) QA는 모델에게 임의의 타임스탬프에서 개념을 등록하고, 사용자 정의 행동을 포함한 개념의 현재 상태를 인식하며, 과거 증거를 검색하도록 요구한다. 우리는 사용자 정의 개념을 보관된 비디오 클립과 분리하여 저장하고, 각 질의를 개념 설명으로 재작성하여 관련 이력을 검색하는 강력한 플러그 앤 플레이 기준선인 PEARL을 제안한다. 비디오에서 명명된 개념을 접지(grounding)하는 것은 모든 개념이 공유하는 기술이다. 따라서 공개 인터넷 비디오에 대해 검증된 개념 질문으로 구성된 학습 세트 PSVU-10K를 구축하고, 이를 이용해 PEARL의 검색기와 응답 VLM을 한 번만 학습시킨다. 테스트 시점에 정의되는 개념은 여전히 별도의 학습이 필요 없다. 학습 없이 세 가지 아키텍처에 적용했을 때, PEARL은 대응하는 오프라인 모델 대비 평균적으로 Real-Time QA를 15.05%, Past-Time QA를 12.60% 향상시키며, 세 가지 모두 두 QA 유형에서 기존 온라인 비디오 모델을 능가한다. 추가 학습을 하면 Qwen3-VL-8B 기반 PEARL은 Real-Time QA에서 8.66%, Past-Time QA에서 9.39% 더 향상되며, 모든 범주에서 성능이 개선된다. 코드, 데이터 및 모델은 https://github.com/Yuanhong-Zheng/PEARL 에서 확인할 수 있다.