문맥 내 학습(In-Context Learning, ICL)은 현대 LLM 배포의 핵심 요소가 되었다. 그러나 기존의 ICL 사후 학습 방법에는 중대한 맹점이 있다. 이러한 방법은 데모에서 패턴을 추출하는 데는 뛰어나지만, 컨텍스트 권한(context authority), 즉 문맥 정보가 최종 답변을 좌우해야 하는지를 판단하는 능력은 소홀히 하는 경우가 많다. 이 능력을 벤치마킹하기 위해, 우리는 7개 도메인에 걸친 사이비 과학적 주장을 담은 FakeContextBench를 소개한다. 상용 모델과 오픈소스 모델을 평가한 결과, 대규모 사전학습만으로는 신뢰할 수 있는 컨텍스트 권한 판별에 충분하지 않음을 확인했다. 더욱이 널리 쓰이는 ICL 미세조정 방법은 오도하는 컨텍스트에 대한 취약성을 높일 수 있으며, 기반 모델 대비 현실 정확도(reality accuracy)를 최대 14.95%p까지 떨어뜨렸다. 이러한 상충 관계를 해결하기 위해, 우리는 컨텍스트 검증을 학습 목적 함수에 포함하는 사후 학습 프레임워크인 Jurisdiction In-Context Learning(J-ICL)을 제안한다. 네 가지 모델 백본에서 J-ICL은 해당 기반 모델 대비 ICLEval을 평균 5.84%p, 현실 정확도를 9.20%p 향상시켰다. 또한 MetaICL 및 Symbol Tuning 대비 Reality Rate를 평균 18.09%p 높였다. 이러한 결과는 ICL 능력과 기만적 컨텍스트에 대한 저항성을 함께 향상시킬 수 있음을 보여준다. 벤치마크는 https://github.com/peilin717/FakeContext-Bench 에서 확인할 수 있다.
장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.
가능도(likelihood) 기반 컨텍스트 압축은 순차적 스코어링을 통해 컨텍스트 간 중복을 고려할 수 있지만, 이로 인해 압축 결과가 컨텍스트 순서에 민감해진다. 본 논문은 동일한 컨텍스트 모음의 서로 다른 순열이 압축기를 변경하지 않아도 증거 보존 결과에서 뚜렷한 차이를 만들 수 있음을 보인다. 우리는 이러한 민감성을 정보 선점(information preemption)으로 설명한다. 즉, 부분적으로만 관련된 앞선 컨텍스트가 공유된 정보에 대한 기여도를 흡수하여, 더 강력한 증거를 담고 있는 뒤쪽 컨텍스트의 증분 점수를 억제하고 그 컨텍스트가 제거될 위험을 높인다. 통제된 쌍 교환(pair-swap) 개입 실험은 증거를 앞에 두는 순서가 뒷받침 증거의 생존율을 크게 향상시킴을 보여 이 메커니즘을 직접적으로 뒷받침한다. 이 문제를 해결하기 위해 우리는 증거 보존을 위한 압축 인지형 컨텍스트 순서 결정 방법인 MORSE를 제안한다. MORSE는 개별 컨텍스트와 압축된 후보 출력 모두에 공통의 역방향 쿼리-증거 원리를 적용하여, 전자로는 증거 우선 앵커를 구성하고 후자로는 압축 인지형 순열 선택을 안내한다. 멀티홉 QA 벤치마크, 압축 절차, 예산, 스코어링 모델 전반에서 MORSE는 정적 역순 정렬과 연산량을 맞춘 무작위 탐색보다 일관되게 증거 보존을 향상시켰으며, 이에 상응하여 다운스트림 QA 성능도 전반적으로 개선되었다. 코드는 https://github.com/tbn5pj/MORSE_code 에서 확인할 수 있다.
지식 증류(knowledge distillation)는 교사의 역량을 작은 학생 모델로 이전하지만, 작은 학생 체제에서는 취약합니다. 훨씬 더 큰 교사의 로짓(logit)을 모방하도록 학생 모델에 강제하면 학습(training) 말뭉치를 벗어난 벤치마크 계열에서의 일반화 성능이 저하됩니다. 강화학습(RL)은 학생 모델 자체의 롤아웃(rollout)을 기반으로 학습하여 로짓 모방을 방지합니다. 그러나 모든 롤아웃이 실패하여 어드밴티지가 0이 되고 묵묵히 버려지는 질문의 경우, 더 강력한 교사의 응답을 정책 그래디언트(policy gradient)에 주입하면 온-정책(on-policy) 가정이 깨지고 드리프트가 발생합니다. 본 논문에서는 비고츠키(Vygotsky)의 근접 발달 영역(zone of proximal development)에서 영감을 얻은 근접 정책 최적화 영역(ZPPO, Zone of Proximal Policy Optimization)을 소개합니다. ZPPO는 교사를 정책 그래디언트 대신 프롬프트(prompt) 내에 유지합니다. 학생의 평균 롤아웃 정확도가 절반 미만인 어려운 질문에 대해 ZPPO는 두 가지 재구성된 프롬프트를 생성합니다. 이진 후보 포함 질문(BCQ)은 정답인 교사 응답 하나와 오답인 학생 응답 하나를 익명화된 후보 쌍으로 구성하여 학생이 참고 자료로 활용하도록 합니다. 부정 후보 포함 질문(NCQ)은 학생의 잘못된 롤아웃들을 단일 프롬프트로 집약하여 공통된 실패 모드를 드러냅니다. 프롬프트 재생 버퍼(replay buffer)는 각 어려운 질문이 졸업(해당 질문에 대한 학생의 평균 롤아웃 정확도가 절반 이상에 도달)하거나 유한한 용량 하에서 FIFO 방식으로 방출될 때까지 순환시킴으로써, 학생의 현재 근접 발달 영역 내에서 BCQ와 NCQ를 증폭합니다. 27B 교사 모델을 활용하여 4가지 스케일(0.8B~9B)의 Qwen3.5 학생 모델을 비전-언어 모델로 사후학습(post-training)하고 31개 벤치마크 스위트(VLM 16개, LLM 10개, 비디오 5개)에서 평가한 결과, ZPPO는 오프/온-정책 증류 및 GRPO보다 우수한 성능을 보였으며 가장 작은 스케일에서 가장 큰 폭의 향상을 달성했습니다.
모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.
문맥 내 학습(ICL)은 모델 파라미터를 갱신하는 대신 시연(demonstration)에 조건을 걸어 추론 시점에 작업 적응을 가능하게 한다. 최근 시계열 파운데이션 모델들은 문맥 조건화, 검색(retrieval), 또는 예시 기반 프롬프팅을 포함하지만, 일반적으로 명시적 인스트럭션 조건 입·출력 시연보다는 암묵적 위치 구조나 작업별 목적함수에 의존한다. 우리는 예시 시연으로부터 작업을 직접 추론하기 위해 인스트럭션 조건 상각화(amortized) 메타 학습으로 학습된 시계열 파운데이션 모델 iAmTime을 제안한다. iAmTime은 지정된 시계열 영역에 어텐션하고, 시연 간 정보를 교환하며, 질의 표현에 작업 정보를 주입하는 전용 의미 토큰(semantic token)을 사용해, 과거 문맥과 미래에서 알려진 변수에 대한 구조화된 프롬프트로 각 에피소드를 표현한다. 이 모델은 시연된 입·출력 매핑으로부터 잠재 작업 구조를 추론하면서 시간적·공변량(covariate) 역학을 포착하는 계층적 다중 범위(Hierarchical Multi-Scope) 트랜스포머 인코더와, 전문가 기반 라우팅을 통해 디코딩을 적응시키는 작업 조건 패치 디코더(Task-Conditioned Patch Decoder)를 결합한다. iAmTime을 예측(forecasting), 결측 보간(imputation), 재구성(reconstruction), 분류, 이상 탐지(anomaly detection), 소스 분리(source de-mixing) 등 지도 및 자기지도 인스트럭션 조건 작업을 포함한 대규모 실·합성 말뭉치로 학습한다. 다양한 도메인, 주기(frequency), 및 예측 구간(horizon)에 걸쳐 iAmTime은 확률적 및 점 예측 벤치마크에서 강력한 시계열 파운데이션 기준선 대비 제로샷 적응을 개선하며, 네 가지 비예측 작업에서 경쟁력 있거나 우수한 성능을 달성한다.
문맥 내 학습(ICL)은 대규모 비전-언어 모델(LVLM)이 문맥 내 예시의 패턴을 따름으로써 과제를 수행할 수 있게 하지만, 사회적 바이어스를 증폭시킬 잠재력은 아직 충분히 탐구되지 않았다. 우리는 6가지 ICL 설정, 3가지 과제, 4개 데이터셋으로 구성된 평가 프레임워크 VL-BICLE을 통해 ICL이 LVLM의 성별 바이어스에 어떤 영향을 미치는지 체계적으로 조사한다. 6개 LVLM에 대한 실험 결과, 성별이 드러난 ICL 시연이 방향성 있는 힘으로 작용하여 교차 성별 메커니즘을 통해 모델 바이어스를 시연된 성별 쪽으로 이동시키며, 반대 성별에 대한 성능을 불균형적으로 저하시킨다. 이 효과는 이미지 캡셔닝과 대명사 예측에서는 나타나지만 시각적 질의응답(VQA)에서는 나타나지 않으며, 성별이 드러난 ICL이 바이어스에 영향을 미치는 것은 과제 출력이 성별이 드러난 언어를 포함할 때에만 해당함을 시사한다. 유사도 기반 검색(retrieval) 방법은 학습 풀의 성 불균형을 그대로 물려받으며 디바이어싱 이점을 제공하지 않고, 표준 품질 지표는 이러한 바이어스 변화를 포착하지 못한다. 이 바이어스를 완화하기 위해, 캡션은 그대로 유지한 채 문맥 내 실제 이미지를 stable diffusion 모델에서 생성한 합성 이미지로 교체한다. 이 단순한 개입은 캡션 품질을 저하시키지 않고 성별 바이어스를 줄인다.
본 논문은 문맥 내 학습(ICL)을 사용해 영상으로부터 식물 시뮬레이션 구성을 생성할 수 있는지 평가하기 위한 벤치마크를 제안한다. 식물 시뮬레이션을 위한 콩(cowpea) 플롯 재구성에 대해 이 벤치마크를 연구하며, VLM은 필드 및 식물 정보를 포함하는 구조화된 JSON 구성을 생성해야 한다. Gemma 4 및 Qwen3.5 계열의 오픈소스 멀티모달 모델을 알려진 JSON 그라운드 트루스가 있는 합성 콩 데이터셋과, 현장에서 수집한 JSON이 있는 실제 드론 정사영상 데이터셋에서 평가한다. 형식 제한 지시부터 보조 그라운딩 정보가 동반된 퓨샷(few-shot) 이미지 예시까지 다섯 가지 문맥 내 학습 방법을 사용한다. 결과에 따르면 VLM은 유효한 JSON 출력을 생성할 수 있고, 일반적으로 파종 후 경과 일수(DAP), 식물 수, 식물 위치, 태양 각도, 잎 엽록소 함량을 추정할 수 있으며, 콩 플롯의 근사 시뮬레이션을 렌더링할 수 있다. 오류 지표는 모델 계열에 따라 변동하며, 특히 VLM의 사전학습 지식이 약한 시각적 근거를 압도할 때 데이터셋 베이선인보다 나쁜 경우가 많다. 이러한 결과는 이미지-대-시뮬레이션 JSON 생성을 유망하지만 현재로서는 어려운 과제로 위치시키며, 멀티모달 추론, 프롬프트 설계, sim-to-real 도메인 격차가 식물 표현형 분석 과제에 미치는 영향을 연구하기 위한 벤치마크를 확립한다.
대규모 추론 모델(LRM)은 명시적인 사고의 연쇄(CoT) 추론과 넓은 컨텍스트 윈도우(context window)에 의존하여 복잡한 작업에서 강력한 성능을 달성하지만, 이러한 특징은 새로운 공격 표면(attack surface)도 유발합니다. 본 논문에서는 명시적인 CoT 추론 궤적이 포함된 역정렬(counter-aligned) 퓨샷(few-shot) 대화를 앞에 추가함으로써 LRM의 추론 과정을 체계적으로 유도할 수 있음을 보이며, 이는 유해한 질의에 대한 안전하지 않은 생성과 무해한 질의에 대한 부당한 거부로 이어집니다. 우리는 이를 유연한 대화형 인터페이스만을 통해 작동하고 모델의 파라미터 및 그래디언트에 대한 접근이 필요 없는 SRCF(Steering Reasoning via Counter-Aligned Few-shot Conversations)로 공식화합니다. 핵심 통찰은 SRCF가 표현 드리프트(representation drift)를 유발하는 적대적 일반화 문제를 악용하여 무해한 입력과 유해한 입력의 표현을 유사한 방향으로 이동시킨다는 점입니다. 이러한 관찰을 바탕으로, 정렬된 타깃을 강제하면서 역정렬 대화형 컨텍스트에 모델을 노출하는 사후 학습(post-training) 방어 기법인 ARCF(Aligning Reasoning via Counter-Aligned Few-Shot Conversations)를 제안합니다. ARCF는 기존 사후 학습 방법과 호환되며 유용성(utility) 저하 없이 안전성(safety)과 유용함(helpfulness)을 일관되게 향상합니다.
불편 확률적 그래디언트(unbiased stochastic gradient)는 기댓값상 전체 그래디언트와 일치할 수 있지만 유한 스텝 안정성을 변화시킵니다. 본 논문에서는 문맥 내 선형 회귀(in-context linear regression)를 위한 단일 층 선형 셀프 어텐션에서 이러한 효과를 연구하며, 여기서 공유 모드 미니배치 학습은 무작위 2-인자 사상(random two-factor map)으로 정확히 축소됩니다. 풀배치 사상은 타원형 영역을 보존하는 반면, 표본 추출된 곡률과 타깃 상관관계는 배치에 의존적인 안정성 경계를 형성합니다. 이들의 결합된 변동은 매개변수 업데이트 수준에서는 중심화되어 있지만 풀배치 경계 좌표의 엄격한 외향 표류(strictly outward drift)를 유도합니다. 저자들은 정확한 단일 스텝 교차 기준, 적응형 집중 한계, 조건부 표류 항등식을 도출하고, 균형 전환 모델에서 거의 확실한 이탈을 증명합니다. 독립적인 긴 프롬프트의 경우, 모드 누출은 프롬프트 길이의 제곱근 역수로 감쇠합니다. 유한 토큰 소프트맥스 어텐션의 경우, 어텐션 점수가 집중됨에 따라 줄어드는 유효 컨텍스트 길이에 의해 지배되는 명시적 경계 교차 법칙을 도출합니다. 주변 어텐션 목적 함수에 대한 실험을 통해 축소된 예측을 검증하였으며, 학습된 네 개의 인과적 소프트맥스 트랜스포머는 더 작은 첫 스텝 배치에 대해 더 큰 평균 곡률 이동을 보여 예측된 비선형 외향 바이어스와 일치함을 확인했습니다.
대규모 언어 모델(LLM) 워크플로의 성능은 새로운 태스크에서 모델의 동작을 유도하기 위해 소수의 문맥 내 데모(in-context demonstration)를 선택하는 데 좌우되는 경우가 많다. 최근 방법들은 성공적인 추론 경로를 프롬프트에 덧붙여 이 과정을 개선한다. 그러나 이들의 데모 선택은 무작위 샘플링이나 지표 기반 순위에 의존하므로 태스크의 의미론적 구조를 간과한다. 본 논문은 의미론적 구조화와 효용 인식 점수화(utility-aware scoring)를 결합하여 대표성이 있고 효과적인 퓨샷 데모 집합을 구성하는 전략인 ClusterFewshot을 제안한다. DSPy 기반 파이프라인에서 평가한 결과, ClusterFewshot은 여러 벤치마크에서 최적화 비용을 크게 줄이면서, 프롬프트 튜닝 단독 방식과 프롬프트-가중치 하이브리드 최적화 방식 모두에서 기존 부트스트랩 기반 방법보다 일관되게 정확도를 향상시킨다.
멀티 에이전트 LLM 시스템은 여러 번의 추론 호출을 결합하지만, 기존 연구는 호출들이 서로 연결되는 방식과 호출들을 다양화하는 방식을 종종 혼동한다. 본 연구는 이 두 요인, 즉 추론 토폴로지(inference topology)와 에이전트 간 다양성의 원천을 독립적으로 연구한다. 통제된 $2 \times 3$ 행렬에서 병렬 집계(parallel aggregation)와 순차적 정제(sequential refinement)를 확률적 샘플링(stochastic sampling), 역할 프롬프팅(role prompting), 학습된 QLoRA 전문화(specialization)와 교차 조합하며, 각 백본 내에서 세 번의 호출 예산과 출력 프로토콜을 고정한다. Qwen2.5-14B-Instruct와 Llama-3.1-8B-Instruct를 사용하여 9개 언어에 걸친 다국어 저자원 감정 탐지에서 여섯 가지 구성을 모두 평가한다. 병렬 학습 전문화는 Qwen에서 52.83 Macro-F1로 가장 강력하며 Llama에서는 52.94에 도달한다. Qwen에서는 동일 백본의 제로샷, 퓨샷, CoT, 그리고 일곱 번 호출하는 자기 일관성(self-consistency) 베이스라인도 능가한다. 선호되는 토폴로지는 다양성의 원천에 따라 달라진다. 순차적 정제는 확률적 설정과 프롬프트 기반 설정에서 도움이 되는 반면, 학습된 설정에서의 Width(병렬) 이점은 Qwen의 2.83포인트에서 Llama의 0.17포인트로 줄어든다. 깊이(depth)별 분석은 이후 단계의 학습된 전문가가 올바른 초기 예측을 덮어쓸 수 있음을 시사하지만, 전체적인 효과는 백본에 따라 달라진다. 종합하면, 에이전트를 어떻게 차별화하는가가 토폴로지보다 더 큰 성능 변화를 만들어내며, 토폴로지는 전문화와 함께 공동으로 평가되어야 한다.
긴 컨텍스트(long-context) 대규모 언어 모델(LLM)은 방대한 컨텍스트에서 멀리 떨어진 증거를 검색하는 데 집중하지만, 기존 연구는 주로 거리 자체를 극복하는 데에만 초점을 맞추어 왔습니다. 본 연구에서는 멀리 떨어진 증거에 대한 불충분한 어텐션(attention)이 거리 자체보다는 태스크와 무관하게 넘쳐나는 근접 배경과의 누적된 경쟁에서 비롯되는 경우가 많다는 '근접성 함정(Proximity Trap)'을 규명합니다. 이러한 근접성 함정을 해결하기 위해, 인코딩된 상대적 위치 정보를 보존하면서도 컨텍스트 검색 분포를 재구성하여 태스크 관련 증거로 더 많은 어텐션 비중을 유도하는 t-분포 기반 방향성 매칭 메커니즘인 LYRA(Long-context heavY-tailed Relevance Alignment)를 제안합니다. LongBench-v2, RULER, LongBench에서의 광범위한 실험을 통해 다양한 컨텍스트 길이와 태스크 범주 전반에서 일관된 성능 향상을 입증합니다. 나아가 점증하는 근접 배경 간섭 하에서 원거리 증거 활용 능력을 평가하기 위한 다단계 세그레인드 벤치마크(benchmark)인 ProxBench를 소개합니다. 프로젝트 페이지: https://xiaoyuyoung.github.io/LYRA/
대규모 언어 모델(LLM)은 추론 시점에 외부 개념 자원의 통합을 가능하게 하여, 반유대주의와 같이 이념적·역사적으로 복잡한 현상을 탐지하는 새로운 기회를 창출한다. 본 연구는 서로 다른 형태의 개념적 그라운딩이 4개의 최신 LLM에 걸쳐 반유대주의 탐지 및 설명 동작에 어떤 영향을 미치는지 조사한다. 전문가 주석 데이터셋 두 개를 활용하여 반유대주의에 대한 정의적 표현, 세분화된 분류체계적 표현, 예시 보강 표현, 대규모 맥락 표현을 비교한다. 세분화된 분류체계적 표현은 재현율을 크게 향상시키는 동시에 정밀도를 낮춘다는 사실을 발견하였다. 놀랍게도 훨씬 더 큰 개념 자원을 제공하더라도 추가적인 정량적 이점은 나타나지 않는다. 홀로코스트 이후 반유대주의는 모든 모델과 구성에 걸쳐 가장 지속적인 도전 과제로 남는다. 설명에 대한 분석은 개념적 참조의 과잉 생성, 어휘적 단서에 대한 의존, 과신, 그리고 미묘하거나 정당화 형태의 반유대주의에 대한 처리 어려움 등 체계적인 한계를 추가로 드러낸다. 본 연구의 결과는 반유대주의 탐지 및 추론을 위한 개념적으로 그라운딩된 LLM의 잠재력과 남아 있는 한계를 모두 부각시킨다.
대규모 언어 모델(LLM)이 에이전트로 동작할 때, 문맥 내에서 관측된 데이터를 바탕으로 세계 기저의 잠재 상태 공간(latent state space)을 추론하고 이를 다운스트림 예측에 활용할 것으로 기대된다. 그러나 기존 연구에 따르면, 데이터 생성 과정을 관장하는 그래프 표현을 구축하고 이를 후속 예측에 활용해야 하는 그래프 추적 태스크에서 LLM이 문맥 내에서 학습된 표현을 사용하는 데 어려움을 겪는 것으로 나타났다. 본 논문에서는 동일하거나 서로 다른 그래프 위상(topology)을 지닌 서로 다른 세계에서 각 데모(demonstration)가 생성되는 퓨샷(few-shot) 설정으로 이를 확장할 경우, 4개 모델 계열의 6개 모델에서 예측 성능이 향상됨을 보인다. 이러한 개선을 이해하기 위해, 본 연구는 은닉 상태(hidden states)에서 그래프 정보를 인코딩하는 저차원 세계 표현을 선형 탐침(linear probe)한다. 주목할 점은, 퓨샷 예시가 세계 표현을 재배치하고 해당 표현의 예측적 활용을 증가시킨다는 것이다. 구체적으로 각 모델에서 이러한 세계 표현은 원래의 부분공간과 거의 직교하는 방향으로 이동하며, 이 표현에 대한 개입은 다른 부분공간에 대한 개입보다 성능을 선택적으로 더 저하시킨다. 이러한 통찰과 일치하게, 서로 다른 세계로부터 얻은 관측치를 포함하는 퓨샷 예시가 ARC-AGI-1&2, 웹 에이전트 태스크 및 Othello에서 성능을 향상시킴을 보인다. 본 연구 결과는 문맥 내 세계 모델링에서 퓨샷 예시의 역할과 내부 메커니즘을 규명한다. 더 나아가, 본 연구는 LLM 에이전트가 문맥 내 관측치로부터 어떻게 학습하는지에 대한 이해를 넓히고 추가적인 개선을 위한 시사점을 제공한다.
의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.
스케일링 법칙에 따르면 언어 모델은 매개변수와 학습 데이터가 늘수록 더 유능해진다. 전문가 혼합(MoE) 아키텍처는 이러한 법칙의 두드러진 사례로, 거대한 매개변수 뱅크 중 각 토큰마다 일부만 활성화한다. 그러나 이 성공은 정적인 사전학습 데이터에 기반한다 — 배포된 모델이 실시간 상호작용 중 사용자가 제공하는 사실과 수정은 잠재적 개선의 중요한 미개발 원천이지만, 학습 후 가중치가 고정되는 기존 아키텍처로는 활용할 수 없다. 대신 이러한 새 지식은 문맥(지시 또는 검색)에 넣어 매 요청마다 다시 읽어야 하며, 이후에는 버려진다. 우리는 대신 실시간 상호작용으로부터 학습하기 위해 모델 가중치를 동적으로 갱신하고자 한다. MoE에서 영감을 받아 \textbf{Infinite-Parameter LLM}을 제안한다. 소형 하이퍼네트워크가 온라인 데이터를 공유 기반 네트워크에 대한 저랭크 변조로 바꾸므로, 피드포워드 가중치는 정적 메모리에서 읽는 것이 아니라 실시간 데이터로부터 생성된다. 기존 가중치 생성기는 문맥을 한 번 읽은 뒤 고정되는 반면, 우리는 생성기의 잠재 상태에 대한 베이지안 신념을 형성하고 이를 온라인으로 갱신하여, 세션 동안 신념이 진화함에 따라 유효 가중치가 다시 도출되도록 한다. 모델의 메모리 사용량은 일정하지만, 생성 가능한 가중치의 실현 공간은 사실상 무한하다. 실시간 데이터를 프롬프트가 아닌 가중치에 담으면 연산을 상각(amortise)하고, 컨텍스트 윈도우를 비우며, 턴 간 갱신을 유지하고, 문맥 내 사용보다 더 잘 일반화할 수 있다. 우리의 평가 프로토콜은 이 방법론을 문맥 내 학습(ICL)과 검색에 적용한다.
본 연구에서는 트랜스포머(Transformer)의 기능적 아키텍처에 대해 기능적으로 동등한 기계-구조적 기술을 개발함으로써 트랜스포머 추론(inference)을 재해석한다. 토큰(token) 표현의 매개변수화된 변환, 즉 변환 개념(transforming concepts)은 출력-입력 및 출력-가중치 상호연결을 통해 조직된 단순 신경망으로 규명된다. 이러한 재기술은 표준 행렬 기술 방식에서는 두드러지지 않는 조직적 특징(feature)을 명시적으로 드러낸다. 즉, 추론 중에 일부 네트워크의 출력이 다른 네트워크의 가중치(weight), 나아가 변환을 결정한다는 점이다. 이러한 출력-가중치 상호연결은 프롬프트(prompt)에 의존하는 동적 변환을 생성하며 시퀀스 수준 상호작용 동적 병렬 처리(Sequence-level Interactive Dynamic Parallel Processing, SIDPP)를 유발한다. 우리는 동적 매개변수의 수가 프롬프트 길이에 따라 선형적으로 증가하며, 학습(training)을 통해 고정된 정적 매개변수의 수에 필적하거나 이를 초과할 수 있음을 보인다. 우리는 이 현상을 강한 프롬프트 민감도(strong prompt sensitivity)라고 부른다. 철학적으로 이는 트랜스포머에 대한 개념적 관점을 학습을 통해 획득된 정적 구조 중심에서 추론 중 동적으로 구성되는 프롬프트 의존적 변환 또한 작동의 구성적 특징으로 다루는 관점으로 전환시킨다. 최근 GPT-4.5의 튜링 테스트(Turing test) 결과는 이 현상에 대한 행동적 예시를 제공한다. 마지막으로, 출력-가중치 상호연결과 형태학적·기능적으로 대응하는 생물학적 메커니즘을 밝혀 SIDPP의 원리적 신경 구현 가능성을 뒷받침하고 '가설 T(Conjecture T)'를 제안한다. 즉, 인간 신경계가 트랜스포머와 유의미하게 유사한 기능적 아키텍처를 구현하고 있을 수 있다는 점이다.
현대의 대규모 언어 모델(LLM) 에이전트는 단순히 더 긴 컨텍스트가 필요한 것이 아니라, 행동 시점에 의사결정과 관련된 근거가 필요하다. 우리는 의사결정 인식 컨텍스트 선택을 연구한다. 검색된 파일, 테스트, 트레이스, 규칙, 메모리를 의미적 유사도만이 아니라 에이전트의 다음 행동에 대한 기대 효과로 순위를 매긴다. 우리는 반사실 영감 컨텍스트 층(CICL)을 제안한다. CICL은 인스턴스 컨텍스트 그래프를 구축하고, 후보 단위에 대한 의사결정 지향적 유틸리티를 추정하며, 선택된 근거를 유형화된 메모리 카드로 압축한다. 동일한 스키마는 호스팅 LLM 판사, 로컬 대리 모델, 또는 경량 ranker로 인스턴스화할 수 있어, 모델 선택에 걸쳐 선택 프로토콜을 감사 가능하게 한다. SWE-bench Verified 파일 검색 인스턴스 50건에서 BM25 상위 50 후보에 대한 Qwen3.6-Plus 재순위화는 hit@1을 0.58에서 0.78로, MRR@10을 0.634에서 0.790으로 개선하며, 2,500개 판단 모두 파싱 가능하다. 통제된 진단은 CICL이 행동에 중요한 근거를 식별함을 보여준다. 최고 유틸리티 의미 단위를 제거하면 F1이 0.245에서 0.000으로 감소한다. 선택 후 압축 모드에서 메모리 카드는 선택된 근거를 유지하면서 쿼리당 44.93 토큰을 절약한다. CICL은 도구 사용 에이전트를 위한 의사결정에 중요한 컨텍스트를 측정, 순위화, 압축하는 실용적 층을 제공한다. 코드는 https://github.com/stephen-guan-researcher/CICL 에서 이용 가능하다.
문맥 내 모방 학습은 로봇이 시연으로부터 기술을 습득하게 하지만, 원샷(one-shot) 궤적 생성은 환경 변화 하에서 여전히 취약하다. 우리는 로봇 모방을 테스트 시간 연산량에 따라 스케일링할 수 있는 반복적 정제 문제로 재구성하는 프레임워크 SAIL을 제안한다. SAIL은 몬테카를로 트리 탐색(Monte Carlo Tree Search)을 활용하며, 각 노드는 완전한 궤적이고 간선은 궤적 정제에 대응한다. 이 과정은 세 가지 핵심 구성 요소로 이끌린다: 문맥적으로 관련 있는 검색을 위한 성공 궤적의 자동 아카이브, 궤적 평가를 위한 비전-언어 모델 기반 채점 메커니즘, 반복적 정제를 위해 궤적에 정렬된 점수를 제공하는 단계 수준 피드백. 시뮬레이션과 실제 환경 검증에서 여섯 가지 다양한 조작 작업에 걸친 실험은 테스트 시간 연산량을 늘리면 성공률이 일관되게 향상되며, 복잡한 작업에서 최대 95%에 달함을 분명히 보여준다. 우리 결과는 궤적 수준의 테스트 시간 스케일링이 더 일반화 가능한 로봇 에이전트를 향한 견고한 경로임을 시사한다.