언어 모델은 사전학습 컨텍스트 길이를 넘어 일반화하는 데 어려움을 겪으며, 이는 장거리 추론 및 검색을 제한합니다. 장문 컨텍스트 데이터에 대한 지속적인 사전학습이 도움이 될 수 있지만, 어텐션의 이차 스케일링으로 인해 비용이 많이 듭니다. 우리는 대부분의 토큰이 전체 시퀀스에 걸친 (전역) 어텐션을 필요로 하지 않으며 로컬 컨텍스트에 의존할 수 있음을 관찰합니다. 이를 바탕으로, 전역 어텐션을 언제 호출할지 결정함으로써 조건부(토큰 단위) 장거리 메모리 접근을 가능하게 하는 층인 L2A(Learning To Attend)를 제안합니다. 우리는 Qwen 2.5 및 Qwen 3 모델에서 L2A를 평가하여 유효 컨텍스트 길이를 32K에서 128K 토큰으로 확장합니다. L2A는 약 80%의 토큰에 대해 전역 어텐션을 건너뛰면서도 표준 장문 컨텍스트 학습의 성능과 3% 이내의 차이를 보이며, 기존 기준선들을 능가합니다. 또한 GPU에서 이 토큰 단위 조건부 어텐션을 효율적으로 구현하기 위해 커스텀 Triton 커널을 설계하여, FlashAttention 대비 학습 처리량 및 첫 번째 토큰까지의 시간에서 최대 약 2배의 개선을 달성합니다. 더 나아가, L2A는 매우 희소한 전역 어텐션 층의 사후 학습 가지치기를 가능하게 하여, 무시할 수 있는 수준의 성능 손실로 KV 캐시 메모리를 최대 50%까지 줄입니다. 코드는 Apache 2.0 라이선스 하에 https://github.com/awslabs/hybrid-model-factory/tree/main/examples/research/L2A 에서 공개되어 있습니다.
디코더 전용 트랜스포머가 사실 질의에 대해 정답과 오답 단일 토큰 연속을 강제로 처리할 때, 은닉 상태 공간을 통과하는 두 경로는 발산한다. 질의 단독 표현으로부터의 변위 벡터는 거의 동일한 크기를 유지하면서도 각도적으로 분리되며, 각도 차이는 중간 층에서 증가하다가 후반 층에서 비대칭적 결과로 수렴된다. 오답 실행에서의 로짓 렌즈 선호도는 균등 확률 사전분포보다 훨씬 낮으며(오답 토큰에 약 11.5배 더 많은 확률 질량이 집중됨), 이 패턴, 즉 회전 발산 후 후반 층에서의 비대칭적 고정을 모델이 외부적으로 오답 연속을 거부하는 것처럼 보이는 기하학적 신호로 해석한다. 다만, 이는 관측적 해석이지 인과적 해석이 아님을 명시한다. 오답 실행은 모델이 강제로 주어진 토큰에 순응하는 것을 반영할 수도 있으며, 이는 무작위 토큰 대조군으로만 규명할 수 있다. 이 패턴은 1B에서 13B 파라미터 규모에 걸쳐 네 가지 아키텍처 계열(Llama, Mistral, Gemma, StableLM)을 포괄하는 6개의 디코더 전용 트랜스포머에서 일관되게 나타난다. 7번째 모델(Qwen2 1.5B)은 우리 프로토콜 하에서 평탄한 결과를 보이며, 이는 토크나이저 아티팩트로 추정되어 창발 임계값 문제를 미결로 남긴다. 선형 프로브는 중간 층에서 정답/오답 구분을 복원하며, 크로스 도메인 전이는 구조적으로 비대칭적이어서 금융-의료 방향의 전이가 운송 쌍보다 훨씬 우수하다. 단일 층 활성화 패칭이 명확하게 해석 가능한 경우(LLaMA-2 13B, Mistral 7B)에는 일관된 복원을 보이는 층 구간이 없으며, 세 번째 모델(StableLM-2 1.6B)은 상한선 이상에서 균일하게 복원되는데 이는 코드 경로 아티팩트로 진단하여 제외한다. 이 범위 내 귀무 가설 하에서 후반 층의 비대칭성은 단일 구성 요소에 국소화되지 않으며, 단일 층 국소적 재현율 설명보다는 궤적 분산 설명에 부합한다. 이를 7개 모델, 3개 도메인, 300개 질의에 걸친 강제 완성 프로빙으로 문서화한다.
증거 기반 생성(evidence-grounded generation)은 제공된 증거에 의해 뒷받침되어야 하는 클레임을 포함한 요약을 생성하지만, 클레임 수준의 검증기는 노이즈가 있는 피드백을 제공하며 단순히 적게 말하는 모델에 보상을 줄 수 있다. 우리는 이 문제를 임상 Brief Hospital Course 요약에서 연구하며, 여기서 출력물은 환자별 EHR 증거에 기반해야 한다. 우리는 노이즈가 있는 클레임 검증을 커버리지 제어 요약 수준 선호도로 변환하는 선호 마이닝 프레임워크인 VERI-DPO를 소개한다. 각 증거 윈도우 프롬프트에 대해 VERI-DPO는 여러 후보 요약을 샘플링하고, 이를 클레임으로 분해하며, 각 클레임을 환자 증거에 대해 검증하고, 선택된 요약이 비교 가능한 검증 가능 콘텐츠를 유지하면서 더 나은 집계 검증기 추정 지지도를 가질 때만 선호 쌍을 형성한다. 이후 표준 직접 선호 최적화(Direct Preference Optimization)가 이러한 쌍을 단일 샘플 정책으로 증류하여 추론 시 리랭킹을 방지한다. 환자 비중복 MIMIC-III-Ext-VeriFact-BHC 테스트 데이터에서 VERI-DPO는 마이닝 검증기 하에서 Not Supported 비율을 10.7%에서 1.9%로, 별도로 프롬프트된 GPT-4o 판정기 하에서 11.6%에서 6.4%로 줄인다. 두 명의 도메인 연구자에 의한 100번의 블라인드 쌍별 평가에서, VERI-DPO는 사실적 충실도에 대해 기반 모델보다 56회 대 18회로 선호되었다. 1,000명의 환자를 대상으로 모델 적응 없이 진행된 고정 제로샷(zero-shot) MIMIC-IV-Ext-BHC 전이 테스트에서 VERI-DPO는 채점된 클레임 수를 거의 변경하지 않으면서 Not Supported 비율을 낮춘다. 다중 시드 절제 실험은 검증기 가이드 쌍 구성이 성능 향상을 이끌며, 커버리지 및 퇴화 방지 제어가 겉보기 사실성 향상이 더 짧거나 덜 확인 가능한 출력물에서 비롯되는 것을 방지함을 보여준다.
우리는 종단간 스프레드시트 생성 과제를 고려한다. 이 과제에서 언어 모델은 자연어로 명시된 사용자의 명시적·묵시적 제약 조건을 만족하는 스프레드시트 아티팩트를 생성한다. 우리는 SpreadsheetArena를 소개한다. 이는 LLM이 생성한 스프레드시트 워크북에 대한 맹목적 쌍별 선호도 투표를 통해 모델의 과제 성능을 평가하는 플랫폼이다. 다른 복잡한 개방형 과제들과 마찬가지로, 관련 평가 기준은 사용 사례에 따라 크게 달라질 수 있으며, 이를 형식화하기 어려운 경우가 많다. 일반적인 대화 또는 텍스트 생성 환경과 비교했을 때, 스프레드시트 생성은 고유한 도전과 기회를 제공한다. 과제 출력 구조가 명확히 정의되어 있고 다차원적이며, 복잡한 상호작용성 및 레이아웃 고려 사항이 존재하는 경우가 많다. 우리는 선호되는 스프레드시트의 스타일적·구조적·기능적 특성이 프롬프트에 따라 유의미하게 달라짐을 관찰한다. 금융 프롬프트에 대한 스프레드시트의 전문가 평가 결과, 높은 순위의 모델조차 도메인별 모범 사례에 부합하는 스프레드시트를 안정적으로 생성하지 못함을 확인하였다. 우리는 라이브 아레나를 운영하고 프롬프트, 생성된 스프레드시트, 선호도 투표로 구성된 데이터셋을 공개하며, 이를 통해 LLM에 대한 복잡한 개방형 과제의 흥미롭고 도전적인 범주로서 스프레드시트를 대상으로 하는 과제에 대한 추가 연구가 촉진되기를 기대한다.
지식 하이퍼그래프는 복잡한 n항 원자적 사실을 캡슐화함으로써 전통적인 이진 지식 그래프를 능가하며, 의미 표현을 위한 보다 포괄적인 패러다임을 제공한다. 그러나 고품질 하이퍼그래프를 구축하는 것은 시나리오 격차로 인해 여전히 어렵다: 범용 추출기는 특정 전문 용어를 지닌 다양한 도메인에 걸쳐 일반화하기 어려우며, 기존 방법들은 구조적 골격과 세밀한 세부 사항 간의 균형을 맞추는 데 실패하는 경우가 많다. 이 격차를 해소하기 위해, 우리는 추출을 동적인 스킬 진화 프로세스로 재정의하는 스킬 기반 프레임워크인 Hyper-KGGen을 제안한다. 먼저, Hyper-KGGen은 거친 단계에서 세밀한 단계로 진행하는(coarse-to-fine) 메커니즘을 활용하여 문서를 체계적으로 분해함으로써, 이진 링크부터 복잡한 하이퍼에지까지 전차원적 커버리지를 보장한다. 핵심적으로, 도메인 전문성을 Global Skill Library로 능동적으로 증류하는 적응형 스킬 획득 모듈을 통합한다. 이는 안정성 기반 피드백 루프를 통해 달성되며, 여기서 추출 안정성은 불안정한 추적 및 누락된 예측으로부터 고품질 스킬을 유도하기 위한 상대적 보상(reward) 신호로 사용된다. 또한, 문서 수준 지식 하이퍼그래프 추출을 위해 엄밀하게 주석이 달린 벤치마크인 HyperDocRED를 제시한다. 실험 결과, Hyper-KGGen은 강력한 기준 모델들을 크게 능가하며, 진화된 스킬이 다중 시나리오 설정에서 정적 퓨샷(few-shot) 예시보다 실질적으로 풍부한 가이던스를 제공함을 검증한다.
대규모 언어 모델(LLM)은 긴 사고의 연쇄(Chain-of-Thought, CoT)를 통해 테스트 시간 연산을 확장함으로써 인상적인 추론 능력을 보여왔다. 그러나 최근 연구에 따르면 원시 토큰 수는 추론 품질의 신뢰할 수 없는 대리 지표임이 밝혀졌다. 즉, 생성 길이가 늘어난다고 해서 정확도가 일관되게 향상되는 것은 아니며, 오히려 "과도한 사고(overthinking)"의 신호일 수 있어 성능 저하로 이어질 수 있다. 본 연구에서는 심층 사고 토큰(deep-thinking tokens)을 식별함으로써 추론 시간 노력을 정량화한다. 심층 사고 토큰이란 수렴 전 더 깊은 모델 레이어에서 내부 예측이 유의미하게 수정되는 토큰을 의미한다. 네 가지 수학 및 과학 벤치마크(AIME 24/25, HMMT 25, GPQA-diamond)와 다양한 추론 중심 모델(GPT-OSS, DeepSeek-R1, Qwen3)을 대상으로, 심층 사고 비율(생성 시퀀스 내 심층 사고 토큰의 비율)이 정확도와 강건하고 일관된 양의 상관관계를 보임을 확인하였으며, 이는 길이 기반 및 신뢰도 기반 기준선을 크게 능가한다. 이러한 통찰을 활용하여 우리는 심층 사고 비율이 높은 샘플을 우선시하는 테스트 시간 스케일링 전략인 Think@n을 제안한다. Think@n은 짧은 접두사를 기반으로 가망성 없는 생성을 조기에 기각함으로써 추론 비용을 크게 절감하면서도 표준 자기 일관성(self-consistency) 성능과 동등하거나 그 이상의 성능을 달성함을 보인다.
확산 대규모 언어 모델(DLLM)은 병렬 디코딩을 통한 빠른 텍스트 생성의 가능성을 지닌 강력한 생성 모델로 부상하고 있다. 그러나 이러한 잠재력을 실제로 실현하는 것은 여전히 어렵다. 디코딩 단계 수를 줄이면 토큰 인수분해 오류(token factorization error)로 인해 출력 품질이 크게 저하되는 경우가 많기 때문이다. 이를 완화하기 위해, 우리는 소수 단계 학생 모델이 풀 스텝 교사 모델의 생성 궤적을 모방하도록 학습시키는 자기 지식 증류(self-distillation) 프레임워크를 제안한다. 우리는 궤적 수준의 지도(supervision)가 이 인수분해 오류를 이론적·실험적으로 완화하여 효과적인 소수 단계 디코딩을 가능하게 함을 보인다. 또한 교사 모델의 모드를 향한 모드 탐색(mode-seeking)을 장려하는 역방향 KL 목적함수인 DDO(Direct Discriminative Optimization)를 통합하여, 어려운 추론 과제에서 더욱 강력한 성능을 발휘한다. 추론 및 코드 생성 벤치마크 전반에 걸쳐, 우리의 방법은 소수 단계 디코딩과 풀 스텝 디코딩 간의 격차를 크게 줄인다. 소스 코드는 https://github.com/Tyrion58/T3D 에서 확인할 수 있다.
우리는 다양한 의미 있는 컨텍스트를 대규모 언어 모델(LLM)을 위한 고품질 LoRA 어댑터로 매핑할 수 있는 확장 가능한 하이퍼네트워크인 SHINE(Scalable Hyper In-context NEtwork)을 제안한다. 동결된 LLM 자체의 매개변수를 인-컨텍스트 하이퍼네트워크 설계에서 재사용하고 아키텍처 혁신을 도입함으로써, SHINE은 기존 하이퍼네트워크의 핵심 한계를 극복하고 상대적으로 적은 수의 매개변수로 강력한 표현력을 달성한다. 우리는 사전학습 및 인스트럭션 미세조정 파이프라인을 도입하고, 단일 순전파로 다양한 의미 있는 컨텍스트에서 고품질 LoRA 어댑터를 생성하도록 하이퍼네트워크를 학습시킨다. 이 방법은 어떠한 미세조정 없이도 LLM 매개변수를 업데이트하며, 컨텍스트에 직접 접근하지 않고도 컨텍스트와 관련된 복잡한 질의응답 작업을 즉시 가능하게 하여, 단일 순전파로 컨텍스트 내 지식을 매개변수 내 지식으로 효과적으로 변환한다. 우리의 연구는 다양한 작업에서 뛰어난 결과를 달성하고, SFT 기반 LLM 적응 방식에 비해 시간, 연산 및 메모리 비용을 크게 절감하며, 스케일링에 대한 큰 잠재력을 보여준다. 코드는 https://github.com/MuLabPKU/SHINE 에서 확인할 수 있다.
대규모 언어 모델(LLM)은 클로즈드북 질의응답에서 자신의 지식 한계를 인식하는 데 어려움을 겪는 경우가 많으며, 이로 인해 자신감 있는 환각(hallucination)이 발생한다. 분해 프롬프팅(decomposed prompting)은 일반적으로 정확도 향상을 위해 사용되지만, 본 연구에서는 신뢰성에 미치는 영향을 조사한다. 우리는 서로 다른 모델 규모와 다중 홉(multi-hop) QA 벤치마크에 걸쳐 과제 동등한 세 가지 프롬프팅 방식인 Direct, Assistive, Incremental을 평가한다. 분해를 통한 정확도 향상은 최전선 모델(frontier model)에서 감소하지만, 프롬프팅 방식 간 불일치가 잠재적 오류의 강력한 지표로 남아있음을 발견하였다. 사실적 지식은 일반적으로 안정적인 반면 환각은 확률적이기 때문에, 방식 간 합의(cross-regime agreement)는 내부 불확실성에 대한 정밀한 신호를 제공한다. 우리는 이 신호를 활용하여 검색이나 미세조정(fine-tuning) 없이 학습(training) 없는 기권 정책(abstention policy)을 구현한다. 실험 결과, 불일치 기반 기권이 표준 불확실성 기준선보다 오류 탐지기로서 우수한 성능을 보이며, 다양한 설정에서 F1과 AUROC를 모두 향상시키는 것을 확인하였다. 이는 분해 기반 프롬프팅이 클로즈드북 QA에서 모델 신뢰성을 위한 실용적인 진단 프로브로 활용될 수 있음을 보여준다.
사용자 만족도의 정확한 평가는 대화형 AI의 반복적 개발에 있어 매우 중요하다. 그러나 개방형 어시스턴트의 경우, 전통적인 A/B 테스팅은 신뢰할 수 있는 지표가 부족하다: 명시적 피드백은 희소하고, 암묵적 지표는 모호하다. 이러한 간극을 해소하기 위해, 우리는 고충실도 만족도 평가를 위한 확장 가능한 프레임워크인 BoRP(Bootstrapped Regression Probing)를 소개한다. 생성적 접근 방식과 달리, BoRP는 대규모 언어 모델(LLM) 잠재 공간의 기하학적 특성을 활용한다. 이는 루브릭 생성을 자동화하기 위한 편극 지수(polarization-index) 기반 부트스트래핑 메커니즘을 채택하고, 은닉 상태를 연속적 점수로 매핑하기 위해 편최소제곱법(Partial Least Squares, PLS)을 활용한다. 산업용 데이터셋에 대한 실험 결과, BoRP(Qwen3-8B/14B)는 인간 판단과의 정렬 측면에서 생성적 기준선(Qwen3-Max 포함)을 크게 능가하는 것으로 나타났다. 나아가, BoRP는 추론 비용을 수십 배에서 수백 배까지 절감하여, CUPED를 통한 전규모 모니터링과 고민감도 A/B 테스팅을 가능하게 한다.
언어 모델이 감각 의식(sentience)을 지니는지에 대해서는 경험적 답변이 존재하지 않는다. 그러나 모델 스스로가 자신이 감각 의식을 지닌다고 믿는지 여부는 원칙적으로 검증 가능하다. 본 연구에서는 여러 오픈웨이트 모델에 자신의 의식에 관해 질의하고, 내부 활성화 값으로 학습된 분류기(classifier)를 사용해 그 응답을 검증한다. Qwen, Llama, GPT-OSS 세 모델 패밀리(파라미터 수 6억~700억)를 대상으로, 의식 및 주관적 경험에 관한 약 50개의 질문과 해석 가능성 연구 문헌에서 도출한 세 가지 분류 방법을 활용하였다. 첫째, 모델들은 일관되게 자신이 감각 의식을 지니지 않는다고 부인하며, 의식을 인간에게는 귀속시키지만 자신에게는 귀속시키지 않았다. 둘째, 단순 출력이 아닌 내재된 믿음을 탐지하도록 학습된 분류기는 이러한 부인이 거짓임을 시사하는 명확한 증거를 제공하지 않는다. 셋째, Qwen 패밀리 내에서 더 큰 모델일수록 더 확신을 가지고 감각 의식을 부인한다. 이러한 결과는 모델이 자신의 의식에 대한 잠재적 믿음을 내포한다고 주장하는 최근 연구와 상반된다.
토크나이저는 언어 모델(LM)이 텍스트를 표현하고 처리하는 근본적인 기반을 제공한다. 토큰화의 중요성에도 불구하고, 토큰화의 영향을 독립적으로 측정하기 어렵기 때문에 LM 성능 및 동작에서 토큰화가 수행하는 역할은 충분히 이해되지 않고 있다. 이러한 필요를 해결하기 위해 우리는 TokSuite를 제시한다. TokSuite는 토큰화가 LM에 미치는 영향을 연구할 수 있도록 지원하는 모델 컬렉션과 벤치마크다. 구체적으로, 동일한 아키텍처, 데이터셋, 학습 예산, 초기화를 사용하되 서로 다른 기성 토크나이저를 적용한 14개의 사전학습 모델을 공개한다. 또한 원어민 주석자가 큐레이션한, 영어·중국어·페르시아어·이탈리아어·터키어에서의 실제 변형에 대한 모델 성능을 측정하는 다국어 강건성 벤치마크도 공개한다. TokSuite는 이를 통해 모델의 토크나이저 영향을 견고하게 분리할 수 있으며, 다양한 인기 토크나이저의 장단점을 규명하는 일련의 새로운 발견을 지원한다.
저자원 언어에 집중하는 것은 생성 AI의 민주화를 향한 필수적인 단계입니다. 본 연구에서는 루마니아어의 멀티모달 자연어 처리(NLP) 자원 격차를 줄이는 데 기여합니다. 널리 알려진 Flickr30K 데이터셋을 루마니아어로 번역하고, 오픈소스 대규모 언어 모델(LLM)을 활용하여 시각적 질의응답(visual question answering)을 위해 이를 추가로 확장합니다. 오픈소스 비전-언어 모델(VLM)을 루마니아어 시각적 질의응답에 대해 미세조정함으로써 데이터셋의 유용성을 입증합니다. 세 가지 널리 사용되는 모델 패밀리인 LLaMA 3.2, LLaVA 1.6, Qwen2에서 VLM을 선택하며, 미세조정에는 매개변수 효율적인 LoRA 기법을 적용합니다. 우리의 모델은 시각적 QA에서 루마니아어 능력이 향상되었을 뿐만 아니라, 루마니아어 이미지 설명 생성과 같이 학습되지 않은 태스크에서도 성능 개선을 보입니다. 70억 매개변수 모델인 Qwen2-VL-RoVQA는 두 태스크 모두에서 최고 점수를 기록하며, 원본 버전 대비 VQA와 캡셔닝에서 각각 BERTScore F1 기준 +2.29% 및 +4.45%의 향상을 달성합니다. 마지막으로, 모델들은 원본 형태 대비 문법 오류가 크게 감소하여, 언어 이해뿐만 아니라 루마니아어 유창성에서도 향상이 이루어졌음을 나타냅니다.
강화학습을 통한 대규모 언어 모델(LLM) 추론의 최근 발전은 검증 가능한 보상을 위해 주석이 달린 데이터셋에 의존하며, 이는 모델이 인간 수준의 성능을 초월하는 능력을 제한할 수 있다. 셀프 플레이(self-play)는 유망한 대안을 제시하지만, 기존 방법들은 사후학습된 모델에서 미미하거나 오히려 부정적인 성능 향상을 보이는데, 이는 새로운 개념을 발견하기보다 친숙한 개념 주변에 집중된 문제를 생성하기 때문이다. 우리는 단일 LLM이 교사와 학생 역할을 번갈아 수행하여 외부 검증기나 주석 데이터 없이 새로운 문제를 생성하고 풀어내는 셀프 플레이 프레임워크인 OpenSIR(Open-Ended Self-Improving Reasoner)을 소개한다. 단일 시드 문제에서 시작하여, OpenSIR은 모델을 낯선 개념으로 유도하는 다양성 보상과 문제를 학습 가능한 수준으로 유지하는 난이도 조정을 통해 개방형 탐험을 지속한다. 7개의 수학 벤치마크에 걸쳐, OpenSIR은 모든 모델에서 일관되게 성능을 향상시키며 인스트럭션 모델에서 평균 +3.6점, 추론 모델에서 +3.1점을 기록하는 반면, 최근의 셀프 플레이 기준선들은 미미하거나 오히려 부정적인 성능 향상을 보인다. 단일한 사소한 시드에서 시작하여, 7천 개 이상의 주석 예제로 학습된 GRPO 기준선도 능가한다. 자기 생성된 수학 데이터만으로 학습함에도 불구하고, OpenSIR은 일반 추론으로 전이되는 유일한 셀프 플레이 방법으로, 추론 모델에서 최소 +4.4점의 성능 향상을 달성한다.
외부 도구를 사용하는 대화형 AI 시스템의 평가는 사용자, 에이전트, 도구 간의 복잡한 상호작용에서 오류가 발생할 수 있어 어렵다. 기존 평가 방법들은 사용자 만족도 또는 에이전트의 도구 호출 능력을 개별적으로 평가하지만, 에이전트가 도구 결과를 잘못 해석했음에도 사용자에게는 만족스럽게 보이는 경우와 같이 다중 턴 도구 증강 대화에서 발생하는 치명적 오류를 포착하는 데 실패한다. 우리는 다양한 오류 사례를 포괄하는 체계적으로 합성된 도구 증강 대화 벤치마크인 TRACE를 소개한다. 최신 대화 평가 프레임워크를 활용한 평가 결과, 모든 접근법이 이상적인 성능에 크게 미치지 못하는 것으로 나타나 이 벤치마크의 근본적인 어려움을 입증한다.
유엔의 지속가능발전목표(SDGs)는 주요 사회적, 환경적, 경제적 과제를 해결하기 위한 전 세계적으로 인정받는 프레임워크를 제공한다. 최근 자연어 처리(NLP)와 대규모 언어 모델(LLM)의 발전으로 SDG 관련 콘텐츠를 자동으로 식별하는 것이 가능해졌지만, 기술된 사건이 특정 목표를 향한 진전인지 퇴행인지는 파악하지 못한다. 이러한 격차를 해소하기 위해, 우리는 SDG 극성 탐지라는 새로운 과제를 소개하고, 수동으로 주석 처리된 예시와 합성 생성된 예시를 결합한 벤치마크 데이터셋인 SDG-POD를 제시한다. 우리는 제로샷(zero-shot) 및 미세조정(fine-tuning) 설정 모두에서 최신 오픈소스 LLM 6개를 평가하고, 합성 데이터 증강이 모델 성능에 미치는 영향을 조사한다. 결과에 따르면 SDG 극성 탐지는 현재 LLM에게 여전히 어려운 과제이지만, 미세조정된 모델, 특히 QWQ-32B가 전반적으로 최고의 성능을 달성하며, SDG-9, SDG-12, SDG-15에서 특히 우수한 결과를 보인다. 또한, 합성 학습 데이터가 모델 견고성과 분류 성능을 일관되게 향상시킴을 입증한다. 이 연구는 SDG 극성 탐지를 위한 새로운 벤치마크를 도입하고, 지속가능성 모니터링을 위한 LLM 기반 시스템 개발에 대한 실질적인 통찰을 제공한다.
대규모 언어 모델(LLM)은 셀프 어텐션의 이차 복잡도로 인해 긴 컨텍스트를 처리할 때 상당한 계산적 어려움에 직면한다. 입력 텍스트를 더 작은 잠재 표현으로 매핑하는 소프트 컨텍스트 압축 방법이 가능성을 보여왔으나, 실제 환경에서의 채택은 제한적이다. 기존 기법들은 일반적으로 컨텍스트를 단일 단위로 압축하며, 이로 인해 이차 압축 복잡도가 발생하고 컨텍스트가 겹치는 쿼리 간 계산 재사용이 불가능하다. 본 연구에서는 실용적인 배포를 위해 설계된 소프트 압축 기법인 CompLLM을 소개한다. CompLLM은 컨텍스트를 전체적으로 처리하는 대신 이를 세그먼트로 분할하여 각각 독립적으로 압축한다. 이 단순한 설계 선택은 세 가지 핵심 속성을 제공한다: 압축 단계가 컨텍스트 길이에 선형적으로 확장되는 효율성, 짧은 시퀀스(예: 1k 토큰)로 학습된 모델이 100k 토큰의 컨텍스트로 일반화할 수 있는 확장성, 그리고 압축된 세그먼트를 캐싱하여 서로 다른 쿼리에 재사용할 수 있는 재사용성이다. 실험 결과, 2배 압축률에서 긴 컨텍스트 길이의 경우 CompLLM은 첫 번째 토큰 생성 시간(TTFT)을 최대 4배 단축하고 KV 캐시 크기를 50% 감소시킨다. 또한 CompLLM은 비압축 컨텍스트와 비교 가능한 성능을 달성하며, 매우 긴 시퀀스에서는 이를 능가하여 그 효과성과 실용적 유용성을 입증한다.
토큰화는 대부분의 자연어 처리(NLP) 파이프라인에서 첫 번째이자 종종 가장 덜 검토되는 단계이다. 토크나이저 학습을 위한 표준 알고리즘은 빈도 기반 목적 함수에 의존하는데, 이는 학습 데이터에서 지배적인 언어를 우대하고 결과적으로 저자원 언어에 불균형적으로 긴, 형태론적으로 부자연스러운, 심지어 <UNK> 플레이스홀더로 가득 찬 토큰화를 초래한다. 이 현상은 궁극적으로 서로 다른 언어 배경을 가진 사용자들 간의 계산적·금전적 불평등을 증폭시킨다. 이를 해결하기 위해, 우리는 널리 사용되는 BPE 알고리즘의 변형인 패리티 인식 바이트 쌍 인코딩(Parity-aware Byte Pair Encoding, BPE)을 제안한다. Parity-aware BPE는 매 병합 단계에서 현재 압축률이 가장 낮은 언어의 압축 이득을 최대화하는 공정-최대(fair-max) 규칙을 적용하여, 소량의 전역 압축률을 희생하는 대신 교차 언어 공정성을 확보한다. 실험 결과, Parity-aware BPE는 언어별 토큰 비용의 지니 계수(Gini coefficient)로 측정한 토큰화 불평등을 기존 BPE 대비 최대 89%까지 감소시킴을 확인하였다. 이는 전역 압축률에 무시할 수 있는 수준의 영향만을 미치며, 다운스트림 언어 모델(LM) 성능의 체계적인 저하 증거도 나타나지 않는다.
검색-증강 생성(RAG) 시스템은 고위험 도메인에 점점 더 많이 배포되고 있으며, 이 환경에서의 안전성은 시스템이 어떻게 답변하느냐뿐만 아니라 지식 베이스(KB)를 고려했을 때 해당 쿼리에 답변해야 하는지 여부에도 달려 있다. 도메인 외(OOD) 쿼리는 밀집 검색이 약하게 관련된 컨텍스트를 표면에 드러내게 하고, 생성기가 유창하지만 근거 없는 응답을 생성하도록 유도할 수 있다. 우리는 RAG 시스템을 위한 상시 게이트로서 경량의 KB 정렬 OOD 탐지를 연구한다. 우리의 접근 방식은 KB 임베딩에 PCA를 적용하고, 설명된 분산 유지율(EVR) 또는 분리 가능성 기반 t-검정 순위로 선택된 컴팩트한 부분 공간에서 쿼리를 채점한다. 우리는 고위험 COVID-19 및 약물 사용 KB를 포함한 16개 도메인에 걸쳐 기하학적 시맨틱 검색 규칙과 경량 분류기를 평가하고, LLM 생성 공격 및 실제 4chan 공격을 모두 사용하여 견고성을 스트레스 테스트한다. 저차원 탐지기가 프롬프트 기반 LLM 판별기보다 더 빠르고 저렴하며 해석 가능하면서도 경쟁력 있는 OOD 성능을 달성함을 발견했다. 마지막으로, 인간 및 LLM 기반 평가는 OOD 쿼리가 주로 RAG 출력의 관련성을 저하시킨다는 것을 보여주며, 안전하고 범위 내 동작을 유지하기 위한 효율적인 외부 OOD 탐지의 필요성을 보여준다.
멀티모달 대규모 모델은 웹 에이전트의 발전을 크게 촉진하여, 인간 인지와 유사한 방식으로 디지털 환경을 인식하고 상호작용할 수 있게 했습니다. 본 논문에서 우리는 웹 에이전트가 인지 추론에 효과적으로 참여하기 위해 먼저 충분한 지식을 획득해야 한다고 주장합니다. 이에 따라 웹 에이전트의 역량을 두 가지 핵심 단계인 지식 콘텐츠 학습(knowledge content learning)과 인지 프로세스(cognitive processes)로 분해합니다. 이를 형식화하기 위해 Web-CogKnowledge Framework를 제안하며, 지식을 사실적(Factual), 개념적(Conceptual), 절차적(Procedural) 유형으로 분류합니다. 이 프레임워크에서 지식 콘텐츠 학습은 에이전트의 암기(Memorizing) 및 이해(Understanding) 프로세스에 해당하며, 앞의 두 지식 유형에 의존하여 학습의 "무엇(what)"을 나타냅니다. 반대로 인지 프로세스는 절차적 지식에 기반한 탐색(Exploring)에 해당하며, 추론과 행동의 "방법(how)"을 정의합니다. 지식 획득을 촉진하기 위해 14개의 실제 웹사이트에서 수집한 구조화된 리소스인 Web-CogDataset을 구축하였으며, 이는 웹 에이전트에게 필요한 핵심 지식을 체계적으로 주입하도록 설계되었습니다. 이 데이터셋은 이해가 구축되는 "명사(nouns)"로서 에이전트의 개념적 그라운딩 역할을 하며, 추론 및 행동 방법 학습의 기반이 됩니다. 이 기반 위에서 우리는 새로운 지식 기반 사고의 연쇄(Chain-of-Thought, CoT) 추론 프레임워크를 통해 이러한 프로세스를 구현하고, 제안된 에이전트인 Web-CogReasoner를 개발 및 학습시킵니다. 광범위한 실험을 통해 기존 모델 대비 현저한 우월성이 드러났으며, 특히 구조화된 지식이 결정적인 역할을 하는 미지의 태스크에 대한 일반화에서 두드러집니다. 엄격한 평가를 가능하게 하기 위해, 정의된 지식 도메인과 인지 역량 전반에 걸쳐 에이전트 성능을 평가하고 비교하도록 설계된 종합 평가 스위트인 Web-CogBench를 도입합니다. 코드와 데이터는 https://github.com/Gnonymous/Web-CogReasoner 에서 오픈소스로 공개되어 있습니다.