신뢰할 수 있는 텍스트 생성은 특히 의료와 같은 고위험 영역의 실제 응용 분야에 대규모 언어 모델(LLM)을 배포하는 데 매우 중요합니다. 사실적 신뢰성을 향상시키기 위해 토큰 확률 분포를 수정하는 로짓(logit) 수준 방법과 중간 모델 표현을 조작하는 표현 수준 방법을 포함하여 다양한 추론 시점 기법들이 제안되었습니다. 그러나 대부분의 기존 접근 방식은 단일 디코딩 궤적에서 작동하므로 대안적 추론 경로를 탐색하는 능력이 제한되며 오류 누적에 취약합니다. 이러한 한계를 해결하기 위해 본 논문에서는 모델 재학습이나 미세조정(fine-tuning) 없이도 사실적 신뢰성을 향상시키는 적응형 다중 경로 대조 디코딩 프레임워크인 APCD(Adaptive Path-Contrastive Decoding)를 제안합니다. APCD는 두 가지 핵심 구성 요소로 이루어져 있습니다. 즉, 불확실성이 높은 결정 시점에서만 디코딩 과정을 적응적으로 확장하는 엔트로피 기반 경로 확장(Entropy-Driven Path Expansion)과, 다양성과 일관성의 균형을 맞추기 위해 분포 발산(divergence)에 기반하여 병렬 디코딩 경로 간의 대조적 상호작용을 동적으로 조절하는 발산 인식 경로 대조(Divergence-Aware Path Contrast)입니다. 일반 도메인 및 의료 질의응답 작업을 모두 아우르는 8개 벤치마크에 걸쳐 4개의 LLM 백본에서 APCD를 평가합니다. 실험 결과에 따르면 APCD는 경쟁력 있는 추론 효율성을 유지하면서 사실적 정확도 측면에서 강력한 추론 시점 베이스라인들을 일관되게 능가합니다. 이러한 결과는 다양한 모델과 작업 전반에 걸친 APCD의 견고성과 일반화 가능성을 입증하며, 특히 의료와 같은 고위험 영역에서 신뢰할 수 있는 LLM 배포를 위한 실용적인 다중 경로 디코딩 프레임워크로서의 효과성을 강조합니다. 코드는 https://github.com/zty-king/APCD 에서 확인할 수 있습니다.
확장 가능한 교수법 안내가 여전히 제한적이며 기존 도구들이 범용 챗봇의 조언이나 확장하기 어려운 교수학습센터의 사람 간 대면 상담에 의존하고 있어, 고등교육 교수자들은 적시에 교육학적으로 기반한 지원을 받지 못하는 경우가 많습니다. 본 논문에서는 실시간 대화형 안내를 통해 교수자의 전문성 개발을 지원하도록 설계된 교육학적 기반 챗봇인 TeachingCoach를 제안합니다. TeachingCoach는 교육 자료에서 교육학적 규칙을 추출하고 합성 대화 생성을 활용하여 특화된 언어 모델을 파인튜닝(fine-tuning)하는 데이터 중심 파이프라인을 기반으로 구축되었으며, 교수자가 문제 식별, 진단 및 전략 수립 과정을 거치도록 안내합니다. 전문가 평가 결과, TeachingCoach는 GPT-4o mini 기준선(baseline)보다 더 명확하고 성찰적이며 반응성이 뛰어난 안내를 생성하는 것으로 나타났으며, 고등교육 교수자를 대상으로 한 사용자 연구에서는 대화의 깊이와 상호작용 효율성 간의 상충 관계(trade-off)가 드러났습니다. 종합적으로 이러한 결과는 교육학적으로 기반하고 합성 데이터로 구동되는 챗봇이 교수법 지원을 개선할 수 있으며, 향후 교수 지원 챗봇 시스템을 위한 확장 가능한 설계 접근법을 제시함을 보여줍니다.
절단 기반(truncation-based) 샘플링의 최근 발전은 신경망 텍스트 퇴화와 같은 고온(high-temperature) 샘플링의 단점을 완화하는 데 기여하여, 일관성을 해치지 않으면서도 더 높은 다양성을 확보할 수 있게 했습니다. 그러나 높은 온도를 통해 토큰 확률 분포의 엔트로피를 높이는 것은 모델의 거절(refusal) 반응을 약화시키는 것으로도 나타났습니다. 대규모 언어 모델(LLM)의 거절 동작을 유지하기 위한 기존 해결책들은 모델 자체의 거절 결정을 별도의 안전성 분류기로 대체하거나, 모든 프롬프트에 대해 출력 분포를 변경합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 최소한의 추가 지연 시간(latency)만을 유발하면서 고온에서도 모델의 그리디 디코딩(greedy decoding) 거절 반응을 보존하고 다른 모든 프롬프트는 원래의 정확한 직접 고온 분포로부터 샘플링하는 효율적인 순차적 디코딩 접근 방식인 거절 게이트 디코딩(Refusal-Gated Decoding, RGD)을 제안합니다. RGD는 프롬프트의 KV 캐시를 재사용하는 짧은 그리디 프로브(probe)를 실행하고, 학습된 거절 접두사 집합과 일치하지 않게 되는 즉시 조기 종료합니다. 프로브가 호환성을 유지하면 그리디 응답을 반환하고, 그렇지 않으면 프로브를 폐기하고 원래 프롬프트로부터 샘플링을 진행합니다. T=2.0에서 7개 모델과 3개 벤치마크 데이터셋에 걸쳐 평가한 결과, RGD는 다양한 온도 조건에서 비거절(non-refusal) 요청의 중앙값 기준 요청당 지연 시간을 2.2~4.3%만 증가시키면서 직접 샘플링 시 91.9%였던 그리디 거절 보존율을 평균 98.3%로 향상시켰습니다. 다수의 그리디 비거절 응답을 그리디 디코딩으로 라우팅하는 프롬프트 필터링(prompt-screening) 베이스라인과 달리, RGD는 그리디 비거절 응답의 98.1% 이상을 변경되지 않은 고온 샘플링으로 유지하여 모델 본래의 고온 샘플링 동작을 보존합니다. 또한 본 연구에서는 유사한 프롬프트 라우팅 정확도를 유지하면서 이러한 지연 시간 오버헤드를 최대 0.5%까지 낮추는 잔차 스트림(residual-stream) 변형 방식도 제안합니다. 본 연구는 고온 샘플링을 통해 더 높은 다양성을 확보하더라도 모델의 거절 동작이 훼손될 필요가 없음을 보여줍니다.
3D CT 볼륨으로부터 방사선 판독문을 자동 생성하는 작업은 불완전한 병변 커버리지 문제로 어려움을 겪는 경우가 많습니다. 본 논문은 이러한 한계가 표현 병목(representational bottleneck)에서 비롯된다는 실증적 증거를 제시합니다. 대조 학습 기반의 3D CT 임베딩은 식별력 있는 병리학적 신호를 인코딩하지만, 512차원 중 유효 차원이 2개에 불과할 정도로 심각한 차원 집중(dimensional concentration)을 보입니다. 이를 뒷받침하듯 언어 모델의 규모를 키워도 유의미한 성능 향상이 나타나지 않았으며, 이는 병목이 생성기가 아닌 시각적 표현에 있음을 시사합니다. 이러한 병목 현상은 생성과 검색 모두를 제한하여, 단순한 정적 검색(naive static retrieval)은 임상적 효용성을 향상시키지 못하고 오히려 성능을 저하시키기도 합니다. 본 연구에서는 제어된 검색을 통해 보충 텍스트 정보를 도입하고 생성 과정에서 이를 선택적으로 통합함으로써 시각적 병목을 보완하는 적응형 증강 프레임워크인 AdaRAG-CT를 제안합니다. CT-RATE 벤치마크에서 AdaRAG-CT는 최고 수준의 임상적 유효성을 달성하여 Clinical F1을 0.420(CT-Agent)에서 0.480(+6%p)으로 향상시켰으며, 절제 연구(ablation study)를 통해 검색 및 생성 구성 요소 모두가 성능 향상에 기여함을 확인했습니다. 코드는 https://github.com/renjie-liang/Adaptive-RAG-for-3DCT-Report-Generation 에서 확인할 수 있습니다.
실시간 비디오 해설 생성은 비디오 내에서 진행 중인 사건에 대한 텍스트 설명을 제공합니다. 이는 스포츠, e스포츠, 라이브 스트리밍과 같은 영역에서 접근성과 몰입도를 높여줍니다. 해설 생성에는 '무엇을 말할 것인가'와 '언제 말할 것인가'라는 두 가지 핵심적인 결정이 수반됩니다. 멀티모달 대규모 언어 모델(MLLM)을 사용하는 최근의 프롬프트 기반 접근법은 콘텐츠 생성 측면에서 우수한 성능을 보였으나, 타이밍 측면은 대체로 간과하고 있습니다. 본 연구에서는 문맥 내 프롬프팅만으로 의미적으로 적절하면서도 타이밍이 알맞은 실시간 해설 생성이 가능한지 조사합니다. 연구진은 두 가지 프롬프트 기반 디코딩 전략을 제안합니다. 1) 고정 간격 접근법과 2) 이전 발화의 예상 길이를 기반으로 다음 예측 타이밍을 조정하는 새로운 동적 간격 기반 디코딩 접근법입니다. 두 방법 모두 별도의 미세조정(fine-tuning) 없이도 휴지기(pause)를 인식하는 생성을 가능하게 합니다. 레이싱 및 격투 게임의 일본어 및 영어 데이터셋을 대상으로 한 실험 결과, 동적 간격 기반 디코딩은 프롬프팅만으로도 사람의 발화 타이밍 및 콘텐츠와 더 밀접하게 일치하는 해설을 생성할 수 있음을 보여줍니다. 연구진은 실시간 비디오 해설 생성에 관한 향후 연구를 지원하기 위해 다국어 벤치마크 데이터셋, 학습된 모델, 구현 코드를 공개합니다.
대규모 언어 모델(LLM)의 급격한 확산으로 인해 비영어권 언어에서 인간이 작성한 글과 LLM이 생성한 텍스트를 구별하는 문제가 더욱 심화되었습니다. 본 연구에서는 보정된 글로벌 결정 임계값과 결합된 PhoGPT-4B 옵저버(observer) 및 퍼포머(performer) 모델을 결합한 제로샷(zero-shot) 탐지 프레임워크인 VietBinoculars를 소개합니다. 특화된 베트남어 BPE 토큰화를 활용함으로써, 대규모 다국어 백본에서 흔히 발생하는 바이트 수준 파편화 및 확률 희석 현상을 제거합니다. 다중 도메인 벤치마크 전반에 걸친 평가에서 VietBinoculars는 0.99를 초과하는 ROC 곡선 아래 면적(AUC)을 달성했습니다. 최적의 Youden's J 임계값 및 그리디 디코딩(greedy decoding) 조건에서 탐지 정확도는 최소 98.78%에 도달하는 동시에 창의적인 Capybara 프롬프트에서 기준선(baseline) Binoculars, 제로샷 탐지기 및 상용 도구를 크게 능가했습니다. 0.06%의 엄격한 위양성률(false positive rate) 제약 조건 하에서도 탐지기는 83.15%에서 94.70% 사이의 F1-점수를 유지합니다. 탐지 성능은 시퀀스 길이에 따라 일관되게 향상되어 450~550개의 토큰을 포함하는 구문에서 최적의 정확도로 안정화됩니다. 48가지의 서로 다른 모델 디코딩 구성과 3가지 생성 후 재작성 전략에 걸친 광범위한 스트레스 테스트를 통해 실제 운영 경계를 설정합니다. VietBinoculars는 단일 패스 패러프레이징 및 인간 스타일의 수정에 대해 강력한 회복탄력성을 보이지만, 고엔트로피 샘플링 및 반복적인 이중 패러프레이징 하에서는 상당한 성능 저하를 겪습니다.
대규모 언어 모델(LLM)은 추천 태스크를 텍스트 생성 태스크로 변환함으로써 추천 분야에서 뛰어난 추론 능력을 입증해 왔습니다. 그러나 기존 접근 방식들은 사용자-아이템 간의 고차 상호작용을 무시하거나 비효율적으로 모델링합니다. 이를 위해 본 논문에서는 향상된 LLM 기반 추천기인 ELMRec을 제시합니다. 본 연구는 그래프 사전학습(pre-training) 없이도 추천을 위한 그래프 기반 상호작용에 대한 LLM의 해석 능력을 대폭 개선하기 위해 온단어 임베딩(whole-word embedding)을 강화합니다. 이러한 발견은 온단어 임베딩을 통해 풍부한 지식 그래프를 LLM 기반 추천 모델에 통합하려는 연구에 영감을 줄 수 있습니다. 또한 LLM이 최근의 상호작용보다 사용자의 초기 상호작용에 기반하여 아이템을 추천하는 경향이 있음을 발견하고, 이에 대한 재순위화(reranking) 솔루션을 제시합니다. 제안된 ELMRec은 직접 추천 및 순차적 추천 모두에서 최신(SOTA) 방법들보다 우수한 성능을 보입니다.
대규모 언어 모델(LLM)은 프롬프트나 모델을 조작하여 유해한 출력을 생성하게 만드는 프롬프트 주입(prompt injection), 백도어 공격(backdoor attack), 적대적 공격(adversarial attack)과 같은 공격에 취약하다. 본 논문에서는 전통적인 심층 학습 공격 패러다임에서 벗어나, 이들 공격의 본질적인 관계를 탐구하고 이를 통틀어 프롬프트 트리거 공격(Prompt Trigger Attack, PTA)이라고 명명한다. 이는 핵심적인 질문을 제기한다: 주어진 프롬프트에 대해, 숨겨진 트리거(trigger)가 모델의 동작을 조종하고 있는지 판별할 수 있는가? 우리는 UniGuardian을 제안한다. 이는 우리가 아는 한, 공격 유형을 알지 못한 상태에서도 성공적으로 활성화된 프롬프트 주입, 백도어, 적대적 공격을 공동으로 탐지하는 최초의 학습이 필요 없는(training-free) LLM 탐지기이다. 이 공유된 메커니즘은 구조화된 프롬프트 교란(perturbation)이 모델의 출력 분포를 얼마나 변화시키는지를 측정한다. 또한, 우리는 탐지 파이프라인을 최적화하기 위한 단일 순전파(single-forward) 전략을 도입하여, 각 디코딩 단계에서 공유된 배치 순전파(batched forward pass) 내에서 공격 탐지와 텍스트 생성을 동시에 수행할 수 있도록 한다. 우리의 실험은 UniGuardian이 LLM에서 트리거에 의해 활성화된 프롬프트를 정확하고 효율적으로 식별함을 확인한다.
본 논문에서는 모델 성능에 비례하여 확장되며 다양한 언어 모델 생성을 도출하는 추론 시점(inference-time) 방법인 가차 디코딩(Gacha Decoding)을 소개합니다. 개방형 도메인(실제 대화, 창작 글쓰기, 이미지 생성을 위한 계획 수립, 단백질 설계) 전반에서, Gacha Decoding은 동일한 품질 조건 하에서 기존의 생성 다양성 접근법들을 크게 능가하며(차순위 기존 접근법 대비 최대 2.4배 높은 Vendi 점수 달성), 10배 이상 적은 샘플 수(11.0배)로도 동일한 수의 고품질 모드를 확보하고 기존의 어떤 접근법으로도 드러나지 않았던 새로운 모드를 발견합니다. 본 연구의 핵심 통찰은 다양성을 지시 준수(instruction-following) 문제로 다루는 데 있습니다. 즉, 언어 모델의 토큰 엔트로피에만 의존하는 대신 모델의 지시 준수 능력과 외부 난수 생성기(RNG) 도구의 무작위성을 결합하여 응답 공간의 구별되는 모드들을 확장 가능한 방식으로 식별하고 구현합니다. 이러한 '주사위 기반 계획 수립(planning with dice)' 접근 방식을 통해 Gacha는 다양성과 모델 성능 간에 오랫동안 관찰되어 온 긴장 관계를 반전시킬 수 있었습니다. 기반 언어 모델의 지시 준수 능력이 향상될수록, 기존 접근법 하에서는 토큰 엔트로피와 다양성이 감소하더라도 Gacha Decoding 하에서의 다양성은 일관되게 향상됩니다. 종합적으로, 본 결과는 토큰 엔트로피 단독보다는 지시 준수가 생성 다양성을 견인할 수 있음을 강조합니다.
대규모 언어 모델(LLM)을 개인화하려면 생성 동작을 전체적인 평균 품질이 아닌 사용자별 선호도에 정렬(alignment)시켜야 합니다. 직접 선호 최적화(DPO)는 선호도 학습을 위한 안정적인 프레임워크를 제공하지만, 개인화된 환경에서의 효과는 선호도 쌍을 어떻게 선택하느냐에 크게 의존합니다. 기존 접근 방식은 일반적으로 가능도(likelihood) 기반 극단값과 같은 휴리스틱 기준에 의존하므로, 최적화가 명시적인 사용자 효용과 분리되어 개인화 성능 저하로 이어질 수 있습니다. 본 연구에서는 기대 사용자 효용의 그래디언트와 DPO 업데이트 방향 간의 1차 상호작용을 분석하여, 개인화된 선호도 학습을 기하학적으로 정렬된 최적화 문제로 공식화합니다. 분석 결과, 오프-정책(off-policy) 샘플링 하에서 선호도 마진이 효용 그래디언트와 방향적으로 정렬될 때 DPO 업데이트가 순수한 오류 수정 신호에서 강화 형태의 업데이트로 전환됨을 확인했습니다. 이러한 관점은 쌍 선택이 선호도 최적화가 개인화를 촉진하는지 저해하는지를 좌우하는 기하학적 결정임을 보여줍니다. 이러한 통찰을 바탕으로, 에포크(epoch)별 재생성을 통해 분포 변화를 제어하면서 효용을 인지하고 기하학적으로 정렬된 쌍 선택을 수행하는 반복 알고리즘인 GAP-DPO(Geometry-Aligned Preference DPO)를 제안합니다. 개인화된 텍스트 생성 벤치마크에 대한 실험은 GAP-DPO가 표준 DPO 변형들과 비교하여 문체 충실도, 선호도 정렬 및 생성 품질을 지속적으로 향상함을 보여줍니다. 종합적으로 본 연구의 결과는 그래디언트 정렬을 개인화된 선호도 최적화를 위한 통합 원리로 확립하며, 쌍 선택이 휴리스틱 전처리 단계가 아니라 최적화 기하학의 본질적인 구성 요소임을 입증합니다.
사고의 연쇄(Chain-of-Thought) 추론은 자기회귀 모델이 이후 예측을 뒷받침하는 중간 단계를 생성함으로써 복잡한 문제를 해결하도록 돕습니다. 마스크 확산 모델(MDM)은 임의 순서 생성을 통해 유사한 기회를 제공하며, 이상적으로는 논리적 의존성에 따라 중간 결과를 드러낼 수 있습니다. 그러나 실제로는 표준 디코딩이 단순히 높은 신뢰도(confidence)를 가진 토큰을 우선시하며, 이는 이러한 의존성 순서와 일치할 필요가 없습니다. 본 연구에서는 이러한 불일치를 모델이 장거리 의존성을 무시한 채 그럴듯한 토큰에 높은 확신을 가지고 전념하는 '신뢰도 지름길(confidence shortcut)'로 규정합니다. 예를 들어 다자리수 덧셈에서 모델은 긴 연쇄를 거치는 자리올림(carry)을 제대로 추적하지 않고 고차 자리 숫자를 예측합니다. 다양한 추론 작업 전반에 걸친 통제된 사전학습(pre-training) 실험을 통해 신뢰도 기반 순서 지정이 차선의 순서를 선택하는 경우가 많으며, 신뢰도에 맞춘 학습(training) 방식이 이러한 실패를 악화시킬 수 있음을 확인했습니다. 일례로 덧셈 오류율이 한 자릿수(order of magnitude) 증가했습니다. 본 연구 결과는 생성 순서를 선택할 때 신뢰도에만 의존하는 것과 이러한 선호를 강화하는 학습 목표에 대해 주의를 당부합니다. 실험 코드는 https://github.com/jinha2536/mdm-arithmetic 에서 확인할 수 있습니다.
확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.
대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.
폐루프(closed-loop) 수정은 대규모 언어 모델(LLM) 응용에서 점점 더 많이 쓰이지만, 실패는 불완전한 피드백 또는 올바른 피드백에 대한 비효과적인 대응에서 비롯될 수 있다. 우리는 정확한 길이, 어휘, 구성(compositional) 제약에 걸친 모든 남은 위반을 보고하는 결정론적 검증기(deterministic verifiers)를 갖춘 고정 예산 수정 프로토콜을 제안한다. 피드백의 정확성과 완전성을 고정함으로써 모델 측 수정 동작을 분리한다. 19개의 오픈·폐쇄형 소스 모델 전반에서, 컨트롤러 수준의 최종 결합 성공률 평균은 17.4%에서 99.8%까지 분포하며, 동일한 초안에서도 상당한 모델 간 격차가 지속된다. 통제 실험은 정확한(exact) 피드백에 대한 재현 가능한 모델별 반응을 보여준다. 사후 학습과 스케일(scale)은 이러한 반응을 재형성하지만, 정확한 수정에 더 가깝게 일관되게 끌어오지는 못한다. 모든 제약 계열에서 실패 궤적은 종종 이전 출력을 반복하며, 선행 반복은 이후 회복 가능성 저하와 연관된다. 매칭 상태(matched-state) 개입은 현재 초안과 피드백을 고정한 채 이전 대화를 제거하면 반복 탈출은 변하지만 최종 성공을 믿을 만하게 개선하지는 않음을 보여준다; 효과는 모델, 과제, 트리거 상태 구성에 따라 달라진다. 정확한 피드백은 수정 오류를 관찰 가능하게 하지만, 폐루프를 신뢰할 수 있게 만들지는 않는다. 코드 및 재현 방법: https://github.com/kevinjiang0121-cyber/exact-feedback-code.
개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.
우리는 최신 대규모 언어 모델(LLM)이 피드백 초점(feedback focus)과 적응성(adaptivity) 측면에서 전문 교사의 교육적 실천을 반영하는 피드백을 생성하는지 조사한다. 기존 평가 연구들은 피드백의 특성, 학습에 미치는 영향, 그리고 피드백의 대상을 살펴보았지만, 피드백의 초점과 그 적응성은 대체로 간과되어 왔다. 이러한 격차를 메우기 위해 우리는 Narciss의 분류 체계를 채택하고 다듬어 일곱 가지 피드백 초점 유형으로 정리하고, 이를 사용해 세 개의 대학 글쓰기 강좌에서 교사와 LLM이 생성한 피드백에 주석을 달았다. 우리는 세 가지 프롬프트 전략 하에서 여섯 개의 LLM이 생성한 피드백과 교사 피드백에 주석을 단 벤치마크인 FeedType을 공개한다. 우리는 피드백 초점 유형의 포괄 범위와 분포를 평가하고, LLM이 전문 교수자처럼 초안 단계와 학생 성취 수준에 따라 피드백을 조정하는지 검토한다. 연구 결과, 대부분의 LLM이 대부분의 피드백 초점 유형을 다루기는 하지만, 교사 피드백의 분포를 반영하지 못하며 적응성 수준도 제각각이고, 교사의 적응적 행동에 필적하는 모델은 없는 것으로 나타났다. 우리는 FeedType이 LLM 피드백 생성에서의 교육적 정렬(pedagogical alignment)에 관한 향후 연구를 뒷받침할 것이라 믿는다.
효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.
언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.
뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.
AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.