온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.
자기학습(ST)은 간단하면서도 효과적인 준지도 학습(semi-supervised learning) 방법이다. 그러나 오류가 있을 수 있는 의사 라벨(pseudo-label)을 사용하여 ST가 왜, 어떻게 일반화 성능을 향상시키는지는 아직 충분히 이해되지 않았다. ST에 대한 이해를 심화하기 위해, 입력 차원과 데이터 크기가 비례하여 발산하는 점근적 극한에서, 이진 가우시안 혼합에 대해 릿지 정규화된 볼록 손실을 최소화하여 선형 분류기를 학습할 때 반복적 ST의 행동을 정밀하게 특성화하여 도출하고 분석한다. 결과는 반복 횟수에 따라 ST가 서로 다른 방식으로 일반화를 향상시킴을 보여준다. 반복 횟수가 적을 때, ST는 비교적 신뢰할 수 있는 의사 라벨에 모델을 적합시키고 각 반복에서 모델 매개변수를 크게 갱신함으로써 일반화 성능을 향상시킨다. 이는 ST가 직관적으로 작동함을 시사한다. 반면, 반복이 많을 때 ST는 소프트 라벨과 작은 정규화를 사용하여 모델 매개변수를 점진적으로 갱신함으로써 분류 평면의 방향을 점차 개선할 수 있다. 이는 ST의 작은 갱신이 거의 잡음 없이 데이터로부터 정보를 추출할 수 있기 때문이라고 주장된다. 그러나 라벨 불균형이 있을 때, ST의 일반화 성능은 진짜 라벨을 사용한 지도 학습보다 낮다. 이를 극복하기 위해, 상당한 라벨 불균형이 있어도 ST가 지도 학습과 거의 동등한 성능을 달성할 수 있게 하는 두 가지 휴리스틱을 제안한다.
사전학습된 대규모 언어 모델(LLM)에서의 지식 업데이트는 여전히 중요한 과제로 남아 있다. 지속적 학습(continual training)은 지식 업데이트를 위한 잠재적 방법을 제공하지만, 여전히 상당한 기술적 어려움을 수반한다. 더불어, LLM은 뉴스 기사와 같은 특정 사실 정보에 관한 질문에 정확하게 답하는 데 어려움을 겪는 경우가 많은데, 이는 연구 커뮤니티에서 널리 인식된 능력의 한계이다. 본 논문은 뉴스 기사의 상세한 사실 정보를 새로운 지식으로 LLM에 통합하기 위한 단순하면서도 강력한 프레임워크인 PASTA를 제안하며, 해당 지식에 관한 질문에 정확하게 답하는 특화 모델 구축을 주요 목표로 한다. 본 프레임워크는 데이터 증강, 질의응답 생성, 그리고 지식 덮어쓰기와 환각(hallucination) 억제를 동시에 가능하게 하는 새로운 자기학습 DPO 프로세스를 결합한다. 학습 파라미터와 데이터 구성에 대한 체계적인 분석을 통해 효과적인 지식 업데이트에 관한 인사이트를 제공한다. 기반 모델의 지식 컷오프 이후 게재된 웹 기사를 대상으로 한 실험적 평가에서, PASTA는 일반 언어 능력을 유지하면서 정확도를 0.02에서 0.82로 현저히 향상시켜, 도메인 특화 LLM 구축에 있어 그 효과성을 입증하였다.
Recursive self-training can degrade neural generative models when generated data is reused without fresh human data or external quality control. We study this risk in code LLMs, where AI-generated code can enter real repositories, later become training data, and create a repository-scale self-training loop. While software development traditionally interrupts this loop through pull-request review, tests, compilation, and human approval, AI coding tools now produce code faster than humans can review it, and code review itself is increasingly automated by AI systems. We therefore compare three recursive fine-tuning regimes: no review, Human-gate review using model-independent filters such as compilation and static quality checks, and AI-self-gate review using the code LLM's own signals such as perplexity and binary self-scoring. Across multiple code LLMs and benchmarks, no review collapses fastest, Human-gate filters slow but do not stop collapse, and AI-self-gate filters can look strong early but later lose their filtering effect. In the clearest case, the binary self-gate enters a rubber-stamp regime where acceptance scores rise while benchmark correctness falls. We explain this behavior by formulating review as gated distributional reweighting, proving that AI self-gating degenerates to ungated self-training under a self-confirming acceptance condition, and giving a spectral analysis of representation-level covariance concentration under recursive retraining. These results suggest that stable recursive code LLM training requires exogenous verification rather than model-coupled self-review.
비전-언어 모델(VLM)의 자기학습(self-training) 과정에서 발생하는 시각적 환각과 언어적 지름길 문제를 해결하기 위해, 캡션-추론-결론 구조의 CoT 템플릿과 비지도 캡션 품질 평가 모듈 PerceptEval을 결합한 지각 검증 자기학습 프레임워크를 제안한다. 이 프레임워크는 데이터를 난이도별로 분류하고 2단계 커리큘럼 학습을 적용하여 기존 자기학습 기법 대비 최대 16%의 추론 성능 향상을 달성했다.
자기 개선은 자기 퇴화를 일으킬 수 있다. 코드에 대한 REINFORCE 사후 학습에서 모델은 최적화된 지표에서 빠르게 개선된 뒤 동일한 학습 캠페인 내에서 붕괴할 수 있다. 우리는 Qwen-2.5-3B와 Qwen-2.5-7B를 사용한 통제된 다중 시드 테스트베드에서 이를 연구한다. 이 모델들은 이진 CodeGrader 보상을 사용해 경쟁 프로그래밍 과제로 학습되었으며, 10개의 순차적 20단계 캠페인을 거쳤다. 캠페인 전반에 걸쳐 pass@1은 견고한 상승 후 붕괴 패턴을 보인다. 수십 그래디언트 스텝 내에 정점에 도달한 뒤 다시 하락하며, 때로는 거의 0에 가깝게 떨어진다. 이는 태스크 간 치명적 망각(catastrophic forgetting)이 아니라 고정된 분포에 대한 태스크 내 정책 과최적화(over-optimization)이다. KL 및 EWC 스타일 제약은 이를 막지 못한다. 우리는 제어 루프가 어디에 위치해야 하는지 묻는다. 세 가지 수준을 비교한다. CARE는 역량 사후분포(capability posterior), 전이 게이트(transfer gate), 회귀 인식 믿음 수정(regression-aware belief revision)을 갖춘 캠페인 간 메모리 메커니즘이다. ES는 정점 체크포인트를 앞으로 롤포워드하고 다음 예산을 peak_step+3으로 설정하는 캠페인 내 조기 중단 규칙이다. GRPO는 그룹 상대 보상 정규화를 사용해 RL 업데이트를 변경한다. 답은 체제에 따라 다르다. naive REINFORCE가 취약한 Qwen-2.5-3B에서 CARE v2는 체인 종료 시점 pass@1을 4.9%에서 9.5%로 거의 두 배로 끌어올린다. paired bootstrap 95% CI는 [+0.4,+8.9]이며 5개 시드 중 4개에서 향상을 보인다. Qwen-2.5-7B에서는 CARE가 naive REINFORCE와 동등 수준(13.8% 대 11.8%)에 도달하는 반면, ES는 22.2% [14.1,28.0]에 도달한다. 즉시 사용 가능한(out-of-the-box) GRPO는 20.7% [15.7,25.1]에 도달하여 REINFORCE+ES와 거의 맞선다. GRPO는 하한을 높이지만 절벽(cliff)을 제거하지는 않는다. 7B에서의 GRPO 이득은 주로 더 나은 캠페인 간 이월(carryover)에서 비롯되며, REINFORCE와 GRPO 모두에서 캠페인 내 정점-종료 간격은 약 17포인트로 남아 있다. GRPO+ES는 엇갈린 증거를 보인다. 3개 시드 중 2개는 개선되지만, 하나의 최종 절벽이 평균을 17.0% [0.0,28.1]로 낮춘다. Gemma-3-4B 파일럿도 동일한 특징을 보여, 이 현상이 Qwen에 한정되지 않음을 시사한다.
비지도 건물 변화 탐지는 라벨이 없는 이중 시점 원격 탐사 영상으로부터 건물 변화 마스크를 학습하는 것을 목표로 한다. 기존 무라벨 방법들은 종종 불일치-마스크(discrepancy-to-mask) 패러다임을 따르며, 시간적 차이, 고정된 파운데이션 모델(foundation model)의 응답, 프롬프트 기반 출력, 또는 후처리 결과를 최종 변화 맵으로 직접 사용한다. 이러한 전략들은 주석 없는 단서를 제공하지만, 과제 특화 건물 변화 탐지기를 학습하지 않으며, 일반적인 시간적 불일치와 건물로 정의된 구조적 변화 사이의 간극에 취약하다. 실제로 이러한 불일치는 외관 변화, 정합(registration) 오류, 건물이 아닌 수정 등이 강하지만 오해를 유발하는 응답을 만들 수 있어, 종종 노이즈가 많고 과제와 무관하다. 이 문제를 해결하기 위해, 우리는 완전 무라벨 건물 변화 탐지를 노이즈가 있는 의사(pseudo) 감독 하에서의 end-to-end 탐지기 학습으로 재정식화하는 공간 선택적 자기 학습 프레임워크인 SST-CD를 제안한다. SST-CD는 시간적 불일치를 후보 의사 라벨로 사용하고, 감독에서 불일치 영역을 걸러내는 국소 일관성(local consistency) 기준으로 신뢰도를 추정한 공간적으로 신뢰할 수 있는 픽셀에서만 탐지기를 학습한다. 노이즈가 많은 자기 학습을 더 안정화하기 위해, 경량 특징(feature) 어댑터가 이중 시점 특징을 재보정하고, 프로토타입 기반 디코더가 간결한 변화 및 무-변화 표현을 생성한다. LEVIR-CD, WHU-CD, DSIFN-CD에서의 실험은 SST-CD가 각각 F1 점수 83.08%, 91.69%, 86.60%를 달성하여 기존 비지도 및 무라벨 기준선(baseline)을 능가함을 보여준다.