본 연구는 능동 학습(active learning)의 근본적인 질문, 즉 임의의 쿼리를 합성할 수 있는 능력이 얼마나 강력한가라는 문제를 다시 살펴본다. 학습자가 주어진 레이블 없는 풀(pool)에서만 쿼리를 선택하는 풀 기반 능동 학습과 비교할 때, 쿼리 능력에서의 이처럼 사소해 보이는 변화가 통계적 학습의 난이도를 극적으로 바꿀 수 있음을 발견하였다. 특히 풀 기반 설정에서는 본질적으로 학습이 느려 샘플 수에 대해 다항식 수준의 오차 감소만을 달성하는 일부 가설 클래스(hypothesis class)가, 합성된 쿼리가 허용되면 지수적으로 학습 가능해진다. 이러한 두드러진 격차는 멤버십 쿼리 합성(membership query synthesis)이 근본적으로 다른 학습 방식을 유도하며, 이는 기존 능동 학습 이론으로는 충분히 설명되지 않아 그 복잡도를 규명하기 위한 새로운 분석 도구가 필요함을 시사한다. 이러한 현상에 착안하여, 본 연구는 몇 가지 충분 조건을 개발하고 흥미로운 예시들을 제시하며, 어떤 가설 클래스가 합성된 쿼리를 통해 효율적인 학습을 허용하는지 이해하기 위한 추측적 관점을 제안한다.
온라인 플랫폼은 기후 변화에 대한 공적 논쟁의 장이 되어, 과학적 지식·부정·불확실성이 어떻게 표현되고 다투어지는지를 형성해 왔다. 그러나 YouTube, 특히 포르투갈어 담화에 대한 종단적 증거는 여전히 제한적이다. 이 공백을 메우기 위해, 우리는 브라질 중심의 기후 관련 검색을 통해 수집한 대규모 포르투갈어 YouTube 댓글 말뭉치에서 시간에 따른 기후 입장의 표현과 논쟁 양상을 규명한다. 노이즈가 많고 불균형하며 저자원(low-resource)인 환경에서의 분석을 뒷받침하기 위해, 2014년부터 2024년 사이에 게시된 24만 건 이상의 댓글을 수집하고, 입장 탐지(stance detection)를 3-way 분류 과제(Believer, Denier, Inconclusive)로 공식화한다. 우리는 Llama 3.1 기반의 확장 가능한 자기학습(self-training) 파이프라인을 통해 입장 귀속(stance attribution)을 운영화하며, Low-Rank Adaptation(LoRA)과 하이브리드 인스턴스 선택을 사용해 클래스 다양성을 유지하면서 고신뢰도 의사 라벨(pseudo-labeled) 예시로 학습 세트를 확장한다. 이 접근은 소수 클래스 및 수사적으로 복잡한 클래스에 대한 커버리지와 클래스 균형을 개선하여, 광범위한 수동 주석 없이 대규모 입장 귀속을 가능하게 한다. 결과는 양극화가 상호작용적 비대칭(interactional asymmetries)으로 뚜렷이 나타남을 보여준다. 부정론(denialist) 댓글은 덜 흔하지만, 상대적으로 더 높은 비율의 교차 입장 논쟁(cross-stance contestation)과 연관되며, 합의 지지(pro-consensus) 담화는 동일 입장(homogeneous) 스레드 내에서 더 강하게 강화된다.
대규모 텍스트 어노테이션은 수백만 건의 문서에 전문가의 통찰을 반영하며, 이는 흔히 AI 어노테이터가 따르는 코드북을 통해 이루어진다. 그러나 견고한 코드북을 개발하는 데에는 수개월이 걸린다. 대규모 언어 모델(LLM)은 초기 코드북을 데이터에 적용하고, LLM 간 불일치가 큰 사례를 찾아내며, 이를 해결하기 위한 전문가 피드백을 이끌어냄으로써 이 과정을 가속할 수 있다. 우리는 LLM 코드북 개정을 위해 전문가가 피드백을 제공하는 세 가지 방식을 살펴보았다: (i) LLM 간 불일치에 기반해 LLM이 생성한 개정안을 전문가가 편집하는 방식(Codebook Verifying), (ii) LLM 불일치에 관한 질문에 답하는 방식(Question Answering), (iii) 불일치 사례에 근거(rationale)와 함께 레이블을 부여하는 방식(Rationale Labeling). 수천 건의 튜터링 세션 녹취록을 대상으로 한 실험에서 Rationale Labeling은 전문가 레이블 대비 가장 높은 LLM 레이블링 정확도(64.9%)를 기록하여, 전문가가 개정한 코드북(57.8%)을 능가했다. 가장 성능이 좋은 Question Answering 설정 또한 이를 능가했다(60.5%). 본 연구는 LLM을 활용해 전문가의 어텐션을 전략적으로 집중시킬 수 있으며, 레이블링 성능을 희생하지 않고 수개월이 걸리던 코드북 개정을 며칠로 단축할 수 있음을 보여준다.
다양한 동작 조건에 걸쳐 외골격(exoskeleton) 보조를 개인화하는 것은 사용자 피드백을 수집하는 데 필요한 시간과 신체적 노력으로 인해 제약을 받습니다. 본 연구에서는 사용자의 선호도 지형(preference landscape)이 동작 조건 전반에서 매끄럽게 변화하는지, 그리고 이러한 연속성이 제한된 피드백으로부터의 학습을 언제 뒷받침하는지 조사했습니다. 본 논문에서는 문맥별 효용 추정치를 유지하면서 인접한 문맥 간 관측치를 공유하는 가우시안 프로세스(Gaussian-process) 선호도 모델인 CCPL(Context-Continuous Preference Learning)을 제안합니다. 성인 9명의 발목 및 팔꿈치 외골격 선호도 데이터를 바탕으로 시뮬레이션과 후향적 분석을 통해 CCPL을 평가했습니다. 시뮬레이션에서 CCPL은 선호도가 매끄럽게 변할 때 독립적 학습(independent learning) 대비 재구성(reconstruction) 및 선호도 기반 베이지안 최적화(Bayesian optimization) 성능을 향상시켰으나, 연속성이 약할 때는 부정적 전이(negative transfer)를 보였습니다. 두 인간 대상 연구 모두에서 각 참가자 및 문맥에 대해 개별적으로 추정된 전체 데이터 기준 지형은 인접한 동작 조건 간에 더 유사한 경향을 보였습니다. 문맥당 5회의 노출 조건에서 CCPL은 독립적 학습 대비 이러한 기준과의 평균 재구성 상관계수를 발목 보조의 경우 0.644에서 0.720으로, 팔꿈치 보조의 경우 0.476에서 0.526으로 높였습니다. 5회 노출 예산은 해당 상관계수와 일치시키는 데 필요한 추정 독립적 학습 예산보다 발목의 경우 약 37%, 팔꿈치의 경우 약 17% 더 낮았습니다. CCPL은 또한 독립적 학습 대비 홀드아웃(held-out) 반응 예측을 개선한 반면, 풀링 학습(pooled learning) 대비 이점은 다양하게 나타났습니다. 이러한 결과는 제한된 피드백 하에서 선호도 관측치를 공유하기 위한 근거로서 문맥 연속성을 지지하지만, 인간 대상의 온라인 개인화에 대한 이점은 여전히 확립되어야 할 과제로 남아 있습니다.
폐루프(closed-loop) 발견 시스템이 실험을 수행하고 의사결정을 업데이트하는 과정을 점점 더 자율화함에 따라, 기록 무결성(record integrity)은 실험 장비의 일부로 자리 잡고 있습니다. 본 논문에서는 정당한 물리적 대상과 측정값이 잘못 결합될 때 거짓 과학 유도(false-science induction)가 발생함을 보입니다. 이는 한계 데이터 분포(marginal data distribution)가 변하지 않은 채로 유지되는 반면, 신경 대리 모델(neural surrogate)이 실제 대상-결과 관계와 일치하지 않는 기록 기반 연관성을 충실하게 학습하도록 만듭니다. 녹색 형광 단백질(GFP) 적합도 및 재료 밴드갭(band-gap) 예측 루프 전반에서, 일관된 쌍별 오결합(coherent paired misbinding)은 실험 예산을 성능이 낮은 분지(basin) 쪽으로 체계적으로 전환시키는 반면, 동일한 규모의 무작위 치환은 무시할 수 있는 수준의 영향만을 미쳤습니다. 이러한 관찰은 테스트된 루프에서 예산 오배분을 제어하는 주요 변수가 단순 오류 빈도가 아닌 오류 일관성(error coherence)임을 밝혀냅니다. 결과적으로 도출된 결합 식별성 경계(binding identifiability boundary)는 모니터링 축 격리 및 피드백 충돌 분류(feedback-conflict triage)를 뒷받침하며, 이는 실행 전에 과도하게 집중된 제안을 차단하고 오염된 가설 축을 격리합니다.
전문가 어노테이션 역량의 한계는 생물 다양성 모니터링에서 흔한 제약이다. 수동 음향 기록 장치와 카메라 트랩은 전문가가 분석할 수 있는 속도보다 빠르게 데이터를 생성한다. 기계 학습(ML) 모델은 이러한 데이터를 대규모로 처리할 수 있지만, 그 신뢰성은 라벨이 붙은 표본의 품질, 양, 커버리지에 달려 있어 전문가 시간은 여전히 병목이다. 능동 학습(active learning, AL)은 고정된 어노테이션 예산 하에서 모델을 가장 크게 개선할 것으로 기대되는 표본을 선택함으로씨 이 병목을 완화하며, 발표된 근거에 따르면 목표 성능에 도달하는 데 필요한 라벨 수를 줄일 수 있다. 그러나 모니터링 프로그램은 더 넓은 질문에 직면한다: 제한된 전문가 예산을 어떻게 나누어야 모델 학습, 검증, 그리고 모델 출력에 기반한 생태 추정이 모두 신뢰 가능하게 유지되는가? AL은 표본을 비무작위로 선택하므로, 그 라벨은 검증, 보정(calibration), 또는 임계값 선택에 적합하지 않으며, 이 긴장은 드물게 인식된다. 우리는 음향 및 영상 양식에 걸친 AL 연구를 종합하고 공백과 기회를 식별한다. 대부분의 연구는 시뮬레이션 어노테이터를 사용한 사전 라벨 벤치마크에서 쿼리 전략을 평가하며, 실제 모니터링 워크플로에서의 배포는 드물고 조류와 고래류에 집중되어 있다. 박쥐, 곤충, 양서류, 어류는 과소 대표되며, 멀티모달 응용은 대체로 미탐색 상태이다. 평가는 어노테이션 노력의 헤드라인 감소에 초점을 맞추는 경우가 많고, 무작위 샘플링 베이스라인, 클래스별 결과, 또는 보정 분석 없이, 검증에 필요한 라벨을 거의 반영하지 않는다. 우리는 이러한 예산 결정을 명시적으로 드러내는 AL 루프에 대한 튜토리얼적 정리를 제공하고, 라벨 효율적 학습, 검증, 신뢰할 수 있는 하류 생태학적 추론을 지원하는 AL 방법을 향한 로드맵을 제시한다.
우리는 Hankel/L* 방식 방법에 대한 실용적이고 견고한 대안으로 비결정적 가중 오토마타(WFA)에 대한 SMT 기반 능동 학습 알고리즘을 제시한다. 우리 알고리즘은 주어진 semiring에 대해 매개변수화되어 있으며, 종료하면 최소 WFA를 생성함이 보장된다. 우리는 부분 정확성을 증명하고 충분한 종료 조건을 제시하며, 이는 특히 모든 유한 semiring에 대해 종료함을 함의한다. 광범위한 실험 평가 결과, 우리 알고리즘은 유한 semiring과 무한 semiring 모두에서 다수의 최소 WFA를 학습할 수 있으며, 순진한 기준선을 크게 능가하고, 최신 알고리즘과 경쟁력 있는 수준을 보이면서도 훨씬 더 작은 오토마타를 생성하고 교사와의 상호작용을 더 적게 요구함을 보여준다.
서버 기반 선별 도구는 구독 비용을 부과하고, 오픈소스 대안은 코딩 역량을 요구하며, 전문 선별은 노코드 오픈소스 도구의 범위 밖에 남아 왔다. 우리는 제목 및 초록(T&A) 선별과 전문 선별을 모두 아우르는 노코드·서버리스 인공지능(AI) 보조 연구 선별을 제공하는 오픈소스 Chrome 브라우저 확장 프로그램인 TiAb Review Plugin을 개발했다. Google Sheets를 공유 데이터베이스로, Google Drive를 PDF 저장소로 사용하며, 사용자는 자신의 대규모 언어 모델(LLM) API 키를 제공한다. T&A 선별에서는 수동 검토, LLM 배치 선별, 기계 학습(ML) 능동 학습을 제공한다. 전문 선별에서는 PubMed Central, Europe PMC, Unpaywall, OpenAlex 및 출판사 페이지에서 오픈 액세스 PDF를 가져오고, 구조화된 제외 사유와 중재를 갖춘 맹검 이중 검토를 지원하며, 선택적으로 페이지 앵커 증거와 함께 LLM 판정을 얻고 PRISMA 2020 흐름도 집계를 계산한다. 기본 ASReview 알고리즘(TF-IDF와 Naive Bayes)을 TypeScript로 재구현하고, 여섯 개 데이터셋에 대해 10-fold 교차 검증으로 Python 원본과 비교했다. LLM T&A 선별에서는 벤치마크 데이터셋에서 16가지 매개변수 구성을 비교하고, 최적 구성(Gemini 3.0 Flash, low thinking budget, TopP 0.95)을 공개 데이터셋 다섯 개(1,038~5,628건; 유병률 0.5%~2.0%)에서 검증했으며, 네 개 개발사의 아홉 개 추가 모델을 벤치마크했다. TypeScript 분류기는 여섯 데이터셋 모두에서 상위 100위 순위가 ASReview와 동일했다. LLM T&A 선별은 재현율 94%~100%, 정밀도 2%~15%를 달성했고, 재현율 95%에서의 표본 추출 대비 절감 업무량(WSS@95)은 46.3%~89.3%였다. 어떤 추가 모델도 기준 구성의 96.1% 재현율을 넘지 못했고, 최신 모델들은 재현율을 정밀도와 교환(trade-off)했다. 전문 단계의 분류 정확도는 아직 평가되지 않았다.
공간 전사체학(spatial transcriptomics, ST)은 조직 맥락에서 유전자 발현을 측정하지만, 촘촘한 캡처 그리드는 비용이 많이 들 수 있으며 형태학적으로 유사한 영역을 반복적으로 샘플링할 수 있다. 대부분의 능동 학습(active learning) 전략은 범주형 레이블과 독립 표본을 위해 개발되었다. 우리는 발현 벡터가 고차원·연속이고 후보들이 공간적으로 상관된 ST에서, 균일 Random 샘플링 대비 능동 학습에 대한 후향적 pool 기반 벤치마크를 수행한다. 완전 프로파일링된 공개 ST 코호트 두 개를 사용해 후보 발현 벡터를 마스킹하고, 불확실성 기반 Monte Carlo 드롭아웃(MC-dropout) 및 temporal output discrepancy(TOD), 다양성 기반 CoreSet 및 TypiClust 영감 선택으로 다회차 선택을 시뮬레이션한다. 환자 수준 교차 검증 하에서 fold 전체 학습 spot 풀의 5%, 10%, 30%, 50%에서 160개의 완료된 구성을 비교하며, 별도의 전체 레이블 기준(reference)을 둔다. 각 예산 내에서 전략들은 선택 일정, 형태-발현 예측기, 최적화 프로토콜을 공유한다. 슬라이드 내 유전자별 평균 Pearson 상관계수(PCC), 발현 클러스터 일치, Moran's I 충실도를 평가한다. HER2 양성 유방암에서 네 가지 능동 전략의 Random 대비 pooled mean PCC 차이는 5%, 10%, 30%, 50%에서 각각 -0.0176, -0.0117, +0.0056, +0.0057이었다. 피부 편평세포암(cutaneous squamous cell carcinoma, cSCC)에서는 5%에서 세 전략이 Random보다 낮았고, 10%에서는 네 전략 모두 Random보다 낮았다. HER2 양성 유방암에서 CoreSet과 MC-dropout은 가장 작은 두 예산에서 Random보다 PCC는 낮지만 발현 클러스터 일치는 더 높았으며, 이 패턴은 cSCC에서는 재현되지 않았다. 보고된 고정 학습 horizon 하에서, 평가된 능동 전략들은 작은 예산에서 Random을 일관되게 개선하지 않으며, 순위는 평가 지표에 따라 달라진다.
AI 연구 에이전트(agent)는 자신의 실험이 결과에 어떻게 영향을 미치는지에 대한 신뢰할 수 있는 지식이 필요합니다. 본 논문에서는 예산이 정해진 실험 후 구성 요소 변경에 대한 예측 정확도인 실험적 이해도를 측정하기 위한 WhatWorkedBench를 소개합니다. 에이전트는 코드를 검사하고, 측정값을 선택하며, 구성 요소 설정의 모든 구성에 대한 점수를 예측하는 표인 반응 표면(response surface)을 제출합니다. 완전 탐색 방식의 CPU 실행을 통해 다른 구성 요소를 고정한 상태에서 각 구성 요소를 변경할 때의 기준 효과를 제공합니다. 이러한 효과는 30개의 데이터 소스와 8개의 워크플로 유형에 걸친 36개 작업에서 1,248개의 구성 기록을 통해 변경 조합을 포착합니다. 핵심 평가는 8개 패밀리 전체에 걸친 4,206개의 수치 제어 기록과 원래 6개 패밀리에 걸친 108개의 에이전트 에피소드를 결합합니다. 8개의 새로운 측정값에서 쌍 효과 릿지(pair-effect ridge)는 22개 소스 중 15개에서 최적값을 선택하고, 3개 소스에서는 모든 효과 오류를 점수 범위의 10% 이내로 제한합니다. 동일한 에이전트 관측값에 가우시안 프로세스(GP)를 적합하면 실제 효과 크기 대비 정확도인 효과 복원율(effect recovery)이 기존 Flash 코호트에서는 0.632에서 0.698로, 추가 코호트에서는 0.621에서 0.720으로 향상됩니다. 완료된 6개의 비트 검출 및 그래프 제출물에서 동일 관측 GP는 패밀리-매크로 복원율을 0.303에서 0.455로 높입니다. 6개의 이진 옵션을 갖는 6개 워크플로에서 20개의 새로운 측정 시, 동일한 동작을 나타내는 구성인 코드 동등성을 인코딩하면 GP 복원율이 0.248에서 0.462로 향상됩니다. WhatWorkedBench는 실험 에이전트, 적응형 실험 설계, 수치 추론(inference), 프로그램 구조 활용에 관한 연구를 지원합니다.
언어 모델의 캘리브레이션(calibration, 표현되거나 내재된 확신도와 실증적 정확도 간의 일치)은 자연어 처리(NLP) 분야 내에서 잘 연구되어 온 하위 분야입니다. 이를 측정하는 방법은 이미 존재합니다. 문제는 도입(adoption)에 있습니다. 이 하위 분야를 벗어난 NLP 연구에서는 모델의 확신도 점수가 유의미한지 확인하지 않은 채 정기적으로 새로운 모델, 데이터셋, 벤치마크를 도입하고 있습니다. 우리는 이러한 도입 격차가 신뢰할 수 있는 대규모 언어 모델(LLM) 평가의 주된 장애물이라고 주장합니다. 잘못된 캘리브레이션(miscalibration)은 두 가지 뚜렷한 영역에서 문제를 일으킵니다. 첫째는 과도하게 확신하는 실수가 실제 피해를 초래하는 배포 단계이며, 둘째는 LLM-as-a-judge, 합성 데이터 생성, 능동 학습(active learning)과 같은 방법들이 이를 검증하지 않은 채 캘리브레이션된 확신도에 의존하는 연구 파이프라인 내부입니다. 표준 캘리브레이션 지표는 예제당 확신도 점수와 정확도 판단이라는 두 가지 입력만을 필요로 합니다. 오늘날 널리 사용되는 대부분의 벤치마크는 이미 이 둘을 모두 제공하므로, 캘리브레이션을 즉시 보고할 수 있습니다. 그러나 개방형 생성(open-ended generation)의 경우, 이 두 입력을 정의하는 것은 여전히 미해결 과제입니다. 우리는 각 NLP 하위 분야가 주요 성능 지표와 캘리브레이션 점수를 결합해야 한다고 주장하며, 캘리브레이션을 지엽적인 주제가 아닌 모든 모델의 필수적인 속성으로 다룰 것을 촉구합니다.
정확한 지상 기반 구름 분류는 대기 모니터링, 태양광 에너지 발전량 예측, 항공 기상 평가, 기후 관측 시스템에 중요하다. 그러나 신뢰할 수 있는 하늘 이미지 어노테이션은 시간이 많이 소요되며, 특히 구름 유형이 시각적으로 유사하거나 혼합되어 있을 때 더욱 그렇다. 본 연구는 지상 기반 구름 데이터셋(Ground-based Cloud Dataset, GCD)을 사용하여 지상 기반 구름 분류에 대한 심층 학습의 레이블 효율성을 연구한다. 새로운 아키텍처를 제안하는 대신, 제한된 어노테이션 예산 하에서 세 가지 실용적 전략, 즉 지도 전이학습(supervised transfer learning), 불확실성 기반 능동 학습(active learning), 고신뢰도 의사 레이블링(pseudo-labeling)을 벤치마크한다. ImageNet으로 사전학습된 ResNet50을 공통 고정(frozen) 백본으로 사용하며, 학습 레이블의 $1\%$부터 $100\%$까지의 레이블 예산에 대해 다섯 개의 랜덤 시드로 실험을 반복한다. 지도 전이학습은 이미 레이블 효율성이 매우 높다. 테스트 정확도는 레이블 $1\%$일 때 $0.635 \pm 0.018$에서 레이블 $40\%$일 때 $0.730 \pm 0.002$로 증가하여, 전체 레이블 결과인 $0.735 \pm 0.003$에 근접한다. 능동 학습과 의사 레이블링은 지도 샘플링과 대등한 성능을 보이며 일부 지표와 예산에서 소폭의 향상을 제공하지만, 둘 다 전체적으로 크거나 일관된 이득을 주지는 못한다. 진단 분석 결과, 채택된 의사 레이블은 $0.946$에서 $0.977$의 정확도로 신뢰할 수 있으나, 더 쉬운 고신뢰도 하늘 유형 그룹에 편향되어 있다. 반면 불확실성 샘플링은 Mixed 그룹과, 서로 혼동되기 쉬운 Stratocumulus 및 Cumulonimbus 그룹을 포함하여 시각적으로 어려운 그룹을 우선적으로 질의하지만, 이러한 표적 획득은 미미한 향상만을 가져온다. 종합하면, 전이학습은 GCD의 어노테이션 요구량을 크게 줄이는 반면, 단순한 능동 학습 및 준지도 학습 전략은 강력한 지도 학습 기준선 대비 추가적인 이점이 제한적이다.
개인정보 처리방침(privacy policy)에 대해 정확한 심층 학습(deep learning) 모델을 학습하는 데 있어 중요한 과제는 크고 포괄적인 학습 데이터 집합을 확보하는 데 드는 비용과 어려움이다. 이러한 과제를 해결하기 위해, 우리는 자동 텍스트 선택 및 분할, 능동 학습(active learning), 그리고 크라우드소싱 어노테이터(annotator)의 활용을 결합하여 개인정보 처리방침에 대한 크고 균형 잡힌 학습 데이터 집합을 저렴한 비용으로 생성하는 Calpric을 제안한다. 자동 텍스트 선택 및 분할은 레이블링 작업을 단순화하여, Amazon의 Mechanical Turk와 같은 크라우드소싱 플랫폼의 비전문 어노테이터도 법학전문대학원생과 같은 훈련된 어노테이터와 견줄 만한 수준을 보이게 하며, 또한 어노테이터 간 일치도(inter-annotator agreement) 요구를 줄여 레이블링 비용을 낮춘다. 학습에 사용할 신뢰할 수 있는 레이블을 확보하면 더 적은 학습 샘플로 입력 공간을 효율적으로 포괄하는 능동 학습을 활용할 수 있으며, 이는 비용을 더욱 줄이고 데이터 집합의 클래스 및 데이터 범주 균형을 개선한다. 이러한 기법들의 결합을 통해 Calpric은 기존 연구보다 더 넓은 범위의 데이터 범주에서 정확하고 더 상세하며 세분화된 레이블을 제공하는 모델을 만들 수 있다. 우리의 크라우드소싱 과정은 Calpric이 레이블링된 텍스트 세그먼트당 대략 $0.92~$1.71의 비용으로 신뢰할 수 있는 레이블 데이터를 확보할 수 있게 한다. 또한 Calpric의 학습 과정은 긍정 및 부정 샘플이 균형을 이루는, 9개 데이터 범주에 걸친 16K개의 개인정보 처리방침 텍스트 세그먼트로 구성된 레이블 데이터 집합도 함께 생성한다.
과학 에이전트(scientific agents)는 주로 과제 완료 여부나 알려진 결과 재현 여부로 평가되지만, 본 연구는 반복된 개방형(open-ended) 캠페인 간 변이를 조사한다. 동일한 모델-하니스(model-harness) 구성으로 각각 독립 초기화된 16개 세션에 12,499개 금속-유기 골격(metal-organic frameworks)의 고정(frozen) 데이터베이스, 메탄 저장(methane-storage) 목표, 고정(pinned) 프로토콜, 1주 예산이 주어졌다. 전략은 100~5,000개를 스크리닝한 구조 범위를 아우르는 네 가지 접근으로 갈라졌고, 여덟 세션은 2,253개의 가설(hypothetical) 구조를 생성했다. 그럼에도 에이전트들은 약 200 cm^3/cm^3 부근의 동일한 재료 프론티어(materials frontier)를 회복했으며, 데이터베이스 다공(porous) 영역에 대한 독립 계산은 최상위 9개 구조가 모두 그들의 보고에 포함됨을 확인했다. 절반의 에이전트에 강제 검증(enforced checks)을 적용하면 신규 실행(fresh-run) 재현이 8개 중 1개에서 8개 중 8개로 늘었으나 결론 타당성(conclusion validity)은 눈에 띄게 개선되지 않았다. 16개 중 15개 에이전트가 동일한 감사 제외(audit-excluded) 항목, 즉 누락된 음이온(anion)이 인공적인 기공 부피(pore volume)를 만든 불완전 구조를 선택했기 때문이다. 따라서 복제(replicated) 에이전트는 견고한(robust) 결론과 공유 입력(shared inputs)에서 비롯된 공통 모드(common-mode) 오류를 함께 드러낸다.
본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.
생체음향 호출 유형 분류(classification)는 비용이 많이 드는 전문가 주석에 의존합니다. 능동 학습(active learning)은 소량의 배치(batch) 구간을 선택해 전문가 주석을 받고 라벨링된 구간을 분류기 학습(training)에 사용함으로써 이러한 부담을 줄일 수 있습니다. 이 환경은 까다롭습니다. 목표 호출은 극히 희소하고 호출 유형 분포는 롱테일(long-tailed)을 띠므로, 한정된 예산을 정보량이 풍부한 소수의 희귀 구간에 집중적으로 투입해야 합니다. 우리는 배치가 생성하는 공간의 부피를 가장 크게 확장하는 BADGE 그래디언트(gradient) 임베딩(embedding)을 갖는 구간을 탐욕적으로 추가하는 결정론적 배치 선택기인 BADGE-Greedy-DPP를 제안합니다. 이 로그 부피 목적 함수는 서브모듈러(submodular)하기 때문에, 탐욕적 규칙은 이 목적 함수의 최적치 대비 최소 (1-1/e) 비율의 배치 가치를 보장하며, 이는 기존 BADGE의 k-means++ 및 MCMC DPP 샘플링 휴리스틱에서는 제공하지 못하는 보장입니다. 또한 이 태스크에는 시간적 입도 불일치(temporal granularity mismatch)도 존재합니다. 획득 함수는 전체 구간을 평가하지만 구간 내부의 정보가 풍부한 프레임은 소수에 불과합니다. 따라서 균일 평균을 적용하면 이 프레임들이 희석됩니다. BADGE 구조는 프레임 단위로 적용될 때 예측 잔차가 집계된 유사 그래디언트에 가중치(weight)를 부여하므로 이러한 불일치를 자연스럽게 해결합니다. 즉, 확신을 갖고 예측된 '호출 없음' 프레임은 기여도가 미미한 반면, 불확실한 단 하나의 희귀 호출 프레임이 구간의 방향성을 결정할 수 있습니다. 희소하고 불균형한 하이에나 호출 유형 데이터셋(dataset)을 대상으로 한 10회 실행 전반에서, BADGE-Greedy-DPP는 가장 강력한 비-BADGE 기준선(baseline)인 MFFT 및 두 가지 바닐라 BADGE 순회 방식을 포함하여 비교된 모든 쿼리 전략 중 가장 우수한 전반적 및 희귀 호출 유형 성능을 달성합니다.
학습(training) 데이터를 큐레이션하는 작업은 현대 AI 개발에서 가장 중대하면서도 노동 집약적인 과정 중 하나입니다. 실무자들은 노이즈가 있는 벤치마크(benchmark) 피드백에 맞춰 데이터 정책을 반복적으로 제안, 구현, 평가, 수정합니다. 본 논문에서는 범용 코딩 에이전트(agent)가 이러한 데이터 큐레이션 루프를 자동화할 수 있는지 묻습니다. 우리는 모델(model), 학습 레시피, 평가 스위트를 고정하는 동시에, 에이전트에게 데이터를 검토하고 정책을 구현하며 고정된 학습/평가 파이프라인에 제출하고 수정할 수 있는 커맨드라인 접근 권한을 부여하는 에이전트 중심의 벤치마크인 Curation-Bench를 소개합니다. 비전-언어(vision-language) 인스트럭션 튜닝(instruction tuning) 환경에서, 별도의 튜닝 없는(out-of-the-box) 에이전트는 10회의 반복(iteration) 내에 이미 발표된 강력한 데이터 선택 베이스라인 수준에 도달합니다. 그러나 궤적 분석 결과 지속적인 '실행-연구 격차(execution-research gap)'가 드러났습니다. 에이전트는 전략 가이드와 논문 레퍼런스가 주어지더라도 새로운 정책 계열을 탐험(exploration)하기보다는 주로 국소적인 정책 변형만을 튜닝합니다. 각 반복마다 이전 방법을 인용, 인스턴스화, 적용하도록 요구하는 스캐폴드(scaffold)는 에이전트를 방법론 기반의 탐험으로 유도합니다. 스캐폴드가 적용된 에이전트는 인간의 설계 개입 없이도 기존 데이터 예산의 10분의 1 수준으로 발표된 강력한 베이스라인을 능가하는 데이터 선택 정책을 자율적으로 구성합니다. 전반적으로 현재의 에이전트는 큐레이션 루프를 실행할 수 있으나, 신뢰할 수 있는 데이터 연구를 위해서는 개방형 프롬프트(prompt) 작성뿐만 아니라 스캐폴딩된 방법론 적응이 필요합니다. 코드와 벤치마크는 오픈소스로 공개되어 있습니다.
생성형 월드 모델(Generative world models)은 행동을 조건으로 하여 미래 상태를 예측하는 것을 목표로 하며, 여기서 행동 제어 가능성(action controllability)은 신뢰할 수 있는 역학 모델링을 위한 기본 요소입니다. 최근 시뮬레이터가 생성한 데이터를 활용하여 이러한 역량을 향상하려는 시도들이 이루어지고 있으나, 기존 학습(training) 파이프라인은 두 가지 근본적인 한계에 직면해 있습니다. 첫째, 정적인 오프라인 데이터 수집은 학습 세트와 모델(model)의 진화하는 오류 패턴 간의 분포 불일치를 유발하여 역학 예측이 여전히 신뢰할 수 없는 중요한 롱테일(long-tail) 시나리오를 해결하지 못합니다. 둘째, 관측 불일치를 최소화하는 표준 목적 함수는 종종 모델이 기저의 행동-효과 인과관계를 포착하는 대신 허위 상관관계(spurious correlations)를 악용하도록 유도합니다. 이러한 한계를 해결하기 위해, 능동적인 시뮬레이터 상호작용과 인과관계 인지 최적화를 통해 월드 모델링을 지속적으로 개선하는 온라인 학습 프레임워크인 OnlineWM을 제안합니다. OnlineWM은 두 가지 핵심 혁신을 도입합니다: (1) 능동 온라인 학습(Active Online Learning): 고정된 데이터셋을 사용하는 대신, OnlineWM은 모델의 현재 예측 취약점을 목표로 하는 새로운 상호작용 시퀀스를 시뮬레이터에 적응적으로 질의하여 효용성이 높은 데이터 수집을 보장합니다. (2) 인과관계 인지 미세조정(Causality-Aware Fine-Tuning): 동일한 상태에서 서로 다른 행동의 결과를 대조하는 반사실적 학습(counterfactual learning) 전략을 제안하여, 모델이 상태 전이를 주변 환경 변화가 아닌 특정 행동의 결과로 귀인하도록 강제함으로써 예측을 신뢰할 수 있는 인과 메커니즘에 그라운딩(grounding)합니다. 능동적 데이터 수집과 인과적 최적화를 통합함으로써, OnlineWM은 모델이 다양한 시나리오에 대해 강건하고 인과적 귀인에서 정밀함을 모두 보장하는 폐루프 개선 프로세스를 확립합니다. 광범위한 실험을 통해 OnlineWM이 행동 제어 가능성을 크게 향상시키고 보지 못한 도메인으로도 효과적으로 일반화됨을 입증합니다.
대규모 비전-언어 모델(VLM)은 고정된 클래스 집합을 넘어서는 인식을 가능하게 하지만, 높은 연산 요구량으로 인해 많은 엣지 디바이스에서는 실행할 수 없다. 클라우드 오프로드(cloud offload)를 통해 이러한 기능을 활용할 수 있지만, 모든 이미지를 전송하는 것은 제한된 대역폭과 통신 에너지를 소모한다. 우리는 엄격한 연산량, 에너지, 대역폭 예산 안에서 VLM의 오픈월드 인식 능력을 엣지로 가져오는 방법을 탐구한다. 야생동물 모니터링은 배포 시점에 알려지지 않은 종을 카메라 트랩이 마주치기 때문에 이 문제를 탐구하기에 자연스러운 환경을 제공한다. 우리는 클라우드 VLM을 간헐적으로 호출하여 소형 엣지 모델에 새로운 클래스를 학습시키는 자율적 오픈월드 인식 시스템인 Scout를 제시한다. 배포 위치와 (개체가 없는) 빈 현장 프레임만 주어지면, Scout는 사전 정의된 종 목록, 사람에 의한 레이블링, 수동 튜닝 없이도 VLM이 식별한 각 종을 자원 효율적인 엣지 모델 내의 지속적이고 현장 조건부(site-conditioned) 인식 능력으로 자율적으로 전환한다. NVIDIA Jetson Orin Nano 상에서 세 개 지역에 걸친 30개의 카메라 트랩 배포 환경에서, Scout의 정확도는 사전 정의된 종 목록이 주어진 모델 대비 0.1~2.5% 이내로 유지된다. 초기 클래스 집합에 포함되지 않은 종에 대해서는 Scout가 53.7~59.1%의 정확도를 달성하며, 이는 전체 클라우드 오프로드의 56.5~65.1%와 비교되는 수치이고, 동시에 배포 에너지는 59~71% 더 적게 사용한다.
콘텐츠 기반 이미지 검색(CBIR) 시스템은 메타데이터에만 의존하지 않고 시각적 콘텐츠를 기반으로 이미지를 검색할 수 있게 해 주는 컴퓨터 비전 분야의 핵심 도구로 자리 잡았다. 본 서베이 논문은 CBIR에 대한 포괄적인 개요를 제시하며, 객체 검출(object detection)에서 CBIR이 수행하는 역할과 콘텐츠 특징을 기반으로 시각적으로 유사한 이미지를 식별하고 검색할 수 있는 잠재력을 강조한다. 의미적 격차(semantic gap)와 확장성(scalability)을 비롯해 CBIR 시스템이 직면한 과제를 잠재적 해결책과 함께 논의한다. 또한 저수준 특징과 고수준 의미 개념 사이의 차이에서 비롯되는 의미적 격차를 자세히 설명하고, 이 격차를 해소하기 위한 접근법을 탐구한다. 주목할 만한 해결책 중 하나는 관련성 피드백(relevance feedback, RF)의 통합으로, 사용자가 검색된 이미지에 대해 피드백을 제공하고 검색 결과를 반복적으로 개선할 수 있게 한다. 본 서베이는 CBIR의 정확도와 관련성을 높이기 위해 RF를 활용하는 장기 및 단기 학습 접근법을 포괄한다. 이러한 방법들은 가중치(weight) 최적화와, 분류기 학습(training)에 사용할 샘플을 선택하기 위한 능동 학습(active learning) 알고리즘의 활용에 초점을 둔다. 나아가 본 논문은 CBIR 성능을 향상시키기 위한 머신러닝 기법과 심층 학습(deep learning) 및 합성곱 신경망(convolutional neural network)의 활용을 살펴본다. 본 서베이 논문은 CBIR과 RF 기법에 대한 이해를 증진하는 데 중요한 역할을 한다. 연구자와 실무자가 기존 방법론, 과제, 잠재적 해결책을 이해하도록 안내하고, 지식 확산을 촉진하며 연구 공백을 파악하게 한다. 향후 연구 방향을 다룸으로써, 다양한 응용 분야에서 검색 정확도, 사용성, 효과성을 높일 CBIR의 발전을 위한 토대를 마련한다.