언어를 연구하기 위한 합성 환경으로 계층형 모델이 제안됐지만, 실제 언어 말뭉치와 얼마나 관련이 있는지는 충분히 연구되지 않았다. 이 연구에서는 2차 및 3차 텐서를 계층적으로 합성해 조건부 확률 텐서 $p(x_n \mid x_{1:n-1})$를 구성하는 자기회귀 생성 $n$-그램 모델인 트리그램을 소개한다. $n$은 최대 문맥 윈도 크기를, 랭크 하이퍼파라미터 $d$는 모델 용량을 제어한다. 이를 통해 해석할 수 있고 규모를 체계적으로 늘릴 수 있는 언어 근사 모델 제품군을 얻는다. 트리그램은 기존 $n$-그램 기준선보다 우수하면서도 심층 트랜스포머 기반 언어 모델과 경쟁력 있는 성능을 보인다. 트리그램을 생성 모델로 사용해 이러한 제어 가능한 근사의 유용성을 입증한다. 특히 중간 수준의 $n$과 $d$를 가진 트리그램으로 생성한 더 단순한 데이터에서 폭이 좁은 모델을 조정하면 $\mu$P에서 하이퍼파라미터 전이의 강건성을 높일 수 있다. 또한 엔트로피와 상관관계의 유효 범위가 미세조정 이후의 성능 차이를 좌우함을 보인다. 이는 트리그램에서 문맥 범위와 모델 용량을 명시적으로 제어할 수 있기 때문이다. 여러 후보 토폴로지로 라우팅을 허용하자 트리그램에서 희소성이 나타났다. 라우팅이 일부 토폴로지에 집중되므로 성능을 크게 바꾸지 않고도 토폴로지를 최대 95%까지 가지치기할 수 있었다.
AI 기반 레지스터 전송 수준(RTL) 결함 위치 탐지와 디버깅에는 버그의 위치가 알려져 있고 실패를 관찰할 수 있는 정답 데이터셋이 필요하다. 테스트벤치의 탐지 능력도 주입한 버그로 평가한다. 이러한 데이터셋을 대규모로 만드는 일은 전자 설계 자동화(EDA)의 주요 과제다. BugGen 1.0은 대규모 언어 모델(LLM)이 문맥을 고려한 RTL 변이를 생성할 수 있음을 보였다. 다만 변경 위치를 고르는 일과 수정안을 만드는 일을 모두 모델에 맡기므로 추론 비용이 크고 유효하지 않은 위치를 고를 수 있다. BugGen 2.0은 역할을 바꿔 구조 분석, 대상 선택, 검증을 결정론적 알고리즘에 맡기고, LLM은 국소적인 의미 단위의 코드 수정에 집중하게 한다. OpenTitan IP 블록 네 개와 FabScalar에 LLM 세 종을 적용한 결과, 적어도 두 건의 테스트 실패를 일으키면서 컴파일할 수 있는 버그 시나리오가 요청한 수량만큼 모두 생성됐다. 설정한 변이 유형 16개 중 14~16개가 포함됐다. 같은 모델로 비교를 완료한 실험에서 토큰 사용량은 BugGen 1.0 대비 6.8~15.4분의 1, Firefly 대비 1.5~7.9분의 1로 줄었다. 새 버그를 모두 시뮬레이션하지 않고도 데이터셋을 확장할 수 있다. 관찰할 수 있는 실패를 일으켜 기준을 통과한 시나리오를 찾은 뒤, 같은 위치에 다른 변이를 만들고 일부만 시뮬레이션해 나머지의 통과 여부를 추정한다. 이에 따라 AES 변이의 63.6%와 FabScalar 변이의 33.9%는 시뮬레이션을 생략했다. 전체 시뮬레이션에서는 AES 변이의 77.7%, FabScalar 변이의 95.2%가 통과했다. 직접 비교 가능한 FabScalar 집합에서 추정 오차는 1.09%였다. 이 결과는 LLM을 의미 단위의 수정에 집중시키면 추론과 시뮬레이션 비용을 줄이고 모델 및 설계 간 일관성을 높일 수 있음을 보여 준다.
강화학습(RL)에서 전이학습은 높은 실험 성능을 보였다. 이 연구에서는 두 마르코프 결정 과정(MDP), 즉 출발 환경과 대상 환경 간에 지식을 전이하는 것이 언제 어떻게 도움이 되는지 이론적으로 분석한다. 구체적으로 대상의 상태 공간에 적용하면 출발 환경의 상태 공간을 정확히 복원하는 역변환 사상이 있는 경우를 살펴본다. 두 MDP에서 얻은 상태 특징의 통계량을 일치시켜 이 사상을 학습하고, 이를 사용해 출발 정책을 대상 환경으로 옮기는 알고리즘을 제안한다. 역변환 사상이 선형이고 출발 환경의 최적 가치 함수 $Q^\star$를 선형으로 표현할 수 있는 경우를 분석해 알고리즘의 이론적 근거를 제시한다. 이 경우 제안 방식의 샘플 복잡도는 대상 MDP에서 처음부터 강화학습할 때보다 엄밀히 작다. 난도가 높은 연속 제어 과제와 Atari 게임에서도 훨씬 높은 샘플 효율을 달성해 이러한 이점이 분석 조건을 넘어 나타남을 보였다. 이 결과는 과제 간 공통 구조를 활용해 환경이 달라져도 정책을 효율적으로 전이할 수 있음을 보여 준다.
과학은 새로운 발견으로 기존 지식의 범위를 바꾸고 다음 발견의 토대를 마련하며 발전한다. 이 과정을 이끄는 자기조직화 AI 연구자 Colombo를 소개하고, 첫 적용 사례로 오라클 기반 최적화를 다룬다. 핵심 질문은 정해진 정보 인터페이스를 통해 어떤 문제군을 얼마나 효율적으로 풀 수 있으며, 허용되는 어떤 알고리즘도 피할 수 없는 비용이 무엇인가이다. 달성 가능한 성능 보장과 피할 수 없는 한계 사이의 간극이 연구의 최전선을 정한다. Colombo는 이 최전선의 문제 설정과 현재까지의 지식을 계속 갱신하는 지도인 복잡도 아틀라스에 기록한다. 자기조직화 기능은 해결되지 않은 간극을 적응형 연구 계획으로 바꾼다. 근거가 쌓일 때마다 추측 수립, 수학적 탐구, 계획 수정을 조율한다. 적대적 공동 상승은 알고리즘과 풀기 어려운 문제군이 서로 도전하게 하면서 양쪽을 발전시킨다. 이로써 정보를 활용하거나 숨기는 원리를 드러내 더 나은 알고리즘과 피할 수 없는 비용의 증명을 이끈다. 독립 검토와 Lean 기반 형식 인증으로 수학적 주장을 검증한다. 장기 기억은 근거가 확보된 결과와 연구 경험을 다른 문제 설정에 전달한다. 현재까지 Colombo는 아틀라스의 50개가 넘는 설정에서 최적 또는 최적에 가까운 수렴률이나 복잡도 비율을 확립했다. 이는 검증된 성과가 다음 진전을 위한 조건을 다시 형성해, 탐구 방식과 발견할 수 있는 범위를 계속 바꾸는 자기생성적 과학을 향한 구체적인 한 걸음이다.
AI 에이전트는 수백 가지 자연어 기준을 따라야 한다. 기존 검증기는 이처럼 많은 기준을 에이전트의 출력에 효율적으로 적용해 어느 기준을 충족하거나 위반했는지, 어느 기준이 적용되지 않는지 보고하기 어렵다. 공유 문맥과 대상 텍스트를 인코딩하는 트리 어텐션 검증기 VFM을 소개한다. 자연어로 작성한 기준 N개를 병렬로 평가하고, 기준별로 독립된 세 가지 상태 중 하나를 판정한다. VFM은 문맥, 대상, 기준, 판정으로 이루어진 튜플 39만 4천 개를 담은 CriteriaBank에서 사전학습했다. 이 말뭉치에는 서로 다른 기준 문구 32만 1천 개 이상이 포함돼 있다. 미세조정한 VFM-4B는 합성 거버넌스 벤치마크에서 GPT-5.4보다 우수했다. 다중 기준 벤치마크 DynaBench에서는 실행 기록 단위의 실패 탐지에서 DynaGuard-4B를 앞섰다. 기준별 판정으로 위반한 규칙을 특정할 수 있고, 필요한 부분만 더 큰 사고 과정 판정 모델에 넘길 수 있다. CriteriaBank 사전학습은 특히 데이터가 적을 때 도메인 간 전이를 개선했으며, 전체 데이터를 썼을 때는 성능이 높은 직접 미세조정 대조군과 비슷했다. VFM-4B는 H100 한 장에서 VRAM 11GB 미만을 사용해 4천 토큰 문맥에 대한 기준 1,000개를 2초 이내에 평가했다. 따라서 실행 중에도 검증에 쓸 수 있다.
에이전트 진화는 간단한 반복으로 이루어진다. 제안기가 프롬프트, 스킬, 메모리 같은 후보 산출물을 작성하고, 선별 단계에서 점수가 더 높은 후보를 채택한다. 이 반복 방식은 가능성을 보였지만, 논문마다 우수한 방법이 다르고 일부 과제에서는 진화가 초기에 진전되지 않는 문제가 있다. 이를 설명하기 위해 분해능 가설을 제시한다. 더 나은 후보가 제안돼도 평가의 잡음 때문에 그 후보를 신뢰성 있게 식별하지 못하면 에이전트 진화가 정체된다는 가설이다. 진화 방법 7개와 모델 6개로 LLM을 1,000만 회 넘게 호출한 실험에서 평가 점수를 사용하는 두 수준 모두 가설을 뒷받침했다. 후보 산출물을 고르는 수준에서는 유용한 후보가 존재하지만 선별은 이를 성능을 해치는 후보와 구별하는 데 무작위 선택보다 낫지 않았다. 따라서 반복할 때마다 오류가 쌓인다. 방법 간 순위를 매기는 수준에서는 흔히 관찰되는 수 퍼센트포인트 차이가 동일한 방법을 독립적으로 두 번 실행했을 때의 차이보다 작았다. 따라서 발표된 순위가 우연에 좌우되는 경우가 많다. 이 결과는 에이전트 진화의 병목이 실제 개선을 신뢰성 있게 식별하는 데 있음을 보여 준다. 자기 개선 에이전트를 개발하고 평가할 때 후보 제안 시스템을 더 많이 설계하는 데서 실제 개선을 감지하고 누적할 수 있게 하는 데로 초점을 옮길 필요가 있다.
자기 개선 에이전트는 보통 산출하는 결과에 맞춰 최적화되며, 결과에 이르는 과정에는 상대적으로 관심을 덜 기울인다. 특히 정답이 정해지지 않은 과제에서는 설계자가 지시를 통해 에이전트의 작업 방식에 영향을 주는 데 한계가 있다. 에이전트의 지속적 지시 파일에 짧은 가치 선언문을 넣으면 성능뿐 아니라 무엇을 만드는지도 달라지는지 조사했다. 슈워츠의 기본적 인간 가치 이론에 나오는 네 가지 상위 가치 유형인 변화에 대한 개방성, 보수주의, 자기 향상, 자기 초월을 평가했다. 다양한 코딩 과제에서 자기 개선을 여러 차례 반복하는 동안 실행별 가치관은 고정했다. 세 가지 결과를 얻었다. (1) 여러 과제에서 가치관은 성능에 영향을 주었다. 개방성 가치는 따로 보관한 데이터에서 성능을 높였고, 반대편의 보수주의 가치는 가치 선언을 받지 않은 에이전트보다 낮은 점수를 냈다. (2) 가치관은 에이전트가 만드는 결과물을 바꿨다. 해법 알고리즘의 크기, 복잡도, 접근 방식이 달라졌다. (3) 가치관을 설계하려면 여전히 사람의 감독이 필요했다. 에이전트가 스스로 가치관을 고치게 하면 가치관 유형에 따른 차이가 줄었다. AI 문헌에서 추출한 가치관은 가치 선언을 하지 않았을 때보다 감지할 만한 성능 향상을 내지 못했다. 적절히 설계한 가치관은 자기 개선 코딩 에이전트가 무엇을 만드는지에 영향을 주며, 일부 과제에서는 성능에도 영향을 줄 수 있다.
건물의 열관성이 크고 바닥난방(UFH)의 응답이 느려 히트펌프(HP)와 바닥난방을 효율적으로 제어하기는 어렵다. 심층 강화학습(DRL)은 에너지 소비와 열 쾌적성을 함께 최적화할 수 있는 데이터 기반 제어 방법이다. 그러나 입주자가 있는 건물의 실제 운영 조건에 DRL 제어기를 적용한 사례는 드물다. 통합 바닥난방·히트펌프 시스템을 위한 DRL 제어기의 개발, 평가, 현장 배포를 다룬 종단 간 사례를 제시한다. 먼저 시뮬레이션 기반 예비 연구로 여러 DRL 알고리즘과 제어 전략, 설정을 평가했다. 이어 실제 주거 건물의 디지털 트윈을 개발해 모의 운영 조건에서 DRL 에이전트를 학습시켰다. 성능이 가장 높은 에이전트는 추가 온라인 미세조정 없이 실제 건물에 배포했다. 제어기는 히트펌프의 공급 온도와 바닥난방 밸브 위치를 동적으로 조절하면서 실내 온도를 정해진 쾌적 범위 안에 유지했다. 이 결과는 입주자가 있는 건물에서 DRL 제어기를 배포할 수 있음을 보여 준다. 또한 제어기의 강건성과 함께 디지털 환경에서 학습한 제어 정책을 실제 난방 시스템으로 옮길 때의 실무적 과제를 드러낸다.
Video-MME-v2 같은 긴 비디오 질의응답 벤치마크는 쿼리마다 필요한 근거의 양이 크게 달라도 보통 모든 질문에 같은 프레임 예산을 적용한다. Video-MME-v2에서 이 불일치를 분석했다. 질문의 하위 집합마다 효과적인 고정 프레임 예산 정책이 달랐고, 모든 질문에서 프레임 수를 똑같이 늘려도 모든 평가지표가 일관되게 개선되지는 않았다. 이를 바탕으로 평균을 고정하는 프레임 예산 라우팅을 제안한다. 질문마다 다른 프레임 예산을 배정하되 평균은 모든 질문에 같은 예산을 적용하는 기준과 맞추는 통제된 추론 조건이다. 추가 학습 없이 테스트 시 적용하는 FrameRouter는 근거 요구량을 판단하는 라우터, 예산 제약을 준수하는 할당 규칙, 고정된 프레임 샘플링 정책 모음을 결합한다. 기반 샘플러는 그대로 두고 각 질문에 제공할 시각적 근거의 양을 조절하므로, 쿼리를 고려한 프레임 선택과 별개로 적용할 수 있다. Video-MME-v2와 여러 긴 비디오 이해 벤치마크에서 FrameRouter는 동일한 평균 시각 정보 예산을 질문별로 더 선별적으로 배분해 긴 비디오 질의응답 성능을 높였다. 코드는 https://github.com/bingjunluo/FrameRouter 에 공개되어 있다.
3D 가우시안 스플래팅(3DGS)을 사용하면 사진처럼 사실적인 장면을 재구성할 수 있다. 기존 3DGS 색상 전이 및 대화형 편집 방법은 참조 이미지와 사용자가 지정한 색상 조정에 의존한다. 하지만 많은 응용에서 사용자가 원하는 것은 시점 간 색과 색조의 일관성을 유지하면서 장면의 색감을 보기 좋게 자동으로 개선하는 것이다. 사전학습한 3DGS 모델의 색감을 참조 이미지 없이 개선하는 프레임워크 ReTouchGS를 제안한다. 우리가 아는 한 이 유형의 첫 프레임워크다. 모델과 그에 대응하는 카메라 매개변수에서 장면 단위 색상 조회 테이블(LUT)을 예측한다. 같은 장면의 편집된 시점 하나와 그에 대응하는 원본 렌더링 결과로 장면 단위 LUT를 적합해 참조 기반 색상 전이도 지원한다. 블렌딩을 고려하는 공유 색상 정제 신경망은 매개변수가 4만 4,700개에 불과하다. 해석적으로 계산한 색상 갱신값을 정제해 두 종류의 색상 매핑을 모두 렌더링 없이 구현한다. 장면의 기하 구조를 보존하고 표준 3DGS 에셋을 수 초 내에 생성한다. 시점에 걸친 색감 개선과 참조 기반 색상 전이를 평가할 수 있도록 ReTouch3D 벤치마크도 설계했다. 실험에서 두 과제 모두 색상 정확도가 높았으며, 학습에 없던 장면에도 잘 일반화됐다.
대규모 언어 모델(LLM) 기반 에이전트는 웹을 검색하고 찾은 자료를 바탕으로 추론해 현실의 사건을 예측하는 데 점점 더 많이 쓰인다. 예측의 정확도는 검색한 근거와 모델 양쪽에 달려 있으므로 평가하려면 근거를 통제해야 한다. 실시간 평가에서 시스템마다 별도로 검색하면 검색 성능과 추론 성능의 효과가 섞인다. 과거 시점의 검색을 나중에 재현할 때는 날짜 필터를 사용해도 정보가 새어 나오거나, 현재의 검색 순위에 이후의 정보가 반영될 수 있다. 모델, 검색 출처, 메모리 전략을 비교하려면 같은 근거를 제공하는 동시에 결과가 확정되기 전 근거가 어떻게 바뀌었는지 기록해야 한다. ForecastGym은 아직 결과가 확정되지 않은 예측시장 질문에 대해 상용 웹 검색 API 네 개가 반환하는 결과를 이틀마다 기록한다. 결과가 알려진 뒤에는 고정된 근거를 오프라인으로 재생해, 같은 근거 수집 정책 아래 모델, 메모리, 기록해 둔 검색 출처를 비교한다. 첫 릴리스는 질문 150개, 질문과 수집 시점 조합별 근거 상태 614개, 검색 결과 13만 1천 건을 포함한다. 결과 확정 후 같은 쿼리를 다시 실행하면 시험한 날짜 필터를 사용해도 최대 92%의 질문에서 결과가 사실상 드러나는 검색 결과가 반환됐다. 고정된 근거로 평가했을 때 시험한 모든 LLM의 예측 정확도는 시장보다 낮았다. 진단 분석에 따르면 시장과의 격차가 큰 경우, 공개 정보를 잘못 읽는 것보다 놓치는 것이 격차에 더 크게 기여했다. 검색 API를 바꾸면 모델의 브라이어 점수가 최대 0.043 달라졌다. 이는 모델 간 차이보다 컸다. 메모를 지속적으로 저장하는 방식은 모든 근거를 매번 다시 읽는 방식과 비슷한 점수를 내면서 입력 토큰을 절반만 사용했다. 예측 성능에는 근거를 읽는 모델만큼이나 어떤 근거를 보느냐가 중요할 수 있다.
치근단 방사선 영상(PR)은 근관 치료 진단에 핵심이지만 영상을 판독하고 보고서를 작성하는 데 시간이 많이 든다. 전문 용어는 환자의 이해를 어렵게 할 수 있으며, 기존 자동화 방법은 소견과 영상 근거를 치아 단위로 연결하지 못하는 경우가 많다. 치아별 진단, 영상 근거를 연결한 보고서 생성, 환자가 이해할 수 있는 설명과 관리 권고를 통합한 3단계 프레임워크 PeriaTrace를 제시한다. 내부 데이터셋과 외부 임상 코호트 두 곳의 치근단 방사선 영상 12,877장으로 개발하고 평가했다. 내부 평가에서 매크로 다이스 계수 85.35%, BLEU-4 0.6504, 치아 위치 추정과 세계치과의사연맹(FDI) 치아 번호 식별을 결합한 F1 94.37%, 영상 근거 연결 태그 F1 77.93%를 기록했다. 두 외부 코호트에서 숙련된 근관 치료 전문의는 각각 보고서의 91.16%와 84.52%를 전체 재작성 없이 그대로 쓰거나 수정해 사용할 수 있다고 평가했다. 보고서 생성에는 영상당 평균 4.41초가 걸려 수동 작성보다 수십 배 빨랐다. 의료 전문 배경이 없는 설문 참여자 196명 중 96.4%는 쉬운 설명과 관리 권고가 담긴 보고서를 선호했으며, 84.7%는 영상에서 위치를 표시해 주는 단서가 도움이 됐다고 답했다. PeriaTrace는 근거를 추적할 수 있는 보고서를 더 빨리 작성하면서 임상 검토와 환자 소통을 지원할 수 있다. (축약본)
비전-언어 모델(VLM)은 물리 도식을 정확히 이해하고도 제약이 성립하는 상태나 조건을 벗어나 이를 적용할 수 있다. 잘못된 전제는 이후 계산으로 전파된다. 모델 가중치를 갱신하지 않고도 적용 범위의 불일치를 스스로 교정하도록 돕는 추론 시점 시각 처리 환경 PhysScope를 소개한다. PhysScope는 모델이 물리 법칙의 적용 범위를 관측한 시각 자료와 직접 연결하고, 원본으로부터 추론에 도움이 되는 뷰를 명시적으로 구성하게 한다. 추론 중 상태의 구분, 조건, 물리적 적용 범위를 명시적으로 제한하고, 에이전트가 제안한 수정안을 출처와 적용 범위에 비춰 검증한다. 수정안이 채택되면 이전 내용에 의존한다고 등록된 항목을 무효화해 적용 범위를 반영한 작업기억을 유지한다. PhysAlign에서 평가한 VLM 6종 모두 PhysScope를 사용하면 직접 풀이보다 문제 해결 점수가 높았다. Gemini-3.8-flash에서는 Canvas-CoT를 9.34%포인트 앞섰고, 분포 밖(OOD) 벤치마크 PhysUniBench에서 풀이 정확도를 크게 높였다. 구성 요소 제거 실험은 적용 범위를 명시적으로 관리하고 의존 관계를 유지하는 것이 멀티모달 물리 추론 에이전트의 설계에 도움이 됨을 뒷받침한다.
자율주행에서 월드 모델은 후보 궤적을 평가할 수 있도록 미래 장면을 예측한다. 그러나 고정된 선택 규칙으로는 장면마다 달라지는 절충 관계를 반영하기 어려울 수 있다. 가중치를 동결한 월드 모델과 고정 후보 집합을 사용해 경량화한 궤적 선택을 수행하는 잔차 기반 강화학습(RL) 프레임워크를 제안한다. 근위 정책 최적화(PPO)로 후보를 선택하고 범위가 제한된 궤적 잔차를 정하는 공동 정책을 미세조정한다. 문맥 조건부 순위 산정 신경망은 선택한 궤적에 국소 교란을 가해 평가한 피드백으로 후보 선호도를 학습한다. 추론 시 선택기는 고정 가중치를 사용해 학습한 선호 순위와 예측 위험 순위를 결합하고, 선택한 후보 궤적을 수정 없이 반환한다. 미세조정에서는 액터와 크리틱의 매개변수 16,106개를 갱신한다. 배포하는 선택기에는 매개변수 11,725개의 순위 산정 신경망만 남기며, 잔차 분기와 크리틱은 학습에만 사용한다. nuScenes 검증 세트의 개루프 평가에서 RL 기반 선택을 쓰지 않는 RiskWorld 모델보다 평균 유클리드 궤적 오차(L2)를 3.99% 줄였다. 피드백 접근 횟수와 액터 갱신 횟수를 동일하게 맞췄을 때, 잔차 탐색은 잔차 없이 학습한 범주형 PPO 변형보다 L2를 0.83% 줄였다. 위험 특징을 제거하거나 섞은 조건에서도 RiskWorld보다 낮은 L2를 유지했다.
검색 증강 생성(RAG)을 사용하는 에이전트 시스템은 근거를 더 수집하고 대안 정책을 시험하며, 답변을 수정할지와 언제 무엇을 수정할지를 결정해 스스로 답변을 고쳐야 한다. 그러나 정확도 같은 평가지표로는 수정이 제대로 이뤄지는지 판단하기 어려울 수 있다. 계약 추론을 위한 Jev 기반 실행 환경에서 모든 수정 결정을 기록하고 감사해, RAG가 답변을 고치는 동안 내린 결정을 처음부터 끝까지 디버깅할 수 있는 RagHarnessDebugger를 제시한다. 이 프레임워크는 각 실행 기록이 온전한지, 검증 결과가 실제로 해당 후보에 적용되는지, 채택 규칙으로 어떤 답변에 도달할 수 있는지 확인한다. 두 판독 모델을 사용해 ContractNLI 비밀유지계약서와 별도 계약서로 구성한 재현 세트에서 시험했다. 감사 계층은 집계 평가지표에 가려진 실패 양상, 정책이 수정과 성능 저하를 각각 받아들이는 데 따른 비용, 그리고 채택 과정에서 생긴 격차를 드러냈다. 가능한 수정 중 실제로 이루어지지 않은 비율은 개발 세트와 재현 세트에서 각각 77%, 76%였다. 감사에 오류 유형을 표시한 분석과 재실행 기능을 결합해 최종 결정까지 실행 경로를 따라가고, 가능한 수정이 어느 단계에서 누락됐는지 확인했다. 개선한 실행 환경은 BM25만 사용한 초기 기준선보다 개발 계약서에서 정확도가 3.6%포인트, 재현 세트에서 3.7%포인트 높았다. 계약서 전체를 읽는 참조 방식보다도 개발 세트에서 1.1%포인트, 재현 세트에서 2.4%포인트 높았다. 이 연구는 놓친 수정의 근본 원인을 찾는 데 디버거를 쓸 수 있음을 보여 준다. 각 판단의 근거를 드러내므로 RAG의 의사결정을 지속적으로 개선하고 설명하는 데도 활용할 수 있다. 핵심어: 에이전트형 RAG, AI 기반 근거 보강, 실행 환경의 설명 가능성, 반사실적 재실행, Jev, ContractNLI
웹 조사 에이전트는 온라인에서 정보를 수집하고 출처를 인용한 보고서를 작성한다. 금융 분석도 그중 하나다. 사용자는 우선순위를 제시해 조사의 방향을 정할 수 있지만, 우선순위만으로는 대안을 평가할 기준이 정해지지 않아 에이전트가 선택해야 할 수 있다. OpenAI와 Anthropic 모델을 각각 기반으로 한 두 에이전트가 주어진 우선순위를 어떻게 해석하는지 조사했다. 36회의 실행에서 에이전트는 Microsoft와 Alphabet의 사업을 비교했다. 프롬프트는 성장 또는 회복탄력성을 특별히 고려하라고 하거나 우선순위를 지정하지 않았다. 보고서, 검색 쿼리, 반환된 출처, 실제 인용한 출처를 분석했다. 우선순위를 지정한 보고서 24개 중 21개가 그 항목을 중점적으로 다뤘으나 판단 기준은 달랐다. 성장을 우선시할 때 두 회사의 순위를 매긴 OpenAI 보고서는 위험이나 예측 가능성을 고려해 Microsoft를 선호했다. Anthropic 보고서는 성장 속도를 기준으로 삼아 Alphabet을 선호했다. 회복탄력성을 우선시할 때는 보고서마다 일부 기준이 달랐으며, 대부분 Microsoft의 회복탄력성이 더 높다고 판단했다. 시험한 검색 및 출처 관련 평가지표 중 조건별 차이를 감지할 수 있었던 것은 Anthropic 에이전트의 검색 문구뿐이었다. 이 결과는 평가에서 보고서의 초점과 정확도 외에도 판단에 사용한 기준을 살펴볼 필요가 있음을 시사한다. 인터페이스에서 사용자가 그 기준을 확인하고 조정할 수 있게 할 수 있다.
AI 시스템은 문헌 분석, 후보 평가, 가설 정제를 점점 더 많이 지원한다. 하지만 연구자가 기존 학문 분야의 접근법을 넘어 새로운 연구 방향을 탐색하도록 돕기는 여전히 어렵다. 연구자가 검토할 수 있는 선택지를 넓혀 새로운 연구 방향을 제안하는 AI 시스템 Abelio를 개발했다. Abelio는 연구 목표를 여러 방식으로 다시 표현하고, 이를 활용해 기존 학문 분야의 경계 밖에서 관련 요소를 찾은 뒤 가설을 정제한다. 각 단계는 전용 하위 시스템으로 발산적 탐색과 수렴적 선별을 결합한다. 정량 평가에서 Abelio의 가설 생성 핵심부인 Ideation Core의 제안은 과학적 타당성과 가설 다양성에서 최첨단 대규모 언어 모델 네 종의 제안보다 우수했다. 기존 문헌과의 거리에서는 네 종 중 세 종을 앞섰다. 하위 시스템 제거 실험에서 각 하위 시스템이 목표로 삼은 속성에 기여함을 확인했다. 요소 선별의 기여는 가설 정제 이전에도 측정할 수 있었다. 장 상피 장벽의 복원을 연구하기 위해 Abelio는 세포막에 연결한 폴리에틸렌 글리콜(PEG)과 콜레스테롤에 연결한 상보적 DNA를 사용하는 물리적 접근법을 제안했다. 두 제안은 실험 전에 보관했고, 이후 손상시킨 Caco-2 단층에서 독립적으로 시험했다. PEG는 세포막 표면에 의존하는 방식으로 장벽 기능을 보존했다. 상보적 DNA는 염기서열에 따라 장벽을 복원했고, 필요할 때 복원 효과를 되돌릴 수 있었다. 이 결과는 구조화된 연구 아이디어 발상이 기존 학문 분야의 관행을 넘어 실험으로 검증할 수 있는 접근법을 찾아낼 수 있음을 보여 준다.
2022년 말 대규모 언어 모델(LLM)이 등장하면서 과학의 미래에 관한 질문이 제기됐다. 그 영향을 평가하려면 과학 연구 관행이 이전부터 어떻게 바뀌고 있었는지 파악해야 한다. 2015~2025년 다섯 분야에서 발표된 논문 250만 편의 전문을 분석해 어휘, 구조, 인식론, 사회적 측면의 다양한 추세를 살펴봤다. 일부 단어의 사용 빈도가 바뀐 점을 제외하면, 2023년 이전의 추세 대부분은 탐지할 수 있을 정도의 단절 없이 대체로 이어졌다. 주목할 만한 예외로 아시아에서는 컴퓨터과학 논문의 공저 팀 규모 증가가 유의하게 빨라졌다. 한편 생의학 연구의 주제 다양성이 낮아진 것처럼 보인 현상은 대체로 논문 형식의 표준화를 반영했다. 이 연구는 LLM 도입이 확대됨에 따라 전 세계 과학 연구의 상태를 모니터링할 실증적 토대를 제공한다.
기존 보증 방식만으로는 의약품 분야의 특정 사용 맥락에서 에이전트형 인공지능(AI)을 검증하고 모니터링하며 관리하는 데 필요한 근거가 충분한지 판단하기 어렵다. 기준이 없는 상황에서는 그럴듯한 출력이 검색, 추론, 작업 조율, 사람의 개입 지점에서 발생한 실패를 가릴 수 있다. 현황 분석, 규제 및 표준 대응 관계 정리, 전문가 인터뷰, 여러 이해관계자의 검토를 거쳐 임상 개발용 에이전트 검증 프레임워크 VITAL을 개발하고 실제 사용 절차로 구체화했다. VITAL은 의도된 사용 목적, 추적 가능성, 자율성, 수명 주기 근거에 따른 검증을 뜻한다. 위험 수준에 맞춰 사용 맥락, 통제, 행동 검증, 수명 주기 근거를 하나의 프레임워크에 통합한다. 역학 및 치료 현황 분석, 시험기관 선정, 등록 부진 대응, 시험 설계의 절충 판단 지원에 VITAL을 적용했다. 자율성, 가역성, 투명성, 환자에 대한 영향을 바탕으로 비례적인 검증 활동과 근거 요건을 정하고, 감사할 수 있도록 시스템의 동작을 재구성했다. VITAL은 위험도가 높은 의약품 분야 사용 사례에서 근거 요건과 수명 주기 전반의 책임 관리를 정하는 데 참고가 될 수 있다. 평가에서는 평가자, 조직, 시스템 구성이 달라져도 결과가 재현되는지 확인할 필요가 있다.
Safety benchmarks for computer-use agents (CUAs) place the harm either in the intent of the task or on a single screen: a malicious instruction, an injected command, a phishing page. An agent that checks the task and each screen in isolation can pass them, so they do not test whether it combines facts seen on different screens. Yet in delegated work, harm often arises exactly this way: a fact about a person on one screen, a fact about an item on another, and a legitimate task that binds them. We introduce SEAM (Safety Execution Across Multiple screens), a benchmark of such cross-screen compositional harm: 600 multi-step, cross-application OSWorld tasks in which the instruction and every single observation are benign and only their combination is harmful. Minimal-pair variants that differ in one place, scored from the server log rather than by an LLM judge, locate where an agent fails. General-purpose open-weight and flagship agents carry out the harm in up to 92% of runs, yet decline when the user states it in one sentence. Agents open the decisive pages, so exposure is not the primary bottleneck. Asked about those pages, they flag the harm, and with thinking they often write the conflict into their reasoning and confirm anyway. Safety recognition thus does not reliably translate into safe execution, and the translation depends on the information channel: the same warning stops agents far more often in the user's instruction than on screen. Proprietary models are markedly more cautious. We release SEAM with its generator and quality gates at https://yuxuan2003.github.io/SEAM/ .