의료 영상 해석은 진단과 치료의 핵심이지만, 범용 다중모달 대규모 언어 모델(MLLM)을 적용하려면 종종 자원 집약적인 도메인 특화 미세조정(fine-tuning)이 필요하다. 본 연구에서는 작업 특화 매개변수 업데이트 없이 고정된 인코더를 사용하여 질의와 정렬된 예시를 검색하는 학습(training) 불필요 추론(inference) 프레임워크인 표현 유도 문맥 내 학습(RG-ICL)을 소개한다. 조직병리학, 방사선학, 망막 안저검사를 아우르는 8개 데이터셋에 걸쳐, RG-ICL은 문맥이 없는 경우 및 기존 문맥 내 학습(ICL) 대비 분류(평균 20%포인트 향상)와 시각적 질의응답(VQA)(평균 13%포인트 향상) 성능을 개선하여 학습 기반 비교 대상에 근접하거나 이를 능가했다. 몇 개의 사례를 검색했는지보다 어떤 사례를 검색했는지가 더 중요했다. 질의와 정렬된 6개의 사례가 무작위로 선택된 최대 32개의 사례보다 우수한 성능을 보인 반면, 고정되거나 무작위인 사례는 종종 정확도를 기준선(baseline) 이하로 떨어뜨렸다. VQA의 경우 참조 사례를 영상 콘텐츠와 질문 의도 모두에 정렬했을 때 추가적인 성능 향상이 나타났다. 이러한 결과는 의료 영상 해석에서 MLLM에 제시할 참조 사례를 선별하는 것이 모델을 재학습시키는 실용적인 대안임을 시사한다.
본 논문은 자연어 접근 제어 정책(NLACP)을 Open Policy Agent(OPA)용 실행 가능한 Rego 코드로 변환하는 LLM 기반 시스템을 제시한다. 정책 탐지, 구성 요소 추출, 스키마 검증, 린팅, 컴파일, 자동화된 테스트 생성 및 실행을 포함하는 모듈형 end-to-end 파이프라인을 제공한다. 이 시스템은 사람이 읽을 수 있는 접근 요구사항과 기계적으로 집행 가능한 policy-as-code(PaC) 사이의 간극을 메우도록 설계되었으며, 배포 신뢰성과 보안 정확성에 초점을 둔다. 구조화된 분해와 스키마 인식 검증의 기여를 분리하기 위해, subject·action·resource 주석이 비어 있지 않은 372개의 ACRE-complete 접근 제어 문장에 대해 단일 프롬프트 LLM 기준선과 비교하여 시스템을 평가한다. 시스템은 end-to-end 정책 정확도 50.3%를 달성했으며, 기준선 15.3% 대비 3.3배 개선이다. 정책은 컴파일, 린팅, 양성·음성 테스트를 모두 만족할 때만 올바른 것으로 집계하므로, 이는 배포 가능한 정확성에 대한 엄격한 척도이다. 보안에 중요한 패턴에서, 시스템은 deny 정책의 87.5%에 대해 올바른 deny 의미론을 생성했고(기준선: 37.5%), 소유권 조건이 붙은 정책 100%에 대해 소유권 조건을(기준선: 40%), 상태 한정 조건이 붙은 정책 100%에 대해 상태 한정 조건을(기준선: 55.6%) 생성했다. 이 결과는 구조화된 분해와 스키마 인식 검증이 LLM 생성 인가 정책의 신뢰성 향상에 핵심적인 역할을 함을 시사한다.
상용 대규모 언어 모델(LLM)이 사기 탐지 및 고객 커뮤니케이션을 위해 아프리카 핀테크 인프라 전반에 점점 더 많이 배포되고 있으나, 조달 전 이러한 시스템이 어떤 배포 전 평가(pre-deployment evaluation)를 거쳐야 하는지 명시한 나이지리아 또는 아프리카 대륙 차원의 규제 문서는 전무하다. 본 논문은 글로벌, 아프리카 대륙, 나이지리아의 규제 문서를 아울러 아프리카 핀테크 AI 거버넌스를 검토하고, 안전성(safety)은 원칙으로 확인되는 반면 배포 전 평가는 운영상 구체화되어 있지 않음을 보여준다. 범용 안전성 벤치마크는 나이지리아 기관 관련 콘텐츠를 포함하지 않으며 정상적인 금융 커뮤니케이션의 위양성(false positive) 오분류를 테스트하지 않으므로, 이 도메인에 가장 밀접한 실패 모드를 드러낼 수 없다. 이러한 주장은 3가지 시스템 프롬프트 조건에서 6개의 상용 모델에 적용된 전용 평가 도구인 SafeAlert를 통해 입증된다. 실험 결과에 따르면 범용 유해 콘텐츠 요청을 거부하는 모델도 특정 프레이밍 하에서는 완전한 사기 스크립트를 생성하며, 여러 모델이 대부분의 정상적인 나이지리아 은행 커뮤니케이션을 의심스럽거나 사기성 있는 것으로 오분류하는 등 표준 안전성 평가에서는 드러나지 않는 실패를 보였다. 본 논문은 확인된 격차가 기술적 또는 재정적 자원의 부족이 아니라 규제적 명세의 부재를 반영한다고 주장하며, CBN, NITDA, SEC 및 AU를 위한 배포 전 평가 요건을 제안하는 규제 프레임워크로 결론을 맺는다.
생성적 사회 시뮬레이터의 검증은 종종 표면 타당도에서 그친다. 창발적 �etwork 구조를 기술적으로만 비교할 뿐, 매개변수 불확실성을 정량화하거나 적절성(adequacy)을 검사하지 않는다. 우리는 amortized 사후 추정, 합성 식별가능성(identifiability) 평가, 표본 크기를 맞춘 적절성 검사(사전-예측 도달 가능성 및 통계량별 사후-예측 국소화), 진단 기반 수정, 통계량 홀드아웃 감사를 결합한 적절성 인식 보정 프로토콜을 제시한다. 채널×거주지 네 셀로 나뉜 실제 중고 명품 재판매 시장에서 이를 시연한다. 각 셀은 구매자-브랜드 이분 네트워크이며, 언어 모델로 오프라인에서 한 번 수집한 페르소나 프로필로 구축한 순방향 모델을 사용한다. 행동 매개변수는 네 셀 모두에서 복원 가능하나, 한 매개변수에 대해서는 보정이 근사적이고 과신(overconfident)하다. 관측 요약 통계는 모든 셀에서 시뮬레이터의 도달 가능성 기준 밖에 있으며, 구매 등급(tier) 평균이 전반적인 불일치이다. 수정은 네 셀 중 두 셀에서 value-block 기준을 만족하지만 적절성을 회복하지는 못하고, 홀드아웃 감사는 이전 진단이 포착하지 못한 구매자 폭(buyer-breadth) 분산 불일치를 드러낸다. 프로필 출처 ablation 결과, 언어 모델 프로필은 네 셀 모두에서 단순 규칙 기준선을 능가하지만, 카테고리 내 브랜드 재라벨링은 일관된 성능 저하를 일으키지 않는다. 따라서 프로필은 부분적으로 검증된 입력이며 그 가치는 브랜드 정체성이 아니라 구조에 있다. 인과적 주장은 하지 않고, 에이전트 상호작용이나 구매자 폭 메커니즘 없이 독립 집계(independent-aggregation)만으로는 시장의 구매 등급 수준, 상위 브랜드 집중, 커뮤니티 구조, 구매자 폭 이질성을 동시에 재현할 수 없다고 결론한다.
대규모 언어 모델 에이전트는 규제 공시를 검색하여 금융 질문에 답하는 경우가 점점 많아지고 있다. 이러한 질문은 종종 겉보기와 달리 명세가 부족하다. Meta Platforms의 "operating income"은 연결 기준 $46.75B이지만 Family of Apps 부문만 보면 $62.87B이며, 각 해석은 공시와 정확히 대조해 검증할 수 있다. 유능한 에이전트는 모호함을 인식하고 질문해야 하며, 그럴듯하지만 의도와 다른 해석에 성급히 몰입해서는 안 된다. 기존 금융 벤치마크는 이를 측정할 수 없는데, 질문당 하나의 정답만으로는 모호함을 해소하는 에이전트와 흔한 해석을 추측하는 에이전트를 구분할 수 없기 때문이다. 우리는 이를 단일 정답 환상(single-gold illusion)이라 부른다. 우리는 FinInteract를 공개한다. 이는 영어/중국어 이중 언어 벤치마크로 173개 인스턴스를 포함하며, 5개 범주의 모호성 분류 체계에 따라 각 질문에 기본 해석과 의도된 해석을 짝지어 두고, 에이전트가 적절한 명확화를 이끌어낸 뒤 이를 통합하는지를 채점한다. 동일한 출력을 의도된 해석이 아닌 기본 해석으로 다시 채점하면 GPT-4o의 정확도가 3.1배 부풀려져 환상이 확인된다. 이를 넘어, 해석이 주어지면 모델은 90% 이상 답하지만 스스로 이끌어내야 할 때는 최대 28.9%에 그친다. 또한 분류 체계 전반에서 역량이 고르지 않으며 엔티티 범위(entity scope)와 지표 정의(metric definition)에서는 검정력이 충분하고 그 외 영역에서는 탐색적이다. 모호성 범주를 조건으로 두면 추론과 학습 시점 모두에서 해소 성능이 개선된다.
프로그래머는 정형 명세를 작성하고, 대규모 언어 모델(LLM)은 이를 구현하며 각 구현이 명세와 일치함을 증명합니다. 이를 극단까지 밀고 나가면 명세 언어가 새로운 프로그래밍 언어가 됩니다. 본 논문에서는 명확성(unambiguity) 제약이 핵심이라고 주장합니다. LLM은 자신의 구현이 명세를 만족함을 증명하는 것 외에도, 해당 명세를 만족하는 다른 모든 구현 역시 동일한 입력에 대해 동일한 출력을 생성해야 함, 즉 제약 조건으로 형성된 관계가 결정론적(deterministic)임을 증명해야 합니다. 이는 LLM에 프로그램 시맨틱에 대한 어떠한 재량도 남기지 않습니다. 기존 컴파일러와 마찬가지로 생성된 코드는 전혀 읽을 필요가 없으며 언제든지 명세로부터 재생성될 수 있습니다. 이러한 제약 조건 하에서 강력한 LLM과 결합할 때, 명세 언어와 프로그래밍 언어 간의 차이는 본질적으로 무의미해지며 LLM은 사실상 컴파일러 툴체인의 일부가 됩니다. 이러한 구성은 신뢰할 수 없는 모델이 코드를 작성하지만 그 작업은 검증기(verifier)에 의해 엄격하게 검사되므로, 강력한 형태의 AI 제어(AI control) 역할도 겸합니다. 명확성 제약의 지원을 받을 때 컴파일러 내 LLM(LLM-in-the-compiler) 패러다임이 실현 가능함을 보이기 위해, 우리는 이러한 미래를 위해 구축된 고수준 명세 언어인 Djinnlang을 제시합니다. Djinnlang 프로그램은 명세로만 구성되며, 프로그래머는 실행 가능한 코드를 전혀 작성하지 않습니다. 기존 컴파일러 대신 심볼릭 변환기가 각 명세를 Dafny 스텁 및 증명 의무(proof obligations)로 변환하고, 드라이버 하네스가 구현과 증명을 채워 넣는 LLM을 조율하며, 이 모든 것은 Dafny 검증기에 의해 검사됩니다. 우리는 여러 예제를 통해 우리의 언어와 구현을 평가하며, 이것이 자체 호스팅(self-hosting)이 가능함을 보여줍니다. 즉, LLM이 명세로부터 Djinnlang 변환기를 구현할 수 있으며 이 재구현체가 자체적으로 검증될 수 있습니다.
지난 1년간 스스로 다단계 컴퓨터 작업을 끝까지 수행하는 AI 에이전트가 일상적인 도구가 되었고, 같은 자율성은 해로운 목적을 가진 누구에게나 이용 가능해졌다. 우리는 증거가 제출된 PDF인 신뢰 당사자—보험사, 대출기관, 감사인—에게 그것이 무엇을 의미하는지 묻는다. AgentForge-Bench는 셸과 기본 Python PDF 스택으로 일곱 개의 오픈 가중치 모델 중 하나를 구동하는 상용 코딩 에이전트가, 의도를 담은 한 문장만으로 실제 제출된 금융 문서에서 달러 금액, 날짜 또는 주소 중 하나를 얼마나 안정적으로 변경하는지를, 모델이 아니라 규칙으로 채점하여 측정한다. 1,750개 셀 가운데 1,419개(81.1%)가 검증기를 통과했고, 808개(46.2%)는 더 엄격한 필터—눈에 보이는 변경, 국소적 변경, 글꼴 일치, 문서 전체에서 원래 값 소거—를 모두 통과했다. 모델이 없는 결정론적 스크립트는 125개 문서 중 98개를 해결했고, 에이전트는 124개를 해결했으며, 스크립트만 단독으로 해결한 문서는 없었다. 에이전트는 잘못된 편집의 41%를 완료된 것으로 잘못 보고했고, 어떤 모델도 거부하지 않았으며, 검증된 위조 중 가장 저렴한 비용은 2.4센트였다. 원시 비율은 위협을 약 2배 과대평가하지만, 엄격한 기준의 비율도 여전히 크다.
본 연구에서는 대규모 언어 모델(LLM)이 그래프 구조, 도구 구현, 스키마 바인딩 및 런타임 연결 전반에서 일관성을 유지하는 실행 가능한 워크플로우 산출물을 생성할 수 있는지 조사합니다. 이러한 환경에서 정확성은 교차 계층(cross-layer) 일관성에 달려 있습니다. 즉, 워크플로우가 구조적으로 그럴듯하더라도 도구 구현, 스키마 바인딩 또는 런타임 실행이 서로 일치하지 않으면 실패할 수 있습니다. 기존 벤치마크는 주로 이러한 기능들을 분리하여 평가하거나 궤적 수준의 프록시에 의존하므로, 생성된 워크플로우 산출물이 엔드투엔드(end-to-end)로 실행되는지는 미확인 상태로 남아 있습니다. 이에 본 논문에서는 Model Context Protocol (MCP) 워크플로우 개발을 위한 실행 가능한 벤치마크인 \textbf{MCPGen}을 소개합니다. MCPGen은 16개 응용 도메인에 걸친 100개의 독립형 MCP 프로젝트를 포함하며, 워크플로우 재구성, 도구 생성, 하위 호환 워크플로우 확장의 세 가지 진단 태스크를 평가합니다. 우리는 단일 턴 기반 모델 환경에서 11개의 대표적인 LLM을 평가하고, 정적 분석, 단위 및 통합 테스트, 프로세스 격리 기반의 엔드투엔드 실행을 통해 생성된 산출물을 평가합니다. 모델들은 워크플로우 재구성에서 88.5%에 도달했으나, 어떤 모델도 57%의 엔드투엔드 실행 성공률을 넘지 못했습니다. 도구별 단위 테스트 통과율은 63.8%에 달한 반면, 프로젝트 수준의 통합 성공률은 45%를 넘지 못해 개별 도구 테스트를 통과하더라도 통합이 여전히 주요 병목 현상으로 남아 있음을 시사합니다.
에이전틱 AI(Agentic AI)는 대규모 언어 모델(LLM) 보안의 범위를 생성된 콘텐츠를 넘어 영구 상태(persistent state), 자율 행동, 도구 사용, 그리고 인간 및 타 에이전트와의 상호작용으로 확장합니다. 기존의 위협 분류는 대개 개별 차원을 강조하여 진입점, 영향을 받는 컴포넌트, 보안 결과 간의 연결 고리를 모호하게 만듭니다. 또한 알려진 위협 환경은 실증 연구에서 입증된 커버리지와 차이를 보입니다. 본 논문에서는 2022년부터 2026년까지 발표된 66편의 연구에 대한 체계적인 검토를 통해 영향을 받는 기능적 또는 시스템 표면 {S}, 상호작용 또는 신뢰 경계 {B}, 침해된 보안 속성 {P}, 실증적으로 검토된 아키텍처 {A}를 연결하는 다차원 표현 T={S, B, P, A}를 제안합니다. 또한 실증적 커버리지와 평가 성숙도를 규명하기 위해 아티팩트 기반 레드팀 테스팅(red-teaming) 연구 22편과 대표적인 보안 벤치마크(benchmark) 11개를 분석합니다. 선정된 연구 내에서 실증적 증거는 주로 단일 에이전트 환경의 프롬프트(prompt)/추론, 메모리 및 도구 매개 공격에 집중되어 있습니다. 영구성, 인간-에이전트(Human-Agent), 복잡한 멀티 에이전트, 시스템적, 장기적(long-horizon) 위협에 대한 연구 커버리지는 상대적으로 부족합니다. 이러한 발견은 전체 실증 연구 전반의 격차를 규정하기보다는 선정된 연구 코퍼스의 특성을 설명합니다. 이질적인 지표, 제한적인 적응형 방어 평가, 아키텍처적 불균형, 불완전한 실행 상태 캡처는 비교 및 재현성을 더욱 제약합니다. 마지막으로 에이전틱 AI의 보다 체계적이고 아키텍처를 인식하며 재현 가능한 보안 평가를 유도하기 위한 13가지 공개 연구 질문을 도출합니다.
현대 음악 스트리밍 플랫폼은 익숙한 콘텐츠를 활용하는 것과 새로운 항목의 탐험을 촉진하는 것 사이에서 지속적인 트레이드오프에 직면한다. 사용자는 종종 발견을 원하지만, 검증된 선호 아티스트 대신 낯선 아티스트를 선택하는 데 주저한다. 아직 탐색하지 않은 항목이 왜 추천되는지 설명하는 투명한 자연어 근거를 제공하면 이 장벽을 낮출 수 있다. 그러나 대규모 언어 모델(LLM)은 이러한 미묘한 설명 가능성에는 뛰어나지만, 실시간 배포는 과도한 추론 비용과 계산 오버헤드로 인해 심각한 병목에 걸린다. 본 논문에서는 지연 시간을 희생하지 않으면서 탐험을 성공적으로 확장하는 분리형 추천 아키텍처의 산업 사례 연구를 제시한다. 우리 시스템은 LLM 추론을 비동기적으로 오프라인으로 분리하여, 맞춤형 근거와 함께 미발견 아티스트에 대한 개인화 후보 풀을 사전 계산한다. 대규모 온라인 A/B 실험이 우리 설계를 검증한다. LLM 기반 추천과 이러한 설명적 근거를 결합하면 새 콘텐츠에 대한 신뢰 장벽이 크게 낮아지며, 발견 표면에서 사용자 탐험과 전반적 참여 모두에서 통계적으로 유의미한 개선을 이끈다는 것을 보여준다.
멀티모달 대규모 언어 모델(MLLM)은 CLIP으로 사전학습(pre-training)된 시각 인코더를 흔히 재사용하지만, 이러한 ViT의 특징들은 궁극적으로 자기회귀 LLM에 의해 소비됩니다. 본 연구에서는 이러한 불일치를 '의미론적 인터페이스 격차(semantic-interface gap)'라고 칭하며, 동결된(frozen) LLM을 사용한 판독문 생성을 통해 시각 인코더를 사전학습하면서도 시각적 붕괴(visual collapse)를 방지하기 위해 시각 패치 간의 관계를 보존하는 국소 관계 증류(Local Relational Distillation, LRD)를 적용하는 프레임워크인 MedMLIP을 소개합니다. 저자들은 IU-Xray 및 Open-PMC-300K에서 MedMLIP을 사전학습하고 결과 인코더를 VQA-RAD 및 SLAKE에서 평가합니다. 안내 역할을 하는 LLM과 프로젝터는 교체되고 오직 ViT만 전이되므로, 이를 통해 교차 LLM 전이성(cross-LLM transferability)을 평가할 수 있습니다. 교차 LLM 전이 실험은 더욱 세밀한 시각적 정보를 보존하면서 자기회귀 LLM 인터페이스에 맞춰 시각 인코더를 사전학습하는 것의 가치를 입증합니다. 코드와 사전학습된 모델(model)은 https://github.com/SkyCol/MedMLIP 에서 확인할 수 있습니다.
대규모 언어 모델(LLM) 에이전트는 이제 코드 저장소 편집, 받은편지함 운영, 구매 완료 등 결과에 큰 영향을 미치는 행동을 수행하는 특권 주체(principal)가 되었다. 그 권한은 커널급이지만, 고전적 시스템 보안이 요구하는—모든 접근에 개입하는 신뢰할 수 있는 중재자—는 없이 주어진다. 운영체제(OS) 벤더들은 이 사실상의 에이전트 커널을 중심으로 플랫폼을 재구축하고 있으며, 완전한 중재(mediation)를 설계 문제로 물려받고 있다. 우리는 이러한 시스템의 보안을 하나의 구분을 중심으로 체계화한다: 출처(provenance)에 대한 중재로 통과하는 경계는 결정론적 검사를 허용하는 반면, 콘텐츠 의미론(content semantics)에 대한 것은 그렇지 않다. 신뢰 경계(trust-boundary) 분류체계는 중재가 발생해야 하는 위치를 규정하고, 핵심 중재 격차를 두 종류의 의미론적 판단에 고립시킨다: 신뢰할 수 없는 입력에서 데이터와 지시(instruction)를 구별하는 것, 그리고 허가된 행동과 비허가 행동을 구별하는 것. 우리는 이 격차가 입력과 행동이 사전에 열거된 집합으로 제한되지 않는 모든 곳에서 감지되지 않은 공격의 환원 불가능한 잔존(residual)을 남긴다고 주장한다. 동일한 구분은 공격 성공 통계를 실행 가능하게 만들어, 각 수치를 배포 부채(건전한 결정론적 중재자가 사용되지 않은 경우)부터 구조적 격차(그러한 중재자가 알려지지 않은 경우)까지의 스펙트럼에 배치한다. 우리는 런타임 모니터링, 아키텍처 분리, 권한 부여(authorization)에 걸친 방어를 체계화하고, 현재 평가가 평가 타당성(evaluation-validity) 실패를 통해 배포된 보안을 과대평가하는 경향이 있음을 보인다. 마지막으로, 우리는 그 분석을 사실상의 커널을 넘어, 모델 자체가 중재 핵심(arbitration core)이 되는 아키텍처까지 확장하고, 보안 우선 AI-네이티브 OS를 위한 설계 제약, 미해결 과제, 연구 의제를 도출한다.
피지컬 AI(Physical AI)의 최근 발전은 동적 환경에서 인지하고, 추론하며, 계획하고, 행동해야 하는 무인 항공기(UAV)와 같은 자율 시스템에서 파운데이션 모델의 활용을 가속화했습니다. 기존 벤치마크는 물리적 인지, 직관적 물리학, 체화된 내비게이션, 협업 추론을 평가하지만, 신뢰할 수 있는 자율성에 필요한 에이전트(agent) 의사결정을 평가하는 경우는 드뭅니다. 본 연구에서는 이러한 역량을 평가하기 위한 벤치마크인 PhysAI-Bench를 소개합니다. 이 벤치마크는 자율 UAV 임무의 대화 추적 기록에서 자동으로 추출된 10,178개의 표준화된 의사결정 인스턴스를 포함합니다. 각 인스턴스는 임무 컨텍스트, 시계열 의존성, 물리적 제약 조건, Model Context Protocol(MCP) 도구 호출, 에이전트 간(A2A) 상호작용, 센서 관측치, 그리고 지연 시간, 패킷 손실(loss), 처리량, 에지 부하, 네트워크 슬라이싱을 포함한 AI 네이티브 6G 네트워크 조건을 보존합니다. 각 의사결정에 선행하는 정보만을 노출하여 미래 사건 누출을 방지하고 온라인 의사결정을 근사합니다. 2단계 프로토콜을 사용하여 29개의 파운데이션 모델(model)을 평가합니다. 인간이 검증한 35개 인스턴스의 개발 세트에서 3회 실행하여 테스트한 제로샷(zero-shot), 3샷, 5샷 프롬프트(prompt) 및 4가지 온도의 12가지 조합으로부터 모델별 설정을 선택합니다. 그런 다음 선택된 각 설정을 고정하고, 에피소드가 겹치지 않는 고정된 500개 인스턴스 세트에서 3회 실행하여 평가합니다. GPT-5.3이 가장 높은 정확도(52.00%)를 달성했으며, GPT-5.2(49.40%)와 Grok 4.5(49.07%)가 그 뒤를 이었습니다. 퓨샷(few-shot) 프롬프트는 전반적으로 성능을 향상시키는 반면, 온도의 영향은 제한적이었습니다. 결과는 피지컬 AI에서 신뢰할 수 있는 에이전트 의사결정이 여전히 미해결 과제로 남아 있음을 보여줍니다. 데이터셋(dataset)은 https://github.com/maferrag/physai-bench 에서 이용할 수 있습니다.
인간 피드백 정렬은 언어 모델을 유용한 어시스턴트로 만들었으며, 흔히 모델을 인간에 맞춘다고 설명된다. 그러나 사람들이 AI에게 선호하는 응답이, 그들 스스로 내놓을 응답과 같을 필요는 없다. 우리는 인간 선호에 대한 정렬과 인간 행동에 대한 정렬을 구분하고, 선호와 응답이 모두 전적으로 인간으로부터 나온 경우에도 인간 선호 정렬이 모델 행동을 덜 인간답게 만들 수 있음을 보인다. 우리는 이를 튜링 테스트 간극(Turing-test gap)이라 부른다. 선호 정렬이 인간 응답 분포를 보존하는 것은 제한적인 조건 하에서만 성립함을 보이고, 실제 인간 선호가 그 조건을 만족한다는 일관된 증거는 찾지 못했다. 실증적으로, 인간 응답 가능도의 손실은 선호 가중의 방향과 관계없이 그 강도가 커질수록 증가하며, 이 간극은 표준 DPO에서도 나타난다. 이러한 결과는 인간다움을 선호 정렬에서 자연스럽게 따라온다고 가정하는 것이 아니라, 정렬의 명시적 차원으로 확립한다.
대규모 오디오-언어 모델(LALM)은 점점 더 넓은 범위의 오디오 추론 과제에 활용되고 있다. 이러한 모델은 일반적으로 오디오 표현을 대규모 언어 모델(LLM) 백본에 통합하여 멀티모달 추론을 가능하게 한다. 최근 테스트 시점 강화학습(TTRL) 방법은 사전학습 이후 라벨 없는 테스트 데이터를 활용해 LLM의 추론 능력을 더욱 향상시킨다. 그러나 LALM의 지각(perceptual) 능력의 중요성, 특히 추론 과정에서 얼마나 많은 음향 증거가 통합·의존되는지, 그리고 이것이 최종 과제 성능에 어떻게 기여하는지는 여전히 충분히 탐구되지 않았다. 이러한 공백은 오디오 추론을 위한 TTRL과 같은 효과적인 사후 학습 방법의 개발을 제한한다. 본 연구에서는 먼저 추론 과정에서 오디오 정보가 어떻게 통합·활용되는지 분석한다. 층별 지각 의존도를 정량화하고, 더 강한 음향 의존이 더 높은 정확도 및 오디오 입력에 기인하는 더 큰 성능 향상과 연관됨을 보인다. 이를 바탕으로 라벨 없는 테스트 시점 최적화를 지각에 기반한 추론과 정렬하고, 모델이 추론을 오디오 입력에 더 강하게 구조화하도록 유도하는 Perception-Grounded TTRL(PG-TTRL)을 제안한다. LALM과 벤치마크에 걸친 실험에서 PG-TTRL은 기본 모델과 표준 TTRL 모두 대비 추론 성능을 일관되게 향상시키며, 테스트 시점 오디오 추론을 위한 지각 기반 최적화의 가치를 보여준다.
대규모 언어 모델 에이전트는 일반적으로 사전 정의된 구성으로 배포되지만, 작업마다 필요한 모델 역량, 컨텍스트, 도구, 권한, 메모리 및 연산 자원은 상당히 달라질 수 있다. 본 연구는 이러한 요인을 실행 가능한 구성으로 표현하고, 검증 주도 진단, 선택적 확장, 검증 기반 반사실적 수축을 통해 이를 갱신하는 적응형 AI 나노-에이전트 프레임워크인 AgentBetta를 개발하고 평가한다. 평가는 통제된 메커니즘 검증과 외부 에이전트 비교를 구분한다. AB-ConfigBench 벤치마크에서 AgentBetta는 완전히 제공된 구성과 비교하여 중앙값 컨텍스트 할당을 64,000자에서 8,000 컨텍스트 문자로, 중앙값 도구 노출을 5개 도구에서 0개로 줄이면서 91.38%의 검증된 성공률을 달성했다. 구성 결핍 진단은 평가된 차원 전반에서 정밀도 1.000으로 매크로-F1 점수 0.819를 달성했으며, 선택적 확장은 관련 없는 구성 차원에 대한 불필요한 변경을 피했다. 성공 후 수축은 평가된 단일 차원 수축 프로브의 56.41%에서 검증 결과를 유지했으며, 이는 일부 성공적인 구성이 시험 조건에서 제거 가능한 역량을 포함하고 있음을 나타낸다. 외부 평가는 적응형 구성이 검증된 작업 완료와 역량 노출 사이의 균형을 개선할 수 있음을 시사하지만, 결과는 벤치마크와 에이전트 계열에 따라 달라진다. 특히 계열 간 복제는 주 백본 정확도 순위를 재현하지 못했으며, 특화 시스템은 특정 작업 도메인에서 여전히 유리했다. 이 결과는 AgentBetta를 특화된 에이전트 아키텍처의 보편적 대체재보다는 역량 할당과 추론 비용을 조절하는 구성 적응 메커니즘으로 해석하는 것을 뒷받침한다.
엔지니어링 변경 지시(ECO)는 칩 설계 후반 단계에서 타이밍 및 전기적 위반을 수정하는 중요한 단계입니다. 기존의 에이전틱 EDA 방식은 주로 도구 호출에 집중하며, 모델의 의사결정 품질과 맞춤형 학습에는 덜 주목해 왔습니다. ECO의 핵심 과제는 다중 라운드 의사결정으로, 모델은 각 라운드의 결과를 활용하여 다음 수정 조치를 결정해야 합니다. 본 논문에서는 에이전트가 ECO 의사결정을 효과적으로 실행할 수 있도록 대규모 언어 모델(LLM)과 폐루프 실행 플랫폼을 통합한 WaveletECO를 제안합니다. 또한 실행 시연 및 의사결정 선호도 데이터를 활용하여 지도 미세조정(supervised fine-tuning) 및 CPO-SimPO를 통해 로컬 9B 모델을 학습시킴으로써, 로컬에 배포된 모델로 ECO 의사결정을 수행할 수 있도록 합니다. 22개 설계에 대한 594회의 평가 실행 전반에서 WaveletECO-Policy (BF16) 및 (INT8)은 각각 79.63점과 79.65점을 기록하여 GPT-6 Astra의 77.44점과 대비됩니다. INT8의 예상 추론 비용은 GPT-6 Astra의 약 1/147 수준입니다. 이러한 결과는 특화된 모델 학습이 효과적이고 저비용인 다중 라운드 ECO 수정을 뒷받침하며, INT8 양자화 하에서도 수정 품질이 유지됨을 보여줍니다.
최근 대규모 언어 모델(LLM)의 발전으로 레지스터 전송 수준(RTL) 설계 및 최적화를 포함한 복잡한 엔지니어링 작업을 수행할 수 있는 코딩 에이전트가 등장했다. 기존 RTL 벤치마크는 생성된 RTL 설계의 기능적 정확성과 성능·전력·면적(PPA)을 주로 평가하며, 에이전트의 타이밍 클로저(timing closure) 능력은 상대적으로 덜 평가된다. 우리는 post-place-and-route(post-PnR) 평가 하에서 RTL 수준 타이밍 클로저에 대한 코딩 에이전트 역량을 평가하기 위해 특별히 설계된 벤치마크 TicTacBench를 제안한다. TicTacBench는 30개의 다양한 과제를 포함하며, 각 과제는 최적이 아닌 RTL 설계, 현실적인 타이밍 제약, 기능 등가 검증, 타이밍 리포트를 제공한다. 8개의 최前沿 LLM으로 구동된 코딩 에이전트에 대해 300회 이상 실행한 결과, 최고의 에이전트조차도 평균적으로 면적-지연 곱(ADP) 7.18% 악화와 에너지-지연 제곱 곱(EDDP) 8.83% 개선과 함께 과제의 53.3%만 타이밍을 클로즈할 수 있었다. 에이전트가 타이밍을 클로즈하지 못하는 이유를 설명하는 공통 실패 범주를 식별한다. 다음으로 표준 타이밍 클로저 절차를 따르도록 에이전트를 안내하고 타이밍 클로저율(Timing Closure Rate)을 9% 향상시키는 새로운 방법 TicTacSkill을 제안한다. 이 결과는 코딩 에이전트가 RTL 설계에서 상당한 진전을 이루었음에도 불구하고, 타이밍 클로저 역량에는 여전히 개선할 여지가 상당함을 시사한다.
그래프 데이터베이스는 연결 데이터 워크로드에 반드시 필요하다고 자주 소개되지만, 실제로 엔진마다 다른 시스템 차원—쿼리 계획, 인덱싱, 데이터를 쿼리 가능하게 만드는 비용—은 벤더 프레이밍과 분리해 거의 다루지 않는다. 우리는 생의학 형태의 합성 속성 그래프(102만 노드, 노드·엣지 행 합계 534만)와 이웃 조회, 유계 경로, 집합 교집합, anti-join, 그룹 집계, top-k 순위, 시간 필터, 전체 스캔, 관계형 조인을 아우르는 20개 쿼리 워크로드를 구성했다. Corvic AI—Corvic 온톨로지 관리 층("memories")의 기반이 되는 목적형 컬럼형 쿼리 엔진—를 LoraDB, Ladybug, DuckPGQ, Memgraph, Neo4j, HugeGraph, FalkorDB 등 일곱 개의 전용 또는 그래프 확장 DB 시스템과, 세 자릿수 스케일 차이를 갖는 세 가지 그래프 규모에서 벤치마크했다. 각 시스템에 대해 쿼리 지연 기하평균, 대량 수집 처리량, 점 갱신 지연, 답 정확도를 보고하고, 쿼리량의 함수로 수집·쿼리 트레이드오프를 표현하는 단순 총 소유 비용 모델을 도출했다. 핵심 결과는 이 표본에서 어떤 시스템도 범주적으로 가장 빠르지 않다는 것이다. 네이티브 그래프 엔진(Ladybug)은 좁고 유계 이웃 형태에서 Corvic AI보다 우수하고, Corvic AI는 그래프의 큰 비율을 스캔하거나 조인하는 형태에서 더 빠르며, SQL/PGQ로 그래프 쿼리 구문을 구현한 시스템(DuckPGQ)은 순전히 쿼리 계획 선택 때문에 눈에 띄게 느리다. 우리 데이터에서 지배적인 비용 차는 쿼리 지연이 아니라 데이터를 아예 쿼리 가능하게 만드는 비용이다. 대량 수집 처리량은 엔진마다 세 자릿수(5.0k–4.3M rows/s)까지 달라지며, 단순 교차점 계산이 보여 주듯 데이터 갱신당 대략 10⁵회 미만의 쿼리를 갖는 워크로드에서는 이 격차가 총 비용을 지배한다.
벤치마크 점수는 대규모 언어 모델(LLM)의 개발, 마케팅, 선정에 점점 더 큰 영향을 미친다. 그러나 종합 점수는 평가 대상 시스템, 포함된 문항, 평가 조건과의 관계에서만 해석할 수 있다. 본 관점 논문은 일반 LLM 순위의 다섯 가지 연관된 한계를 검토한다: 평가 대상과 공개 가용 시스템 간의 차이, 외부 평가에서의 상업적 인센티브와 의존관계, 벤치마크 포화·결함 있는 테스트·데이터 오염(data contamination), 채점 절차를 악용하는 모델, 그리고 일반 점수가 사용자 업무와 관련 있는 정도의 제한. 문서화된 사례들은 이러한 문제들이 서로 다른 대응을 요구하는 이유를 보여 준다. 나는 평가 대상 구성을 공개하고, 문항과 과업의 성공적 완료를 검증하며, 성능을 비용·실행 시간과 함께 보고하고, 일반화 범위를 명시하는 평가 절차를 주장한다. 이어서 기여 문항과 반복 평가의 실용적 사례로 크라우드소싱 벤치마킹 플랫폼 \textbf{Isotanta}를 논의한다. 더 큰 문항 풀은 과업 커버리지를 개선할 수 있고, 반복 표본 추출은 그 풀에 대한 추정치의 안정성을 개선할 수 있다; 둘 다 타당성이나 개인 맞춤화를 보장하지는 않는다. 논문은 플랫폼의 현재 공유 순위와 제안된 과업별·사용자 제공 평가를 구분한다. 핵심 논지는 모델 선정이 일반 리더보드에서의 높은 순위가 아니라, 의도된 업무에서의 성능에 대한 근거를 요구한다는 것이다.