openai.com

이 이메일 도메인이 관측된 논문 5건

arXiv:2610.10064v1cs.CY

자동화된 AI 연구의 위험을 완화하기 위한 이해도 감사

Comprehension Audits to Mitigate Risks from Automated AI Research

AI는 이미 최전선 AI 연구소들에서 코드의 상당 부분을 작성하고 있습니다. 이는 인간의 감독이 충분하지 않을 경우 안전성(safety) 위험을 초래합니다. 기존 연구에서는 이를 완화하기 위해 최소 이해도 임계값과 보조 도구 없는 확인(unaided check)을 제안합니다. 그러나 우리가 아는 한, 책임자가 구축 중인 대상을 이해하고 있다는 실증적 증거를 개발이나 사용을 지속하기 위한 사전 확약 조건으로 요구하는 공개된 프론티어 AI 보증 체계는 현재 존재하지 않습니다. 우리는 책임자가 감사관에게 연구개발(R&D) 기여 내역을 설명하여 이해도를 입증하는 새로운 개발 프로세스 보증 메커니즘인 '이해도 감사(comprehension audit)'를 제안합니다. 독립적인 운영과 등급화된 보고서를 바탕으로, 이 체계는 게이트 역할을 수행합니다. 즉, 인간의 이해를 입증하지 못할 경우 시정될 때까지 해당 기여의 개발이 중단되며 반복적인 실패에 대해서는 단계적으로 강화된 조치가 취해집니다. 주요 오픈소스 AI 프로젝트를 분석한 결과, 코드 출력량은 증가한 반면 코드 라인당 인간 검토 코멘트 비율은 감소했으며, 자동화된 플릿(fleet) 계정의 경우 그 비율이 훨씬 더 낮았습니다. 우리는 연구소들이 내재된 독립 감사관과 함께 이러한 감사를 수행할 것을 촉구합니다.

arXiv:2602.17050v4cs.LG

다중 프로브 제로 충돌 해시(MPZCH): 대규모 추천 시스템에서 임베딩 충돌 완화 및 모델 최신성 향상

Multi-Probe Zero Collision Hash (MPZCH): Mitigating Embedding Collisions and Enhancing Model Freshness in Large-Scale Recommenders

임베딩 테이블은 대규모 추천 시스템의 핵심 구성 요소로, 고차수 범주형(high-cardinality categorical) 특성을 밀집 벡터 표현으로 효율적으로 매핑할 수 있도록 지원합니다. 그러나 고유 ID의 양이 증가함에 따라 기존의 해시 기반 인덱싱 방식은 충돌 문제를 겪으며, 이는 모델 성능과 개인화 품질을 저하시킵니다. 본 논문에서는 선형 탐사(linear probing)를 기반으로 하여 임베딩 충돌을 효과적으로 완화하는 새로운 인덱싱 메커니즘인 다중 프로브 제로 충돌 해시(MPZCH, Multi-Probe Zero Collision Hash)를 제시합니다. 합리적인 테이블 크기 설정을 통해 프로덕션 수준의 효율성을 유지하면서 이러한 충돌을 완전히 제거하는 경우가 많습니다. MPZCH는 보조 텐서와 고성능 CUDA 커널을 활용하여 구성 가능한 탐사 및 능동적 축출(active eviction) 정책을 구현합니다. 노후화된 ID를 폐기하고 재할당된 슬롯을 초기화함으로써, MPZCH는 해시 기반 방식에서 전형적으로 발생하는 오래된 임베딩 상속을 방지하고 새로운 특성이 처음부터 효과적으로 학습되도록 보장합니다. 충돌 완화 오버헤드에도 불구하고, 본 시스템은 기존 방식과 견줄 만한 학습 QPS 및 추론 지연 시간을 유지합니다. 엄격한 온라인 실험을 통해 MPZCH가 사용자 임베딩에 대해 제로 충돌을 달성하고 아이템 임베딩의 최신성과 품질을 대폭 향상함을 입증합니다. 이 솔루션은 더 넓은 커뮤니티를 위해 오픈소스 TorchRec 라이브러리에 공개되었습니다.

arXiv:2510.00938v3cs.LG

대규모 추론 모델은 결함 있는 사고로부터 더 나은 정렬을 학습한다

Large Reasoning Models Learn Better Alignment from Flawed Thinking

대규모 추론 모델(LRM)은 최종 답을 내기 전 구조화된 사고의 연쇄(CoT)를 생성하여 "생각"하지만, 안전성 정렬(safety alignment)에 대해 비판적으로 추론하는 능력은 여전히 부족하며, 사고 과정에 결함 있는 전제가 주입되면 쉽게 편향된다. 우리는 RECAP(Robust Safety Alignment via Counter-Aligned Prefilling)을 제안한다. 이는 사후 학습을 위한 원칙적인 강화학습(RL) 방법으로, 결함 있는 추론 궤적을 명시적으로 덮어쓰고 안전하고 도움이 되는 응답으로 경로를 재설정하도록 모델을 가르친다. RECAP은 합성적으로 생성된 counter-aligned CoT prefill과 표준 프롬프트의 혼합으로 학습되며, 일반적인 인간 피드백 강화학습(RLHF)을 넘어서는 추가 학습 비용이나 수정 없이 안전성과 jailbreak 견고성을 크게 향상시키고, 과도한 거부(overrefusal)를 줄이며, 핵심 추론 능력을 유지한다—모두 추론 토큰 예산을 유지한 채로. 광범위한 분석에 따르면 RECAP으로 학습된 모델은 자기 성찰(self-reflection)을 더 자주 수행하고 적응형 공격 하에서도 견고하며, 추론을 덮어쓰려는 반복적인 시도 이후에도 안전성을 유지한다.

arXiv:2608.12236v1econ.GN

조직은 AI를 어떻게 사용하는가: ChatGPT를 통한 증거

How Organizations Use AI: Evidence from ChatGPT

우리는 ChatGPT Enterprise 계정 기록을 사용량, 근로자 역할, 업무 분류, 2026년 3월까지의 상장 기업 재무 데이터와 연계하여 조직이 최첨단 생성형 AI를 어떻게 사용하는지 연구한다. 이 연계 데이터는 대규모로 도입, 근로자 역할, 메시지 수준 업무에 대한 프라이버시 보존 분석을 가능하게 한다. 예를 들어 6개월 도입 시점에서 분석하는 근로자 수준 표본에는 1,500개 이상의 조직과 1,700만 건 이상의 메시지가 포함된다. 우리는 기업 AI 도입 및 사용에 관한 네 가지 사실을 제시한다. 첫째, ChatGPT Enterprise 사용은 신규 기업 도입과 기존 도입 기업 내 사용 강도 증가가 결합되며 빠르게 성장했다. 둘째, 미국 기반 상장 기업의 도입은 규모가 더 크고, 기업 가치가 더 높으며, 연구개발(R&D) 및 판매·일반·관리(SG&A) 비중이 더 큰 기업에 집중되어 있다. 셋째, 도입 기업 내 활성 사용은 직무와 직급 수준을 넓게 아우르며, 특히 경력 초기 근로자에서 사용 강도가 특히 높다. 넷째, ChatGPT Enterprise 사용은 글쓰기, 기술 업무, 커뮤니케이션, 정보 종합 등 지식 업무 전반에 걸친다. 종합하면, 이러한 결과는 기업들이 기업 AI 도입의 속도, 범위, 목적에서 크게 다르며, 여전히 AI를 조직 워크플로에 통합하는 방법을 적극적으로 학습하고 있음을 시사한다.

arXiv:2606.24014v1cs.AI

Reinforcement Learning Towards Broadly and Persistently Beneficial Models

As AI systems are deployed across increasingly diverse and high-stakes settings, model alignment must generalize beyond the tasks and domains seen during training. This is especially important for reinforcement learning (RL), which can introduce unexpected misalignment through reward hacking, deception, or other unintended strategies. We study whether RL on beneficial behavior, instantiated in realistic domains, can produce broad and persistent alignment generalization beyond the training distribution. We construct a dataset of realistic situations designed to measure and train beneficial traits, such as truthfulness, fairness, risk awareness, and corrigibility, spanning varied domains, including health, science, and education. We then train models with RL on this dataset and evaluate them on more than 50 independent benchmarks of alignment and beneficial behavior. Compared to a compute-matched baseline, beneficial trait RL improves performance on over 80% of these out-of-distribution benchmarks. We observe substantial out-of-distribution alignment transfer: a beneficial-behavior RL intervention entirely limited to one domain, health, produces broad improvements on non-health alignment evaluations, including reduced reward hacking, deception, and general misalignment. Finally, we study alignment persistence: whether behavior remains robustly aligned under attempts to steer models towards misalignment. Models trained with beneficial trait RL show improved persistence, including greater resistance to adversarial prompting and harmful finetuning; further work is required to isolate the sources of these effects. These results suggest that RL to reinforce beneficial behavior in realistic domains can produce models that are more robustly aligned with human flourishing.