Designing Air Flow with Surrogate-assisted Phenotypic Niching
원문 초록
In complex, expensive optimization domains we often narrowly focus on finding high performing solutions, instead of expanding our understanding of the domain itself. But what if we could quickly understand the complex behaviors that can emerge in said domains instead? We introduce surrogate-assisted phenotypic niching, a quality diversity algorithm which allows to discover a large, diverse set of behaviors by using computationally expensive phenotypic features. In this work we discover the types of air flow in a 2D fluid dynamics optimization problem. A fast GPU-based fluid dynamics solver is used in conjunction with surrogate models to accurately predict fluid characteristics from the shapes that produce the air flow. We show that these features can be modeled in a data-driven way while sampling to improve performance, rather than explicitly sampling to improve feature models. Our method can reduce the need to run an infeasibly large set of simulations while still being able to design a large diversity of air flows and the shapes that cause them. Discovering diversity of behaviors helps engineers to better understand expensive domains and their solutions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Microcosmos: GPU 시대를 위한 인공 생명 재구상
Microcosmos: Reimagining Artificial Life for the GPU Era
대부분의 인공 생명 시뮬레이터는 물리적 현실과 분리된 추상적인 기반 위에서 동작하거나, 물리적으로 근거한 세계를 시뮬레이션하더라도 개방형 진화(open-ended evolution)에 필요한 개체군 규모로 확장되지 않는다. 본 논문에서는 Microcosmos를 제안한다. 이는 인공 생명체를 2차원 점성 유체 세계에 서식하는 탄성 필라멘트 체인으로 모델링하는 시뮬레이션 엔진으로, 현대 GPU 하드웨어와 엔드투엔드 미분 가능 시뮬레이션을 위해 처음부터 설계되었다. 본 엔진은 네 가지 실험을 통해 검증된다. 수동 설계된 이동 전략은 유체 결합이 알려진 물리적 제약을 준수함을 확인한다. 필라멘트 폴딩의 그래디언트 기반 최적화는 시뮬레이터의 완전한 미분 가능성과 필라멘트 인코딩의 표현력을 입증한다. 뉴로에볼루션(neuroevolution)과 품질-다양성 탐색(quality-diversity search)은 다양한 수영 및 주화성(chemotaxis) 행동을 자동으로 생성한다. 입자 수에 대한 선형 스케일링은 엔진이 대규모 시뮬레이션을 지원함을 확인한다. Microcosmos는 물리적으로 타당하고 계산적으로 확장 가능하도록 설계된 대규모 개방형 진화 시뮬레이션 지원을 장기 목표로, 오픈 플랫폼으로 공개된다.
LiteTopK: 장문맥 희소 어텐션용 통합 Indexer-TopK 커널을 위한 차원의 저주 활용
LiteTopK: Exploiting the Curse of Dimensionality for a Fused Indexer-TopK Kernel in Long-Context Sparse Attention
정교한 축출 정책이 실패할 때: LLM 접두 문맥 재사용을 위한 캐시 교체 정책의 재고
When Fancy Eviction Fails: Rethinking Cache Replacement For LLM Prefix Reuse
장시간 실행되는 LLM 애플리케이션과 자율 에이전트는 점점 늘어나는 컨텍스트를 반복적으로 전송하므로, 프리픽스 캐싱은 프리필 비용을 줄이는 데 매우 중요하다. 이는 수십 년간의 전통적인 캐시 관리 기법이 에이전트형 및 대화형 LLM 서빙에 그대로 적용되는가라는 근본적인 질문을 제기한다. 우리는 200억 개가 넘는 처리 토큰으로 구성된 실제 서비스 트레이스를 분석하고, 용량이 제한된 HBM 환경과 대규모 메모리 풀 환경에서 14가지 축출 알고리즘을 평가한다. 그 결과, 단순한 LRU(Least Recently Used)가 놀라울 정도로 견고하여 정교한 전통적 정책과 대등한 성능을 보이지만, 벨라디(Belady)의 최적 해와는 여전히 상당한 격차가 남아 있음을 확인한다. 그 이유는 구조적이다. 프리픽스 재사용은 활성 세션의 꾸준한 진행 속도에 의해 좌우되므로, 최근 사용 여부가 축출에 대해 이례적으로 강한 예측 변수가 된다. 그럼에도 프리픽스 캐싱은 최근성이 무시하는 측면에서 전통적 워크로드와 다르며, 특히 단일 턴 요청의 만연, 극단적인 세션 크기 편중, 어텐션 연산이 토큰 깊이에 따라 증가하기 때문에 발생하는 매우 불균일한 미스 비용이 그러하다. 최적과의 격차를 줄이기 위해, 우리는 프리픽스 캐시 관리를 위한 몇 가지 설계 원칙을 제시한다. 즉, 최근성을 기준선으로 유지하면서 일회성 프롬프트를 걸러내기 위한 신속한 강등, 비용이 큰 미스를 우선시하는 연산 인지형 축출, 용량 적응형 축출 단위를 함께 도입하는 것이다. 우리의 트레이스와 시뮬레이터는 공개되어 있다.
SeKV: 장문 컨텍스트 대규모 언어 모델 추론을 위한 계층적 시맨틱 메모리 기반 해상도 적응형 KV 캐시
SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference
대규모 언어 모델은 점점 더 긴 문맥에서 동작하며, 이때 KV 캐시는 시퀀스 길이에 따라 선형으로 증가하여 디코딩 중 메모리를 지배한다. 토큰 제거는 항목을 영구적으로 버리고, 의미 압축은 프리필 시점에 각 단위의 해상도를 고정하므로 나중에 관련성이 생기는 세부 정보를 복구할 수 없다. 우리는 어떤 압축된 구간을 토큰 해상도로 복원할지를 디코딩 시점에 결정하는 학습된 줌인 메커니즘을 중심으로 구축한 해상도 적응형 KV 캐시인 SeKV를 제안한다. SeKV는 높은 서프라이절 위치에서 문맥을 분할하고, 앵커 토큰과 구간 요약을 GPU에 유지하며, 각 구간의 키와 값의 저랭크 인자를 CPU로 오프로드한다. 경량의 헤드별 라우터가 질의와 관련된 구간을 선택하고, 이 구간들은 학습된 구간별 랭크로 재구성된다. 이 캐시는 손실이 있지만 제거하지 않는다. 모든 구간이 거칠게든 재구성되든 어텐션에 남아 있다. 기반 LLM은 고정된 상태로 유지되며 라우터가 추가하는 파라미터는 0.1% 미만이다. GPU에 상주하는 KV 예산이 10%인 조건에서 5개 백본과 4개 벤치마크 전반에 걸쳐, SeKV는 프리필 시점에 해상도를 고정하는 모든 방법을 능가하며 가장 강력한 의미 기반 베이스라인보다 2.9포인트(상대 5.5%) 향상된다. LongBench와 InfiniteBench에서는 정확 회상 오프로딩 캐시와 대등하고 합성 정확 검색에서는 뒤처지지만, 디코딩 단계당 전송 데이터량은 ShadowKV보다 3배 적고 우리가 프로파일링한 방법 중 총 메모리를 가장 적게 사용한다. 128K 문맥에서 최대 GPU 메모리를 절반으로 줄이고 전체 KV 캐싱 대비 총 메모리를 3분의 1 줄인다.
HyperVAttention: 비디오 디퓨전을 위한 시공간 클러스터링 기반 효율적인 희소 어텐션
HyperVAttention: Efficient Sparse Attention with Spatio-Temporal Clustering for Video Diffusion
비디오 확산 트랜스포머(VDiT)는 고충실도 비디오 생성에서 상당한 능력을 보여 왔다. 그러나 장시간 비디오를 생성하는 능력은 셀프 어텐션 메커니즘의 이차 복잡도에 의해 근본적으로 제약된다. 최근의 클러스터링 기반 희소 어텐션 방법은 의미적으로 유사한 토큰을 묶어 품질과 속도 간 절충을 개선하지만, 실제 효율은 상당한 클러스터링 오버헤드와 불규칙한 클러스터 유도 블록으로 인한 낮은 CTA 활용률이라는 두 가지 병목으로 인해 제한된다. 우리는 이 두 병목을 함께 해결하는 학습 불필요 희소 어텐션 프레임워크인 HyperVAttention(HVA)을 제안한다. 클러스터링 오버헤드를 줄이기 위해, 비디오 토큰의 시공간 지역성을 활용하여 중심점 탐색을 고정된 국소 이웃으로 제한하는 3D 국소 윈도우 클러스터링을 도입하고, 효율적인 실행을 위해 맞춤형 Triton 커널로 구현한다. 또한 노이즈 제거 단계 전반에서 클러스터 할당의 시간적 안정성을 활용하여 앵커 단계에서만 전체 클러스터링을 수행하고 중간 단계에서는 일부 토큰만 갱신하는 하이브리드 클러스터링 전략을 제안한다. CTA 활용률을 높이기 위해, 병렬 병합형 군집화를 통해 CTA 정렬 실행 비용을 최소화하는 하드웨어 인식 클러스터 병합을 제시하며, 유휴 타일 용량을 활용하여 블록 밀도와 근사 충실도를 개선한다. 이러한 구성 요소는 함께 클러스터링 오버헤드를 줄이고 중복 갱신을 피하며 희소 어텐션을 최신 GPU 커널의 고정 타일 구조에 더 잘 맞춘다. 비디오 생성 실험에서 HVA는 학습 불필요 희소 어텐션의 파레토 프런티어를 개선하여, 비슷한 지연 시간에서 SVG2보다 높은 충실도를 달성하고 HunyuanVideo에서 전체 어텐션 대비 $2.13\times$ 속도 향상을, 더 빠른 변형인 HVA-Flash로는 $2.23\times$ 속도 향상을 달성한다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.