PyTorchKR Papers

“Code Generation”

총 10,163편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2607.18286v1cs.LG

런타임 조정 가능한 대중교통 신호 우선을 위한 선호 조건부 다목적 강화학습

Preference-Conditioned Multi-Objective Reinforcement Learning for Runtime-Tunable Transit Signal Priority

대중교통 신호 우선(TSP)은 상충하는 목표들의 균형이 필요하다: 버스 지연을 줄이면서 비버스 교통에 대한 부정적 영향을 제한하고, 일부 차량의 극단적 대기를 피해야 한다. 기존 TSP에 대한 강화학습(RL) 접근법은 일반적으로 대중교통 인식 특징(예: 점유율 및 일정 편차)을 인코딩하지만 고정된 보상 또는 고정된 스칼라화를 최적화하여, 시간대 또는 장애 상황에 따라 운영 기관의 우선순위가 바뀔 때 운영 유연성이 제한된다. 우리는 최소/최대 녹색 시간 및 전환 가능성 제약 하에서 다음 신호 위상을 선택하고, 재학습 없이 선호 매개변수 $w$를 통해 런타임에 조정하여 버스 우선 강조와 전체 교통 지연 간의 트레이드오프를 수행할 수 있는 선호 조건부 TSP 제어기 $π(a \mid s,w)$를 제안한다. IntersectionZoo 위에 제약 신호 제어/TSP 래퍼를 도입하여 이를 구현하고, 학습 중 희소한 대중교통 우선 이벤트를 해결하기 위해 버스 비율 증강 및 시간표 기반 버스 삽입으로 시나리오 생성을 확장한다. 고정 시간 제어, 규칙 기반 TSP 오버레이, 고정 가중치 PPO 전문가들과의 실험은 단일 학습된 조건부 정책이 런타임 선호에 걸쳐 매끄러운 경험적 트레이드오프 전선을 형성하고, 고정 시간 및 규칙 기반 베이스라인을 능가하며, 제약 충족 가능성을 유지함을 보여준다. 한편 꼬리 지연 진단은 중간 수준의 선호 설정에서는 비버스 외부 효과가 제한적으로 유지되지만, 높은 버스 우선 가중치 하에서는 상당히 증가할 수 있음을 밝힌다. 본 연구의 소스 코드는 https://github.com/urbanAIthi/morl-tsp에서 이용 가능하다.

arXiv:2604.01348v3cs.CL

대규모 절차적 지식이 추론 성능을 향상시킨다

Procedural Knowledge at Scale Improves Reasoning

테스트 타임 스케일링(test-time scaling)은 어려운 추론 과제에서 언어 모델을 개선하는 효과적인 방법으로 부상했다. 그러나 기존 방법의 대부분은 각 문제를 독립적으로 다루며, 이전 추론 궤적(trajectory)의 지식을 체계적으로 재사용하지 않는다. 특히 절차적 지식—문제를 재구성하고, 접근 방식을 선택하며, 필요할 때 검증하거나 되돌아가는 방법—을 충분히 활용하지 못한다. 우리는 Reasoning Memory를 제안한다. 이는 추론 모델을 위한 검색-증강 생성(RAG) 프레임워크로, 절차적 지식을 대규모로 명시적으로 검색하고 재사용한다. 기존의 단계별 추론 궤적 코퍼스에서 출발하여, 각 궤적을 자기완결적인 하위 질문-서브루틴(subroutine) 쌍으로 분해하고, 이를 통해 3,200만 개의 간결한 절차적 지식 항목으로 이루어진 데이터스토어를 구축한다. 추론 시, 경량 in-thought 프롬프트를 통해 모델이 핵심 하위 질문을 언어화하고, 추론 trace 내에서 관련 서브루틴을 검색하며, 다양하게 검색된 서브루틴을 암묵적 절차적 사전(prior)으로 삼아 추론한다. 수학, 과학, 코딩 벤치마크 6개에 걸쳐 Reasoning Memory는 문서, 궤적, 템플릿 지식을 활용한 RAG와, 연산량이 맞춰진 테스트 타임 스케일링 기준선을 일관되게 능가한다. 더 높은 추론 예산 하에서, 모델과 과제 전체에 걸친 평균적으로 검색 없음 대비 19.5%, 연산량이 맞춰진 기준선 대비 8.9% 개선을 보인다. 소거 연구(ablation study)는 이러한 이득이 두 가지 핵심 요인에서 비롯됨을 보여준다: 원본 궤적의 넓은 절차적 커버리지와, 절차적 지식의 효과적인 추출 및 재사용을 함께 가능하게 하는 우리의 분해 및 검색 설계. 실험 코드는 https://github.com/facebookresearch/reasoning-memory 에서 이용할 수 있다.

arXiv:2608.01211v1cs.CV

VaRS-Doc: 시각적 문서 검색을 위한 잠재적 자가 탐색 기반 해석 인식 가변 표현

VaRS-Doc: Interpretation-Aware Variant Representations via Latent Self-Probing for Visual Document Retrieval

시각적 문서 검색은 엔터프라이즈 검색, 과학 문헌 탐색, 검색-증강 생성(RAG)과 같은 응용 분야에서 최근 점차 중요해지고 있습니다. 이러한 응용 분야는 시각적으로 풍부한 대규모 문서 모음에서 질의와 관련된 페이지를 효율적으로 식별하는 데 의존합니다. 기존 방법들은 확장 가능하고 대기 시간이 짧은 온라인 검색을 지원하기 위해 오프라인에서 문서를 인코딩하고 인덱싱하는 후기 상호작용(late-interaction) 아키텍처를 흔히 채택합니다. 이러한 효율성에도 불구하고, 이 패러다임은 질의가 알려지기 전에 각 문서를 고정된 표현으로 인코딩해야 합니다. 그러나 시각적 문서 내 동일한 내용이라도 질의 의도에 따라 다른 해석을 유도할 수 있으며, 고정된 표현으로는 이를 포착하기 어렵습니다. 그렇다고 질의가 도착할 때까지 문서 인코딩을 미루는 것은 감당하기 힘든 수준의 온라인 검색 지연 시간을 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 문서 인코딩 중에 모델이 다양한 잠재적 해석을 능동적으로 탐색하도록 하여 문서 표현을 다양화하는 동시에, 각 질의가 가장 적합한 표현을 적응적으로 선택하는 효율적인 후기 상호작용 검색 방식을 유지하는 시각적 문서 검색 프레임워크인 VaRS-Doc을 제안합니다. 나아가 모델이 상호보완적인 의미적 해석을 포착하도록 유도하고 단일 지배적 표현만을 학습하는 상태로 회귀하는 것을 방지하는 2단계 학습 전략을 도입합니다. 시각적 문서 검색 벤치마크에 대한 실험 결과는 VaRS-Doc이 최고 수준(SOTA)의 검색 성능을 달성하며, 질의 무관(query-agnostic) 문서 인코딩과 질의 특화(query-specific) 검색 요구 간의 불일치에 대한 실용적인 해결책을 제공함을 보여줍니다. 코드는 https://github.com/bokufa/VaRS-Doc 에서 확인할 수 있습니다.

arXiv:2608.11271v1eess.IV

FPGA 상 SAR 압축 및 디스페클링 통합의 하드웨어 인식 배포

Hardware-Aware Deployment of Joint SAR Compression and Despeckling on FPGA

차세대 합성개구레이더(SAR) 임무는 다운링크 처리량보다 훨씬 빠르게 데이터를 생성할 것이므로, �실시간 지구 관측을 위해서는 기체 탑재 데이터 축소가 필수적이다. 학습 기반 이미지 압축(LIC)은 현재 운용 중인 수작업 코덱보다 더 나은 rate-distortion 성능을 제공하며, 최근 연구는 SAR 영상에 대해 디스페클링과 압축을 동시에 수행하면 표현 용량을 높이면서 더 높은 압축률을 달성할 수 있음을 보여준다. 그러나 이러한 방법들은 아직 우주 기반 시스템의 엄격한 전력, 연산, 운용 제약과 직면하지 못했다. 본 연구에서는 임베디드 ZCU102 FPGA 기반 플랫폼에 SAR 디스페클링 및 데이터 압축(DDC) 통합 프레임워크를 배포하여 이 간극을 메우고, 가속기의 고정소수점 연산 및 지원 연산 집합의 제한을 준수하는 모델 적응을 도입한다. 정밀도 수준과 CPU, GPU, FPGA 플랫폼 전반에 걸쳐 네 가지 모델 토폴로지를 평가하여 설계에 직접적인 함의를 갖는 여러 결과를 밝힌다. 관례적인 GDN 활성화 함수를 일반 렐루로 대체하면 SAR에서 품질이 향상됨을 확인했으며, 이는 자연 영상 압축에 확립된 설계 원칙이 반드시 SAR 영상으로 이전되지는 않음을 시사한다. 또한 잔차 블록은 연산량이 열 배인데도 표현 이점이 거의 없음을 보였고, FPGA가 시험한 플랫폼 중 가장 에너지 효율적임을 보였다. 이러한 결과는 동작하는 엣지 배포 워크플로와 기체 탑재 SAR 압축을 위한 근거 기반 출발점을 제시한다. 코드는 https://github.com/CedricLeon/SAR_DDC_FPGA 에서 이용할 수 있다.

arXiv:2609.01161v1cs.LG

CopyShield: LLM 저작권 방어 기법의 수준 간 벤치마크

CopyShield: A Cross-Level Benchmark of Copyright Defenses in LLMs

대규모 언어 모델(LLM)은 memorization된 텍스트를 그대로 재현할 수 있지만, 저작권 방어 기법은 대개 서로 호환되지 않는 프로토콜로 평가되어 왔다. 본 논문에서는 서로 다른 개입 수준의 대표적인 세 가지 방어 기법, 즉 대조 디코딩(contrastive decoding, 출력 수준), 직접 선호 최적화(Direct Preference Optimization, 행동 수준), 활성화 개입(activation intervention, 표현 수준)을 비교하는 통제된 벤치마크 CopyShield를 소개한다. 우리는 LLaMA-3.1-8B와 Mistral-7B-v0.3 두 모델 계열에서, 다섯 권의 퍼블릭 도메인 도서에 대한 통제된 암기(memorization)와 문자적 유출(literal leakage), 보정된 비문자적 유출(non-literal leakage), 유용성(utility), 퇴화(degeneracy)를 측정하는 공통 프로토콜을 사용하여 CopyShield를 평가한다. 이들 방법 전반에서 개입 수준은 서로 다른 준수-유용성 트레이드오프와 연관된다. LLaMA-3.1-8B에서 대조 디코딩은 퇴화가 거의 없는 수준(0-2%)을 유지하지만 NV-Recall 0.192-0.203에서 문자적 억제의 하한선에 도달한다. DPO는 문자적 유출을 거의 제거하지만(0.263에서 0.002로) QA 출력의 58%에서 바꿔 말하기 반복(paraphrase-loop) 퇴화를 유발하며, SFT 기준선 대비 유용성 향상도 없다. 활성화 개입은 생성 이전에 비문자적 질의의 84%를 차단함으로써 가장 낮은 비문자적 플래깅 비율(1/200)을 달성한다. 사람 평가에서는 DPO의 일관성이 낮음을 확인했으며, 활성화 개입은 광범위한 거부를 통해 인지된 저작권 위험을 낮춘다. Mistral-7B-v0.3에서는 출력 수준 및 표현 수준의 양상이 유지되는 반면 DPO 퇴화는 10-14%로 감소하여, 그 심각도가 모델에 따라 달라짐을 보여준다. 종합하면 CopyShield는 수준 간 참조 기준선을 제공하며, 표적화된 비문자적 억제가 아직 해결되지 않은 과제임을 밝힌다. 코드는 https://github.com/spotai-mbzuai/CopyShield.git 에서 확인할 수 있다.

arXiv:2609.24875v1cs.CV

SPHQuant: 비전-언어 모델을 위한 효율적인 극저비트 가중치 양자화

SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models

최근 파운데이션 모델은 네이티브 멀티모달 비전-언어 모델(VLM)로 나아가고 있으며, 이에 따라 VLM은 차세대 파운데이션 모델의 핵심 형태로 자리잡고 있습니다. 그러나 거대한 언어 백본으로 인한 높은 메모리 사용량과 메모리 바운드(memory-bound) 자기회귀 디코딩 특성 때문에 엣지 배포에 어려움이 따릅니다. 가중치 전용(weight-only) 사후 학습 양자화가 실용적인 해결책이지만, VLM을 극저비트 폭으로 낮추는 것은 여전히 까다롭습니다. 기존의 회전 없는(rotation-free) 방식은 2-3비트에서 이상치(outlier) 문제로 성능 저하를 겪으며, 회전 기반(rotation-based) 방식은 추가적인 런타임 오버헤드를 대가로 정확도를 향상시킵니다. 본 논문에서는 VLM을 위한 회전 없는 구면 가중치 전용 양자화 프레임워크인 SPHQuant를 제안합니다. SPHQuant는 가중치를 데카르트 좌표계(Cartesian coordinates)에서 직접 양자화하는 대신, 각 8차원 가중치 벡터를 좌표 부호, 반지름, 그리고 양의 단위 방향으로 분해합니다. 이러한 표현 방식은 이상치의 크기를 반지름으로 격리하는 동시에 방향 성분을 유계(bounded)이자 통계적으로 규칙적인 상태로 유지합니다. 이러한 통찰을 바탕으로 SPHQuant는 반지름에 추가적인 정밀도를 할당하여 이상치로 인한 정확도 저하를 완화합니다. 나아가 컴팩트한 양의 방향 코드북을 활용하고, 단위 구 제약조건을 보존하기 위해 각도 매개변수화(angular parameterization)를 통해 코드북 항목을 파인튜닝합니다. 또한 방향 코드북을 공유 메모리 조회에 충분히 작게 유지하고 방사형(radial) 비트를 효율적으로 패킹하는 하드웨어 친화적 GEMV 커널을 설계합니다. 실험 결과에 따르면, SPHQuant는 최첨단 극저비트 양자화 방법들과 대등한 성능을 달성하는 동시에 RTX A6000에서 QTIP 대비 디코드 처리량을 30.3% 향상시키는 것으로 나타났습니다. 코드는 https://github.com/Pushazf/SPHQuant 에 공개될 예정입니다.

arXiv:2610.02189v1cs.LG

스파스 오토인코더 특징 강화를 통한 본질적으로 무질서한 단백질 영역의 생성 모델링

Generative modeling of intrinsically disordered protein regions by reinforcing sparse autoencoder features

본질적으로 무질서한 단백질 영역(intrinsically disordered protein regions, IDR)은 전사 조절, 신호 전달, 세포 내 국소화(subcellular localization)와 같은 세포 과정에서 핵심적인 역할을 하지만, 이들의 기능적 설계는 여전히 어려운 과제로 남아 있다. 구조 기반 설계 방법은 IDR에 쉽게 적용되지 않으며, 기존의 단백질 언어 모델은 전체 길이의 단백질 서열로 학습되어 접힌(folded) 도메인에 편향된 사전 분포(prior)를 학습하게 된다. 본 연구에서는 AlphaFold 데이터베이스에서 추출한 5,400만 개의 예측 IDR로 구성된 데이터셋인 IDiom-DB로 학습된 자기회귀(autoregressive) 단백질 언어 모델인 IDiom을 제시한다. IDiom은 천연 IDR의 구성(composition), 패턴화(patterning), 모티프(motif), 예측된 무질서도(disorder)를 재현하는 다양한 서열을 생성한다. 기능과 연관된 서열 패턴을 제어하기 위해, 우리는 또한 스파스 오토인코더 특징을 활용한 강화학습(reinforcement learning with sparse autoencoder features, RL-SAE)을 도입한다. 이는 지정된 특징 집합을 활성화하는 서열의 생성에 보상을 주는 사후 학습 방법이다. 8개의 IDR 설계 과제에서, RL-SAE로 생성된 서열은 평균적으로 30개의 목표 특징 중 90%를 활성화하는 반면, 활성화 스티어링(activation steering)은 24%에 그쳤다. 우리는 RL-SAE가 스티어링 및 지도 미세조정에 비해 생성된 IDR의 예측 세포 내 국소화와 전사 활성(transcriptional activity)을 향상시키며, 서로 다른 생물학적 기능과 연관된 특징들을 개별 서열 내에서 결합할 수 있게 함을 보인다. 따라서 IDiom과 RL-SAE는 기능과 연관된 서열 특징에 대한 명시적 제어를 통해 해석 가능하고 조합 가능한 IDR 설계를 가능하게 한다. 더 넓게는, RL-SAE는 해석 가능한 특징이 유용한 설계 목표를 제공하는 다른 단백질 설계 환경으로 확장될 수 있다. 코드는 https://github.com/rotskoff-group/idiom 에서 확인할 수 있다.

arXiv:2105.08993공식 코드 · Papers with Code

TarGAN: Target-Aware Generative Adversarial Networks for Multi-modality Medical Image Translation

Paired multi-modality medical images, can provide complementary information to help physicians make more reasonable decisions than single modality medical images. But they are difficult to generate due to multiple factors in practice (e.g., time, cost, radiation dose). To address these problems, multi-modality medical image translation has aroused increasing research interest recently. However, the existing works mainly focus on translation effect of a whole image instead of a critical target area or Region of Interest (ROI), e.g., organ and so on. This leads to poor-quality translation of the localized target area which becomes blurry, deformed or even with extra unreasonable textures. In this paper, we propose a novel target-aware generative adversarial network called TarGAN, which is a generic multi-modality medical image translation model capable of (1) learning multi-modality medical image translation without relying on paired data, (2) enhancing quality of target area generation with the help of target area labels. The generator of TarGAN jointly learns mapping at two levels simultaneously - whole image translation mapping and target area translation mapping. These two mappings are interrelated through a proposed crossing loss. The experiments on both quantitative measures and qualitative evaluations demonstrate that TarGAN outperforms the state-of-the-art methods in all cases. Subsequent segmentation task is conducted to demonstrate effectiveness of synthetic images generated by TarGAN in a real-world application. Our code is available at https://github.com/2165998/TarGAN.

arXiv:2109.13788공식 코드 · Papers with Code

PFENet++: Boosting Few-shot Semantic Segmentation with the Noise-filtered Context-aware Prior Mask

In this work, we revisit the prior mask guidance proposed in ``Prior Guided Feature Enrichment Network for Few-Shot Segmentation''. The prior mask serves as an indicator that highlights the region of interests of unseen categories, and it is effective in achieving better performance on different frameworks of recent studies. However, the current method directly takes the maximum element-to-element correspondence between the query and support features to indicate the probability of belonging to the target class, thus the broader contextual information is seldom exploited during the prior mask generation. To address this issue, first, we propose the Context-aware Prior Mask (CAPM) that leverages additional nearby semantic cues for better locating the objects in query images. Second, since the maximum correlation value is vulnerable to noisy features, we take one step further by incorporating a lightweight Noise Suppression Module (NSM) to screen out the unnecessary responses, yielding high-quality masks for providing the prior knowledge. Both two contributions are experimentally shown to have substantial practical merit, and the new model named PFENet++ significantly outperforms the baseline PFENet as well as all other competitors on three challenging benchmarks PASCAL-5$^i$, COCO-20$^i$ and FSS-1000. The new state-of-the-art performance is achieved without compromising the efficiency, manifesting the potential for being a new strong baseline in few-shot semantic segmentation. Our code will be available at https://github.com/luoxiaoliu/PFENet2Plus.

arXiv:2209.10063공식 코드 · Papers with Code

Generate rather than Retrieve: Large Language Models are Strong Context Generators

Knowledge-intensive tasks, such as open-domain question answering (QA), require access to a large amount of world or domain knowledge. A common approach for knowledge-intensive tasks is to employ a retrieve-then-read pipeline that first retrieves a handful of relevant contextual documents from an external corpus such as Wikipedia and then predicts an answer conditioned on the retrieved documents. In this paper, we present a novel perspective for solving knowledge-intensive tasks by replacing document retrievers with large language model generators. We call our method generate-then-read (GenRead), which first prompts a large language model to generate contextutal documents based on a given question, and then reads the generated documents to produce the final answer. Furthermore, we propose a novel clustering-based prompting method that selects distinct prompts, resulting in the generated documents that cover different perspectives, leading to better recall over acceptable answers. We conduct extensive experiments on three different knowledge-intensive tasks, including open-domain QA, fact checking, and dialogue system. Notably, GenRead achieves 71.6 and 54.4 exact match scores on TriviaQA and WebQ, significantly outperforming the state-of-the-art retrieve-then-read pipeline DPR-FiD by +4.0 and +3.9, without retrieving any documents from any external knowledge source. Lastly, we demonstrate the model performance can be further improved by combining retrieval and generation. Our code and generated documents can be found at https://github.com/wyu97/GenRead.

arXiv:2305.11818

MaGIC: Multi-modality Guided Image Completion

Vanilla image completion approaches exhibit sensitivity to large missing regions, attributed to the limited availability of reference information for plausible generation. To mitigate this, existing methods incorporate the extra cue as a guidance for image completion. Despite improvements, these approaches are often restricted to employing a single modality (e.g., segmentation or sketch maps), which lacks scalability in leveraging multi-modality for more plausible completion. In this paper, we propose a novel, simple yet effective method for Multi-modal Guided Image Completion, dubbed MaGIC, which not only supports a wide range of single modality as the guidance (e.g., text, canny edge, sketch, segmentation, depth, and pose), but also adapts to arbitrarily customized combination of these modalities (i.e., arbitrary multi-modality) for image completion. For building MaGIC, we first introduce a modality-specific conditional U-Net (MCU-Net) that injects single-modal signal into a U-Net denoiser for single-modal guided image completion. Then, we devise a consistent modality blending (CMB) method to leverage modality signals encoded in multiple learned MCU-Nets through gradient guidance in latent space. Our CMB is training-free, thereby avoids the cumbersome joint re-training of different modalities, which is the secret of MaGIC to achieve exceptional flexibility in accommodating new modalities for completion. Experiments show the superiority of MaGIC over state-of-the-art methods and its generalization to various completion tasks. Our project with code and models is available at yeates.github.io/MaGIC-Page/.

arXiv:2305.17306공식 코드 · Papers with Code

Chain-of-Thought Hub: A Continuous Effort to Measure Large Language Models' Reasoning Performance

As large language models (LLMs) are continuously being developed, their evaluation becomes increasingly important yet challenging. This work proposes Chain-of-Thought Hub, an open-source evaluation suite on the multi-step reasoning capabilities of large language models. We are interested in this setting for two reasons: (1) from the behavior of GPT and PaLM model family, we observe that complex reasoning is likely to be a key differentiator between weaker and stronger LLMs; (2) we envisage large language models to become the next-generation computational platform and foster an ecosystem of LLM-based new applications, this naturally requires the foundation models to perform complex tasks that often involve the composition of linguistic and logical operations. Our approach is to compile a suite of challenging reasoning benchmarks to track the progress of LLMs. Our current results show that: (1) model scale clearly correlates with reasoning capabilities; (2) As of May 2023, Claude-v1.3 and PaLM-2 are the only two models that are comparable with GPT-4, while open-sourced models still lag behind; (3) LLaMA-65B performs closely to code-davinci-002, indicating that with successful further development such as reinforcement learning from human feedback (RLHF), it has great potential to be close to GPT-3.5-Turbo. Our results also suggest that for the open-source efforts to catch up, the community may focus more on building better base models and exploring RLHF.

arXiv:2307.04495

Model-Driven Engineering Method to Support the Formalization of Machine Learning using SysML

Methods: This work introduces a method supporting the collaborative definition of machine learning tasks by leveraging model-based engineering in the formalization of the systems modeling language SysML. The method supports the identification and integration of various data sources, the required definition of semantic connections between data attributes, and the definition of data processing steps within the machine learning support. Results: By consolidating the knowledge of domain and machine learning experts, a powerful tool to describe machine learning tasks by formalizing knowledge using the systems modeling language SysML is introduced. The method is evaluated based on two use cases, i.e., a smart weather system that allows to predict weather forecasts based on sensor data, and a waste prevention case for 3D printer filament that cancels the printing if the intended result cannot be achieved (image processing). Further, a user study is conducted to gather insights of potential users regarding perceived workload and usability of the elaborated method. Conclusion: Integrating machine learning-specific properties in systems engineering techniques allows non-data scientists to understand formalized knowledge and define specific aspects of a machine learning problem, document knowledge on the data, and to further support data scientists to use the formalized knowledge as input for an implementation using (semi-) automatic code generation. In this respect, this work contributes by consolidating knowledge from various domains and therefore, fosters the integration of machine learning in industry by involving several stakeholders.

arXiv:2308.04417공식 코드 · Papers with Code

DiffCR: A Fast Conditional Diffusion Framework for Cloud Removal from Optical Satellite Images

Optical satellite images are a critical data source; however, cloud cover often compromises their quality, hindering image applications and analysis. Consequently, effectively removing clouds from optical satellite images has emerged as a prominent research direction. While recent advancements in cloud removal primarily rely on generative adversarial networks, which may yield suboptimal image quality, diffusion models have demonstrated remarkable success in diverse image-generation tasks, showcasing their potential in addressing this challenge. This paper presents a novel framework called DiffCR, which leverages conditional guided diffusion with deep convolutional networks for high-performance cloud removal for optical satellite imagery. Specifically, we introduce a decoupled encoder for conditional image feature extraction, providing a robust color representation to ensure the close similarity of appearance information between the conditional input and the synthesized output. Moreover, we propose a novel and efficient time and condition fusion block within the cloud removal model to accurately simulate the correspondence between the appearance in the conditional image and the target image at a low computational cost. Extensive experimental evaluations on two commonly used benchmark datasets demonstrate that DiffCR consistently achieves state-of-the-art performance on all metrics, with parameter and computational complexities amounting to only 5.1% and 5.4%, respectively, of those previous best methods. The source code, pre-trained models, and all the experimental results will be publicly available at https://github.com/XavierJiezou/DiffCR upon the paper's acceptance of this work.

arXiv:2309.00638

Generative AI for End-to-End Limit Order Book Modelling: A Token-Level Autoregressive Generative Model of Message Flow Using a Deep State Space Network

Developing a generative model of realistic order flow in financial markets is a challenging open problem, with numerous applications for market participants. Addressing this, we propose the first end-to-end autoregressive generative model that generates tokenized limit order book (LOB) messages. These messages are interpreted by a Jax-LOB simulator, which updates the LOB state. To handle long sequences efficiently, the model employs simplified structured state-space layers to process sequences of order book states and tokenized messages. Using LOBSTER data of NASDAQ equity LOBs, we develop a custom tokenizer for message data, converting groups of successive digits to tokens, similar to tokenization in large language models. Out-of-sample results show promising performance in approximating the data distribution, as evidenced by low model perplexity. Furthermore, the mid-price returns calculated from the generated order flow exhibit a significant correlation with the data, indicating impressive conditional forecast performance. Due to the granularity of generated data, and the accuracy of the model, it offers new application areas for future work beyond forecasting, e.g. acting as a world model in high-frequency financial reinforcement learning applications. Overall, our results invite the use and extension of the model in the direction of autoregressive large financial models for the generation of high-frequency financial data and we commit to open-sourcing our code to facilitate future research.

arXiv:2401.00563공식 코드 · Papers with Code

KernelGPT: Enhanced Kernel Fuzzing via Large Language Models

Bugs in operating system kernels can affect billions of devices and users all over the world. As a result, a large body of research has been focused on kernel fuzzing, i.e., automatically generating syscall (system call) sequences to detect potential kernel bugs or vulnerabilities. Kernel fuzzing aims to generate valid syscall sequences guided by syscall specifications that define both the syntax and semantics of syscalls. While there has been existing work trying to automate syscall specification generation, this remains largely manual work, and a large number of important syscalls are still uncovered. In this paper, we propose KernelGPT, the first approach to automatically synthesizing syscall specifications via Large Language Models (LLMs) for enhanced kernel fuzzing. Our key insight is that LLMs have seen massive kernel code, documentation, and use cases during pre-training, and thus can automatically distill the necessary information for making valid syscalls. More specifically, KernelGPT leverages an iterative approach to automatically infer the specifications, and further debug and repair them based on the validation feedback. Our results demonstrate that KernelGPT can generate more new and valid specifications and achieve higher coverage than state-of-the-art techniques. So far, by using newly generated specifications, KernelGPT has already detected 24 new unique bugs in Linux kernel, with 12 fixed and 11 assigned with CVE numbers. Moreover, a number of specifications generated by KernelGPT have already been merged into the kernel fuzzer Syzkaller, following the request from its development team.

arXiv:2404.17762공식 코드 · Papers with Code

Large Multi-modality Model Assisted AI-Generated Image Quality Assessment

Traditional deep neural network (DNN)-based image quality assessment (IQA) models leverage convolutional neural networks (CNN) or Transformer to learn the quality-aware feature representation, achieving commendable performance on natural scene images. However, when applied to AI-Generated images (AGIs), these DNN-based IQA models exhibit subpar performance. This situation is largely due to the semantic inaccuracies inherent in certain AGIs caused by uncontrollable nature of the generation process. Thus, the capability to discern semantic content becomes crucial for assessing the quality of AGIs. Traditional DNN-based IQA models, constrained by limited parameter complexity and training data, struggle to capture complex fine-grained semantic features, making it challenging to grasp the existence and coherence of semantic content of the entire image. To address the shortfall in semantic content perception of current IQA models, we introduce a large Multi-modality model Assisted AI-Generated Image Quality Assessment (MA-AGIQA) model, which utilizes semantically informed guidance to sense semantic information and extract semantic vectors through carefully designed text prompts. Moreover, it employs a mixture of experts (MoE) structure to dynamically integrate the semantic information with the quality-aware features extracted by traditional DNN-based IQA models. Comprehensive experiments conducted on two AI-generated content datasets, AIGCQA-20k and AGIQA-3k show that MA-AGIQA achieves state-of-the-art performance, and demonstrate its superior generalization capabilities on assessing the quality of AGIs. Code is available at https://github.com/wangpuyi/MA-AGIQA.

arXiv:2405.20192공식 코드 · Papers with Code

TAIA: Large Language Models are Out-of-Distribution Data Learners

Fine-tuning on task-specific question-answer pairs is a predominant method for enhancing the performance of instruction-tuned large language models (LLMs) on downstream tasks. However, in certain specialized domains, such as healthcare or harmless content generation, it is nearly impossible to obtain a large volume of high-quality data that matches the downstream distribution. To improve the performance of LLMs in data-scarce domains with domain-mismatched data, we re-evaluated the Transformer architecture and discovered that not all parameter updates during fine-tuning contribute positively to downstream performance. Our analysis reveals that within the self-attention and feed-forward networks, only the fine-tuned attention parameters are particularly beneficial when the training set's distribution does not fully align with the test set. Based on this insight, we propose an effective inference-time intervention method: Training All parameters but Inferring with only Attention (\trainallInfAttn). We empirically validate \trainallInfAttn using two general instruction-tuning datasets and evaluate it on seven downstream tasks involving math, reasoning, and knowledge understanding across LLMs of different parameter sizes and fine-tuning techniques. Our comprehensive experiments demonstrate that \trainallInfAttn achieves superior improvements compared to both the fully fine-tuned model and the base model in most scenarios, with significant performance gains. The high tolerance of \trainallInfAttn to data mismatches makes it resistant to jailbreaking tuning and enhances specialized tasks using general data. Code is available in \url{https://github.com/pixas/TAIA_LLM}.

arXiv:2406.01188

UniAnimate: Taming Unified Video Diffusion Models for Consistent Human Image Animation

Recent diffusion-based human image animation techniques have demonstrated impressive success in synthesizing videos that faithfully follow a given reference identity and a sequence of desired movement poses. Despite this, there are still two limitations: i) an extra reference model is required to align the identity image with the main video branch, which significantly increases the optimization burden and model parameters; ii) the generated video is usually short in time (e.g., 24 frames), hampering practical applications. To address these shortcomings, we present a UniAnimate framework to enable efficient and long-term human video generation. First, to reduce the optimization difficulty and ensure temporal coherence, we map the reference image along with the posture guidance and noise video into a common feature space by incorporating a unified video diffusion model. Second, we propose a unified noise input that supports random noised input as well as first frame conditioned input, which enhances the ability to generate long-term video. Finally, to further efficiently handle long sequences, we explore an alternative temporal modeling architecture based on state space model to replace the original computation-consuming temporal Transformer. Extensive experimental results indicate that UniAnimate achieves superior synthesis results over existing state-of-the-art counterparts in both quantitative and qualitative evaluations. Notably, UniAnimate can even generate highly consistent one-minute videos by iteratively employing the first frame conditioning strategy. Code and models will be publicly available. Project page: https://unianimate.github.io/.

arXiv:2407.09059공식 코드 · Papers with Code

Domain-adaptive Video Deblurring via Test-time Blurring

Dynamic scene video deblurring aims to remove undesirable blurry artifacts captured during the exposure process. Although previous video deblurring methods have achieved impressive results, they suffer from significant performance drops due to the domain gap between training and testing videos, especially for those captured in real-world scenarios. To address this issue, we propose a domain adaptation scheme based on a blurring model to achieve test-time fine-tuning for deblurring models in unseen domains. Since blurred and sharp pairs are unavailable for fine-tuning during inference, our scheme can generate domain-adaptive training pairs to calibrate a deblurring model for the target domain. First, a Relative Sharpness Detection Module is proposed to identify relatively sharp regions from the blurry input images and regard them as pseudo-sharp images. Next, we utilize a blurring model to produce blurred images based on the pseudo-sharp images extracted during testing. To synthesize blurred images in compliance with the target data distribution, we propose a Domain-adaptive Blur Condition Generation Module to create domain-specific blur conditions for the blurring model. Finally, the generated pseudo-sharp and blurred pairs are used to fine-tune a deblurring model for better performance. Extensive experimental results demonstrate that our approach can significantly improve state-of-the-art video deblurring methods, providing performance gains of up to 7.54dB on various real-world video deblurring datasets. The source code is available at https://github.com/Jin-Ting-He/DADeblur.