PyTorchKR Papers

“Code Generation”

총 10,163편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2607.25216v1cs.IR

TopoGR: 생성형 추천에서 시맨틱 ID의 잠재 구조 규명 및 보존

TopoGR: Revealing and Preserving Latent Structure of Semantic ID in Generative Recommendation

시맨틱 ID(Semantic ID, SID) 기반 생성형 추천은 각 아이템을 이산적인 시맨틱 ID 시퀀스로 토큰화(tokenization)하고, 시맨틱 ID를 생성하여 다음 아이템을 예측합니다. 그러나 기존 방식들은 일반적으로 SID를 독립적인 이산 기호로 간주하며, 학습된 시맨틱 ID 공간의 위상(topology)을 간과하는 경우가 많습니다. 본 논문에서는 토큰화와 생성 사이의 구조적 불일치를 규명합니다. 즉, 토큰화기는 시맨틱 이웃 관계를 갖는 구조화된 코드 공간을 학습하는 반면, 생성기는 시맨틱 ID 토큰을 독립적인 범주형 기호로 사용합니다. 그 결과 아이템 간 연관성이 정확한 시맨틱 ID 일치 여부로 축소되어, 시맨틱 ID가 겹치지 않는 의미적으로 유사한 아이템을 식별하기 어렵게 만듭니다. 이러한 문제를 해결하기 위해, 비트 분해 가능 시맨틱 ID(Bit-decomposable Semantic ID, Binary SID) 기반의 위상 보존형 생성 추천 프레임워크인 TopoGR을 제안합니다. 각 Binary SID는 비트 분해 가능한 형태로 학습되며 명시적인 해밍 기하(Hamming geometry)를 드러내는 동시에 표준 정수 SID로 결정론적 변환이 가능합니다. TopoGR은 세 단계에서 이 위상을 활용합니다. 입력 층(layer)에서 이진 SID 특성을 통해 해밍 근접성을 보존하고, 해밍 소프트 타깃을 통해 위상 인식 지도(supervision)를 주입하며, 추론(inference) 중에는 해밍 일관성 기반 재순위화(reranking)를 통해 후보 아이템들을 예측된 이진 프로토타입과 정렬합니다. 나아가 해밍 위상이 정확한 SID 일치를 넘어 아이템 간 연관성을 포착할 수 있음을 검증합니다. 4개의 벤치마크(benchmark) 데이터셋에 대한 실험 결과, TopoGR이 기존 최첨단(SOTA) 베이스라인 모델들의 추천 성능을 일관되게 능가함을 보여줍니다.

arXiv:2608.23200v2cs.CL

LongWoF-Bench: 검증 가능한 장기 워크플로 과제를 위한 EvoMap Gene 평가

LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks

대규모 언어 모델(LLM)은 점점 복잡한 워크플로를 실행해야 할 것으로 기대되며, 그 성공은 상호 의존적인 제약을 유지하고 엄격한 end-to-end 검증을 만족하는 산출물을 생성하는 것에 달려 있다. 그러나 성공적인 실행 경험은 일반적으로 단일 실행 후에 소실되어, 이후 모델이 전략과 실패 양상을 처음부터 다시 찾아야 한다. 우리는 검증기(verifier)가 확인한 실행 궤적(trajectory)이 구조화된 Gene으로 통합되는 EvoMap을 통해 그러한 경험을 대신 외부화하고 재사용할 수 있는지 연구한다. 이 설정을 평가하기 위해 코드 생성, 에이전트-환경 합성, 수학적 추론, 규칙 준수에 걸친 778개의 기계 검증 가능 태스크로 구성된 Long-Workflow Benchmark(LongWoF-Bench)를 제안한다. 검증기가 확인한 Opus 궤적이 있는 252개 태스크에서, 진화된 EvoMap Gene은 평가한 7개 모델 전반에서 Skill보다 8.7–15.5%p 높은 성능을 보였으며, 이득은 서로 다른 모델 계열의 consumer 모델까지 확장된다. 대조적으로, reference-distilled Gene은 동일한 이점을 보이지 않아, 압축 표현만으로는 불충분하며 Gene의 유용성이 검증된 경험의 출처(provenance)와 밀접히 연관됨을 시사한다. Claude Opus의 경우 Gene 재사용은 Skill보다 39개 더 많은 태스크를 완료하면서 해결 시간 토큰 소비를 9.9% 줄였다. 종합하면, 이러한 결과는 검증된 실행 경험이 재사용 가능한 외부 자원으로 보존·공유될 수 있음을 보여 주며, 모델이 경험 발견의 전체 비용을 반복적으로 치르지 않고도 장기 워크플로 완료를 개선할 수 있게 한다.

arXiv:2608.25053v1cs.AR

Hydra: 엣지 SoC 세대, 백엔드, 양자화 수준에 걸친 LLM 추론의 위상 인식 워크로드 특성화

Hydra: Phase-Aware Workload Characterization of LLM Inference across Edge SoC Generations, Backends, and Quantization Levels

엣지 LLM 배포는 모델 크기와 정밀도만으로 결정되지 않으며, 추론 백엔드, 하드웨어 플랫폼, 메모리 트래픽, 전력 관리가 모두 지연 시간과 효율에 영향을 준다. 본 논문은 엣지 SoC에서의 LLM 추론을 위한 공통 스키마 기반의 위상 인식 워크로드 특성화 프레임워크인 Hydra를 제안한다. Hydra는 HuggingFace Transformers와 llama.cpp에 공유 per-prompt 타이밍 스키마를 계측하고, 해당 기록을 하드웨어 원격 측정(telemetry)과 융합하여 prefill 및 decode 위상에 걸친 성능, 시스템 자원 활용, 효율의 다차원 특성화를 가능하게 한다. Hydra를 이용해 연속된 세 세대의 엣지 시스템 온 칩(System-on-Chip, SoC)(AGX Xavier, AGX Orin, AGX Thor), 7개 계열의 인스트럭션 튜닝(instruction-tuned) LLM 13종, 다섯 가지 실행 포맷을 평가하고, 입력/출력 길이 민감도를 고려한다. 그 결과물은 약 10만 7천 건의 per-prompt 기록을 포함하며 Hydra와 함께 공개된다. 분석 결과, 집계 지연 시간만으로는 핵심 배포 효과가 가려진다: 백엔드 구조가 지연이 어디에서 발생하는지를 바꾸고, 양자화는 메모리 트래픽과 에너지를 줄이지만 전력을 단조적으로 예측하지는 않으며, SoC 세대에 따라 활용도와 효율의 해석 방식이 달라진다. 위상 수준 타이밍을 시스템 자원 활용 및 효율 지표와 연결함으로써 Hydra는 엣지 LLM 추론의 재현 가능한 위상 인식 특성화를 가능하게 한다. Hydra 소스 코드와 수집된 per-prompt trace 코퍼스는 https://github.com/amirtaherin/hydra 에서 오픈소스로 제공된다.

arXiv:2608.26866v2cs.CV

순서가 중요하다: 비전-언어 추론을 위한 중국어 다패널 밈 벤치마크

Order Matters: A Chinese Multi-Panel Meme Benchmark for Vision-Language Reasoning

많은 멀티모달 과제는 요소를 고립적으로 인식하는 것만이 아니라 시각 요소가 어떻게 순서 지어지고 구성되는지에 달려 있다. 인터넷 밈은 이 문제의 압축된 사례이다. 펀치라인은 종종 제한된 읽기 순서와 패널 간 시각-텍스트 단서에 의존한다. 대규모 비전-언어 모델(LVLM)은 단일 이미지 이해에서 강한 성능을 보이지만, 특히 중국 소셜 미디어 맥락에서 구조화된 밈 레이아웃에 대해 순서 인식(sequence-aware) 추론을 수행할 수 있는지는 여전히 불분명하다. 우리는 다섯 가지 구조 유형, 순서 의존성, 패널 순서 제약, 선택적 댓글 문맥을 포함하는 1,214개의 주석 샘플로 구성된 중국어 다패널 밈 벤치마크 CMPM을 제안한다. 2층 평가를 정식화한다. Task1은 구조 유형 분류와 순서에 민감한 패널 시퀀싱을(문맥 ablation 설정 포함) 탐색하고, Task2는 시각, 패널, 유머, 문맥, 충실성(faithfulness) 다섯 가지 1–3 리커트 차원에 대한 인간 평가로 중국어 밈 설명 생성을 평가한다. 통일된 프로토콜 하에서 다섯 개의 대표 LVLM을 벤치마킹한다. 결과는 정규 표시(canonical-display) 정확도만으로는 순서 이해의 증거가 되지 않음을 보여 준다. 주요 셔플(shuffled) 조건에서 정확도가 급격히 하락하여, 순서에 민감한 멀티모달 추론에서 지속적인 격차가 드러난다. Task2 선호도는 Gemini 3.1 Pro와 GPT-5.5를 오픈 모델보다 위에 두며, 댓글 문맥은 Core4에서 작고 혼재된 이득만 준다. 코드와 데이터는 게재 승인 후 공개될 예정이다.

arXiv:2610.01204v1cs.LG

분포 변화 환경에서의 자기회귀적 시추공 모델링

Autoregressive Drillhole Modelling Under Distribution Shift

자기회귀(autoregressive) 모델링은 이전 관측으로부터 미래 상태를 예측하는 법을 학습함으로써 언어 및 시퀀스 태스크에서 놀라운 성공을 거두었습니다. 광물 탐사 시추공(drillhole)은 이러한 패러다임에 매우 자연스럽지만 아직 거의 탐험되지 않은 환경을 제공합니다. 시추가 진행됨에 따라 암상(lithology)이 얕은 곳에서 깊은 곳으로 순차적으로 드러나므로, 더 깊은 지층을 예측하는 작업은 본질적으로 자기회귀적입니다. 그러나 기존의 시추공 모델링은 공간 보간 및 재구성이 지배적이거나 주로 마스크 모델링(masked modelling)에 의존하고 있어, 엄밀한 자기회귀 예측은 대체로 미개척 상태로 남아 있습니다. 본 연구에서는 국소 예측부터 공간적 변화, 지질 구(geological province) 간 전이에 이르는 점진적 전이 스펙트럼 전반에 걸쳐 다음 층 예측 및 자기회귀적 층서 생성을 평가하기 위한 서호주 시추공 49,671개 기반의 벤치마크인 DrillBench를 소개합니다. 고전적 모델, 공간통계 모델, 신경망 모델을 벤치마킹한 결과 명확한 '전이 경계(transfer boundary)'가 드러났습니다. 공간 및 지구화학적 조건화(conditioning)는 국소적으로는 큰 성능 향상을 제공하지만 더 큰 변화 아래에서는 급격히 저하되는 반면, 암상 시퀀스 자기회귀 모델은 더 강건하게 전이됩니다. 이러한 발견에 기반하여, 우리는 과거 시추공에 대한 대규모 사전학습(pre-training)과 인접 암상의 공간 검색(retrieval)을 결합한 백본에 구애받지 않는(backbone-agnostic) 레시피를 개발했습니다. 검색은 국소적 공간 연속성이 유의미한 정보를 제공하는 풍화 피복층에서 가장 효과적이었으며, 사전학습은 기반암 및 더 광범위한 지질학적 변화 환경에서 더 크게 기여했습니다. 이 두 기법의 결합은 우수한 국소 성능을 유지하는 동시에 공간 및 구 간 전이 환경, 특히 가장 거리가 먼 분할(split)에서 일반화 성능을 두드러지게 향상시켰습니다. 벤치마크와 코드는 https://github.com/yihaoding/drillbench 에서 확인할 수 있습니다.

arXiv:2605.19597v2cs.CL

HyperLogic: 실행 기반 정답을 갖춘 고난도 순방향 작성 중국어 논리적 추론 벤치마크

HyperLogic: A Hard, Forward-Authored Chinese Logical Reasoning Benchmark with Execution-Derived Answers

기존의 논리 벤치마크는 주로 모델이 추론 질문에 직접 답하는 능력을 측정합니다. 확장 가능한 벤치마크는 종종 정형 구조로부터 텍스트를 생성하므로 정답을 계산하기는 쉽지만, 문제가 작성되기 전에 정형화 방식이 고정되어 버립니다. 순방향 구성(forward construction)은 충실한 정형화를 찾아야 하는 난이도를 보존하지만, 난이도와 정답의 신뢰성을 제어하기 어렵게 만듭니다. 본 연구에서는 문제 작성과 정답 생성을 분리하는 순방향 구성 파이프라인인 HyperLogic을 소개합니다. 멀티 에이전트(multi-agent) 워크플로는 학부생이 작성한 중국어 시드(seed) 문제를 직접 풀지 않으면서 난이도를 높입니다. 서로 다른 모델 계열의 두 에이전트가 완성된 각 문항을 실행 가능한 유한 도메인 모델로 독립적으로 변환하며, 이들의 인코딩과 솔버 기반 정답은 인간 전문가의 감독 하에 계층화된 에이전트 지원 판정을 거칩니다. HyperLogic-Base는 195개 문항과 922개 하위 질문으로 구성되어 있으며, 엄격한 문항 정확도(44.6-77.6%)에서 7개 최전선 모델 간에 33.0%p의 격차를 보입니다. HyperLogic-Hard는 더 크고 결합된 탐색 공간을 가진 100개 문항을 포함하며, 직접 답변 시 16% 정확도를 넘는 모델이 없습니다. 또한 Hard를 사용하여 도구를 활용해 문제를 정형화하고 해결하는 에이전트의 능력을 평가하며, 코드 샌드박스만 사용한 경우와 자체 논리 모델링 라이브러리를 포함한 경우를 비교합니다. 샌드박스는 모든 모델의 성능을 16.7-40.1%p 향상시키며, 라이브러리를 추가하면 5개 모델에는 도움이 되지만 2개 모델에는 오히려 해가 됩니다. 이러한 결과는 도구 접근성이 주어지더라도 충실한 정형화가 여전히 어렵다는 점을 강조합니다.

arXiv:2610.09914v1cs.LG

RollVerify: 롱테일 롤아웃 강화학습에서 효율성과 정확도의 간극 좁히기

RollVerify: Bridging Efficiency and Accuracy in Long-Tail Rollout Reinforcement Learning

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 및 일반화 능력을 향상하는 데 매우 중요합니다. 강화학습은 대규모 롤아웃(rollout)에 의존하는데, 컨텍스트 윈도우(context window)가 커짐에 따라 롤아웃의 길이가 점점 더 롱테일(long-tail) 분포를 띱니다. 온-정책(on-policy) 학습에서 이러한 롱테일 롤아웃은 GPU 버블을 유발하여 시스템 활용도를 떨어뜨리고 강화학습의 확장성을 제한할 수 있습니다. 비동기식 또는 부분 롤아웃 방식은 동기화를 완화하여 처리량을 개선하지만, 최종 정확도를 저해할 수 있는 오래된 오프-정책(off-policy) 샘플(궤적)을 필연적으로 도입하게 됩니다. 기존 접근법들은 주로 학습 중 오프-정책 샘플의 가중치를 재조정(reweighting)하여 이러한 오프-정책 문제를 완화하지만, 완전한 온-정책 학습과 비교했을 때 여전히 성능 격차가 남을 수 있습니다. 본 연구에서는 학습 도중 수동적으로 샘플의 가중치를 재조정하는 대신, 샘플이 학습에 들어가기 전에 능동적으로 검증하고 수정하는 부분 롤아웃 기반의 경량 강화학습 프레임워크인 RollVerify를 제안합니다. 구체적으로, 부분 생성된 궤적의 오프-정책 편차를 정량화하기 위해 오프-정책 이동 지표인 OPS를 도입합니다. RollVerify는 OPS 제약 조건을 바탕으로 시퀀스 수준 및 토큰(token) 수준의 검증을 모두 수행하여 궤적의 유효하지 않은 접미사를 식별하고 잘라냅니다. 이를 통해 부분 롤아웃의 효율성 이점을 보존하면서도 모델의 정확도를 보호하는 고품질 샘플을 생성합니다. 수학 및 도구 기반 수학적 추론에 대한 실험 결과, RollVerify는 학습 비용을 줄이면서도 온-정책 학습에 필적하는 정확도를 달성함을 보여줍니다. 또한 코드 생성에 대한 추가 결과는 수학 영역을 넘어선 예비적 증거를 제공합니다.

arXiv:2001.10341공식 코드 · Papers with Code

Hybrid Deep Embedding for Recommendations with Dynamic Aspect-Level Explanations

Explainable recommendation is far from being well solved partly due to three challenges. The first is the personalization of preference learning, which requires that different items/users have different contributions to the learning of user preference or item quality. The second one is dynamic explanation, which is crucial for the timeliness of recommendation explanations. The last one is the granularity of explanations. In practice, aspect-level explanations are more persuasive than item-level or user-level ones. In this paper, to address these challenges simultaneously, we propose a novel model called Hybrid Deep Embedding (HDE) for aspect-based explainable recommendations, which can make recommendations with dynamic aspect-level explanations. The main idea of HDE is to learn the dynamic embeddings of users and items for rating prediction and the dynamic latent aspect preference/quality vectors for the generation of aspect-level explanations, through fusion of the dynamic implicit feedbacks extracted from reviews and the attentive user-item interactions. Particularly, as the aspect preference/quality of users/items is learned automatically, HDE is able to capture the impact of aspects that are not mentioned in reviews of a user or an item. The extensive experiments conducted on real datasets verify the recommending performance and explainability of HDE. The source code of our work is available at \url{https://github.com/lola63/HDE-Python}

arXiv:2004.10978

Constructing Complexity-efficient Features in XCS with Tree-based Rule Conditions

A major goal of machine learning is to create techniques that abstract away irrelevant information. The generalisation property of standard Learning Classifier System (LCS) removes such information at the feature level but not at the feature interaction level. Code Fragments (CFs), a form of tree-based programs, introduced feature manipulation to discover important interactions, but they often contain irrelevant information, which causes structural inefficiency. XOF is a recently introduced LCS that uses CFs to encode building blocks of knowledge about feature interaction. This paper aims to optimise the structural efficiency of CFs in XOF. We propose two measures to improve constructing CFs to achieve this goal. Firstly, a new CF-fitness update estimates the applicability of CFs that also considers the structural complexity. The second measure we can use is a niche-based method of generating CFs. These approaches were tested on Even-parity and Hierarchical problems, which require highly complex combinations of input features to capture the data patterns. The results show that the proposed methods significantly increase the structural efficiency of CFs, which is estimated by the rule "generality rate". This results in faster learning performance in the Hierarchical Majority-on problem. Furthermore, a user-set depth limit for CF generation is not needed as the learning agent will not adopt higher-level CFs once optimal CFs are constructed.

arXiv:2105.08301공식 코드 · Papers with Code

Wizard of Search Engine: Access to Information Through Conversations with Search Engines

Conversational information seeking (CIS) is playing an increasingly important role in connecting people to information. Due to the lack of suitable resource, previous studies on CIS are limited to the study of theoretical/conceptual frameworks, laboratory-based user studies, or a particular aspect of CIS (e.g., asking clarifying questions). In this work, we make efforts to facilitate research on CIS from three aspects. (1) We formulate a pipeline for CIS with six sub-tasks: intent detection (ID), keyphrase extraction (KE), action prediction (AP), query selection (QS), passage selection (PS), and response generation (RG). (2) We release a benchmark dataset, called wizard of search engine (WISE), which allows for comprehensive and in-depth research on all aspects of CIS. (3) We design a neural architecture capable of training and evaluating both jointly and separately on the six sub-tasks, and devise a pre-train/fine-tune learning scheme, that can reduce the requirements of WISE in scale by making full use of available data. We report some useful characteristics of CIS based on statistics of WISE. We also show that our best performing model variant isable to achieve effective CIS as indicated by several metrics. We release the dataset, the code, as well as the evaluation scripts to facilitate future research by measuring further improvements in this important research direction.

arXiv:2106.14014공식 코드 · Papers with Code

Txt2Vid: Ultra-Low Bitrate Compression of Talking-Head Videos via Text

Video represents the majority of internet traffic today, driving a continual race between the generation of higher quality content, transmission of larger file sizes, and the development of network infrastructure. In addition, the recent COVID-19 pandemic fueled a surge in the use of video conferencing tools. Since videos take up considerable bandwidth (~100 Kbps to a few Mbps), improved video compression can have a substantial impact on network performance for live and pre-recorded content, providing broader access to multimedia content worldwide. We present a novel video compression pipeline, called Txt2Vid, which dramatically reduces data transmission rates by compressing webcam videos ("talking-head videos") to a text transcript. The text is transmitted and decoded into a realistic reconstruction of the original video using recent advances in deep learning based voice cloning and lip syncing models. Our generative pipeline achieves two to three orders of magnitude reduction in the bitrate as compared to the standard audio-video codecs (encoders-decoders), while maintaining equivalent Quality-of-Experience based on a subjective evaluation by users (n = 242) in an online study. The Txt2Vid framework opens up the potential for creating novel applications such as enabling audio-video communication during poor internet connectivity, or in remote terrains with limited bandwidth. The code for this work is available at https://github.com/tpulkit/txt2vid.git.

arXiv:2204.12678

Optimized latent-code selection for explainable conditional text-to-image GANs

The task of text-to-image generation has achieved remarkable progress due to the advances in the conditional generative adversarial networks (GANs). However, existing conditional text-to-image GANs approaches mostly concentrate on improving both image quality and semantic relevance but ignore the explainability of the model which plays a vital role in real-world applications. In this paper, we present a variety of techniques to take a deep look into the latent space and semantic space of the conditional text-to-image GANs model. We introduce pairwise linear interpolation of latent codes and `linguistic' linear interpolation to study what the model has learned within the latent space and `linguistic' embeddings. Subsequently, we extend linear interpolation to triangular interpolation conditioned on three corners to further analyze the model. After that, we build a Good/Bad data set containing unsuccessfully and successfully synthetic samples and corresponding latent codes for the image-quality research. Based on this data set, we propose a framework for finding good latent codes by utilizing a linear SVM. Experimental results on the recent DiverGAN generator trained on two benchmark data sets qualitatively prove the effectiveness of our presented techniques, with a better than 94\% accuracy in predicting ${Good}$/${Bad}$ classes for latent vectors. The Good/Bad data set is publicly available at https://zenodo.org/record/5850224#.YeGMwP7MKUk.

arXiv:2205.09726공식 코드 · Papers with Code

RankGen: Improving Text Generation with Large Ranking Models

Given an input sequence (or prefix), modern language models often assign high probabilities to output sequences that are repetitive, incoherent, or irrelevant to the prefix; as such, model-generated text also contains such artifacts. To address these issues we present RankGen, a 1.2B parameter encoder model for English that scores model generations given a prefix. RankGen can be flexibly incorporated as a scoring function in beam search and used to decode from any pretrained language model. We train RankGen using large-scale contrastive learning to map a prefix close to the ground-truth sequence that follows it and far away from two types of negatives: (1) random sequences from the same document as the prefix, and (2) sequences generated from a large language model conditioned on the prefix. Experiments across four different language models (345M-11B parameters) and two domains show that RankGen significantly outperforms decoding algorithms like nucleus, top-k, and typical sampling, as well as contrastive decoding and search, on both automatic metrics (85.0 vs 77.3 MAUVE over nucleus) as well as human evaluations with English writers (74.5% human preference over nucleus sampling). Analysis reveals that RankGen outputs are more relevant to the prefix and improve continuity and coherence compared to baselines. We release our model checkpoints, code, and human preference data with explanations to facilitate future research.

arXiv:2212.07651공식 코드 · Papers with Code

Two-stage Contextual Transformer-based Convolutional Neural Network for Airway Extraction from CT Images

Accurate airway extraction from computed tomography (CT) images is a critical step for planning navigation bronchoscopy and quantitative assessment of airway-related chronic obstructive pulmonary disease (COPD). The existing methods are challenging to sufficiently segment the airway, especially the high-generation airway, with the constraint of the limited label and cannot meet the clinical use in COPD. We propose a novel two-stage 3D contextual transformer-based U-Net for airway segmentation using CT images. The method consists of two stages, performing initial and refined airway segmentation. The two-stage model shares the same subnetwork with different airway masks as input. Contextual transformer block is performed both in the encoder and decoder path of the subnetwork to finish high-quality airway segmentation effectively. In the first stage, the total airway mask and CT images are provided to the subnetwork, and the intrapulmonary airway mask and corresponding CT scans to the subnetwork in the second stage. Then the predictions of the two-stage method are merged as the final prediction. Extensive experiments were performed on in-house and multiple public datasets. Quantitative and qualitative analysis demonstrate that our proposed method extracted much more branches and lengths of the tree while accomplishing state-of-the-art airway segmentation performance. The code is available at https://github.com/zhaozsq/airway_segmentation.

arXiv:2303.09234공식 코드 · Papers with Code

NAISR: A 3D Neural Additive Model for Interpretable Shape Representation

Deep implicit functions (DIFs) have emerged as a powerful paradigm for many computer vision tasks such as 3D shape reconstruction, generation, registration, completion, editing, and understanding. However, given a set of 3D shapes with associated covariates there is at present no shape representation method which allows to precisely represent the shapes while capturing the individual dependencies on each covariate. Such a method would be of high utility to researchers to discover knowledge hidden in a population of shapes. For scientific shape discovery, we propose a 3D Neural Additive Model for Interpretable Shape Representation ($\texttt{NAISR}$) which describes individual shapes by deforming a shape atlas in accordance to the effect of disentangled covariates. Our approach captures shape population trends and allows for patient-specific predictions through shape transfer. $\texttt{NAISR}$ is the first approach to combine the benefits of deep implicit shape representations with an atlas deforming according to specified covariates. We evaluate $\texttt{NAISR}$ with respect to shape reconstruction, shape disentanglement, shape evolution, and shape transfer on three datasets: 1) $\textit{Starman}$, a simulated 2D shape dataset; 2) the ADNI hippocampus 3D shape dataset; and 3) a pediatric airway 3D shape dataset. Our experiments demonstrate that $\textit{Starman}$ achieves excellent shape reconstruction performance while retaining interpretability. Our code is available at $\href{https://github.com/uncbiag/NAISR}{https://github.com/uncbiag/NAISR}$.

arXiv:2306.14448

Progressive Energy-Based Cooperative Learning for Multi-Domain Image-to-Image Translation

This paper studies a novel energy-based cooperative learning framework for multi-domain image-to-image translation. The framework consists of four components: descriptor, translator, style encoder, and style generator. The descriptor is a multi-head energy-based model that represents a multi-domain image distribution. The components of translator, style encoder, and style generator constitute a diversified image generator. Specifically, given an input image from a source domain, the translator turns it into a stylised output image of the target domain according to a style code, which can be inferred by the style encoder from a reference image or produced by the style generator from a random noise. Since the style generator is represented as an domain-specific distribution of style codes, the translator can provide a one-to-many transformation (i.e., diversified generation) between source domain and target domain. To train our framework, we propose a likelihood-based multi-domain cooperative learning algorithm to jointly train the multi-domain descriptor and the diversified image generator (including translator, style encoder, and style generator modules) via multi-domain MCMC teaching, in which the descriptor guides the diversified image generator to shift its probability density toward the data distribution, while the diversified image generator uses its randomly translated images to initialize the descriptor's Langevin dynamics process for efficient sampling.

arXiv:2307.09067공식 코드 · Papers with Code

Evaluate Fine-tuning Strategies for Fetal Head Ultrasound Image Segmentation with U-Net

Fetal head segmentation is a crucial step in measuring the fetal head circumference (HC) during gestation, an important biometric in obstetrics for monitoring fetal growth. However, manual biometry generation is time-consuming and results in inconsistent accuracy. To address this issue, convolutional neural network (CNN) models have been utilized to improve the efficiency of medical biometry. But training a CNN network from scratch is a challenging task, we proposed a Transfer Learning (TL) method. Our approach involves fine-tuning (FT) a U-Net network with a lightweight MobileNet as the encoder to perform segmentation on a set of fetal head ultrasound (US) images with limited effort. This method addresses the challenges associated with training a CNN network from scratch. It suggests that our proposed FT strategy yields segmentation performance that is comparable when trained with a reduced number of parameters by 85.8%. And our proposed FT strategy outperforms other strategies with smaller trainable parameter sizes below 4.4 million. Thus, we contend that it can serve as a dependable FT approach for reducing the size of models in medical image analysis. Our key findings highlight the importance of the balance between model performance and size in developing Artificial Intelligence (AI) applications by TL methods. Code is available at https://github.com/13204942/FT_Methods_for_Fetal_Head_Segmentation.

arXiv:2307.09564

Reinforcement Learning and Data-Generation for Syntax-Guided Synthesis

Program synthesis is the task of automatically generating code based on a specification. In Syntax-Guided Synthesis (SyGuS) this specification is a combination of a syntactic template and a logical formula, and the result is guaranteed to satisfy both. We present a reinforcement-learning guided algorithm for SyGuS which uses Monte-Carlo Tree Search (MCTS) to search the space of candidate solutions. Our algorithm learns policy and value functions which, combined with the upper confidence bound for trees, allow it to balance exploration and exploitation. A common challenge in applying machine learning approaches to syntax-guided synthesis is the scarcity of training data. To address this, we present a method for automatically generating training data for SyGuS based on anti-unification of existing first-order satisfiability problems, which we use to train our MCTS policy. We implement and evaluate this setup and demonstrate that learned policy and value improve the synthesis performance over a baseline by over 26 percentage points in the training and testing sets. Our tool outperforms state-of-the-art tool cvc5 on the training set and performs comparably in terms of the total number of problems solved on the testing set (solving 23% of the benchmarks on which cvc5 fails). We make our data set publicly available, to enable further application of machine learning methods to the SyGuS problem.

arXiv:2308.04152공식 코드 · Papers with Code

Fine-tuning Multimodal LLMs to Follow Zero-shot Demonstrative Instructions

Recent advancements in Multimodal Large Language Models (MLLMs) have been utilizing Visual Prompt Generators (VPGs) to convert visual features into tokens that LLMs can recognize. This is achieved by training the VPGs on millions of image-caption pairs, where the VPG-generated tokens of images are fed into a frozen LLM to generate the corresponding captions. However, this image-captioning based training objective inherently biases the VPG to concentrate solely on the primary visual contents sufficient for caption generation, often neglecting other visual details. This shortcoming results in MLLMs' underperformance in comprehending demonstrative instructions consisting of multiple, interleaved, and multimodal instructions that demonstrate the required context to complete a task. To address this issue, we introduce a generic and lightweight Visual Prompt Generator Complete module (VPG-C), which can infer and complete the missing details essential for comprehending demonstrative instructions. Further, we propose a synthetic discriminative training strategy to fine-tune VPG-C, eliminating the need for supervised demonstrative instructions. As for evaluation, we build DEMON, a comprehensive benchmark for demonstrative instruction understanding. Synthetically trained with the proposed strategy, VPG-C achieves significantly stronger zero-shot performance across all tasks of DEMON. Further evaluation on the MME and OwlEval benchmarks also demonstrate the superiority of VPG-C. Our benchmark, code, and pre-trained models are available at https://github.com/DCDmllm/Cheetah.

arXiv:2310.00492공식 코드 · Papers with Code

From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning

Large Language Models (LLMs) have achieved remarkable success, where instruction tuning is the critical step in aligning LLMs with user intentions. In this work, we investigate how the instruction tuning adjusts pre-trained models with a focus on intrinsic changes. Specifically, we first develop several local and global explanation methods, including a gradient-based method for input-output attribution, and techniques for interpreting patterns and concepts in self-attention and feed-forward layers. The impact of instruction tuning is then studied by comparing the explanations derived from the pre-trained and instruction-tuned models. This approach provides an internal perspective of the model shifts on a human-comprehensible level. Our findings reveal three significant impacts of instruction tuning: 1) It empowers LLMs to recognize the instruction parts of user prompts, and promotes the response generation constantly conditioned on the instructions. 2) It encourages the self-attention heads to capture more word-word relationships about instruction verbs. 3) It encourages the feed-forward networks to rotate their pre-trained knowledge toward user-oriented tasks. These insights contribute to a more comprehensive understanding of instruction tuning and lay the groundwork for future work that aims at explaining and optimizing LLMs for various applications. Our code and data are publicly available at https://github.com/JacksonWuxs/Interpret_Instruction_Tuning_LLMs.