Chest X-ray (CXR) is an important diagnostic tool widely used in hospitals to assess patient conditions and monitor changes over time. Recently, generative models, specifically diffusion-based models, have shown promise in generating realistic synthetic CXRs. However, these models mainly focus on conditional generation using single-time-point data, i.e., generating CXRs conditioned on their corresponding reports from a specific time. This limits their clinical utility, particularly for capturing temporal changes. To address this limitation, we propose a novel framework, EHRXDiff, which predicts future CXR images by integrating previous CXRs with subsequent medical events, e.g., prescriptions, lab measures, etc. Our framework dynamically tracks and predicts disease progression based on a latent diffusion model, conditioned on the previous CXR image and a history of medical events. We comprehensively evaluate the performance of our framework across three key aspects, including clinical consistency, demographic consistency, and visual realism. Results show that our framework generates high-quality, realistic future images that effectively capture potential temporal changes. This suggests that our framework could be further developed to support clinical decision-making and provide valuable insights for patient monitoring and treatment planning in the medical field. The code is available at https://github.com/dek924/EHRXDiff.
Detecting and classifying suspicious or malicious domain names and URLs is fundamental task in cybersecurity. To leverage such indicators of compromise, cybersecurity vendors and practitioners often maintain and update blacklists of known malicious domains and URLs. However, blacklists frequently fail to identify emerging and obfuscated threats. Over the past few decades, there has been significant interest in developing machine learning models that automatically detect malicious domains and URLs, addressing the limitations of blacklists maintenance and updates. In this paper, we introduce DomURLs_BERT, a pre-trained BERT-based encoder adapted for detecting and classifying suspicious/malicious domains and URLs. DomURLs_BERT is pre-trained using the Masked Language Modeling (MLM) objective on a large multilingual corpus of URLs, domain names, and Domain Generation Algorithms (DGA) dataset. In order to assess the performance of DomURLs_BERT, we have conducted experiments on several binary and multi-class classification tasks involving domain names and URLs, covering phishing, malware, DGA, and DNS tunneling. The evaluations results show that the proposed encoder outperforms state-of-the-art character-based deep learning models and cybersecurity-focused BERT models across multiple tasks and datasets. The pre-training dataset, the pre-trained DomURLs_BERT encoder, and the experiments source code are publicly available.
Previous text-to-SQL datasets and systems have primarily focused on user questions with clear intentions that can be answered. However, real user questions can often be ambiguous with multiple interpretations or unanswerable due to a lack of relevant data. In this work, we construct a practical conversational text-to-SQL dataset called PRACTIQ, consisting of ambiguous and unanswerable questions inspired by real-world user questions. We first identified four categories of ambiguous questions and four categories of unanswerable questions by studying existing text-to-SQL datasets. Then, we generate conversations with four turns: the initial user question, an assistant response seeking clarification, the user's clarification, and the assistant's clarified SQL response with the natural language explanation of the execution results. For some ambiguous queries, we also directly generate helpful SQL responses, that consider multiple aspects of ambiguity, instead of requesting user clarification. To benchmark the performance on ambiguous, unanswerable, and answerable questions, we implemented large language model (LLM)-based baselines using various LLMs. Our approach involves two steps: question category classification and clarification SQL prediction. Our experiments reveal that state-of-the-art systems struggle to handle ambiguous and unanswerable questions effectively. We will release our code for data generation and experiments on GitHub.
Semantic segmentation is a crucial task in medical imaging. Although supervised learning techniques have proven to be effective in performing this task, they heavily depend on large amounts of annotated training data. The recently introduced Segment Anything Model (SAM) enables prompt-based segmentation and offers zero-shot generalization to unfamiliar objects. In our work, we leverage SAM's abstract object understanding for medical image segmentation to provide pseudo labels for semi-supervised learning, thereby mitigating the need for extensive annotated training data. Our approach refines initial segmentations that are derived from a limited amount of annotated data (comprising up to 43 cases) by extracting bounding boxes and seed points as prompts forwarded to SAM. Thus, it enables the generation of dense segmentation masks as pseudo labels for unlabelled data. The results show that training with our pseudo labels yields an improvement in Dice score from $74.29\,\%$ to $84.17\,\%$ and from $66.63\,\%$ to $74.87\,\%$ for the segmentation of bones of the paediatric wrist and teeth in dental radiographs, respectively. As a result, our method outperforms intensity-based post-processing methods, state-of-the-art supervised learning for segmentation (nnU-Net), and the semi-supervised mean teacher approach. Our Code is available on GitHub.
Hierarchical Text Classification (HTC) involves assigning documents to labels organized within a taxonomy. Most previous research on HTC has focused on supervised methods. However, in real-world scenarios, employing supervised HTC can be challenging due to a lack of annotated data. Moreover, HTC often faces issues with large label spaces and long-tail distributions. In this work, we present Knowledge Graphs for zero-shot Hierarchical Text Classification (KG-HTC), which aims to address these challenges of HTC in applications by integrating knowledge graphs with Large Language Models (LLMs) to provide structured semantic context during classification. Our method retrieves relevant subgraphs from knowledge graphs related to the input text using a Retrieval-Augmented Generation (RAG) approach. Our KG-HTC can enhance LLMs to understand label semantics at various hierarchy levels. We evaluate KG-HTC on three open-source HTC datasets: WoS, DBpedia, and Amazon. Our experimental results show that KG-HTC significantly outperforms three baselines in the strict zero-shot setting, particularly achieving substantial improvements at deeper levels of the hierarchy. This evaluation demonstrates the effectiveness of incorporating structured knowledge into LLMs to address HTC's challenges in large label spaces and long-tailed label distributions. Our code is available at: https://github.com/QianboZang/KG-HTC.
Diffusion-based garment synthesis tasks primarily focus on the design phase in the fashion domain, while the garment production process remains largely underexplored. To bridge this gap, we introduce a new task: Flat Sketch to Realistic Garment Image (FS2RG), which generates realistic garment images by integrating flat sketches and textual guidance. FS2RG presents two key challenges: 1) fabric characteristics are solely guided by textual prompts, providing insufficient visual supervision for diffusion-based models, which limits their ability to capture fine-grained fabric details; 2) flat sketches and textual guidance may provide conflicting information, requiring the model to selectively preserve or modify garment attributes while maintaining structural coherence. To tackle this task, we propose HiGarment, a novel framework that comprises two core components: i) a multi-modal semantic enhancement mechanism that enhances fabric representation across textual and visual modalities, and ii) a harmonized cross-attention mechanism that dynamically balances information from flat sketches and text prompts, allowing controllable synthesis by generating either sketch-aligned (image-biased) or text-guided (text-biased) outputs. Furthermore, we collect Multi-modal Detailed Garment, the largest open-source dataset for garment generation. Experimental results and user studies demonstrate the effectiveness of HiGarment in garment synthesis. The code and dataset will be released.
Large language model (LLM) agents are becoming increasingly skilled at handling cybersecurity tasks autonomously. Thoroughly assessing their cybersecurity capabilities is critical and urgent, given the high stakes in this domain. However, existing benchmarks fall short, often failing to capture real-world scenarios or being limited in scope. To address this gap, we introduce CyberGym, a large-scale and high-quality cybersecurity evaluation framework featuring 1,507 real-world vulnerabilities found and patched across 188 large software projects. While it includes tasks of various settings, CyberGym primarily focuses on the generation of proof-of-concept (PoC) tests for vulnerability reproduction, based on text descriptions and corresponding source repositories. Solving this task is particularly challenging, as it requires comprehensive reasoning across entire codebases to locate relevant code fragments and produce effective PoCs that accurately trigger the target vulnerability starting from the program's entry point. Our evaluation across 4 state-of-the-art agent frameworks and 9 LLMs reveals that even the best combination (OpenHands and Claude-3.7-Sonnet) achieves only a 11.9% reproduction success rate, mainly on simpler cases. Beyond reproducing historical vulnerabilities, we find that PoCs generated by LLM agents can reveal new vulnerabilities, identifying 15 zero-days affecting the latest versions of the software projects.
Flow matching has emerged as a standard paradigm for robotic manipulation owing to its strong expressive power for modelling complex, multimodal action distributions, alongside similar approaches like diffusion policy. However, existing methods rely on discretized action chunks, making them brittle to demonstrations collected at heterogeneous control frequencies and prone to temporally inconsistent actions that degrade control stability. In this paper, we propose Frequency-Aware Flow Matching (FAFM), which outputs continuous, temporally consistent actions. To handle heterogeneous frequency input, we transform discrete action sequences into the frequency domain with the discrete cosine transform (DCT), perform flow matching over the resulting coefficients, and reconstruct continuous actions via cosine basis expansion. To generate temporally consistent actions, we regularize the first-order temporal derivative to promote smooth actions. This corresponds to a Sobolev-type constraint that suppresses high-frequency errors and discourages abrupt action changes. Our FAFM is simple, introduces no additional network parameters and applies to standalone flow-matching policies and vision-language action models. Across synthetic toy benchmark, obstacle avoidance, LapGym, and LIBERO, FAFM improves success rates, multimodal expressivity, motion smoothness, convergence speed, robustness to mechanical bias and mixed-frequency input. These gains are consistent when deployed on a real-world Franka robot. Code available at https://github.com/gakakulicc/FAFM.
Despite their capabilities, Multimodal Large Language Models (MLLMs) may produce plausible but erroneous outputs, hindering reliable deployment. Accurate uncertainty metrics could enable escalation of unreliable queries to human experts or larger models for improved performance. However, existing uncertainty metrics have practical constraints, such as being designed only for specific modalities, reliant on external tools, or computationally expensive. We introduce UMPIRE, a training-free uncertainty quantification framework for MLLMs that works efficiently across various input and output modalities without external tools, relying only on the models' own internal modality features. Inspired by Determinantal Point Processes (DPPs), UMPIRE computes a novel incoherence-adjusted semantic volume of sampled MLLM responses for a given task instance, which couples semantic embedding dispersion with the quadratic entropy of the responses. This approach effectively captures both the global semantic diversity of samples and the local incoherence of responses based on internal model confidence. We provide theoretical analysis motivating UMPIRE's design, and extensive experiments show that UMPIRE consistently outperforms baseline metrics in error detection and uncertainty calibration across image, audio, and video-text benchmarks, even with small sample budgets. We also demonstrate UMPIRE's generalization to non-text output tasks, including image and audio generation. Our code is available at https://github.com/daohieu17ctt/UMPIRE.
Anticlustering is an NP-hard combinatorial optimization problem that consists of partitioning a set of objects into equal-sized groups called anticlusters such that the objects in the same anticluster are as dissimilar as possible and thereby representative of the entire set of objects. Here we study the case where the dissimilarity metric is the squared Euclidean distance between the respective feature vectors. Applications of Euclidean anticlustering include social studies, cross-validation, creating mini-batches for stochastic gradient descent, and finding balanced K-cut partitions. In particular, machine-learning applications such as mini-batch generation involve million-scale datasets and very large values of K, making scalable anticlustering algorithms essential. We propose a new algorithm, the Assignment-Based Anticlustering (ABA) algorithm, that scales to instances with millions of objects and hundreds of thousands of anticlusters within seconds to minutes, which is far beyond what existing anticlustering methods can manage. We demonstrate here, via an extensive computational study, that our algorithm outperforms existing anticlustering methods in both solution quality and running time. This is so also for anticlustering with categories. For the related problem of balanced K-cut partitioning, our algorithm is superior to the well-known METIS method. The code of our algorithm is available on GitHub.
병원 입원 시점의 임상 진단은 제한적이고 불완전한 근거로부터 신속하게 내려져야 합니다. 기존의 진단 예측 벤치마크는 이러한 환경에 적합하지 않습니다. 예측 대상을 닫힌 코드 세트로 제한하고, 자유 형식 텍스트(free-text) 기록을 제외하며, 전체 입원 경과가 반영된 퇴원 시점의 진단을 지도 학습(supervision)에 사용하기 때문입니다. 본 연구에서는 MIMIC-IV의 154,834건 응급실(ED) 내원 기록을 기반으로 구축된, 개방형 초기 진단을 위한 대규모 벤치마크인 EarlyDx를 소개합니다. 각 내원은 입원 시점 $t_0$에 확인 가능한 기록으로만 제한되며, 퇴원 시점이 아닌 응급실 내원 중에 기록된 진단으로 감독됩니다. 나아가 LLM 감사기(auditor)가 모든 자유 텍스트 라벨이 해당 근거에 의해 지지되는지(supported), 부분적으로 지지되는지(partially supported), 지지되지 않는지(unsupported)를 검증하며, 주요 평가는 완전히 지지되는 라벨에 대해서만 점수를 산출합니다. 의미론적 LLM 판정관(LLM-as-judge) 프로토콜 평가 결과, 프론티어 범용 모델, 의료 특화 모델, 도메인 내 사후 학습(post-training) 모델 등 평가된 어떤 시스템도 입원 시점의 근거를 안정적으로 종합하지 못했습니다. 제로샷(zero-shot) 모델은 주로 단순 추출 방식으로 점수를 얻었으며, 기록에서 직접 읽어내는 것이 아니라 추론(inference)해야 하는 진단은 3-31%만 복원하는 데 그쳤습니다. 사후 학습을 적용하면 추론 의존적 재현율(recall)이 56%까지 향상되지만 여전히 상당한 마진(margin)이 남아 있으며, 시간에 민감한 위급 질환에서는 어떤 시스템도 임상의 수준의 민감도와 정밀도(precision) 균형에 도달하지 못했습니다. 전체 구축 및 평가 파이프라인은 여기에 공개됩니다.
심장 자기공명영상(CMR)의 심근 변형률(myocardial strain) 분석은 심장 기능을 평가하는 중요한 도구입니다. 그러나 기존 기법들은 국소적 정확도가 미흡하여 수동 조정 후처리가 필요하거나, 가용성이 제한적인 특수 촬영을 필요로 합니다. 본 논문에서는 일상적으로 획득되는 CMR 시퀀스로부터 고품질의 움직임 기반 변형률 값을 합성하기 위해 생성 모델의 성능을 활용하는 방안을 제안합니다. 구체적으로, 널리 사용되는 정합(registration) 기법으로 추정한 표준 CMR 움직임과 첨단 변형률 영상 기법이 제공하는 고정밀 움직임 사이의 확률적 매핑을 학습하기 위해 모션 공간에서의 새로운 브라운 다리 확산 모델(Brownian bridge diffusion model)을 개발합니다. 생성 과정에서 해부학적 구조의 충실도를 높이기 위해, 본 모델은 대응하는 CMR 영상을 조건으로 사용합니다. 표준 시네(cine) CMR과 첨단 변형률 영상 촬영이 쌍을 이루는 피험자들을 포함한 대규모 다기관 CMR 데이터셋에서 본 기법을 검증했습니다. 실험 결과는 본 프레임워크가 기존 학습 기반 접근법과 비교하여 표준 CMR로부터의 움직임 예측 및 변형률 분석 정확도를 크게 향상시킴을 보여줍니다. 본 연구는 분주한 임상 워크플로에서 향상된 변형률 정확도로 심장 기능을 평가할 수 있는, 비용 효율적이고 임상 배포 가능한 AI 도구를 잠재적으로 개발할 수 있는 새로운 패러다임을 제시합니다. 코드와 구현체는 https://github.com/Rishov-MIA/Brownian-Bridge-strain-analysis 에서 공개되어 있습니다.
서로 다른 주체에 의해 다양한 역량과 비용으로 구축된 대규모 언어 모델(LLM) 에이전트들이 급증함에 따라, 이들을 오케스트레이션(orchestration)하는 일은 컴퓨터가 서브루틴을 호출하는 것보다 경제 전반의 노동력을 조직하는 것에 더 가까워지고 있습니다. 기존의 오케스트레이션은 단일 계획자(planner)가 모든 작업을 할당하는 중앙 집중식 방식이 일반적이지만, 이는 에이전트 풀이 커질수록 병목 현상을 유발하고, 비공개 정보(예: 에이전트의 실행 비용)를 요구하며, 쉽게 조작될 수 있어 중앙 집중식 LLM 할당자 하에서는 단 하나의 선호도 주입만으로도 특정 에이전트의 작업 점유율이 거의 두 배로 증가할 수 있습니다. 본 논문에서는 에이전트가 비공개 비용과 자체 관리하는 전략 노트를 사용하여 작업에 입찰하고, 할당자가 입찰 내용과 공개 평판 기록을 바탕으로 낙찰자를 선정하며, VCG 방식의 지불 규칙을 통해 비용을 고려한 입찰에 보상을 제공하는 반복 노동 시장인 AgentLance를 소개합니다. 복잡한 작업은 계층적 위임을 통해 처리되어, 낙찰된 에이전트가 작업을 분해하고 동일한 메커니즘을 통해 하도급을 줄 수 있습니다. 수학적 추론, 코드 생성, 지식 집약적 질의응답 및 에이전트 작업 전반에서 AgentLance는 에이전트를 각자의 전문성에 맞게 매칭하고, 비용 민감도가 높아짐에 따라 더 저렴한 에이전트로 작업을 전환하며, 단일 모델, 중앙 집중식 오케스트레이션 및 시장 기준선 모델들을 일관되게 능가합니다. 부정확한 비용 자체 추정 및 차선의 입찰을 포함한 시장 실패를 진단하고 통제된 실험을 통해 이를 교정함으로써 추가적인 성능 향상을 얻었으며, 보다 효율적인 에이전트 경제를 향한 경로를 제시합니다.
3D Gaussian Splatting(3DGS)은 사실적인 실시간 novel view synthesis를 가능하게 하지만, 원하는 프레임을 담기 위한 가상 카메라 배치는 여전히 대부분 수동이다. 3D 장면에서의 기존 언어 유도 접근은 주로 객체 중심 그라운딩에 초점을 맞춰 무엇을 볼지는 정하지만, 피사체 방향이나 프레임 레이아웃처럼 단일 프레임에서 어떻게 보여야 하는지는 거의 제어하지 못한다. 이 한계를 해결하기 위해, 텍스트 지시와 정렬되는 렌더링 프레임을 갖도록 3D Gaussian 장면에서 6-DoF 카메라 pose를 찾는 새 과제인 Text-Instructed Viewpoint Grounding(TIVG)을 제안한다. 이 과제를 위해 언어를 카메라 pose 최적화를 위한 기하학적 의사 라벨로 변환하는 부분 미분 가능 프레임워크 CapFrame을 제안한다. CapFrame은 Retrieve-Translate-Refine 파이프라인을 따른다: 관련 시점을 검색하고 MLLM을 이용한 Question-Evaluation으로 순위를 매기며, 지시를 방향 및 레이아웃 의사 라벨로 변환한 뒤, 3DGS에서 레이아웃 및 방향 손실을 포함한 미분 가능 최적화로 카메라 pose를 정제한다. 135개 지시가 있는 38개 실세계 장면에서의 실험은 CapFrame이 휴리스틱 시점 탐색 및 적응된 궤적 생성 베이스라인보다 텍스트와 더 잘 정렬된 시점을 생성함을 VLM 지표, MLLM 심사, 사용자 연구로 검증했음을 보여준다. 코드는 https://github.com/jirongli/CapFrame 에서 제공된다.
다상 분말 X선 회절(PXRD) 분석은 실제 합성 과정에서 구성 상(phase, 성분)들을 안정적으로 분리해내기 어려운 복잡한 혼합물이 생성되는 경우가 많아 구조 식별의 근본적인 병목 구간으로 남아 있습니다. 최근 표현 기반 결정 검색 및 생성이 발전하면서 PXRD로부터 직접 구조를 추론할 수 있는 가능성이 제시되었으나, 기존 접근 방식은 대부분 단상(single-phase) 입력을 가정하므로 다상 환경에서는 제대로 작동하지 않습니다. 본 논문에서는 후보 상 목록, 구조적 템플릿, 또는 상의 수에 대한 사전 지식 없이도 다상 XRD 패턴의 분해 및 식별을 동시에 수행하는 사전 정보 없는(prior-free) 프레임워크인 XDecomposer를 제안합니다. 우리는 다상 회절 분석을 집합 예측(set prediction) 문제로 정의하며, 모델은 단일 통합 아키텍처 내에서 상별 성분의 순서 없는 집합과 혼합 비율, 그리고 이에 대응하는 구조 표현을 추론합니다. 회절 일관성을 갖는 물리적 재구성과 결합된 상 쿼리(phase-query) 기반 분해 메커니즘은 결정학적 충실도를 보존하면서 정확한 음원 분리(source separation)를 가능하게 합니다. 모의 및 실험 데이터셋 모두를 대상으로 한 광범위한 실험을 통해, XDecomposer가 다양한 화학 시스템 전반에서 재구성 정확도와 상 식별 성능을 크게 향상시키며 보지 못한(unseen) 혼합물에 대해서도 강력한 일반화 성능을 유지함을 보여줍니다. 이러한 결과는 데이터 기반의 성분 분해 다상 XRD 분석을 위한 실용적인 경로를 제공하며, 사전 지식 기반의 반복적 상 매칭에 대한 오랜 의존도를 낮춥니다. 코드는 https://github.com/Licht0812/XDecomposer 에서 공개되어 있습니다.
시각적 대리 표현은 명시적인 월드 상태 시뮬레이션과 실사 수준의 영상 합성을 분리한다. 이를 통해 오프라인 영상 제작과 실시간 대화형 스트리밍을 제어할 수 있다. 실제로 사용할 렌더러에는 두 가지 과제가 있다. 앞 단계에서 오는 대리 표현은 상호작용에 따라 대략적인 배치부터 관절 움직임을 표현한 세밀한 기하 구조까지 다양하다. 스트리밍 추론은 적은 수의 인과적 단계만 사용하면서도 자체 생성한 이력에 드리프트가 누적되지 않아야 한다. 구조적 대리 표현, 외관 참조, 언어를 공통 조건으로 받아들이는 Invoker-Render를 제안한다. 양방향 영상 생성 모델과 인과적 4단계 스트리밍 모델을 결합한다. 서로 정렬된 약 200시간 분량의 여러 세분화 수준의 말뭉치로 학습했다. 세밀한 기하 제약이 주어지면 이를 따르고, 대략적인 대리 표현만 주어지면 그럴듯한 국소 움직임을 생성한다. 따라서 실행 중 입력의 세부 수준을 선택할 수 있다. 생성 단계 압축과 롤아웃 드리프트가 겹치지 않으면서 양방향 생성과 실시간 스트리밍을 연결하기 위해 점진적 포싱(ProForcing)을 도입한다. 먼저 인과적 예측기를 학습하고 학습 영상에서 만든 이력을 사용해 4단계 렌더러로 증류한다. 이후 학습에서 연속적으로 자체 생성한 롤아웃을 사용한다. 파이프라인 방식의 서빙 시스템으로 스트리밍 추론을 효율적으로 수행한다. 실험에서는 다양한 대리 표현 유형, 세부 수준, 카메라 경로에서 제어할 수 있었고 최근 스트리밍 기준선보다 일관되게 나은 결과를 보였다. 30분 길이의 레이싱 롤아웃에서도 장면과 피사체의 외관을 안정적으로 유지했다.
MIT 연구진은 최근 최첨단 대규모 언어 모델(LLM)인 GPT-6 Astra가 답변 한 번으로 작은 신경망의 가중치를 직접 작성하고, 작은 신경망의 가중치 원본을 읽어 어떤 작업을 학습했는지 말할 수 있다고 보고했다. 본 연구는 3일 동안 그 결과를 재현하고 확장했다. 네 가지를 확인했다. 첫째, 가중치 작성 능력이 재현됐다. Breakout 게임용으로 Astra가 만든 신경망은 514점, 550점, 307점을 얻었고, MIT의 결과는 517점이었다. Breakout의 변형 두 가지에서도 비슷한 성능을 보였다. Claude Opus 5.5도 작동하는 신경망을 작성할 수 있으나 출력 토큰 한도에 자주 도달한다. 둘째, 새로운 능력은 프로그램을 가중치로 옮기는 것이다. 이전 모델은 신경망 가중치를 작성할 수 있게 되기 한 세대 전부터 좋은 정책을 코드로 작성할 수 있었다. 모델이 작성한 신경망은 컴파일된 프로그램처럼 동작했다. 두 모델이 Astra의 Breakout 신경망을 독립적으로 Python 코드로 역컴파일했고, 테스트한 모든 상태에서 원래 신경망과 같은 행동을 했다. 손글씨 숫자 분류에서 Astra의 신경망은 평균 50%를 기록해 간단한 분류기의 82%보다 낮았다. 셋째, 가중치를 읽는 능력은 주로 입력층을 읽는 데서 나온다. Astra와 Opus 5.5는 신경망이 어떤 게임을 하는지 거의 항상 맞혔다. 하지만 연구진이 직접 설계하고 신경망을 학습시킨 새로운 게임 세 가지에서 Astra는 보드 위 요소의 위치는 알아냈으나 게임의 작동 방식은 대부분 파악하지 못했다. 넷째, 가중치만으로도 감사할 수 있으나 깊이에는 한계가 있다. 코드를 실행하지 않고도 Astra는 학습 중 오염된 소형 언어 모델을 10회 중 10회, 학습 후 추가 학습으로 오염된 모델을 10회 중 7회, 악성 어댑터를 32건 중 23건 식별했다. 하지만 트리거나 악성 동작은 한 번도 식별하지 못했다. 가중치 공개 모델의 성능은 더 낮았다. 이 초기 연구는 LLM이 작은 신경망을 읽고 쓸 수 있으나, 현재 능력은 사람이 설계한 프로그램을 컴파일하고 입력층의 배치를 읽는 수준임을 보여 준다. 해석 가능성 연구에 유망하지만 아직 초기 단계에 있는 도구다.
Age-Related Macular Degeneration (AMD) is an asymptomatic retinal disease which may result in loss of vision. There is limited access to high-quality relevant retinal images and poor understanding of the features defining sub-classes of this disease. Motivated by recent advances in machine learning we specifically explore the potential of generative modeling, using Generative Adversarial Networks (GANs) and style transferring, to facilitate clinical diagnosis and disease understanding by feature extraction. We design an analytic pipeline which first generates synthetic retinal images from clinical images; a subsequent verification step is applied. In the synthesizing step we merge GANs (DCGANs and WGANs architectures) and style transferring for the image generation, whereas the verified step controls the accuracy of the generated images. We find that the generated images contain sufficient pathological details to facilitate ophthalmologists' task of disease classification and in discovery of disease relevant features. In particular, our system predicts the drusen and geographic atrophy sub-classes of AMD. Furthermore, the performance using CFP images for GANs outperforms the classification based on using only the original clinical dataset. Our results are evaluated using existing classifier of retinal diseases and class activated maps, supporting the predictive power of the synthetic images and their utility for feature extraction. Our code examples are available online.
We study the problem of fitting an ultrametric distance to a dissimilarity graph in the context of hierarchical cluster analysis. Standard hierarchical clustering methods are specified procedurally, rather than in terms of the cost function to be optimized. We aim to overcome this limitation by presenting a general optimization framework for ultrametric fitting. Our approach consists of modeling the latter as a constrained optimization problem over the continuous space of ultrametrics. So doing, we can leverage the simple, yet effective, idea of replacing the ultrametric constraint with a min-max operation injected directly into the cost function. The proposed reformulation leads to an unconstrained optimization problem that can be efficiently solved by gradient descent methods. The flexibility of our framework allows us to investigate several cost functions, following the classic paradigm of combining a data fidelity term with a regularization. While we provide no theoretical guarantee to find the global optimum, the numerical results obtained over a number of synthetic and real datasets demonstrate the good performance of our approach with respect to state-of-the-art agglomerative algorithms. This makes us believe that the proposed framework sheds new light on the way to design a new generation of hierarchical clustering methods. Our code is made publicly available at \url{https://github.com/PerretB/ultrametric-fitting}.
Despite the impressive progress achieved in robotic grasping, robots are not skilled in sophisticated tasks (e.g. search and grasp a specified target in clutter). Such tasks involve not only grasping but the comprehensive perception of the world (e.g. the object relationships). Recently, encouraging results demonstrate that it is possible to understand high-level concepts by learning. However, such algorithms are usually data-intensive, and the lack of data severely limits their performance. In this paper, we present a new dataset named REGRAD for the learning of relationships among objects and grasps. We collect the annotations of object poses, segmentations, grasps, and relationships for the target-driven relational grasping tasks. Our dataset is collected in both forms of 2D images and 3D point clouds. Moreover, since all the data are generated automatically, it is free to import new objects for data generation. We also released a real-world validation dataset to evaluate the sim-to-real performance of models trained on REGRAD. Finally, we conducted a series of experiments, showing that the models trained on REGRAD could generalize well to the realistic scenarios, in terms of both relationship and grasp detection. Our dataset and code could be found at: https://github.com/poisonwine/REGRAD