PyTorchKR Papers

“Code Generation”

총 10,140편
태그·기간 등 상세 필터

카테고리 탐색

arXiv:2607.02718v1cs.CV

기반 이미지 생성 모델을 활용한 항공 뷰 객체 탐지기 진단

Diagnosing Aerial-View Object Detectors with Foundational Image Generative Models

대규모 이미지 생성 모델의 최근 발전으로 제어 가능한 속성을 갖춘 사실적인 장면 합성이 가능해졌다. 데이터 증강(data augmentation)을 넘어, 항공 및 원격 탐사 분야에서 학습된 비전 시스템에 대한 진단 도구로서의 잠재력은 아직 탐구되지 않은 상태다. 본 논문에서는 텍스트 기반 생성, 속성 제어 편집, 자동화된 속성 검증을 결합하여 제어 가능한 합성 테스트베드를 구축하는 항공 뷰 차량 탐지를 위한 합성 진단 프레임워크를 제안한다. 이를 통해 실제 데이터셋에서 분리하기 어려운 다양한 장면 유형과 환경 조건에서 사전학습된 탐지기를 세밀하게 평가할 수 있다. 세 가지 탐지 아키텍처와 세 가지 실제 항공 데이터셋에 걸쳐, 합성 장면 단위의 성능 추세는 실제 환경의 약점과 밀접하게 일치한다. 이러한 진단 결과를 바탕으로, 식별된 취약 카테고리에서 소규모 실제 데이터셋을 목표 지향적으로 보완하면 비목표 증강보다 훨씬 적은 추가 샘플만으로도 최대 13% AP50 향상을 달성할 수 있다. 본 연구 결과는 제어된 합성 프로빙이 실제 도메인의 성능 격차를 예측하고 효율적인 데이터 수집을 안내할 수 있음을 보여준다. 제안된 진단 프레임워크는 모듈식으로 설계되어 기술 발전에 따라 대안적인 생성 모델이나 비전-언어(vision-language) 모델을 통합할 수 있다. 코드와 데이터셋은 https://humansensinglab.github.io/AVODDiag/ 에서 공개된다.

arXiv:2601.06521v2cs.CV

BabyVision: 언어를 넘어선 시각적 추론

BabyVision: Visual Reasoning Beyond Language

현재의 멀티모달 대규모 언어 모델(MLLM)이 세 살 아이도 쉽게 해결하는 기본 시각 과제에서 일관되게 실패한다는 사실에 주목하여, 언어 지식과 독립적으로 핵심 시각 능력을 평가하는 벤치마크 BabyVision을 제안한다. 4개 범주 22개 하위 유형의 388개 문항으로 구성된 BabyVision에서 최고 성능 모델인 Gemini3-Pro-Preview조차 49.7점에 그쳐 성인 평균(94.1점)과 44.4%포인트 격차를 보였으며, 생성 모델 기반의 시각적 추론 평가를 위한 BabyVision-Gen과 자동 평가 툴킷도 함께 공개한다.

arXiv:2608.00732v1cs.LG

미끼 지름길과 지식 디커플링을 통한 백도어 완화

Mitigating Backdoors via Decoy Shortcuts and Knowledge Decoupling

백도어 공격(Backdoor attack)은 특히 학습이 서드파티 데이터에 의존할 때 딥 뉴럴 네트워크에 심각한 위협이 되며, 공격자가 데이터 오염(data poisoning)을 통해 악의적인 동작을 주입할 수 있도록 합니다. 본 연구에서는 메인 네트워크와 함께 결합 학습될 때 백도어 동작이 더 단순한 병렬 브랜치에 흡수되는 경향이 있음을 밝힙니다. 이러한 통찰에 착안하여, 백도어 지식을 포획하기 위한 '허니팟(honeypot)'으로서 경량 지름길(shortcut) 브랜치를 도입하는 단순하면서도 효과적인 학습 단계 방어 기법인 Trapping and Removing (TR)을 제안합니다. 학습 후에는 추가적인 데이터 없이도 해당 지름길을 폐기함으로써 백도어를 제거할 수 있습니다. 정상 성능을 유지하면서 백도어 격리를 더욱 강화하기 위해, 엔트로피 기반 가중치 할당을 활용한 지식 디커플링(knowledge decoupling) 전략을 설계하여 오염된 샘플이 허니팟으로 흐르도록 유도하는 동시에 메인 네트워크는 정상적인 학습에 집중하도록 유도합니다. 또한 모델 아키텍처 전반에 걸친 일반화 성능을 향상시키기 위해 자동 지름길 생성 전략을 도입합니다. 4개의 벤치마크 데이터셋과 5개의 모델 아키텍처에 대한 광범위한 실험을 통해, 본 접근법이 정상 데이터에 대한 성능을 보존하면서 광범위한 백도어 공격을 효과적으로 완화함을 입증합니다. 코드: https://github.com/Zixuan-Zhu/TR}{github.com/Zixuan-Zhu/TR.

arXiv:2608.06292v1cs.CL

NeSy-RAG: 설명 가능한 질의응답을 위한 신경-기호 RAG

NeSy-RAG: Neuro-Symbolic RAG for Explainable Question Answering

검색-증강 생성(RAG)은 텍스트 말뭉치와 같은 외부 지식에 대규모 언어 모델(LLM)을 그라운딩(grounding)하여 질의응답 성능을 향상시킵니다. 그러나 RAG의 추론 과정은 여전히 불투명한 부분이 많습니다. 중간 추론 단계는 검증하기 어렵고 특정 근거에 안정적으로 귀속시킬 수 없습니다. 또한 사용자별 누락된 맥락을 체계적으로 감지하는 경우가 드물어 불완전하거나 부정확한 출력이 자주 발생합니다. 본 논문에서는 검색된 텍스트 청크로부터 귀속 가능한 프롤로그(Prolog) 모듈을 합성하는 모듈형 신경-기호(neuro-symbolic) RAG 프레임워크인 NeSy-RAG를 제안합니다. 시스템은 각 청크에 대해 사용자 사실(fact)에 의존할 수 있는 불리언(Boolean) 주장을 인코딩하는 의미론적으로 유의미한 술어를 생성합니다. 결합 자연어-코드 임베딩을 사용하여 술어를 검색하고 프롤로그 쿼리로 합성합니다. 불완전한 사용자 맥락 문제를 해결하기 위해, 진릿값이 쿼리 결과에 영향을 미치는 누락된 사용자 사실을 식별하고 후속 상호작용을 자동으로 유도하는 기호 지식 격차 감지 메커니즘을 도입합니다. 결과 프롤로그 쿼리를 실행하면 각 추론 단계를 원래 출처와 연결하는 투명한 실행 추적과 함께 결정론적인 답변이 생성됩니다. ShARC 벤치마크에서 NeSy-RAG는 도메인 특화 학습(training) 없이 61.1%의 정확도를 달성하여 42.8%의 정확도를 기록한 동일 모델 RAG 기준선(baseline)을 능가했습니다.

arXiv:2608.29598v1cs.LG

하드웨어 결함에 대한 텍스트-투-비디오 디퓨전 모델의 회복력

On the Resilience of Text-to-Video Diffusion Models to Hardware Faults

본 연구는 무작위 하드웨어 수준 결함 하에서 텍스트-투-비디오(T2V) 디퓨전 모델의 회복력(resilience)을 최초로 체계적으로 조사한다. T2V 모델은 고품질·시간적 일관성·사실감 있는 동영상을 생성할 수 있어 자동 동영상 생성에 널리 쓰이지만, 반복적 디노이징(denoising) 과정과 시공간적 의존성으로 인해 고유한 실패 양상이 생긴다. 세 가지 T2V 모델과 대표 벤치마크에 대해 계산·메모리 결함을 모두 포함하는 광범위한 결함 주입(fault-injection) 실험을 수행했다. 결과는 (1) 단일 결함만으로 전체 성능이 최대 3.7%까지 저하될 수 있으며, 지각적(perceptual) 품질보다 의미적 정확성(semantic correctness)이 더 크게 영향받는다는 점, (2) 메모리 결함이 계산 결함보다 더 치명적이고 고차 지수(exponent) 비트가 특히 취약하며, 널리 쓰이는 bfloat16이 대안 포맷보다 더 취약하다는 점, (3) 결함의 7–28%가 객체 추가와 같은 의미적 변화를 포함한 눈에 띄는 아티팩트(artifact)를 일으켜, 단일 결함만으로도 출력 의미를 바꿀 수 있음을 시사한다는 점을 보여준다. 이는 배포된 T2V 시스템의 신뢰성 위험을 드러내며, 결함 회복력 향상을 위한 추가 연구가 필요함을 시사한다. Code: https://github.com/ztcoalson/T2V-Resilience

arXiv:2609.09213v1cs.RO

체화 SLM에서의 기하학 조건화: 0.8B 하이브리드 모델의 학습 제어와 견고성 진단

Geometry Conditioning in an Embodied SLM: Training Controls and Robustness Diagnostics in a 0.8B Hybrid Model

조작(manipulation)에 맞춘 0.8B 하이브리드 언어 모델에서 학습 가능 파라미터 6.2M개를 두고, 물리 상태 입력이 모델에 어떤 영향을 미치는지 연구한다. 세 가지 LIBERO-Spatial 태스크에서 여섯 가지 조건을 학습하고, 세 개의 시드와 540개의 홀드아웃 롤아웃으로 평가한다. 순환 감쇠 게이트를 기하학적 증분에 조건화하면 성공률 28.9%인 반면, 학습 중 해당 증분을 셔플하면 36.7%, 명시적 객체/목표 기하학 없이는 24.4%이다. 두 기하학 정책 모두 평가 시 올바른 입력을 받는다. 동일한 증분을 쓰는 토큰 어댑터는 27.8%이며, 시드별 차이는 크고 결론을 내리기 어렵다. 토큰-클럭(token-clock) 조건화는 11.1%로, 수렴하지 못한 시드가 하나 포함된다. 별도 견고성 테스트에서 상태만 사용하는 상대 좌표 정책은 프레임 재라벨링(frame relabeling)에서 10회 중 7회 성공을 유지하는 반면, 시험한 네 가지 시각 정책은 객체를 5 cm 이동한 뒤 모두 최대 20회 중 3회 이하로 떨어진다. 이 결과는 본 설정에서는 학습 시점 기하학 정렬의 뚜렷한 이점이 없음을 보여 주며, 좌표 불변성과 물리적 배치 일반화 사이의 간극을 드러낸다. 에피소드 기록, 시드 수준 분석, 그림 생성 코드가 논문과 함께 제공된다.

arXiv:2610.08173v1cs.SE

리더보드를 넘어서: 자동 프로그램 복구를 위한 밀집 모델 및 전문가 혼합(MoE) 모델의 다차원적 평가

Beyond the Leaderboard: Multi-Dimensional Evaluation of Dense and Mixture-of-Experts Models for Automated Program Repair

언어 모델을 활용한 자동 프로그램 복구(APR)는 일반적으로 생성된 패치가 테스트 스위트를 통과하는지 여부로 평가되며, 이는 유지보수성, 보안 및 계산 비용의 차이를 가릴 수 있습니다. 본 연구에서는 ISO/IEC 25010 소프트웨어 품질 모델에서 영감을 받아, 설정 가능한 가중치 체계 하에서 기능적 정확성, 유지보수성, 보안 및 생성 효율성을 결합한 가중 품질 지수(QI)를 제안합니다. 인프라 영향을 통제하기 위해 동일한 하드웨어에서 로컬로 실행된 40개의 QuixBugs 및 90개의 Defects4J 버그를 대상으로 3개의 밀집 Qwen2.5-Coder 모델(3B, 7B, 14B)과 16B 매개변수의 DeepSeek-Coder-V2-Lite 전문가 혼합(MoE) 모델(2.4B 활성 매개변수)을 평가합니다. 모델 순위는 가중치 체계에 따라 변화하며, 이는 단일 지표 평가가 트레이드오프를 숨길 수 있음을 보여줍니다. MoE 모델은 3~6배 적은 활성 매개변수를 사용하면서도 7B 및 14B 밀집 모델과 정확성 측면에서 통계적으로 유의미한 차이가 거의 없음을 보여준 반면(맥니머 정확 검정), 세 밀집 모델 규모 전반에서는 정확성이 크게 증가했습니다. 이러한 결과는 희소(sparse) 코드 모델의 경우 총 매개변수 수보다 활성 매개변수 수가 더 유용한 관점이 될 수 있음을 시사합니다.

arXiv:2610.13628v1cs.RO

JitterVLA: VLA 기반 인간-로봇 조작에서 모션 품질 평가를 위한 재생 벤치마크

JitterVLA: A Replay Benchmark for Motion Quality in VLA-Driven Human-Robot Manipulation

비전-언어-행동(VLA) 정책은 희소한(sparse) 목표 명령을 생성하며, 이러한 명령이 로봇 제어기에 도달하는 과정에서 지연과 불규칙성이 발생합니다. 따라서 합리적으로 예측된 동작이라 할지라도 사람 근처에서 급격한 움직임을 유발할 수 있습니다. 기존의 해결책들은 서로 다른 데이터 스트림, 지연 시간 및 평가 지표 하에서 평가되어 왔습니다. JitterVLA는 동일한 명령 및 도달 흔적(trace)을 대체 제어기에 그대로 재생(replay)함으로써 제어기만의 효과를 분리하여 검증합니다. 본 연구는 이를 합성 도달 동작, 20명의 사람 손 궤적, 3개의 오픈 소스 VLA 파이프라인(838개 에피소드), 그리고 실제 UR3 로봇에 적용했습니다. 보간(interpolation)은 모든 데이터 소스에서 모델링된 p99 저크(jerk)를 감소시켰으며, 200ms 지연이 발생한 인간 모션에서는 2.0cm의 추적 오차를 대가로 저크를 83%(615에서 106m/s^3) 줄였고, 이러한 효과는 598개의 새로운 에피소드에서도 동일하게 재현되었습니다. 저크 제한 생성은 더 큰 오차 비용을 수반하면서 저크를 더욱 낮추었습니다. 엔트로피와 불연속성 간의 상관관계는 두 파이프라인에서 반대 부호로 일관되게 나타났으며, 엔트로피 게이팅은 한 파이프라인에서는 효과가 있었으나 다른 파이프라인에서는 그렇지 않았습니다. 실제 UR3 로봇에서 보간 기법은 6개의 탐색적 쌍 모두에서 가속도계 기반 저크를 3.0~14.0% 낮춘 반면, 위치 기반 지표는 이러한 차이를 분해해 내지 못했습니다. JitterVLA는 인간 중심 연구에 앞서 사전 스크리닝을 지원하며, 코드와 데이터는 공개될 예정입니다.

arXiv:2602.20064v2cs.PL

LLMbda 계산법: AI 에이전트, 대화, 그리고 정보 흐름

The LLMbda Calculus: AI Agents, Conversations, and Information Flow

대규모 언어 모델(LLM)은 계획을 수립하고, 도구를 호출하고, 신뢰할 수 없는 데이터를 읽고, 그 결과에 따라 행동하는 에이전트로 점점 더 많이 배포되고 있다. 이로 인해 프롬프트 주입(prompt injection) 공격에 노출된다: 읽기만 해야 할 데이터가 명령으로 실행되는 것이다. 가장 원칙적인 방어책은 콘텐츠 검사를 출처(provenance) 기반 방식으로 대체하는 것이다: 데이터를 출처에 따라 분류하고, 신뢰할 수 있는 데이터와 신뢰할 수 없는 데이터를 직무 분리(dual-LLM 패턴)와 정보 흐름 제어를 통해 분리하는 방식이다. 그러나 현재의 선도적인 시스템들은 완전히 신뢰하기 어렵다: 흐름 추적은 오류가 발생하기 쉽고, 의도적인 완화 조치는 감사하기 어려우며, dual-LLM 패턴은 아키텍처에 고정 내장되어 있다. 우리는 LLMbda를 제시한다. 이는 타입 없는 값에 의한 호출(call-by-value) 람다 계산법으로, 특정 아키텍처에 종속되지 않으면서도 출처 기반 방어를 표현 가능하고 증명 가능하게 건전한 방식으로 만든다. LLMbda는 에이전트 시스템의 실행 핵심 요소를 일급 구성체로 추가한다: 포크(fork)하거나 초기화할 수 있는 프롬프트-응답 대화, 코드 생성, 그리고 모든 값이 레이블을 지니고 모든 리덕션이 이를 전파하는 동적 정보 흐름 제어. 격리(isolation)는 프로그램이 표현하는 정책이 되고, 재분류(reclassification)는 명시적이고 감사 가능한 구성체가 된다. 우리의 핵심 결과는 코드 생성 에이전트를 포함한 전체 계산법에 대한 종료 비민감(termination-insensitive) 확률적 비간섭(noninterference) 정리이며, 공격자가 모든 신뢰할 수 없는 입력을 선택하는 경우에도 성립하는 절연된(insulated) 변형을 포함한다. 검증된 인터프리터 자체가 모델을 호출하는 하네스(harness)이며, 이는 우리가 알기로 실행 파일이 기계 검증된 보안 정리의 대상인 최초의 LLM 에이전트 하네스로, 모든 에이전트가 해당 보장을 상속받는다. AgentDojo 뱅킹 벤치마크에서, LLMbda 내에 구축된 에이전트는 항상 적용 상태인 강제 실행으로, 정책 검사 없이 실행된 선도적인 dual-LLM 방어 시스템인 CaMeL(정책 검사를 적용하면 유용성이 절반으로 감소함)과 동등한 유용성을 달성하며, 1296번의 공격 실행 중 단 두 번을 제외한 모든 공격에 저항한다. 우리의 하네스와 모든 증명은 Lean으로 작성되었다.

arXiv:2503.13988공식 코드 · Papers with Code

Empowering Smaller Models: Tuning LLaMA and Gemma with Chain-of-Thought for Ukrainian Exam Tasks

Leading large language models have demonstrated impressive capabilities in reasoning-intensive tasks, such as standardized educational testing. However, they often require extensive training in low-resource settings with inaccessible infrastructure. Small or compact models, though more efficient, frequently lack sufficient support for underrepresented languages, leaving a performance gap in critical domains. This work explores the potential of parameter-efficient fine-tuning of compact open-weight language models to handle reasoning-intensive tasks in the underrepresented Ukrainian language, building on the findings of the ZNO-Eval benchmark. Parameter-efficient fine-tuning of LLaMA 3.1 (8 billion parameters), LLaMA 3.2 (3 billion parameters), and Gemma 2 (9 billion parameters) models on chain-of-thought solutions resulted in a modest test score improvement of up to 17.4% on complex matching tasks and 1.6% overall compared to tuning on answer letters alone, offering enhanced interpretability and robustness. In addition, the proposed tuning method with joint task topic and step-by-step solution generation outperforms standard chain-of-thought tuning in matching tasks and provides a 5.4% gain over the best LLaMA 3.2 model due to guiding the model to recall and apply domain-relevant information. Contrasting obtained results with zero-shot evaluations of leading open-weight and proprietary models such as Qwen, DeepSeek R1, OpenAI o1 and o3, Gemini, and Claude, highlight that fine-tuning LLaMA and Gemma models with 2,032 step-by-step solutions and 20 to 50 million trainable parameters on a single A100 GPU lets them outperform GPT-4o mini, Mistral Large, and larger open-weight models. This research also evaluates how merging the quantized adapter with the base model influences the generation quality. Source code and tuned models are available at https://github.com/NLPForUA/ZNO.

arXiv:2607.00606v1cs.CV

검색된 이미지를 시각적 사고로: 개방형-폐쇄형 격차를 위한 학습 불필요 멀티모달 문맥 내 학습

Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap

학습이나 도구 없이 검색된 이미지-레이블 쌍을 시각적 사고의 단위로 활용하는 프레임워크 ReVisIT을 제안하며, 구조화된 클래스 정의, 쿼리별 멀티모달 예시 검색, 교번 사용자/어시스턴트 턴 주입을 결합해 문맥 내 학습(ICL)을 수행한다. Qwen3-VL-30B-A3B에 ReVisIT을 적용하면 VL-ICL Bench에서 4-샷 98.5%를 달성해 72B LLaVA-OneVision SOTA(98.7%)와 동등한 성능을 약 1/2.4 파라미터 수로 달성했으며, Bongard-OpenWorld에서 GPT-4.1 대비 26.1포인트 향상을 보였다.

arXiv:2207.05501공식 코드 · Papers with Code

Next-ViT: Next Generation Vision Transformer for Efficient Deployment in Realistic Industrial Scenarios

Due to the complex attention mechanisms and model design, most existing vision Transformers (ViTs) can not perform as efficiently as convolutional neural networks (CNNs) in realistic industrial deployment scenarios, e.g. TensorRT and CoreML. This poses a distinct challenge: Can a visual neural network be designed to infer as fast as CNNs and perform as powerful as ViTs? Recent works have tried to design CNN-Transformer hybrid architectures to address this issue, yet the overall performance of these works is far away from satisfactory. To end these, we propose a next generation vision Transformer for efficient deployment in realistic industrial scenarios, namely Next-ViT, which dominates both CNNs and ViTs from the perspective of latency/accuracy trade-off. In this work, the Next Convolution Block (NCB) and Next Transformer Block (NTB) are respectively developed to capture local and global information with deployment-friendly mechanisms. Then, Next Hybrid Strategy (NHS) is designed to stack NCB and NTB in an efficient hybrid paradigm, which boosts performance in various downstream tasks. Extensive experiments show that Next-ViT significantly outperforms existing CNNs, ViTs and CNN-Transformer hybrid architectures with respect to the latency/accuracy trade-off across various vision tasks. On TensorRT, Next-ViT surpasses ResNet by 5.5 mAP (from 40.4 to 45.9) on COCO detection and 7.7% mIoU (from 38.8% to 46.5%) on ADE20K segmentation under similar latency. Meanwhile, it achieves comparable performance with CSWin, while the inference speed is accelerated by 3.6x. On CoreML, Next-ViT surpasses EfficientFormer by 4.6 mAP (from 42.6 to 47.2) on COCO detection and 3.5% mIoU (from 45.1% to 48.6%) on ADE20K segmentation under similar latency. Our code and models are made public at: https://github.com/bytedance/Next-ViT

arXiv:1909.03714공식 코드 · Papers with Code

Self-supervised Scale Equivariant Network for Weakly Supervised Semantic Segmentation

Weakly supervised semantic segmentation has attracted much research interest in recent years considering its advantage of low labeling cost. Most of the advanced algorithms follow the design principle that expands and constrains the seed regions from class activation maps (CAM). As well-known, conventional CAM tends to be incomplete or over-activated due to weak supervision. Fortunately, we find that semantic segmentation has a characteristic of spatial transformation equivariance, which can form a few self-supervisions to help weakly supervised learning. This work mainly explores the advantages of scale equivariant constrains for CAM generation, formulated as a self-supervised scale equivariant network (SSENet). Specifically, a novel scale equivariant regularization is elaborately designed to ensure consistency of CAMs from the same input image with different resolutions. This novel scale equivariant regularization can guide the whole network to learn more accurate class activation. This regularized CAM can be embedded in most recent advanced weakly supervised semantic segmentation framework. Extensive experiments on PASCAL VOC 2012 datasets demonstrate that our method achieves the state-of-the-art performance both quantitatively and qualitatively for weakly supervised semantic segmentation. Code has been made available.

arXiv:2006.11476공식 코드 · Papers with Code

Video Playback Rate Perception for Self-supervisedSpatio-Temporal Representation Learning

In self-supervised spatio-temporal representation learning, the temporal resolution and long-short term characteristics are not yet fully explored, which limits representation capabilities of learned models. In this paper, we propose a novel self-supervised method, referred to as video Playback Rate Perception (PRP), to learn spatio-temporal representation in a simple-yet-effective way. PRP roots in a dilated sampling strategy, which produces self-supervision signals about video playback rates for representation model learning. PRP is implemented with a feature encoder, a classification module, and a reconstructing decoder, to achieve spatio-temporal semantic retention in a collaborative discrimination-generation manner. The discriminative perception model follows a feature encoder to prefer perceiving low temporal resolution and long-term representation by classifying fast-forward rates. The generative perception model acts as a feature decoder to focus on comprehending high temporal resolution and short-term representation by introducing a motion-attention mechanism. PRP is applied on typical video target tasks including action recognition and video retrieval. Experiments show that PRP outperforms state-of-the-art self-supervised models with significant margins. Code is available at github.com/yuanyao366/PRP

arXiv:2007.02355공식 코드 · Papers with Code

HoughNet: Integrating near and long-range evidence for bottom-up object detection

This paper presents HoughNet, a one-stage, anchor-free, voting-based, bottom-up object detection method. Inspired by the Generalized Hough Transform, HoughNet determines the presence of an object at a certain location by the sum of the votes cast on that location. Votes are collected from both near and long-distance locations based on a log-polar vote field. Thanks to this voting mechanism, HoughNet is able to integrate both near and long-range, class-conditional evidence for visual recognition, thereby generalizing and enhancing current object detection methodology, which typically relies on only local evidence. On the COCO dataset, HoughNet's best model achieves 46.4 $AP$ (and 65.1 $AP_{50}$), performing on par with the state-of-the-art in bottom-up object detection and outperforming most major one-stage and two-stage methods. We further validate the effectiveness of our proposal in another task, namely, "labels to photo" image generation by integrating the voting module of HoughNet to two different GAN models and showing that the accuracy is significantly improved in both cases. Code is available at https://github.com/nerminsamet/houghnet.

arXiv:2009.06819

MatScIE: An automated tool for the generation of databases of methods and parameters used in the computational materials science literature

The number of published articles in the field of materials science is growing rapidly every year. This comparatively unstructured data source, which contains a large amount of information, has a restriction on its re-usability, as the information needed to carry out further calculations using the data in it must be extracted manually. It is very important to obtain valid and contextually correct information from the online (offline) data, as it can be useful not only to generate inputs for further calculations, but also to incorporate them into a querying framework. Retaining this context as a priority, we have developed an automated tool, MatScIE (Material Scince Information Extractor) that can extract relevant information from material science literature and make a structured database that is much easier to use for material simulations. Specifically, we extract the material details, methods, code, parameters, and structure from the various research articles. Finally, we created a web application where users can upload published articles and view/download the information obtained from this tool and can create their own databases for their personal uses.

arXiv:2105.14739공식 코드 · Papers with Code

Controllable Person Image Synthesis with Spatially-Adaptive Warped Normalization

Controllable person image generation aims to produce realistic human images with desirable attributes such as a given pose, cloth textures, or hairstyles. However, the large spatial misalignment between source and target images makes the standard image-to-image translation architectures unsuitable for this task. Most state-of-the-art methods focus on alignment for global pose-transfer tasks. However, they fail to deal with region-specific texture-transfer tasks, especially for person images with complex textures. To solve this problem, we propose a novel Spatially-Adaptive Warped Normalization (SAWN) which integrates a learned flow-field to warp modulation parameters. It allows us to efficiently align person spatially-adaptive styles with pose features. Moreover, we propose a novel Self-Training Part Replacement (STPR) strategy to refine the model for the texture-transfer task, which improves the quality of the generated clothes and the preservation ability of non-target regions. Our experimental results on the widely used DeepFashion dataset demonstrate a significant improvement of the proposed method over the state-of-the-art methods on pose-transfer and texture-transfer tasks. The code is available at https://github.com/zhangqianhui/Sawn.

arXiv:2107.04863

HOMRS: High Order Metamorphic Relations Selector for Deep Neural Networks

Deep Neural Networks (DNN) applications are increasingly becoming a part of our everyday life, from medical applications to autonomous cars. Traditional validation of DNN relies on accuracy measures, however, the existence of adversarial examples has highlighted the limitations of these accuracy measures, raising concerns especially when DNN are integrated into safety-critical systems. In this paper, we present HOMRS, an approach to boost metamorphic testing by automatically building a small optimized set of high order metamorphic relations from an initial set of elementary metamorphic relations. HOMRS' backbone is a multi-objective search; it exploits ideas drawn from traditional systems testing such as code coverage, test case, path diversity as well as input validation. We applied HOMRS to MNIST/LeNet and SVHN/VGG and we report evidence that it builds a small but effective set of high-order transformations that generalize well to the input data distribution. Moreover, comparing to similar generation technique such as DeepXplore, we show that our distribution-based approach is more effective, generating valid transformations from an uncertainty quantification point of view, while requiring less computation time by leveraging the generalization ability of the approach.

arXiv:2210.14431공식 코드 · Papers with Code

$N$-gram Is Back: Residual Learning of Neural Text Generation with $n$-gram Language Model

$N$-gram language models (LM) have been largely superseded by neural LMs as the latter exhibits better performance. However, we find that $n$-gram models can achieve satisfactory performance on a large proportion of testing cases, indicating they have already captured abundant knowledge of the language with relatively low computational cost. With this observation, we propose to learn a neural LM that fits the residual between an $n$-gram LM and the real-data distribution. The combination of $n$-gram and neural LMs not only allows the neural part to focus on the deeper understanding of language but also provides a flexible way to customize an LM by switching the underlying $n$-gram model without changing the neural model. Experimental results on three typical language tasks (i.e., language modeling, machine translation, and summarization) demonstrate that our approach attains additional performance gains over popular standalone neural models consistently. We also show that our approach allows for effective domain adaptation by simply switching to a domain-specific $n$-gram model, without any extra training. Our code is released at https://github.com/ghrua/NgramRes.

arXiv:2211.09707

Listen, Denoise, Action! Audio-Driven Motion Synthesis with Diffusion Models

Diffusion models have experienced a surge of interest as highly expressive yet efficiently trainable probabilistic models. We show that these models are an excellent fit for synthesising human motion that co-occurs with audio, e.g., dancing and co-speech gesticulation, since motion is complex and highly ambiguous given audio, calling for a probabilistic description. Specifically, we adapt the DiffWave architecture to model 3D pose sequences, putting Conformers in place of dilated convolutions for improved modelling power. We also demonstrate control over motion style, using classifier-free guidance to adjust the strength of the stylistic expression. Experiments on gesture and dance generation confirm that the proposed method achieves top-of-the-line motion quality, with distinctive styles whose expression can be made more or less pronounced. We also synthesise path-driven locomotion using the same model architecture. Finally, we generalise the guidance procedure to obtain product-of-expert ensembles of diffusion models and demonstrate how these may be used for, e.g., style interpolation, a contribution we believe is of independent interest. See https://www.speech.kth.se/research/listen-denoise-action/ for video examples, data, and code.