MuraNet: Multi-task Floor Plan Recognition with Relation Attention
원문 초록
The recognition of information in floor plan data requires the use of detection and segmentation models. However, relying on several single-task models can result in ineffective utilization of relevant information when there are multiple tasks present simultaneously. To address this challenge, we introduce MuraNet, an attention-based multi-task model for segmentation and detection tasks in floor plan data. In MuraNet, we adopt a unified encoder called MURA as the backbone with two separated branches: an enhanced segmentation decoder branch and a decoupled detection head branch based on YOLOX, for segmentation and detection tasks respectively. The architecture of MuraNet is designed to leverage the fact that walls, doors, and windows usually constitute the primary structure of a floor plan's architecture. By jointly training the model on both detection and segmentation tasks, we believe MuraNet can effectively extract and utilize relevant features for both tasks. Our experiments on the CubiCasa5k public dataset show that MuraNet improves convergence speed during training compared to single-task models like U-Net and YOLOv3. Moreover, we observe improvements in the average AP and IoU in detection and segmentation tasks, respectively.Our ablation experiments demonstrate that the attention-based unified backbone of MuraNet achieves better feature extraction in floor plan recognition tasks, and the use of decoupled multi-head branches for different tasks further improves model performance. We believe that our proposed MuraNet model can address the disadvantages of single-task models and improve the accuracy and efficiency of floor plan data recognition.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
FarSeg++: Foreground-Aware Relation Network for Geospatial Object Segmentation in High Spatial Resolution Remote Sensing Imagery
Scene Segmentation with Dual Relation-aware Attention Network
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.
UD_Czech-PDTC 소개: Universal Dependencies의 대규모 장르 풍부 트리뱅크
Meet UD_Czech-PDTC: A Large and Genre-Rich Treebank in Universal Dependencies
체코어는 2015년 첫 릴리스부터 Universal Dependencies의 일부였다. 또한 프라하 의존 트리뱅크가 대부분의 다른 UD 트리뱅크보다 한 자릿수 이상 큰 규모로, 가장 잘 대표되는 언어 중 하나였다. 최근에는 프라하 계열의 다른 데이터셋 세 개가 추가되고 주석이 전면적으로 재검토되어 "프라하 의존 트리뱅크 통합판"(PDT-C)이 구성되었다. 원래의 PDT와 비교하여 PDT-C는 두 배 이상 크며, 장르와 도메인 면에서도 훨씬 다양하다. 본 논문은 이 새로운 자원을 Universal Dependencies로 변환한 과정을 기술한다. 두 주석 체계는 언뜻 비슷해 보이지만, 의존 구조의 위상과 품사 및 관계 유형 목록의 세분화 정도에는 수많은 사소한 차이가 있다. 이러한 차이 중 일부를 예시로 보이고, 서로 다른 동기를 논의하며, 변환 중 차이를 극복하는 방법을 다룬다. PDT는 덜 "보편적"이고 하나의 언어에 더 밀접하게 묶여 있지만, 다층 주석이 풍부하여 기본 UD 트리에 필요한 모든 정보와 그 이상을 제공한다고 주장한다.
시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별
Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning
연속적인 이동 궤적으로부터 의도를 인식하는 것은 시공간 데이터 마이닝에서 중요한 문제이다. 이는 행동이 시간에 따라 변하고 그 경계를 직접 관측할 수 없을 때 어려워진다. 축구는 점유 중 여러 선수의 조율된 움직임에서 전술적 의도가 나타나므로 이 문제를 연구하기에 유용한 환경이다. 경기 국면 인식을 위한 기존 방법은 개별 프레임을 분류하거나, 사전 정의된 공간 규칙을 사용하거나, 일부 선택된 전술 패턴만 식별한다. 따라서 전술적 의도가 시간에 따라 변하는 연속적인 점유 시퀀스를 충분히 기술하지 못한다. 우리는 점유 중 경기 국면의 식별을 계층적 시퀀스 분할 과제로 다룸으로써 이 간극을 해결한다. 이 틀은 세 가지 전술적 의도(상대 공간 침투, 점유 유지, 득점)와 여섯 가지 국면(빌드업, 전진, 역습, 유지, 지속적 위협, 마무리)을 포함한다. 우리는 선수 상호작용 그래프, 맥락 특징, 트랜스포머 기반 시간 모델링을 결합한 시간적 그래프 어텐션 네트워크(T-GAN)를 제안한다. 이 틀은 분데스리가 7개 경기에 대해 한 경기 제외(leave-one-match-out) 검증으로 평가되었으며, 프레임 수준과 시퀀스 수준 모두에서 규칙 기반, 랜덤 포레스트, GNN, 트랜스포머 기준선과 비교되었다. 결과는 일관된 국면 분할에 시간적 모델링이 중요하며, 그래프 모델링은 역습과 같은 전환 국면에 추가적인 가치를 제공함을 보여 준다. 이 틀은 연속적인 선수 추적 데이터로부터 의도 기반 행동 구간을 발견하는 해석 가능한 방법을 제공하며 축구의 자동화된 전술 분석을 지원한다.
게이트는 항상 닫힌다: 동결된 비전-언어 모델에 보조 신호를 주입하는 것에 대하여
The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models
VLM의 보조 신호 경로에는 최적화기가 신호를 얼마나 받아들일지 결정할 수 있도록 학습 가능한 게이트가 일상적으로 적용된다. 본 연구는 최적화기가 무엇을 결정하는지, 그리고 모델이 이후 그 신호를 실제로 사용하는지를 쌍곡 시각 관계 그래프를 실험 수단으로 삼아 연구한다. 교차 엔트로피 미세조정 하에서 최적화기는 0을 선택하며, 우리가 학습시킨 모든 설계에서 게이트가 닫힌다는 것을 확인하였다. 이는 LLaVA-1.5-7B에서의 다섯 가지 주입 설계, 네 가지 과제군에 걸친 Qwen2-VL-7B의 15회 중 15회 실행, InternVL3-8B의 3개 시드 중 3개, 그리고 모든 선형 계층에 LoRA를 적용한 경우에서 모두 나타났다. 우리는 이 억제 현상을 두 가지 체제로 설명한다. 하나는 이미지에서 유래한 신호의 캡션 불변성을 통해 정식화하고 직접 측정한 기울기 소실 체제이며, 다른 하나는 보조 신호가 손실을 오히려 악화시키는 음의 효용 체제이다. 게이트가 닫혀 있다고 해서 그 경로가 비활성 상태인 것은 아니므로, 실제 영역 제안을 사용하는 단일 프로토콜 하에서 추론 시 각 경로를 절제하였다. 그 결과 노름 정렬 설계는 행동 면에서 닫혀 있는 반면(학습된 게이트에서 변화가 최대 1.5pp), 정규화되지 않은 게이트 프리픽스는 열려 있으며 해롭다. 학습된 게이트 값 +0.005에서 관계형 GQA에서 6.7pp의 손실을 초래하면서 SugarCrepe에는 도움이 된다. 모든 구성을 단일 추론 모드로 평가한 결과, 활성화된 주입 경로는 관계형 GQA에서 최대 15pp, 분포 외 VSR에서 7-12pp의 손실을 초래하고, 경로를 제거하면 기하학적 학습 손실은 분포 내에서 측정 가능한 이득을 주지 않으며, 유클리드 포함 관계 대조군이 쌍곡 방식과 대등한 성능을 보인다. 임베딩 노름 정렬은 생성을 보존하는 프리픽스 주입에 여전히 필요하다. 우리는 게이트 값이나 어텐션 질량을 읽는 대신 절제를 통해 신호 사용 여부를 검증할 것을 권고한다. 모든 표의 기반이 되는 구현, 체크포인트, 결과 파일을 https://github.com/mrfarazi/the-gate-always-closes 에 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.