Dr.Quad at MEDIQA 2019: Towards Textual Inference and Question Entailment using contextualized representations
원문 초록
This paper presents the submissions by Team Dr.Quad to the ACL-BioNLP 2019 shared task on Textual Inference and Question Entailment in the Medical Domain. Our system is based on the prior work Liu et al. (2019) which uses a multi-task objective function for textual entailment. In this work, we explore different strategies for generalizing state-of-the-art language understanding models to the specialized medical domain. Our results on the shared task demonstrate that incorporating domain knowledge through data augmentation is a powerful strategy for addressing challenges posed by specialized domains such as medicine.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Population-Level Profiling of DSM-5 Depressive Symptom Language Among Twitter Users With Self-Reported ADHD or ASD: Exploratory Study Using Natural Language Processing and Statistical Analysis
Coachable Agents for Interactive Gameplay
더 나은 합성 데이터를 원하시나요? 스티어링하세요: 저자원 언어 생성을 위한 활성화 스티어링
Want Better Synthetic Data? Steer It: Activation Steering for Low-Resource Language Generation
대규모 언어 모델(LLM)은 합성 데이터 생성을 위한 효과적인 도구가 되었으며, 저자원 언어의 경우에도 생성된 데이터가 다운스트림 작업 성능을 향상시킬 수 있다. 현재 최고 성능을 보이는 접근 방식은 일반적으로 목표 언어 예시를 사용하는 퓨샷 프롬프팅(few-shot prompting)에 의존하는데, 이는 추론 비용을 증가시키고 어휘적 앵커링(lexical anchoring)으로 인해 다양성을 감소시킬 수 있다. 본 연구에서는 저자원 합성 데이터 생성의 대안으로 활성화 스티어링(activation steering)을 조사한다. 우리는 두 가지 스티어링 전략을 연구한다. 하나는 언어의 언어적 정체성을 대상으로 하는 언어 스티어링(Language Steering)이고, 다른 하나는 사람이 작성한 텍스트와 역번역된 텍스트의 표현을 대조하여 잘 형성된 정도(well-formedness)를 포착하는 품질 스티어링(Quality Steering)이다. 우리는 감정 및 주제 분류 데이터를 생성하고 더 작은 분류기를 파인튜닝하는 방식으로, 4개의 오픈 소스 LLM, 여러 레이어, 그리고 유형론적으로 다양한 11개 언어에 걸쳐 이 방법들을 평가한다. 스티어링은 제로샷(zero-shot) 및 퓨샷 프롬프팅 설정 모두에 적용되며, 스티어링을 적용하지 않은 경우와 비교된다. 실험 결과, 초기 레이어에 대한 스티어링은 생성된 데이터의 다양성을 일관되게 향상시키며, 특히 저자원 언어에서 더 강력한 다운스트림 모델 성능도 종종 얻을 수 있음을 보여준다.
접기를 배우다: LeHome Challenge 2026 수상 솔루션 (온라인 1위, 오프라인 2위)
Learning to Fold: prizewinning solution at LeHome Challenge 2026 (1st place online, 2nd offline)
본 논문은 양손 의류 접기(bimanual garment folding)를 다루는 ICRA 2026 대회인 LeHome Challenge 2026에 대한 나의 솔루션을 설명한다. 이 시스템은 온라인(시뮬레이션) 라운드에서 62개 팀 중 1위를, 실세계 결승에서는 2위를 차지했다. 강화학습(RL) 루프를 통해 비전-언어-행동(VLA) 정책을 개선한다. 이 정책은 그 자체로 가치 함수 역할을 하는데, 행동을 예측하는 동일한 네트워크가 성공 여부, 진행도, 그리고 작업과 관련된 몇 가지 미래 수치도 함께 예측하며, 이 예측값들이 이득(advantage) 추정, 실시간 실패 감지, 후보 선택을 이끈다. 이 연구는 대체로 기존 RL 아이디어들을 재조합한 것이며, 하나의 레시피로 함께 사용하거나 개별적으로 사용할 수 있는 엔지니어링 및 최적화 기여를 더한다: flow-matching VLA를 위한 AWR + RECAP 결합; HuggingFace Hub를 통한 비동기 분산 학습/롤아웃 파이프라인; Thompson 샘플링을 통한 추론 시점 하이퍼파라미터 최적화; 카메라 정렬(camera-alignment) 도구, 강력한 데이터 증강, DAgger 유사 HIL(Human-in-the-Loop) 데이터 수집을 포함한 sim-to-real 레시피.
SpecAlign: 합성 데이터를 통한 대규모 언어 모델의 효율적인 명세서 기반 정렬
SpecAlign: Efficient Specification-Grounded Alignment of Large Language Models via Synthetic Data
대규모 언어 모델(LLM)이 실제 애플리케이션에 점점 더 많이 배포됨에 따라, 정렬은 더 이상 안전성이나 유용성에 대한 단일한 보편적 개념에 따르지 않고, 대신 제공자 또는 애플리케이션 특화 모델 명세서에 따르게 되었습니다. 이러한 명세서는 일반적으로 길고 구조화되어 있으며 자주 업데이트되지만, 기존 정렬 파이프라인에는 이를 학습 신호로 구현할 수 있는 체계적인 메커니즘이 부족합니다. 본 논문에서는 추상적인 원칙이나 정적 벤치마크 대신 제공자가 작성한 모델 명세서를 주요 정렬 대상으로 삼는 새로운 정렬 패러다임인 명세서 기반 정렬(specification-grounded alignment)을 제안합니다. 이 패러다임을 구체화하기 위해, 명세서 문서에서 직접 정렬 데이터를 합성하는 프레임워크인 SpecAlign을 소개합니다. SpecAlign은 구조화된 규칙 주석, 제어 가능한 명세서 인스턴스화, 다중 에이전트 적대적 데이터 합성을 결합하여, 준수 행동과 의미 있는 명세서 위반을 모두 포착하는 정교하고 경계 인식 선호 쌍을 생성합니다. 다양한 모델 명세서와 백본 모델에 대한 실험을 통해, SpecAlign을 사용한 학습이 규칙 준수를 일관되게 향상시키면서도 일반적인 능력을 유지하고 과도하게 보수적인 행동을 피할 수 있음을 입증했습니다. 이러한 결과는 명시적인 모델 명세서에 정렬을 그라운딩(grounding)하는 것이 변화하는 정책 요구사항에 따른 LLM 행동의 빠르고 정확하며 확장 가능한 적응을 가능하게 함을 시사합니다.
SFDATrack: 악천후 환경에서의 일반화된 소스 프리 도메인 적응 추적
SFDATrack: Generalized Source-Free Domain Adaptive Tracking Under Adverse Weather Conditions
악천후 환경에서의 도메인 적응 시각 객체 추적은 최근 상당한 주목을 받고 있다. 기존 방법들은 인상적인 성능에도 불구하고 소스 및 타겟 도메인 모두의 대규모 비디오 프레임에 크게 의존하는데, 이는 소스 데이터를 사용할 수 없는 엄격한 자원 제약 환경에서는 비현실적이다. 이러한 한계를 극복하기 위해 우리는 SFDATrack을 제안한다. SFDATrack은 견고한 상태 추정을 위해 타겟 도메인의 악천후 샘플만을 활용하는 일반화된 소스 프리 도메인 적응 트래커이다. 구체적으로, SFDATrack은 먼저 Dual Interactive Mamba(DIM) 블록을 탑재한 mean-teacher 백본을 사용하여, 분류 및 증강된 샘플로부터 날씨 변화에 강인한 후보 타겟 토큰을 증류한다. 이후 잠재 초구면 공간(latent hyperspherical space) 내의 다중 도메인 프로토타입에 이 토큰들을 투영하는 초구면 프로토타입 투영(HPP) 모듈을 도입한다. 다중 도메인 프로토타입의 도메인 특화 및 도메인 불변 속성을 모두 강제함으로써, SFDATrack은 강력한 일반화 능력으로 다양한 기상 조건에 원활하게 적응할 수 있다. 다양한 벤치마크에서 수행된 광범위한 실험을 통해 SFDATrack이 최신 방법들 대비 우수한 성능을 달성함을 입증한다. 코드는 https://github.com/watcherBR0/sfdatrack에서 확인할 수 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.