원문 초록
Several SLOG test categories explicitly involve directional distinctions (modifier position shifts, argument extraction positions), yet AM-Parser, the previous SOTA, uses an AM algebra whose operations do not encode direction. We redesign the symbolic backend around CCG directed types (deterministic CKY + single linear decoder, 30K learnable parameters). Under the same BERT-base encoder, the system achieves 75.9$\pm$6.4% LF exact match, surpassing AM-Parser (70.8$\pm$4.3%). Per SLOG's own category groupings, gains are highly directional: the CCG system outperforms AM-Parser on all 5 position-shift categories (+29.9pp), while AM-Parser outperforms on all 6 recursive-depth categories. Replacing the encoder with DeBERTa-v3-large yields 90.7$\pm$4.9%, with the largest encoder gains in recursive-depth categories, complementary to directionality's gains. Directional representations shift the bottleneck from the symbolic layer (AM-Parser's 0% category ceiling) to the neural layer, which improves with encoder upgrades.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.02307v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크
NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse
다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.
신경망 의미 파싱을 위한 구조적 오토마타
Structural Automata for Neural Semantic Parsing
신경망 의미 파서(neural semantic parser)는 토큰 단위로 의미 표상을 생성하지만, 적형성(well-formedness)은 생성 과정에서 전개되는 참조, 스코프 및 그래프 관계에 따라 결정됩니다. 제약 디코딩(constrained decoding)은 국소적으로 유효하지 않은 토큰을 방지하지만, 유효한 접두 문맥(prefix)이 고정된 출력 길이 제한 내에서 완성될 수 있음을 보장하지는 못합니다. 본 연구에서는 DRS 파싱의 세 단계(디코딩, 사후 처리, 학습)에서 구조적 오토마타를 탐구하고, AMR에 대한 디코딩도 추가로 평가합니다. 디코딩을 위해, 잔여 길이 제한 내에서 검증된 완성을 유지하면서 모델이 선호하는 토큰 역시 완성이 가능할 때마다 해당 토큰을 따르는 수락 경로 디코딩(APD)을 도입합니다. APD는 토큰을 철회하지 않고도 수락되는 출력을 보장합니다. 엄격한 길이 제한 하에서 APD는 DRS에서 국소 마스킹 대비 Smatch++를 각각 5.1점 및 2.4점 향상시키고, AMR에서는 6.4점 및 3.2점 향상시켜 토큰을 철회하는 동일한 제한 하의 롤백 방식과 비견할 만한 성능을 보입니다. 사후 처리의 경우, 유효하지 않은 출력은 동일한 입력에 집중됩니다. 제한된 학습 데이터 환경에서는 8개의 비제약 샘플링 결과 입력의 10.2%에서 유효한 출력이 전혀 나오지 않은 반면, 전체 데이터 환경에서는 0.4%에 불과했으며, 이 경우 필터링만으로도 APD와 0.2 Smatch++ 포인트 이내의 차이를 보였습니다. 학습의 경우, 오토마톤이 거부한 토큰에 페널티를 부여하면 학습의 10% 시점에서 검증 세트 Smatch++가 3.6~11.0점 향상되지만, 데이터가 제한된 환경에서 학습 초반 6분의 1 이내에 교차 엔트로피만으로도 거부된 토큰에 할당되는 확률이 14%에서 2% 미만으로 감소함에 따라 이러한 이점은 점차 줄어듭니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹
ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation
RetryBench: GPT 도구 사용에서 재시도 권한과 복구 결과의 분리
RetryBench: Separating Retry Permission from Recovery Outcomes in GPT Tool Use
전역 일관성: 모든 에이전트가 옳아도 팀 전체는 틀릴 때 - 멀티 에이전트 협업을 위한 국소-전역 의미론적 기반
Global Coherence: When Every Agent Is Right and the Team Is Still Wrong - A Local-to-Global Semantic Foundation for Multi-Agent Collaboration
토론
이 논문과 연결된 포럼 글이 아직 없습니다.