nask.pl

이 이메일 도메인이 관측된 논문 6건

arXiv:2610.01082v1cs.CL

규모보다 정밀도: 오픈소스 및 상용 모델을 능가하는 폴란드어-실레지아어 벤치마크 및 번역 시스템

Precision over Scale: A Polish-Silesian Benchmark and a Translation System Outperforming Open-Source and Commercial Models

방언 기계 번역(machine translation)은 제한된 데이터와 표준화되고 잘 정제된 텍스트를 가정하는 경우가 많은 표준 벤치마크에서는 포착되지 않는 강한 언어적 변이로 인해 여전히 난제로 남아 있습니다. 본 연구에서는 신경망 및 규칙 기반 시스템을 활용하여 폴란드어-실레지아어 기계 번역을 탐구하며, 기존의 BOUQuET 및 FLORES 벤치마크와 함께 새로운 폴란드어-실레지아어 테스트셋인 SiLTT에서 평가(evaluation)를 진행합니다. 실험 결과, 규칙 기반 시스템이 SiLTT 및 BOUQuET 데이터셋(dataset)에서 일관되게 가장 우수한 성능을 보였으며, 정선된 데이터셋으로 파인튜닝(fine-tuning)한 TranslateGemma는 강력한 신경망 베이스라인 대비 성능을 향상시켰으나 방언 환경에서는 규칙 기반 시스템을 넘어서지 못했습니다. 향후 연구를 지원하기 위해 SiLTT와 최고 성능의 신경망 모델(model)을 공개합니다.

arXiv:2609.10060v1cs.AI

은닉 상태의 상대적 표현을 이용한 LLM의 참조 기반 바이어스 탐지

Reference-Based Bias Detection in LLMs via Relative Representations of Hidden States

기존의 바이어스 감사 방법은 대체로 모델 출력에 의존하기 때문에, 비용이 많이 드는 벤치마크나 판정 모델(judge model)이 필요하고 생성된 텍스트에는 결코 드러나지 않는 내부적 변화를 놓칠 수 있습니다. 우리는 미세조정 전후와 같이 서로 관련된 모델 변형들 사이에서 은닉 상태(hidden-state) 표현의 바이어스를 감사하는 참조 기반 방법을 제안합니다. 미세조정은 표현의 기하 구조를 변형시키므로 절대적인 은닉 상태는 직접 비교할 수 없습니다. 따라서 각 문장을 고정된 앵커 문장 집합에 대한 유사도로 인코딩하여, 공통 비교 공간에서의 상대적 표현(relative representation)을 얻습니다. 이 공간에서 대상 집단이 긍정적·부정적 속성과의 연관성 측면에서 얼마나 이동하는지를 측정하며, 이를 표현 바이어스 이동(Representational Bias Shift) $ΔB$라 부릅니다. 세 가지 모델 계열과 WildGuardMix, DecodingTrust, ToxiGen 벤치마크에 걸쳐, $ΔB$는 우리가 실험한 18개 설정 중 15개에서 출력 수준의 바이어스 변화와 상관관계를 보였으며, 전체 미세조정에서는 $|r| = 0.84$($p < 0.001$)에 달했고 매개변수 효율적 적응(parameter-efficient adaptation)에서는 모델 의존성이 더 커졌습니다. $ΔB$에 임계값을 적용하면 바이어스가 증가한 체크포인트를 ROC AUC 0.65에서 0.99 사이로 탐지할 수 있으며, WildGuardMix와 DecodingTrust에서는 세 모델 계열 모두에 대해 SEAT 기반 기준선보다 더 잘 구분해 냅니다. 또한 $ΔB$는 앵커 집합, 속성 집합, 대상 템플릿의 변경에 대해서도 안정적입니다. 우리의 방법은 과제별 평가 데이터가 필요 없으며, 모델 하나를 감사하는 데 약 3분이 걸리고, 여기서 고려한 출력 수준 벤치마크보다 $3$-$50\times$ 적은 연산량을 사용합니다. 우리는 이 방법을 출력 기반 감사의 대체재가 아니라 보완재로 봅니다.

arXiv:2608.26132v1cs.LG

레이블 속성 그래프 학습을 위한 SLM 조건부 계층적 관계 라우팅

SLM-Conditioned Hierarchical Relation Routing for Labeled Property Graph Learning

레이블 속성 그래프는 관계 구조와 노드 및 관계 모두에 부착된 이질적인 텍스트·범주형 속성을 함께 다룬다. 기존 그래프 신경망(GNN)은 보통 이러한 속성을 정적 특징 벡터로 표현하여, 특정 예측 대상에 대해 어떤 의미적 증거가 메시지 전파에 영향을 미쳐야 하는지 판단하는 능력을 제한한다. 우리는 그래프 메시지 선택에 소형 언어 모델(SLM)을 직접 통합하는 SLM 조건부 계층적 관계 라우팅 아키텍처를 제안한다. 위상(topology) GNN이 안정적인 구조적 표현과 예측 앵커(anchor)를 제공한다. 각 대상 노드에 대해, 인접 메시지는 이웃의 구조적 상태, 노드 속성 인코딩, 관계 속성 인코딩, 관계 유형을 결합한다. 매개변수 효율적인 SLM이 구조화된 그래프 소프트 토큰(soft token)을 처리하여 대상 조건부 라우팅 쿼리를 생성한다. 이 쿼리는 먼저 각 관계 유형 내에서 관련 메시지를 선택한 뒤, 관계 수준 요약을 가로질러 정보를 라우팅한다. 결과 표현은 위상 앵커에 대한 유계(bounded) 잔차(residual) 갱신을 제공하여 구조적 증거를 보존하면서, 맥락적 의미 정보가 예측을 수정할 수 있게 한다. 이 아키텍처는 이웃 수준과 관계 유형 수준 모두에서 해석 가능한 분석을 지원하며, 속성이 풍부한 그래프 학습에 언어로부터 파생된 의미론을 통합하는 일반적 메커니즘을 제공한다.

arXiv:2608.07763v1cs.CL

Jako Tako인가 유창한가? PoVisLE: 폴란드 비전-언어 평가

Jako Tako or Fluent? Presenting PoVisLE: A Polish Vision-Language Evaluation

비전-언어 모델(VLM)은 이미지 캡셔닝(image captioning), 시각적 질의응답(visual question answering), 이미지-텍스트 생성(image-to-text generation)과 같은 과제에서 강한 성능을 달성했다. 그러나 이들은 주로 영어 중심 데이터로 학습되어, 문화적으로 그라운딩(grounding)된 시각 이해를 다루는 능력이 제한되며, 지역 특유의 의미, 상징적 내용, 맥락 의존적 시각 단서 해석에서 실패로 이어진다. 기존 문화적 역량 벤치마크는 종종 템플릿 기반이며 표면 수준 인식에 초점을 맞춰, 문화적 맥락이 주어진 환경에서 더 깊은 언어적·화용론적(pragmatic) 이해를 평가하기에 불충분하다. 우리는 PoVisLE를 제안한다. 이는 폴란드어를 위한 단일 문화(monocultural) 비전-언어 벤치마크로, 언어가 시각 맥락과의 상호작용 속에서 해석되는 그라운딩된 평가 패러다임(grounded evaluation paradigm) 하에서 문화적으로 그라운딩된 멀티모달 이해를 평가하도록 설계되었다. 데이터셋은 1,117개의 이미지와 2,366개의 수동 주석 VQA 쌍을 포함한다. 전반적으로, 본 데이터셋은 표면 수준 인식을 넘어선 문화적으로 그라운딩된 비전-언어 이해를 평가하기 위한 통제되고 도전적인 자원을 제공한다.

arXiv:2606.24980v1cs.LG

Closed-Loop Graph Algorithm Execution with Small Language Models: Step Accuracy and Rollout Reliability

소규모 언어 모델(SLM)을 BFS, DFS, 그래프 색칠, Dijkstra 등 고전 그래프 알고리즘의 클로즈드-루프(closed-loop) 실행 정책으로 평가한 연구로, Llama-3.2-1B와 Qwen2.5-1.5B에 LoRA 어댑테이션을 적용하여 순회(traversal)·색칠 알고리즘에서는 높은 롤아웃 정확도를 달성했으나, 가중치 기반 알고리즘(Prim, Borůvka, Dijkstra)에서는 스텝 정확도가 높더라도 오차 누적으로 인해 전체 실행 신뢰도가 크게 저하됨을 실증적으로 보여준다. 이 결과는 개별 스텝 예측 성능이 자율적 알고리즘 실행 신뢰성을 보장하지 않으므로, 알고리즘 언어 모델의 평가는 단일 스텝이 아닌 완전한 클로즈드-루프 롤아웃을 기준으로 수행해야 함을 시사한다.

arXiv:2606.12250v1cs.CL

폴란드 의료 시험에서 고성능 대규모 언어 모델(LLM) 재평가: 진정한 역량인가 바이어스 기반 성능인가

Reassessing High-Performing LLMs on Polish Medical Exams: True Competence or Bias-Driven Performance?

의학 분야의 대규모 언어 모델(LLM)은 주로 객관식 질의응답(MCQA)을 사용하여 평가되는데, 이는 추측 전략과 답변 바이어스로 인해 실제 임상 능력을 과대평가할 수 있습니다. 이러한 한계를 해결하기 위해, 우리는 폴란드 의료 시험을 기반으로 확장되고 더 어려운 벤치마크를 소개합니다. 여기에는 15,000개 이상의 질문, 두 개의 새로운 도메인, 그리고 MCQA 특정 아티팩트를 줄이고 추론 능력을 더 잘 테스트하는 4가지 구조적 수정이 포함됩니다. 우리는 21개의 대규모 언어 모델(LLM)을 평가하여 평가 설계가 결과에 강력한 영향을 미친다는 것을 보여줍니다. 우리의 더 어려운 설정에서, 최고의 모델(Qwen3.5-122B)은 각각 영어 및 폴란드어 시험에서 28.4 및 31pp 하락했습니다. 데이터 오염의 증거가 적음에도 불구하고, 표준 MCQA 점수는 진정한 의학 역량을 신뢰할 수 있게 반영하지 못합니다. 추가 연구를 돕기 위해 벤치마크를 공개합니다.