본 논문에서는 중국, 인도네시아, 스리랑카 맥락에서의 다원적 가치 정렬(pluralistic value alignment)에 초점을 맞춘 PlurVA-LLM 2026 공유 태스크(Shared Task) 트랙 1을 위한 시스템을 제시합니다. 이러한 자원 제약적 트랙을 위해 4비트 QLoRA를 사용하여 Llama 3.1 8B Instruct를 미세조정(fine-tuning)했습니다. 본 연구의 접근 방식은 중국어 데이터를 위한 선택지 순열 증강(option-permutation augmentation), 인도네시아어 데이터를 위한 주석자 투표 확장(annotator vote expansion), 스리랑카 데이터를 위한 이진 재구성 및 SinhalaMMLU 증강을 결합합니다. 또한 스리랑카 데이터의 예측에 조건부 임계값 보정(threshold calibration)을 적용했습니다. 최종 시스템은 중국어 0.785, 인도네시아어 0.715, 스리랑카 0.916의 정확도를 달성하여 전체 매크로 평균 정확도 0.805를 기록했습니다.
교량 인프라는 점진적으로 열화되지만, 염분 침투, 동결, 피로 균열 등 그 근본 원인은 육안으로는 확인하기 어렵다. 전문가 진단은 수년간의 실무를 통해 축적된 암묵적 지식에 의존한다. 우리는 이러한 잠재적 인과 추론을 자동화하는 과제를 해결하기 위해, 가시적 손상 설명 $S_i$로부터 10개 클래스의 손상 원인을 분류하는 Damage Cause Encoder를 제안하여 자율 교량 진단 에이전트에 활용한다. 우리의 접근법은 세 가지 구성 요소를 연결한다: (i) 지식 트리플 추출(Knowledge Triple Extraction)---대규모 언어 모델이 15--35개의 진단 PDF 매뉴얼에서 (damage $\xrightarrow{\mathtt{caused\_by}}$ cause) 형태의 인과 트리플을 추출하고 이를 FAISS 벡터 저장소에 색인한다; (ii) 검색-증강 컨텍스트(Retrieval-Augmented Context)---학습 및 추론 시점에 관련 인과 트리플 $\mathcal{C}_i$를 검색하여 $S_i$와 연결함으로써 암묵적 도메인 지식을 명시적 Encoder 컨텍스트로 변환한다; (iii) 체계적 미세조정 비교(Systematic Fine-tuning Comparison)---고정된 Golden Testset(층화된 116개 샘플)에서 LoRA, QLoRA, QA-LoRA를 엄격하게 비교하여, QLoRA가 최적의 절충점을 달성함을 보인다: 전 정밀도(full-precision) LoRA와 동일한 테스트 정확도(87.07%), 11% 더 빠른 추론, 72% 낮은 GPU 메모리, 그리고 다양한 미관측 입력에 대한 우수한 일반화. 통제된 Golden Testset---층화, 중복 제거, 난이도 태깅---을 재사용 가능한 벤치마크 기여로 제안한다. QLoRA는 10개 손상 원인 클래스 전체에 걸친 100개 샘플의 다양한 평가에서 LoRA보다 13%p 더 우수한 성능을 보인다. 이러한 결과는 엣지 배포를 위해 소비자급 하드웨어에서 메모리 효율적이고 고정확도의 진단 에이전트를 가능하게 한다.
매개변수 효율적 미세조정은 모델과 옵티마이저 메모리를 줄이지만, 밀집(dense) 어텐션 때문에 긴 학습 시퀀스는 여전히 비용이 큽니다. 우리는 계층적 전역 어텐션(Hierarchical Global Attention, HGA)을 세그먼트 단위 역전파와 계층형 KV 저장과 결합합니다. 활성 세그먼트만 VRAM에서 미분 가능하게 유지되며, 이전 KV는 RAM 또는 NVMe로 분리(detach)되고, HGA는 각 쿼리 블록마다 유한한 수의 정확한 과거 토큰을 로드합니다. Qwen3-8B에서 4비트 QLoRA와 PG19를 사용할 때, 16GB Quadro RTX 5000에서 밀집 학습은 2,048 토큰까지는 가능하지만 4,096에서는 실패하는 반면, HGA는 15.28GB 피크 VRAM으로 16,384 토큰에 도달합니다. 평가에서는 동일한 어댑터가 이 카드에서 131,072 토큰까지 처리하며, VRAM은 일정하지 않지만 상주 청크 요약에 따라 완만히 증가하므로 RAM과 NVMe 용량이 이보다 긴 길이에서 실질적 한계를 설정합니다. 공통 2K 학습 길이에서 HGA로 학습한 어댑터와 밀집으로 학습한 어댑터는 동일한 밀집 어텐션 readout에서 각각 2.7405와 2.7383 nat를 달성하는 반면, 기본 모델은 2.9541을 얻습니다. 이 경계에서 HGA 학습은 이미 미세하게 더 빠르며(217.75 대 207.02 tokens/s), HGA 대 밀집 처리량 비율은 1K에서 2K로 개선됩니다. HGA는 토큰당 어텐션 대상 과거 집합을 대략 일정하게 유지하는 반면 밀집 방식의 토큰당 작업량은 증가하기 때문에, 컨텍스트가 길어질수록 이 격차가 더 벌어질 것으로 기대합니다. 품질 및 검색 비교의 주요 평가에는 학습된 가중치를 측정하고 표준 생성 프레임워크와 호환되도록 밀집 어텐션을 사용합니다. HGA는 검색 및 생성에도 사용할 수 있으며, 최적화된 프로덕션급 서빙 구현이 개발 중입니다.
대부분의 수어 이해 시스템은 개별 수어 단위로 동작하여 자연스러운 의사소통에서의 활용이 제한적이다. 본 연구는 새로운 번역 아키텍처 제안보다 실시간 배포를 주요 목표로 삼아 문장 수준 수어 번역(SLT)을 연구한다. 컴퓨팅 및 저장 용량 제약으로 인해 How2Sign에서 균일 샘플링한 9,872개 예시 서브셋을 대상으로 SHuBERT를 동결한 채 QLoRA를 적용하여 SHuBERT-ByT5 번역 스택을 파인튜닝하였다. 모델은 검증 BLEU 16.7을 달성하였으며, 테스트 분할에서 BLEU 15.9, BLEURT 44.7을 기록하였다. 본 논문의 주요 기여는 하드웨어 인식 스트리밍 시스템이다. Raspberry Pi 4B 레퍼런스 클라이언트가 카메라 캡처, 로컬 텍스트 표시, 음성 출력을 담당하고, 연산 집약적인 인식 및 번역은 CPU/GPU 백엔드에서 처리된다. 캡처 프로토콜은 클라이언트에 무관하게 설계되어 동일한 백엔드가 브라우저, 휴대폰, 노트북을 모두 지원할 수 있다. 청크 단위 수집, 제한된 큐, 병렬화된 인식, 시간적 재정렬, 문장 경계 상태 기계를 적용하여 전체 9,872개 예시 작업 서브셋에서 평균 최종화 후 응답 지연 시간을 1.873초에서 1.354초로(27.71%), P95 지연 시간을 2.919초에서 2.130초로(27.03%) 단축하였다.
통신 사기 제어 연구는 탐지기 수준의 분류(classification)에서 멈추는 경우가 많지만, 실제 배포 환경에서는 요청 수준의 정책 결정, 생애주기 추적성, 감사 가능성이 필요하다. 본 논문은 사기 제어 문제를 합성 통신/IoT 사기 제어 요청에 대한 블록체인 연동 감사 가능 의사결정 관리로 재정의하며, 주요 결과는 QLoRA 튜닝된 대규모 언어 모델(LLM) 브랜치가 제로샷(zero-shot) 프롬프팅보다 훨씬 실용적이지만, 저비용 중앙 집중식 앙상블(ensemble)을 능가하기보다는 주로 근접하는 수준에 그친다는 것이다. 이 프레임워크는 각 합성 배포 레코드를 관리 요청으로 매핑하고, 결정론적 하드-사기 게이트를 통해 명시적 경계 초과 사례를 차단하며, 비하드 요청을 중앙 집중식 ML(M1), 연합 메타학습(M2), 또는 LLM 계열 위험 소스(M3)를 사용하여 점수화하고, 공유된 5-상태 정책, 2-구역 정제 메커니즘, 로컬 이더리움 호환 감사 레이어(layer)를 통해 조치를 결정한다. 평가는 별도의 합성 학습(training) 데이터와 100,000건의 레코드로 구성된 배포 재현 코퍼스를 사용하므로, 본 연구는 현장 검증이나 실제 배포 가능성의 증명이 아닌 통제된 드리프트 재현 증거로 해석해야 한다. 검증(validation) 결과, M1이 가장 균형 잡힌 성능을 보이며, 0.10 운영 상한 하에서 정상 요청 FPR 0.0890, 소프트-사기 재현율(recall) 0.8341을 달성한다. 그러나 레이블된 배포 재현에서는 정상-FPR 격차가 크게 벌어져, M1은 0.1646, M3-QLoRA는 0.1801로 상승하며, M3-QLoRA는 M3-Base의 정상 FPR을 0.3915에서 낮추고 소프트-사기 재현율 0.8240에 도달한다. 블록체인 텔레메트리는 생애주기 가스, 비용, 지연 시간, 처리량의 차이가 사기 로직의 변화가 아닌 제출된 오프체인 의사결정 프로파일에 의해 결정됨을 보여준다.
LLM 기반 번역 파이프라인으로 SemEval-2010 Task 8 벤치마크를 루마니아어로 번역하고, Gemma 4 31B를 제로샷·퓨샷·QLoRA 미세조정 설정으로 평가한 교차 언어 관계 추출(RE) 연구다. QLoRA 미세조정이 매크로 F1-Score를 22pp 이상 향상시키는 반면, 50~250배 작은 인코더 기준 모델들이 QLoRA Gemma에 1~4pp 이내로 근접해, 컴퓨팅 자원이 제한된 환경에서 31B 모델 사용의 실익이 크지 않음을 보인다.
우리는 영어, 독일어, 프랑스어로 된 다국어 역사 신문 기사에서 인물-장소 관계 추출을 다루는 HIPE-2026 공유 태스크를 위한 효율적이고 정확한 시스템인 DistilledGemma를 제안한다. 우리의 접근법은 분류 정확도와 계산 효율성의 균형을 맞추도록 설계된 3단계 지식 증류 파이프라인을 채택한다. 1단계에서는 이 어려운 태스크에 가장 효과적인 추론 아키텍처를 파악하기 위해 여덟 개의 대규모 언어 모델에 걸쳐 프롬프트 엔지니어링 전략을 체계적으로 탐색하였다. 2단계에서는 QLoRA를 통한 지도 미세조정(SFT)을 Gemma 4 26B A4B 교사 모델에 적용하여, 강력한 다국어 능력을 활용해 학습 코퍼스 전반에 걸쳐 실버 스탠더드 사고의 연쇄 추적 데이터를 생성하였다. 최종 단계에서는 학습된 추론 패턴을 소형 Gemma 4 E2B 학생 모델로 전이하기 위해 응답 수준 증류를 수행하였다. 공식 평가에서 우리 팀 WHEREAMI는 표준 테스트 세트에서 정확도 프로파일 평균 점수 0.688로 3위, 이진 테스트 세트에서 평균 점수 0.8156으로 2위를 기록하였다. 특히, 26B 교사 모델에서 2.3B 학생 모델로 지식을 증류함으로써 강력한 추론 능력을 유지하면서 배포된 모델 크기를 약 2.3B 유효 파라미터로 줄였으며, 학습 중에 사용된 LoRA 어댑터는 추론을 위해 학생 모델에 병합되었다. 이 구성은 표준 및 이진 테스트 세트 모두에서 균형 잡힌 효율성-정확도 프로파일 부문에서 2위를 기록하였다. 이 결과들은 지식 증류가 과도한 계산 비용 없이 경쟁력 있는 성능을 달성하면서 역사적 문서 처리를 위한 실용적이고 확장 가능한 솔루션을 제공함을 보여준다.
자연어로 표현된 계획 의도를 검증된 계획으로 변환하는 것은 오랜 과제이다. 사람들은 언어로 목표를 전달하지만, 고전적 플래너는 형식적인 PDDL 명세를 요구한다. 최근 에이전트형 프레임워크는 검증기가 확인하는 정제 루프 안에서 전문 수리 에이전트 풀을 오케스트레이션하여 이 간극을 메우지만, 중심에 있는 오케스트레이터 자체가 프롬프트된 프론티어 LLM이며, 정제 단계마다 프론티어 LLM API 호출 비용을 지불한다. 우리는 HALO(Hybrid Agent-Learned Orchestrator)를 제안하며, 이는 11개 PDDL 도메인에서 외부 검증기가 유효한 계획으로 끝난다고 인증한 정제 궤적로부터 오케스트레이터를 학습한다. HALO는 작은 QLoRA 튜닝 정책을 사소하게 결정 가능한 선택을 위한 세 가지 하드코딩 규칙과 짝지으며, 확장된 21-에이전트 행동 공간에서 동작한다. 매 단계마다 프론티어 LLM을 프롬프트하거나 희소한 에피소드 종료 보상으로부터 오케스트레이터를 학습하는 접근법과 달리, 우리의 핵심 관찰은 검증기가 이미 강한 지침을 제공한다는 것이다. 수락된 모든 궤적은 입증 가능하게 올바른 (상태, 에이전트) 결정의 연속이며, 지도 신호로 직접 활용할 수 있다. PlanBench, Natural Plan, 고전적 계획 벤치마크 전반에서 HALO는 성공률에서 GPT-5-mini 프롬프트 기준선과 동등하거나 그 이상이며, 더 강한 Gemini-3-Flash 프롬프트 기준선과 3퍼센트포인트 이내의 차이에 머물고, 오케스트레이션 비용을 한 자릿수 이상 줄이며(GPT-5-mini 대비 작업당 $0.18에서 $0.004, 약 45× 저렴; Gemini-3-Flash 대비 약 15× 저렴), 에피소드당 총 LLM 호출을 40~50% 줄인다.
바이오메디컬 사실 검증(biomedical claim verification)을 위해 QLoRA를 활용하여 소형 언어 모델을 효율적으로 파인튜닝(fine-tuning)하여 Mistral-7B가 소량의 학습 데이터로 GPT-4o 및 GPT-5를 능가하는 비용 효율적인 성능을 달성했습니다. 또한 데이터셋의 구조적 특성이 도메인 간 일반화(cross-domain generalization)에 중요한 영향을 미침을 규명하고 구조적으로 건전한 데이터 학습의 필요성을 제시했습니다.
벵골어는 세계에서 가장 널리 사용되는 언어 중 하나이지만, 교육용 자연어 처리(NLP) 연구에서는 여전히 소외되어 있습니다. 많은 오지 및 농촌 지역에서는 자격 있는 전문 교사에 대한 접근성이 제한적이어서, 서면 답변은 대부분 수작업으로 채점되며, 이는 적시적이고 일관된 피드백을 제한합니다. 자동 평가는 의미적으로 정확한 응답이 표면 형식에서 상당히 다를 수 있기 때문에 어렵습니다. 우리는 어휘적 중첩보다 의미적 정확성을 우선시하는 저자원 교육 환경을 위해 설계된 이중 언어(벵골어-영어) 평가 시스템을 제시합니다. 우리의 접근 방식은 경량 언어 모델을 파인튜닝하여 질문, 참조 답안, 학생 답안을 사용하여 각 응답을 채점하고, 교실 현장 배포에 적합한 수치 점수와 간결하며 문맥에 기반한 피드백을 생성합니다. 또한 우리는 제어된 학습과 평가를 가능하게 하기 위해 합성 이중 언어 데이터셋을 구축합니다. 통합된 프로토콜 하에서 평가된 독점 및 오픈 소스 대규모 언어 모델(LLM) 전반에서, 우리의 QLoRA로 튜닝된 Qwen3-8B는 합성 평가에서 가장 누출 저항성이 높은 피드백(RoRa = 0.819)을 생성하고 전용 인간 연구에서 인간 점수와 가장 강력한 일치도(rho = 0.936, MAE = 0.725)를 보여주어 지속적인 개선을 확인했습니다.