arXiv:2305.14926

Universal Self-Adaptive Prompting

Xingchen Wan, Ruoxi Sun, Hootan Nakhost, Hanjun Dai, Julian Martin Eisenschlos, Sercan O. Arik, Tomas Pfister

제출 2023-05-24

원문 초록

A hallmark of modern large language models (LLMs) is their impressive general zero-shot and few-shot abilities, often elicited through in-context learning (ICL) via prompting. However, while highly coveted and being the most general, zero-shot performances in LLMs are still typically weaker due to the lack of guidance and the difficulty of applying existing automatic prompt design methods in general tasks when ground-truth labels are unavailable. In this study, we address this by presenting Universal Self-Adaptive Prompting (USP), an automatic prompt design approach specifically tailored for zero-shot learning (while compatible with few-shot). Requiring only a small amount of unlabeled data and an inference-only LLM, USP is highly versatile: to achieve universal prompting, USP categorizes a possible NLP task into one of the three possible task types and then uses a corresponding selector to select the most suitable queries and zero-shot model-generated responses as pseudo-demonstrations, thereby generalizing ICL to the zero-shot setup in a fully automated way. We evaluate USP with PaLM and PaLM 2 models and demonstrate performances that are considerably stronger than standard zero-shot baselines and often comparable to or even superior to few-shot baselines across more than 40 natural language understanding, natural language generation, and reasoning tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28245v1cs.CL공통 태그 Zero-Shot Learning, Text Generation, In-Context Learning

시를 넘어서: 대규모 언어 모델(LLM)은 아랍 고전 문학 마카마를 생성할 수 있는가?

Beyond Poetry: Can Large Language Models Generate Classical Arabic Maqamat?

대규모 언어 모델(LLM)은 창의적인 텍스트 생성에서 뛰어난 성능을 보여주었으나, 문화적으로 그라운딩(grounding)되고 문체적 제약이 있는 문학 형식을 생성하는 능력은 여전히 충분히 연구되지 않았다. 선행 연구는 주로 현대 언어 변종과 시에 집중되었으며, 마카마(maqama)와 같은 고전 산문 전통은 거의 연구되지 않은 채로 남아 있다. 마카마는 각운 산문(saj), 빽빽한 수사적 장식, 일화적 서사 구조를 특징으로 하는 고전 문학 장르로, LLM이 표면적 유창성을 넘어 더 깊은 문학적 역량으로 나아갈 수 있는지를 평가하는 도전적인 테스트베드가 된다. 본 논문에서는 LLM을 활용한 마카마 생성에 대한 최초의 통제된 평가 연구를 제시하며, 제로샷(zero-shot), 퓨샷(few-shot), 규칙 기반 프롬프트 조건에서 5개 모델을 비교하고, 인적 주석과 LLM-as-a-judge 프레임워크를 모두 활용하여 수사적 풍부함, saj 밀도, 구조적 일관성, 문체적 진정성 등의 차원에서 출력을 평가한다. 실험 결과에 따르면 프롬프트 전략이 문체적 품질에 중요한 역할을 하는 것으로 나타났다. 퓨샷 프롬프트는 saj 밀도를 가장 일관되게 향상시키는 반면 수사와 일관성에 미치는 영향은 모델마다 달랐으며, 가장 성능이 뛰어난 모델들(GPT-4o 및 GPT-5.4-mini)은 이러한 차원에서 규칙 기반 프롬프트로부터 가장 큰 이점을 얻었으나, 전체 5개 모델 종합 점수에서는 제로샷 프롬프트가 가장 높은 점수를 기록했다. 나아가 아랍 마카마 관습과의 문체적 정렬(alignment)에서 모델 간에 체계적인 차이가 있음을 관찰했으며, 두 번째 독립적 LLM 평가자, 대응 표본 통계적 유의성 검정, 비 LLM 기반 saj 대리 지표를 통해 연구 결과를 입증했다.

arXiv:2608.20024v2cs.LG공통 태그 Zero-Shot Learning, In-Context Learning

지역난방 네트워크의 제로샷 열부하 예측을 위한 TabPFN-TS 및 Chronos-2의 체계적 평가

Systematic Evaluation of TabPFN-TS and Chronos-2 for Zero-Shot Heat Load Forecasting in District Heating Networks

지역난방 에너지 허브는 효율적인 운영 스케줄링을 위해 신뢰할 수 있는 열부하 예측을 필요로 합니다. 과거 데이터로 학습(training)된 예측 모델(model)은 네트워크가 발전함에 따라 재학습이 필요할 수 있습니다. 따라서 제로샷(zero-shot) 시계열 파운데이션 모델과 문맥 내 예측(in-context forecasting)은 유망한 대안을 제시합니다. 즉, 반복적인 재학습 대신 최근 관측값으로부터 추론(inference) 시점에 적응할 수 있습니다. 본 연구는 독일의 두 지역난방 네트워크에서 확률적 열부하 예측을 위해 TabPFN-TS와 Chronos-2를 체계적으로 평가하고, 이를 학습된 베이스라인들과 비교합니다. 기본 모델이 시계열 데이터가 아닌 합성 표 형식(tabular) 데이터만으로 사전학습(pre-training)된 TabPFN-TS가 복잡한 지역난방 동역학을 포착할 수 있는지 평가합니다. 선정된 운영 주간을 대상으로 공변량 선택, 컨텍스트 길이, 시간 해상도, 예측 구간(forecast horizon)을 분석하고, 선정된 구성을 1년 전체에 걸쳐 평가하며, 네트워크 간 전이(cross-network transfer)를 평가합니다. 주요 벤치마크(benchmark)는 완벽한 기상 예보를 가정하며, 별도의 민감도 분석에서는 사후적 기상 예측을 사용합니다. 12주 롤링 컨텍스트와 외기 온도를 활용한 1시간 단위 24시간 예측이 간결한 구성을 제공하며, 더 긴 컨텍스트 윈도우(context window)가 정확도를 향상시키지는 않습니다. 연간 전체 벤치마크에서 두 시계열 파운데이션 모델(TSFM) 모두 결정론적 정확도에서 학습된 모든 베이스라인을 능가합니다. Chronos-2가 가장 우수한 결정론적 점수를 달성하고 TabPFN-TS가 그 뒤를 바짝 따릅니다. 주요 데이터셋(dataset)에서 두 모델의 CVRMSE 값은 각각 12.48%와 13.07%입니다. Chronos-2는 두 네트워크 모두에서 더 낮은 연속 순위 확률 점수(CRPS)를 달성하며, TabPFN-TS 역시 근접한 성능을 유지합니다. TSFM 기반 다중 해상도 잔차 수정 예측기(Multi-Resolution Residual-Correction Forecaster)는 1시간 단위 기본 예측과 단기 고해상도 수정을 결합합니다. 직접적인 고해상도 예측과 비교했을 때, 이는 12시간 기간 동안의 총 열 수요 및 기록된 예측 시간 전반에서 오차를 전반적으로 줄입니다.

arXiv:2609.33935v2cs.CV공통 태그 Zero-Shot Learning, In-Context Learning

시공간 유추를 통한 비디오 태스크의 통합

Unifying Video Tasks via Spatiotemporal Analogy

비디오 모델을 새로운 태스크에 적용하려면 일반적으로 전용 데이터 큐레이션과 미세조정(fine-tuning)이 필요합니다. 시각적 유추(visual analogy)는 문맥 내(in-context)에서 태스크를 지정함으로써 별도의 학습(training)이 필요 없는 대안을 제공하지만, 여전히 이미지 도메인에 국한되어 있습니다. 본 논문에서는 유추 기반 방식이 다양한 비디오 태스크를 통합하고 분포 외(out-of-distribution) 시나리오로 일반화될 수 있는지를 탐구하기 위해, 시공간 캔버스 완성(spatiotemporal canvas completion)을 통해 시각적 문맥 내 학습을 비디오 도메인으로 확장하는 프레임워크인 ViGeo를 소개합니다. 엄격한 학습-테스트 분할을 적용한 다양한 태스크 분류 체계에서 평가한 결과, ViGeo는 학습 시 보지 못한 비디오 조작 및 제로샷(zero-shot) 모달리티(예: 이벤트 카메라)로 일반화됩니다. 마지막으로, 사전학습된 태스크와 연관된 쿼리 형식이 시연(demonstration)을 무시하는 현상인 태스크 내재화(task internalization)를 식별하고, 태스크와 무관한 소량의 데이터를 통해 이러한 지름길(shortcut)을 제거할 수 있음을 보여줌으로써 프롬프트(prompt) 형식과 태스크 정체성 간의 상관관계를 분리할 필요성을 강조합니다.

arXiv:2609.26942v1cs.CL공통 태그 Text Generation, Natural Language Understanding

인식되나 생성되지 않음: 문화적으로 특수한 친족 호칭에 대한 생성 벤치마크

Recognized but Not Produced: A Generation Benchmark for Culturally Specific Kinship Terms

기존 문헌은 다지선다 벤치마크를 사용해 대규모 언어 모델(LLM)의 다언어 친족 이해를 평가하며, 이를 인식 문제로 다룬다. 우리는 대신 두 가지 의사소통 과제에 걸쳐 세 가지 비서구 언어(힌디어, 타밀어, 한국어)에서 친족 호칭을 생성하도록 다섯 개의 오픈 가중치 LLM에 프롬프트를 주고, 이를 일치하는 선택지 지원 선택 기준선과 짝지었다. 동일한 관계-언어 셀에서 GPT OSS120B는 75개의 유효 셀 중 90.67%에서 올바른 용어를 선택하지만, 해당 시도의 36.00%에서만 수용 가능한 용어를 생성한다; Llama 3.370B도 같은 패턴을 보인다(77.92% 대 24.24%). 4지선다 조건은 후보 용어를 제시하며 문자 생성을 요구하지 않으므로, 이 차이는 어휘 지식이 온전함을 직접 증명하기보다는 평가 형식 간극으로 해석된다. 명시적으로 지정된 L3 프롬프트에서 정확도는 GLM-5.1의 72.29%부터 Llama-3.370B의 24.24%까지 크게 달라진다. 부계 혈통 우위는 언어별로 다르며, 힌디어에서는 크지만 한국어에서는 약하거나 역전되고, 타밀어의 공유 용어 쌍은 측정 변동에 대한 통제를 제공한다. 이 결과는 관계가 명시적으로 진술된 경우에도 문화적으로 특수한 친족 호칭 생성이 여전히 어렵다는 것을 보여 주며, 다지선다 검사와 병행한 생성 기반 평가의 필요성을 제기한다.

arXiv:2609.27086v1cs.CL공통 태그 Zero-Shot Learning, Natural Language Understanding

NADI 2026: 두 번째 다중 방언 아랍어 음성 처리 공유 과제

NADI 2026: The Second Multidialectal Arabic Speech Processing Shared Task

NADI 2026은 Nuanced Arabic Dialect Identification(NADI) 공유 과제 시리즈의 일곱 번째 개최이며, 다중 방언 아랍어 음성 처리에 초점을 맞춘 두 번째 회차이다. 이번 회차는 자동 음성 인식(ASR), 구어 방언 식별(SDID), 텍스트 음성 변환(TTS), 구어 언어 번역(SLT), 구어 언어 이해(SLU)에 걸친 다섯 가지 과제와 여덟 개의 하위 과제로 구성된다. NADI 2026은 저대역폭, 혼합 방언, 코드 스위칭, 도메인 외(out-of-domain), 제로샷(zero-shot) 설정을 통한 현실적인 평가를 강조하며, 시리즈에 TTS, SLT, SLU를 처음으로 도입한다. 공유 과제에는 최소 13개국에서 온 21개 참가 팀이 참여했고, 테스트 단계 제출 48건과 시스템 설명 논문 14편이 제출되었다. 결과는 도메인 외 일반화가 여전히 주요 병목임을 보여 주며, 최근 아랍어 특화 음성 모델, 멀티모달 방언 식별 접근, 앙상블 방법의 효과를 부각한다. 전반적으로 NADI 2026은 견고한 아랍어 방언 음성 처리를 위한 더 넓고 도전적인 벤치마크를 제공한다.

arXiv:2609.27590v1cs.CL공통 태그 Natural Language Understanding, In-Context Learning

MWE-ECL: 복원 가능한 장거리 문맥이 국소적 어휘 사전확률을 항상 무시하지는 않는다

MWE-ECL: Recoverable Long-Range Context Does Not Always Override Local Lexical Priors

장문맥(long-context) 평가는 흔히 모델이 원거리 증거를 복원할 수 있는지를 테스트하지만, 복원 가능성이 행동적 영향을 보장하지는 않습니다. 본 연구에서는 원거리 담화 앵커가 명시적으로 복원 가능하더라도 익숙한 다의어 표현(multiword expression)의 국소적으로 선호되는 해석을 변경하는 데 실패할 수 있다는 예측을 검증합니다. 이러한 실패는 모델의 앵커 없는 기본값(no-anchor default)이 앵커와 충돌할 때 집중적으로 나타나는 반면, 사전확률에 부합하는 올바른(prior-correct) 결정은 대체로 유지되어야 합니다. 우리는 짝지어진 앵커 검색, 앵커 없는 사전확률, 해석 프롬프트가 각각 명시적 복원 가능성, 모델 관측 기본값, 앵커 조건부 결정을 측정하는 이중언어 진단 도구인 MWE-ECL(Multiword Expression Effective Context Length)을 제안합니다. 공유된 0-128K 그리드 상의 8개 영어 배포 패널 전반에서, 사전확률 충돌 항목에 대한 검색 통제 정확도는 0.989-1.000, 사전확률 충돌 재정의(override)는 0.806-1.000(올바른 검색을 조건부로 한 경우 0.809-1.000), 사전확률 부합 결정의 보존율은 0.977-1.000으로 유지됩니다. 단일 프롬프트에서 검색과 해석을 질의하는 단일 호출(same-call) 대조군은 DeepSeek V4 Pro에 대해 격차(1.000 검색 대비 0.900-0.920 해석)를 재현하여, 개별 호출이 이러한 격차의 유일한 설명이 아님을 보여주며, 다른 두 모델에서 나타난 더 작거나 없는 격차는 그 일반성의 범위를 한정합니다. DeepSeek V4 Flash의 경우, 개별 프롬프트 적합도 테스트에서 512K 및 1M에서 완벽한 검색 능력을 유지하면서도 낮은 해석 능력을 보인 반면, 오답 유도 단서(foil-consistent cues)는 검색보다 앵커 없는 사전확률을 훨씬 더 크게 변화시켰으며, 모델 간 단서 효과는 이질적이었습니다. 별도로 보고된 10개 계열의 중국어 하위 집합도 유사한 기술적 격차를 보이지만, 일부 모델의 불완전한 검색 능력으로 인해 이를 오로지 통합(integration) 문제만으로 귀인하는 것은 어렵습니다. 따라서 MWE-ECL은 명시적으로 복원 가능한 원거리 문맥이 경쟁적인 국소 의미 결정을 변화시키는지 여부를 평가합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.