arXiv:2606.29792v1 cs.CL

인간은 진화된 지시 수행자인가? 내재된 귀납적 바이어스가 빠른 지시 기반 과제 학습을 가능하게 한다

Are Humans Evolved Instruction Followers? An Underlying Inductive Bias Enables Rapid Instructed Task Learning

Anjishnu Kumar

제출 2026-06-29

한국어 초록

성인은 언어적 또는 문서화된 지시를 받은 후 첫 시도에서 새로운 과제를 올바르게 수행하는 경우가 많다. 이러한 빠른 지시 기반 과제 학습(RITL, rapid instructed task learning)은 인간 인지 유연성의 핵심적 특징이지만, 그 메커니즘과 인공 시스템과의 유사성은 여러 학문 분야에 걸쳐 충분히 탐구되지 않았다. 이 포지션 페이퍼에서 우리는 인간이 진화된 지시 수행 바이어스(instruction-following bias)를 보유하고 있다고 주장한다. 이는 언어적 지시를 해석하고 실행하도록 진화에 의해 형성된 귀납적 바이어스로, 언어로부터 행동의 빠른 일반화를 핵심적으로 가능하게 한다. 이 바이어스는 대규모 언어 모델(LLM)이 지시 미세조정을 활용하여 제로샷 과제 수행을 달성하는 방식과 유사하게 기능한다. 우리는 이 가설을 뒷받침하기 위해 인지과학, 신경과학, 기계학습 연구의 증거를 종합한다. AI에서의 지시 수행은 현재 특화된 학습 프로토콜을 통해 달성되는 반면, 인간에서는 선천적인 인지 아키텍처 특징으로 발생한다고 우리는 주장한다. 우리는 검증 가능한 예측들을 제시하고, 자연 및 인공 신경망 모두에서 빠른 과제 학습을 가능하게 하는 통합 메커니즘으로서의 지시 수행(Instruction-Following)을 탐구하기 위한 학제 간 연구를 촉구한다.

원문 초록

Human adults can often perform a novel task correctly on the first attempt after only receiving verbal or written instructions. This rapid instructed task learning (RITL) is a hallmark of human cognitive flexibility, yet its mechanisms and parallels in artificial systems remain under-explored across disciplines. In this position paper, we argue that humans possess an evolved instruction-following bias -- an inductive bias shaped by evolution to interpret and execute linguistic instructions which critically enables fast generalization of behavior from language. This bias functions analogously to the way large language models (LLMs) leverage instruction tuning to achieve zero-shot task performance. We synthesize evidence from cognitive science, neuroscience, and machine learning research to support this hypothesis. While instruction-following in AI is currently achieved via specialized training protocols, we posit that in humans it arises as an innate cognitive architecture feature. We outline testable predictions and call for more interdisciplinary research to investigate Instruction-Following as a unifying mechanism enabling rapid task learning in both natural and artificial neural networks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.29792v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13672v2cs.CL공통 태그 Instruction Following, Large Language Model

토큰이 아닌 턴 주입하기: 자기 수정을 위해 LLM 추론을 리디렉션할 위치 학습

Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction

대규모 언어 모델(LLM)은 자신의 추론 과정에서 발생한 오류를 안정적으로 식별하고 수정하는 데 어려움을 겪는다. 수정이나 피드백을 생성하도록 LLM을 미세조정하는 기존의 학습 기반 접근법과 달리, 우리는 실패한 롤아웃에서 어디에 개입할지를 학습하고 이를 어떻게 리디렉션할지를 결정한다. 개입 위치를 선택하기 위해, 우리는 최종 답안의 정답 여부만을 이용해 고정된 인코더 위에 130K개의 매개변수를 가진 MLP 헤드를 학습시킨다. 리디렉션의 경우, 고정된 생성 예산 하에서 테스트한 인라인 주입(inline injection)은 추론을 안정적으로 리디렉션하지 못하는 반면, 동일한 지시문을 새로운 사용자 턴(user turn)으로 제시하면 모델의 진행 방향이 바뀐다는 것을 발견했다. 그 결과로 만들어진 수정 프레임워크인 UPTURN(User-Prompt TURN injection at a learned position)은 LLM의 미세조정을 전혀 요구하지 않는다: 선택된 접두 문맥(prefix)을 유지하고, 지시문을 새로운 사용자 턴으로 주입한 뒤, 나머지 부분을 재생성한다. 네 가지 추론 모델과 여섯 가지 수학 벤치마크 전반에서, UPTURN은 32회 롤아웃 기준선(baseline) 대비 모든 설정에서 평균 정확도를 향상시킨다. 동일한 수정 예산 하에서 자기 수정(self-correction) 및 리플렉션 토큰(reflection-token) 주입 기준선을 능가하며, 재학습 없이도 다른 추론 모델과 GPQA-Diamond로 전이되고, GRPO 및 자기 수정 기법과도 상호보완적이다.

arXiv:2610.15836v1cs.CL공통 태그 Inductive Bias, In-Context Learning

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

arXiv:2610.15840v1cs.LG공통 태그 Large Language Model, In-Context Learning

에이전틱 강화학습에서의 신용 할당을 위한 LLM 가치 함수

LLM Value Functions for Credit Assignment in Agentic RL

대규모 언어 모델(LLM) 에이전트를 위한 강화학습(RL)은 개별 행동에 신용을 할당하기 어려운 희소한 결과 보상 기반의 긴 호흡(long-horizon) 태스크에서 여전히 어려운 과제로 남아 있습니다. GRPO와 같은 방식은 모든 행동에 동일한 궤적 수준(trajectory-level)의 어드밴티지를 부여하는 반면, 크리틱(critic) 기반 방식은 비용이 많이 들고 불안정할 수 있는 별도의 가치 함수(value function) 학습을 필요로 합니다. 본 연구에서는 별도의 크리틱을 파인튜닝(fine-tuning)하지 않고 LLM의 사전학습된 지식과 문맥 내 학습(ICL) 능력을 활용하여 정책 인지적(policy-aware) 상태 가치를 추정하는 LLM 가치 함수 강화학습(LVRL)을 소개합니다. LVRL은 가치 모델을 그룹 컨텍스트에 조건화하고 초기 및 최종 상태의 기지 가치를 사용하여 예측을 캘리브레이션함으로써, 추정된 가치 차이로부터 스텝 수준(step-level)의 신용 할당을 가능하게 합니다. 나아가 이 아이디어를 온-정책(on-policy) 증류(OPD)를 통한 전문가 정책 학습으로 확장하여, 추정 가치의 감소와 관련된 행동에 교사(teacher)의 감독을 집중시키는 LLM 가치 함수 OPD(LVOPD)를 제안합니다. 우리는 AppWorld, BabyAI, SWE-bench Verified 등 다양한 에이전틱 벤치마크 전반에서 접근 방식을 평가합니다. 정책 규모(4B~32B) 전반에 걸쳐 LVRL은 GRPO와 PPO 모두를 일관되고 상당한 차이로 능가합니다. AppWorld 및 SWE-bench Verified에서 LVRL은 GRPO 대비 각각 최대 13.6 및 8.6퍼센트포인트의 절대적인 성능 향상을 달성합니다. 특히 BabyAI와 같이 확장된 탐험(exploration)이 필요한 태스크에서 LVRL은 완전한 실패에서 75.0% 성공으로 격차를 좁힙니다. 또한 LVOPD는 AppWorld에서 표준 증류 베이스라인 대비 일관된 개선을 보입니다. 마지막으로 몬테카를로 분석을 통해 우리의 고정된 크리틱이 시맨틱한 함정과 회복을 정확하게 식별함을 확인하여, LVRL이 희소한 최종 결과로부터 견고하고 정책 인지적인 스텝 수준 신용을 추출함을 입증합니다.

arXiv:2610.15882v1cs.AI공통 태그 Large Language Model, In-Context Learning

엔그램 주입: 매개변수 기반 언어 모델 메모리의 시간적 유효성에 관한 연구

Engram Injection: A Study of Temporal Validity in Parametric Language-Model Memory

저장된 사실은 사용자가 선호도를 변경하거나 새로운 사건이 이전 사건을 대체할 때 유효하지 않게 될 수 있습니다. 본 연구에서는 언어 모델이 파라미터 내에서 이러한 변화를 학습하고, 질문과 현재 시간만으로 올바르게 답할 수 있는지를 조사합니다. 엔그램 주입(Engram Injection)은 사실을 LoRA 어댑터에 저장하며, 동결된 Qwen2.5-3B-Instruct 모델에 FiLM 조건화를 통해 시계 정보를 제공합니다. 이를 가산적 시계 조건화, 날짜가 포함된 전체 기록을 활용한 프롬프팅, 날짜가 포함된 네 개의 기록을 검색하는 방식과 비교합니다. 테스트 대상 시점의 예제가 학습에 포함될 수 있었던 샘플러를 수정한 후, 세 가지 시드에 걸쳐 일치하는 6개의 어댑터를 학습시킵니다. 학습 감사 결과, 평가된 127,760개의 학습 입력 중 이러한 예제는 없었던 것으로 보고되었습니다. 업데이트 전후로 질문된 62쌍의 질문에 대해, 학습에서 제외된 7일 경과 시점에서 순서 코드 1을 고정한 주요 블라인드 어시스턴트 평가 결과 두 어댑터 방식 모두 0쌍을 맞혔습니다. 전체 기록 프롬프팅은 62쌍 중 59쌍을 올바르게 맞혔고, 검색 방식은 62쌍 중 62쌍을 맞혔습니다. 별도의 실험을 통해 어댑터가 사실을 저장할 수 있으며 탈착 가능한 메모리 유닛이 국소적 삭제를 지원할 수 있음을 보여줍니다. 사실 선택과 시간 기반 버전 선택을 결합하는 것은 여전히 실패 상태로 남아 있습니다. 이러한 결과는 사실을 학습하는 것과 이를 언제 사용해야 하는지 학습하는 것을 분리합니다.

arXiv:2610.13485v1cs.CL공통 태그 Large Language Model, In-Context Learning

능동적 에이전트 오케스트레이션

Proactive Agentic Orchestration

에이전트 오케스트레이션(agentic orchestration)은 독립된 컨텍스트를 가진 서브 에이전트(sub-agent)들에게 작업을 위임함으로써 대규모 언어 모델(LLM) 에이전트의 유효 실행 범위를 확장하는 핵심적인 방안을 제공합니다. 그러나 기존 오케스트레이션 방식은 두 가지 한계에 직면해 있습니다. 실행 측면에서는 서브 에이전트 생성 시점에 목표와 하네스(harness)가 고정되어 동적인 실제 환경에 대한 적응력이 제한되며, 최적화(optimization) 측면에서는 희소하고 지연된 피드백으로 인해 오케스트레이션 정책의 효과적인 학습이 저해됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 온더플라이(on-the-fly) 능동적 에이전트 오케스트레이션 프레임워크인 POrchestra를 제안합니다. POrchestra는 서브 에이전트가 로컬 실행의 연속성을 유지하면서도 임의의 논리적 지점에서 오케스트레이터와 능동적으로 소통하여 하네스 조정을 요청할 수 있도록 합니다. 이 메커니즘은 서브 에이전트가 동적 환경에 매끄럽게 적응할 수 있도록 지원할 뿐만 아니라, 사후 피드백(hindsight feedback) 기반의 온-정책 오케스트레이션 증류(OPOD)를 자연스럽게 이끌어냅니다. OPOD는 서브 에이전트의 능동적 수정 요청을 이전 오케스트레이션 결정에 귀인하여 타겟 개선 신호를 도출하고, 최종 보상과 함께 이러한 신호를 프로세스 지도(process supervision)로 활용하여 오케스트레이션 정책을 최적화합니다. 심층 연구, 동적 디지털 지원, 소프트웨어 엔지니어링을 아우르는 세 가지 장기 과제(long-horizon) 에이전트 벤치마크에서 POrchestra를 평가했습니다. POrchestra는 가장 강력한 기준선 대비 작업 성공률을 평균 9.1% 향상시켰으며, OPOD와 결합했을 때는 기존 학습 기준선 대비 소형 오케스트레이터의 성공률을 평균 10.0% 향상시켰습니다. 또한 POrchestra는 더 유리한 비용 대비 성능 트레이드오프를 달성합니다. 코드베이스는 https://github.com/XueyangFeng/POrchestra 에서 공개되어 있습니다.

arXiv:2610.13627v1cs.CL공통 태그 Few-Shot Learning, Large Language Model

AMLworld-Compact: 비용 효율적인 LLM 평가 및 오류 진단을 위한 중요도 가중치 다운샘플링

AMLworld-Compact: Importance-Weighted Downsampling for Cost-Effective LLM Evaluation and Error Diagnosis

AMLworld의 가장 작은 테스트 분할에서 대규모 언어 모델(LLM)을 평가하는 것은 100만 개가 넘는 타깃 각각에 별도의 그래프 프롬프트(prompt)가 필요하기 때문에 비용이 많이 듭니다. 샘플링을 통해 이러한 비용을 줄일 수 있지만, 크기가 작은 균형 잡힌 서브셋은 가중치가 적용되지 않은 정밀도(precision)와 F1 점수를 변화시킵니다. 본 논문에서는 모든 불법 테스트 거래를 보존하면서 지도학습 점수 층(strata)에서 정상 거래를 샘플링하는 평가 셋인 AMLworld-Compact를 소개합니다. 이 세트의 HT-Coreset 프로토콜은 HI-Small 및 LI-Small에서 평가 타깃을 각각 271배 및 611배 줄입니다. 호비츠-톰슨(Horvitz-Thompson) 가중치(weight)는 고정된 예측에 대해 편향되지 않은 전체 테스트 오차 행렬 카운트 추정치를 제공하며, 재현율(recall)은 정확하고 정밀도와 F1은 비율 추정치입니다. Graph Feature Preprocessor(GFP) 특징(feature)을 사용한 홀드아웃 연구에서, 한 부스팅 트리 계열이 구성당 500회 추출에 걸쳐 다른 부스팅 트리 계열을 평가하기 위한 층을 정의합니다. 공개된 크기에서 HT 가중치를 적용한 균일 샘플링의 F1 RMSE가 4.44~7.41%포인트인 것에 비해, 본 방식은 0.00~2.58%포인트였으며 보수적 구간은 여전히 넓게 유지됩니다. 평가된 그래프 프롬프트 하에서, 7개의 오픈 가중치 LLM은 모두 불법으로 예측하는 기준선(baseline)에 근접한 가중 정밀도를 보였습니다. 모델(model)당 1회 실행에서 추출한 1,000개의 HI-Small 퓨샷 출력에 대한 결과 층화 감사에서, 어휘 검사는 정답인 이진 판정의 84.5%와 오답인 이진 판정의 56.2%를 통과했으므로 이러한 표식이 정확성을 입증하지는 못합니다. 저자들은 평가 셋, 구축 코드 및 감사 도구를 https://huggingface.co/datasets/typhoon-ai/AMLworldCompactEval 및 https://github.com/nat-nischw/AMLworld-Compact 에 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.