THPL: 순환여과양식시스템(RAS) 내 무지개송어 급이 관리를 위한 비전-언어 의사결정 지원 프레임워크
THPL: A Vision-to-Language Decision Support Framework for Rainbow Trout Feeding Management in RAS
한국어 초록
순환여과양식시스템(RAS)에서 정밀(precision) 급이는 사료 비용을 최소화하고 어류 복지를 향상시키는 데 매우 중요합니다. 그러나 기존 방식은 어류 행동과 관리 지식 간의 인지적 정렬(alignment)이 부족하여, 이를 실행 가능하고 해석 가능한 급이 결정으로 전환하는 데 한계가 있었습니다. 이를 해결하기 위해 본 논문에서는 RAS 환경의 무지개송어(Oncorhynchus mykiss)를 위해 설계된 생성형 급이 의사결정 프레임워크인 THPL을 제안합니다. 첫째, Fishsort가 궤적을 추출하여 급이 강도를 정량화하는 활동 계수(AC)를 산출합니다. 둘째, 계층적 행동 인코더(HBE)가 Temporal Transformer 및 Set Transformer를 활용해 개별 시간적 변화와 집단적 역학을 모델링함으로써, 궤적 텐서를 명시적 물리 토큰과 암시적 소프트 토큰의 이중 근거 표현으로 변환합니다. 마지막으로, 이러한 토큰들을 환경 파라미터, 메타데이터, 전문가 규칙과 통합하여 LoRA 기반으로 대규모 언어 모델(LLM)을 파인튜닝(fine-tuning)하고, 반사실적 멀티모달 직접 선호 최적화(mDPO)를 적용해 인과 추론 능력을 강화합니다. 실험 결과, AC는 전문가가 레이블링한 급이 강도와 통계적으로 유의미한 단조 양의 상관관계를 나타냈습니다(Spearman $ρ= 0.925$, $p < 0.001$). 절제 연구(ablation study)에서는 의사결정 정확도가 텍스트 전용 베이스라인(baseline)의 33.33%에서 이중 근거 토큰 적용 시 93.33%로 향상되어, 연속적인 시공간 토큰이 LLM에 필수적인 물리적 그라운딩(grounding)을 제공함을 확인했습니다. 또한 표준 LoRA 대비 반사실적 mDPO는 의사결정 정확도를 93.33%에서 96.67%로 향상시켰고, METEOR를 58.10%에서 85.30%로 끌어올렸으며, Self-BLEU-2를 58.79%에서 52.88%로 감소시키고 Distinct-3을 6.68%에서 7.81%로 증가시켜 템플릿화 및 작동 편향을 억제하는 동시에 인과적 일관성과 운영 안전성(safety)을 강화했습니다. 전반적으로, 본 연구는 연속적인 기구학(kinematics)과 LLM 추론을 결합함으로써 정밀 양식을 위한 새로운 의사결정 지원 패러다임을 제시합니다.
원문 초록
In Recirculating Aquaculture Systems (RAS), precision feeding is critical for minimizing costs and improving fish welfare. However, existing methods lack cognitive alignment between fish behaviors and management knowledge, impeding translation into executable, interpretable feeding decisions. To address this, we propose THPL, a generative feeding decision framework tailored for rainbow trout (Oncorhynchus mykiss) in RAS. First, Fishsort extracts trajectories to establish an Activity Coefficient (AC) quantifying feeding intensity. Second, a Hierarchical Behavior Encoder (HBE) models individual temporal progression and collective dynamics using Temporal and Set Transformers, transforming trajectory tensors into dual-evidence representations of explicit physical and implicit soft tokens. Finally, these tokens are integrated with environmental parameters, metadata, and expert rules to fine-tune an LLM via LoRA, followed by counterfactual multimodal Direct Preference Optimization (mDPO) to reinforce causal reasoning. Results show that AC exhibits a statistically significant monotonic positive correlation with expert-annotated feeding intensity (Spearman $ρ= 0.925$, $p < 0.001$). Ablations indicate that decision accuracy improves from 33.33% (text-only baseline) to 93.33% with dual-evidence tokens, confirming that continuous spatiotemporal tokens provide necessary physical grounding for LLMs. Compared with standard LoRA, counterfactual mDPO elevates decision accuracy from 93.33% to 96.67%, advances METEOR from 58.10% to 85.30%, reduces Self-BLEU-2 from 58.79% to 52.88%, and increases Distinct-3 from 6.68% to 7.81%, suppressing templating and actuation biases while reinforcing causal consistency and operational safety. Overall, by integrating continuous kinematics with LLM reasoning, this study provides a novel decision support paradigm for precision aquaculture.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
비전: "사용자 선호에 대해 내가 모르는 것은 무엇인가?" 불확실성 추정이 능동형 어시스턴트 정렬을 향상시키는 방법
Vision: "What Don't I Know About User's Preferences?" How Uncertainty Estimation Improves Proactive Assistant Alignment
능동형 스마트 어시스턴트(Proactive Smart Assistant, PSA)는 사용자가 선호할 행동을 예측하기 위해 일반 지식, 그룹 수준 데이터에서 학습된 패턴, 개별 사용자 데이터의 패턴, 그리고 최근 센서 관측값을 점점 더 많이 활용하고 있다. 기존 시스템은 일반적으로 예측된 사용자 선호 가능도(likelihood)로부터 행동을 선택하지만, 이러한 가능도만으로는 예측이 얼마나 신뢰할 수 있는지, 어떤 근거가 이를 지지하는지, 또는 왜 모호성이 남아 있는지를 드러내지 못한다. 본 비전 논문에서 우리는 불확실성 추정(uncertainty estimation)이 이러한 누락된 정보를 제공할 수 있으며, 이후의 적절한 행동을 상당히 변화시킬 수 있다고 주장한다. 홈 어시스턴트의 예를 사용하여, 우리는 불확실성 추정이 답하고자 하는 질문들을 소개한다. 즉, 어시스턴트가 예측된 선호 가능도에 대해 얼마나 확신하는지, 그 확신이 그룹 수준의 가정에서 오는 것인지 아니면 개별 사용자의 데이터에서 오는 것인지, 그리고 가능도의 모호성이 사용자의 본질적인 선호 변동성을 반영하는 것인지 아니면 특정 상황에 대한 데이터 부족을 반영하는 것인지이다. 우리는 또한 인간 궤적 예측(human trajectory prediction), 개인화된 행동 인식(personalized activity recognition), 정보 수집(information-collection), 모델 기반 제어(model-based control)와 같은 인접 분야에서의 불확실성 추정 응용 사례를 소개한다. 마지막으로, 우리는 인접 분야의 통찰을 바탕으로 미래의 불확실성 인지(uncertainty-aware) 능동형 어시스턴트가 능동형 상호작용에서의 주요 과제들을 어떻게 해결할 수 있을지를 전망한다.
Ego2World: 1인칭 시점 요리 영상을 신념 상태 계획 수립을 위한 실행 가능한 환경으로 컴파일하기
Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning
1인칭(Egocentric) 영상은 사람들이 일상 활동을 수행하는 방식을 포착하지만, 에이전트(agent)를 테스트하려면 에이전트가 스스로 선택한 행동의 결과를 평가해야 합니다. 본 연구에서는 주석이 달린 요리 활동을 부분 관측 환경에서의 실행 가능한 계획 수립(planning) 환경으로 변환하는 벤치마크인 Ego2World를 소개합니다. 이 시스템의 컴파일러는 원본 단계와 객체를 기호적 행동 규칙, 영속적 세계 상태, 명시적 작업 조건에 연결하여, 연구자가 에이전트가 제안한 행동을 실행하고 그 결과를 확인할 수 있도록 합니다. 세계 상태와 에이전트 신념(belief)은 별도로 유지되므로, 지속적인 작업 전반에 걸친 계획 수립 및 정보 재사용에 대한 통제된 연구가 가능합니다. 105개 작업에서 6개의 플래너를 평가한 결과, 승인된 작업이라도 작업 목표를 달성하지 못하는 경우가 많은 것으로 나타났습니다. 실행 추적과 조건 검사는 중단된 실행, 부분적 달성, 목표 달성 없는 완료 실행을 구분합니다. 별도의 대응쌍 Qwen-Plus 연구에서, 지속적인 신념 유지는 행동 유효성을 4.15%포인트 향상시키고 시각적 질의 시도를 90.27% 감소시켰으나, 토큰(token) 사용량이 늘어났고 감지 가능한 완료율 향상은 나타나지 않았습니다. Ego2World는 계획 수립 및 메모리 선택이 실행, 관측 수요, 작업 달성에 미치는 영향을 추적할 수 있는 재사용 가능한 테스트베드를 제공하여, 기록된 인간 활동을 상호작용형 에이전트의 개발 및 평가와 연결합니다.
Jev 시대의 판단: 평가 희소성에서 평가 풍요로
Judgement in the Age of Jev: From Evaluation Scarcity to Evaluation Abundance
생성형 인공지능이 그럴듯한 기호적 인공물(symbolic artefact)의 생성 비용을 낮춤에 따라, 최근 조직학 연구에서는 생산 풍요의 조건 하에서 평가와 식별을 제약 요인으로 주목해 왔다. 본 연구는 여기서 한 걸음 더 나아가, 기계 평가 자체가 일상적이면서도 대규모로 배포될 수 있을 만큼 저렴해지는 또 다른 가능성을 검토한다. 이 조사는 타입화된 확률적 의사결정을 위한 TypeSafe AI의 특화 모델(model)인 Jev에서 촉발되었다. TypeSafe는 윌리엄 스탠리 제번스(William Stanley Jevons)를 명시적으로 인용하며, 더 저렴해진 기계 지능이 이전에는 비경제적이었던 활용처를 열어젖힐 수 있다고 주장한다. 본 논문은 이를 확립된 실증적 결과라기보다는 기술적 도발로 다루며, 기계 평가에 대한 조건부 제번스 역설 가설을 수립한다. 즉, 잠재 수요가 상당하고 보완적 비용이 지배적이지 않은 경우, 활용 가능한 기계 평가의 총 한계 비용이 충분히 크게 감소하면 조직 내 소비가 증가할 수 있다는 것이다. 본 논문은 이러한 잠재적 희소성 전환을 조사하기 위해 반등 효과 경제학과 저비용 예측, 생산 풍요, 기계 평가, 의사결정 배분, 권한, 의존성 및 경영 판단(Executive Judgement)에 관한 연구를 통합한다. 또한 예측, 기계 평가, 조직적 판단, 권한 부여를 비용이 반드시 함께 하락하지는 않는 기능적 활동으로 구분한다. 평가는 증거, 기준, 오류를 공유할 수 있고, 잘못 명시된 루브릭을 확장할 수 있으며, 중대한 단서 조항이 사라진 표현을 기반으로 작동할 수 있고, 임계값과 예외 라우팅을 통해 실질적인 의사결정 권한을 변화시킬 수 있다. 이에 따른 연구 과제는 저렴한 기계 평가가 언제 인간의 평가 업무를 대체하는지, 언제 판단에 대한 수요를 재분배하거나 새로 창출하는지, 그리고 중대한 조직적 의사결정 시점에 활용 가능한 근거에 어떤 영향을 미치는지 규명하는 것이다.
Spatio-Temporal-Categorical Graph Neural Networks for Fine-Grained Multi-Incident Co-Prediction
Evaluation of Transportation Systems and Novel UV-Oriented Solution for Integration, Resilience, Inclusiveness and Sustainability
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Meng Liang and Guanbo Feng contributed equally. Corresponding authors: Zhihong Ma and Ying Liu. 50 pages, 10 figures, 3 tables. Supplementary video: https://youtu.be/Tg2Qk7m46-A