arXiv:2309.16656

Visual In-Context Learning for Few-Shot Eczema Segmentation

Neelesh Kumar, Oya Aran, Venugopal Vasudevan

제출 2023-09-28

원문 초록

Automated diagnosis of eczema from digital camera images is crucial for developing applications that allow patients to self-monitor their recovery. An important component of this is the segmentation of eczema region from such images. Current methods for eczema segmentation rely on deep neural networks such as convolutional (CNN)-based U-Net or transformer-based Swin U-Net. While effective, these methods require high volume of annotated data, which can be difficult to obtain. Here, we investigate the capabilities of visual in-context learning that can perform few-shot eczema segmentation with just a handful of examples and without any need for retraining models. Specifically, we propose a strategy for applying in-context learning for eczema segmentation with a generalist vision model called SegGPT. When benchmarked on a dataset of annotated eczema images, we show that SegGPT with just 2 representative example images from the training dataset performs better (mIoU: 36.69) than a CNN U-Net trained on 428 images (mIoU: 32.60). We also discover that using more number of examples for SegGPT may in fact be harmful to its performance. Our result highlights the importance of visual in-context learning in developing faster and better solutions to skin imaging tasks. Our result also paves the way for developing inclusive solutions that can cater to minorities in the demographics who are typically heavily under-represented in the training data.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.09082v1cs.CV공통 태그 Segmentation, In-Context Learning

REBASE: 학습 없는 인컨텍스트 분할을 위한 참조-배경 부분공간 제거

REBASE: Reference-Background Subspace Elimination for Training-Free In-Context Segmentation

학습 없는(training-free) 인컨텍스트 분할(in-context segmentation)은 단일 어노테이션된 참조 이미지로부터 추론 시점에 새로운 객체 카테고리를 도입할 수 있게 하여, 클래스 증분 학습(class-incremental learning)의 재학습 및 메모리 오버헤드를 제거한다. 최근 접근 방식은 의미론적 대응(semantic correspondence)을 위한 비전 파운데이션 모델과 SAM과 같은 프롬프터블(promptable) 분할 네트워크를 결합하여 이를 달성한다. 그러나 이들의 성능은 근본적으로 이미지 간 유사도 맵의 품질에 의해 제한된다. 참조 이미지와 쿼리 이미지 간에 공유되는 문맥적 배경이 비목표 영역의 유사도를 체계적으로 높여 프롬프트 위치 지정을 저하시킨다. 우리는 이러한 허위 문맥적 대응을 명시적으로 억제하는 학습 없는 프레임워크인 REBASE를 제안한다. 본 방법은 참조 이미지에서 저랭크 배경 특징 부분공간을 식별하고, 참조 및 쿼리 특징을 닫힌 형태(closed form)로 그 직교 여공간(orthogonal complement)에 투영하여 더 깔끔한 의미론적 매칭을 도출한다. 이후 정제된 밀집 유사도 사전 정보와 결합된 유사도 가중 최원점 샘플링(farthest-point sampling)을 사용하여 양성 포인트 프롬프트를 생성한다. 어떠한 학습이나 매개변수 업데이트 없이, 본 접근법은 PACO-Part, FSS-1000, ISIC2018과 같은 크로스 도메인 데이터셋에서 학습 없는 방법들 중 새로운 최첨단 성능을 달성하며, 명시적 배경 부분공간 제거가 원샷 위치 지정에 매우 효과적인 원칙임을 입증한다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2610.00224v2cs.AI공통 태그 In-Context Learning

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

arXiv:2608.13545v3cs.CL공통 태그 In-Context Learning

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

arXiv:2607.08124v3cs.SE공통 태그 In-Context Learning

TTHE: 테스트 타임 하네스 진화

TTHE: Test-Time Harness Evolution

LLM 에이전트의 행동은 기반 모델뿐 아니라, 컨텍스트를 구성하고 도구를 호출하며 중간 결과를 검증하고 실패로부터 복구하는 실행 가능한 프로그램인 하네스(harness)에 의해서도 결정된다. 기존 접근법은 대체로 학습 또는 개발 데이터에서 하네스를 최적화한 뒤 그 결과 프로그램을 테스트 시점에 고정하므로, 과제 분포, 실패 양상, 도구 상호작용의 변화에 대한 적응이 제한된다. 우리는 레이블 없는 실행 궤적을 이용해 평가 중에 하네스를 대신 최적화할 수 있는지를 묻는다. 실행 가능한 하네스를 테스트 시점 적응의 상태로 취급하는 Test-Time Harness Evolution(TTHE)을 제안한다. 레이블 없는 각 테스트 배치에서 TTHE는 실행 궤적을 바탕으로 추론하고 다양한 수정 방향을 탐색하는 에이전트형 제안자를 통해 후보 하네스 집단을 반복적으로 진화시킨다. 판정자는 실행 궤적과 실행에서 도출된 대리 신호를 이용해 후보를 선택한다. 선택된 하네스가 현재 배치의 출력을 결정하고 다음 배치의 적응을 초기화한다. 중요한 점은, 해결자, 제안자, 판정자가 동일한 고정 LLM을 둘러싼 서로 다른 하네스를 통해 동작하며, 가중치 갱신, 최종 답 레이블 접근, 별도로 학습된 적응 모델이 없다는 것이다. text-to-SQL, 경쟁 프로그래밍, 소프트웨어 엔지니어링, 데이터 과학 코딩, 터미널 기반 과제, 에이전트형 도구 사용에 걸친 여섯 가지 실행 기반 벤치마크에서 TTHE는 지속적이고 검사 가능한 프로그램 적응을 통해 고정된 ReAct 방식 기준선 하네스를 개선한다. 이러한 결과는 LLM 에이전트의 테스트 시점 적응을 실행 가능한 제어 프로그램에 대한 진화로 재정의하며, 실행에서 도출된 대리 신호의 신뢰성을 견고한 비지도 에이전트 개선의 핵심 과제로 제시한다.

arXiv:2610.15836v1cs.CL공통 태그 In-Context Learning

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.