Ammonia-Net: A Multi-task Joint Learning Model for Multi-class Segmentation and Classification in Tooth-marked Tongue Diagnosis
원문 초록
In Traditional Chinese Medicine, the tooth marks on the tongue, stemming from prolonged dental pressure, serve as a crucial indicator for assessing qi (yang) deficiency, which is intrinsically linked to visceral health. Manual diagnosis of tooth-marked tongue solely relies on experience. Nonetheless, the diversity in shape, color, and type of tooth marks poses a challenge to diagnostic accuracy and consistency. To address these problems, herein we propose a multi-task joint learning model named Ammonia-Net. This model employs a convolutional neural network-based architecture, specifically designed for multi-class segmentation and classification of tongue images. Ammonia-Net performs semantic segmentation of tongue images to identify tongue and tooth marks. With the assistance of segmentation output, it classifies the images into the desired number of classes: healthy tongue, light tongue, moderate tongue, and severe tongue. As far as we know, this is the first attempt to apply the semantic segmentation results of tooth marks for tooth-marked tongue classification. To train Ammonia-Net, we collect 856 tongue images from 856 subjects. After a number of extensive experiments, the experimental results show that the proposed model achieves 99.06% accuracy in the two-class classification task of tooth-marked tongue identification and 80.02%. As for the segmentation task, mIoU for tongue and tooth marks amounts to 71.65%.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
망막 혈관 분할에서의 관찰자 선택과 임계값 선택: 피험자 분리 평가
Observer Choice and Threshold Selection in Retinal Vessel Segmentation: A Subject-Separated Evaluation
분할 임계값(threshold)을 선택하는 데 사용되는 주석(annotation)은 평가 프로토콜의 일부이지만, 그 효과는 모델 품질과 쉽게 혼동된다. 우리는 CHASE DB1의 전체 28개 이미지와 두 명의 사람 주석자(human annotations) 모두를 사용하여 망막 혈관 분할에서 이러한 선택을 조사한다. 고정된 7-폴드(seven-fold) 프로토콜은 14명의 피험자 각각의 양쪽 눈을 함께 유지한다. 랜덤 포레스트(Random Forest)와 Extra Trees는 관찰자 1을 기준으로 세 개의 무작위 시드(random seed)로 학습되어 총 42개의 적합(fit) 결과를 산출했다. 다섯 가지 임계값 정책은 동일한 점수 맵(score map)을 공유한다: 고정값 0.50, 관찰자 1 튜닝, 관찰자 2 튜닝, 평균 관찰자 튜닝, 그리고 이미지별 낮은 관찰자 Dice의 맥시민(maximin) 튜닝. 랜덤 포레스트의 경우, 맥시민은 21개 적합 중 19개에서 임계값을 변경했지만, 최악 관찰자(worst-observer) Dice는 70.53%에서 70.45%로 감소했다. 쌍별 차이(paired difference)는 -0.073 퍼센트 포인트이며, 조건부 피험자 부트스트랩(subject-bootstrap) 95% 구간은 [-0.384, 0.238]이다. Extra Trees도 동일한 방향을 보인다. 동일한 관찰자-1 튜닝된 랜덤 포레스트 마스크는 관찰자 1 대비 73.66%, 관찰자 2 대비 71.06%의 점수를 기록했다. 이 결과는 임계값 선택 기준(reference)과 평가 기준 모두를 명시적으로 보고해야 한다는 것을 지지하지만, 이 코호트(cohort)에서 맥시민 튜닝으로 인한 정확도 향상을 지지하지는 않는다. 모든 분할(split), 원시 예측(raw prediction), 지표(metric) 및 코드가 함께 제공된다. AI의 도움을 받았음을 명시한다.
DSSR-3D: 3D 가우시안에서 시점 의존적 참조를 위한 분리 추론
DSSR-3D: Decoupled Reasoning for View-Dependent Referring in 3D Gaussians
3D 가우시안 스플래팅(3D Gaussian Splatting)의 최근 발전은 2D 파운데이션 모델의 의미론적 지식을 3D 표현으로 증류하여 개방형 어휘(open-vocabulary) 및 참조 세그멘테이션(referring segmentation)을 가능하게 했습니다. 그러나 기존의 참조 필드는 언어 특징을 전역적으로 시점 불변인 공간에 임베딩하므로, 카메라 포즈에 의존하는 관찰자 중심의 공간 관계(예: "~의 왼쪽에 있는")를 근본적으로 해결하지 못합니다. 본 논문에서는 연속적인 3D 가우시안 필드에서 시점 의존적 참조 세그멘테이션을 수행하기 위한 추론(inference) 시점 프레임워크인 DSSR-3D를 제안합니다. 이는 포즈 불변 의미론적 위치 추정과 포즈 조건부 공간 추론이라는 두 인터페이스로 정형화되어, 이러한 제약 조건을 만족하는 함수 쌍이라면 어떠한 조합이든 유효한 구현체가 될 수 있으며, 기반 의미 필드의 재학습이나 바운딩 박스와 같은 이산적 기하학적 대용물(proxy)에 의존하지 않습니다. 우리는 온도 파라미터로 선명화된 소프트맥스(softmax) 위치 추정 메커니즘과 투영 기반 방향 점수화 함수로 두 인터페이스를 구현하고 경량의 학습(training) 없는 단계를 통해 이를 융합하였으며, 별도의 적응 과정 없이 구조적으로 상이한 의미 필드에도 제로샷(zero-shot)으로 전이됨을 보입니다. 나아가 3D 가우시안 필드에서 시점 의존적 세그멘테이션을 분리 평가하는 벤치마크인 ViewRef-GS를 제안하고, 증강된 Ref-LERF와 함께 평가하여 시점 의존적 공간 그라운딩(grounding)을 위한 종합적인 테스트베드를 제공합니다. 실험 결과, 기본 의미 필드 외의 추가 학습 없이도 기존 3DGS 기반 참조 방식 대비 일관된 성능 향상을 보였습니다.
CTSpinoPelvic1K: 단일 좌표계의 척추·골반·늑골·대퇴골, 요천추 전환부 해부학 주석
CTSpinoPelvic1K: spine, pelvis, ribs and femora in one coordinate frame, annotated for lumbosacral transitional anatomy
목적: 요천추 접합부 천추는 전체 척추 영상에서 C2부터 caudal 방향으로 세어 이름을 붙이지만, 요추 수술 계획은 C2 없이 요추만 영상(T12–S1)으로 세운다. 복부·골반 CT는 그 구간에 최하위 늑골과 골반까지 포함한다. 요천추 전환 천추(lumbosacral transitional vertebra, LSTV)가 개수를 바꾸면 국소 해부는 모호해진다. 늑골 없는 천추가 네 개이면 요추 늑골을 동반한 L1일 수도 있고 천골에 동화된 L5일 수도 있으며, 여섯 개이면 제6요추, 무형성 늑골을 동반한 T12, 또는 요추화된 S1일 수 있다. CTSpinoPelvic1K는 개수 없이 국소 형태만으로 이를 판별할 수 있는지 묻는다. CTSpine1K의 천추와 CTPelvic1K의 골반은 동일 환자를 각각 다뤘으나 결합되지 않았고, 본 공개판은 한 시리즈에서 이를 결합하고 어느 쪽에도 없던 골을 추가한다. 802건의 CT 기록을 제공하며, 레벨별 늑골·대퇴골, 최하위 늑골 부착 천추와 S1에 고정된 레벨, L6·T13·분리된 S1·요추 늑골 클래스를 두어 이상을 그대로 기록한다. 취득 및 검증 방법: 각 환자의 골량이 가장 많은 시리즈에서 VerSe-native 체계 하에 CTSpine1K와 CTPelvic1K 라벨을 짝지었다. 검증은 기하 불변량(802/802 통과), 5,749개 늑골에 대한 늑골–천추 대응(0.035% 오차), 문헌값과 일치하는 척골–골반 측정을 포함했다. 데이터 형식 및 사용 안내: 환자 단위 그룹·LSTV 계층화 5-fold 분할과 로더가 있는 NIfTI 영상/라벨 쌍; https://doi.org/10.5281/zenodo.22139642 에 보관. 잠재적 응용: 국소 특징으로부터 천추 분류, cadaveric 형태계량 갱신, 척골–골반 평가, 기회적 스크리닝, 공개 수술 전 요추 코호트가 없는 상황에서의 수술 계획 연구(377건 prone). 한계: 흉추 ground truth는 시야(field-of-view) 제한, 자세 각도는 supine, 별도 test set 없음, 늑골은 triaged-review 의사라벨, Castellvi 등급은 33건에 대한 두 판독자 합의.
DiagGen: 로봇 시뮬레이션을 위한 시뮬레이션 기반 진단을 활용한 변형 가능 자산의 에이전틱 생성
DiagGen: Agentic Generation of Deformable Assets with Sim-based Diagnostics for Robotic Simulation
시뮬레이션 준비가 완료된 변형 가능 자산(deformable asset)은 컴퓨터 시뮬레이션(in-silico) 기반 로봇 조작 작업에 필수적이지만, 기존 생성 프레임워크는 대개 생성 이후에 물리적 타당성을 평가하므로 객체의 시뮬레이션 반응을 상위 단계의 오류 수정을 위한 피드백으로 활용하지 못합니다. 본 논문에서는 단일 야생 환경(in-the-wild) 이미지를 '생성--시뮬레이션--진단--개선' 루프를 통해 시뮬레이션 준비가 완료된 변형 가능 자산으로 변환하는 에이전틱(agentic) 프레임워크인 DiagGen을 제안합니다. DiagGen은 부위 인식(part-aware) 지오메트리 및 재질 매개변수를 구축한 후, 비전-언어 모델(VLM) 기반 에이전트(agent)를 활용하여 의미적으로 유의미한 영역을 선택하고, 물리 시뮬레이터에서 이를 탐침(probe)하며, 재질 반응을 관찰하고, 근거 기반 수정 신호를 해당 생성 단계로 전달합니다. 40개의 자산을 대상으로 한 실험을 통해 진단 과정이 유용한 수정 신호를 제공하며 생성된 변형 가능 자산의 품질을 일정 수준 향상시킬 수 있음을 보여줍니다. 마지막으로, 시뮬레이션이 불가능할 수 있는 시각 파운데이션 모델 기반 생성 자산과 달리, DiagGen으로 생성된 변형체는 고충실도 물리 시뮬레이터에 직접 투입되어 접촉이 빈번한 집기 및 놓기(pick-and-place) 작업의 계획 및 시뮬레이션에 활용될 수 있음을 보여줍니다. 프로젝트 웹사이트는 https://diaggen.github.io/ 입니다.
MedRSI: 임상적으로 정렬된 자기 진화를 통한 의료용 에이전트의 재귀적 자기 개선
MedRSI: Recursive Self-Improvement for Medical Agents via Clinically Aligned Self-Evolution
의료용 에이전트(agent)는 범용 추론 모델과 특화된 임상 도구를 점진적으로 결합하고 있으나, 그 능력은 배포 전 임상의와 엔지니어가 설계한 수준에 대부분 고정되어 있습니다. 재귀적 자기 개선(Recursive Self-Improvement, RSI)은 에이전트가 자신의 실패로부터 학습(training)하고 자율적으로 능력을 확장하는 다른 패러다임을 제공하지만, RSI를 의료 분야에 직접 적용하는 것은 근본적인 안전성(safety) 문제를 초래합니다. 본 논문에서는 도구 조합과 태스크별 모델 학습을 통해 진단 실패를 새로운 임상 능력으로 지속적으로 전환하는 최초의 의료용 재귀적 자기 개선 프레임워크인 MedRSI를 소개합니다. 임상 진료 현장에서 영감을 얻은 MedRSI는 임상적으로 정렬(alignment)된 자기 진화를 위한 두 가지 메커니즘을 도입합니다. 첫째, 임상 비용 인식 기반 실패 우선순위화(clinical-cost-aware failure prioritization)는 단순한 빈도 대신 잠재적인 임상적 결과에 따라 오류에 대한 개선 방향을 설정합니다. 둘째, 신속한 발견과 보수적 등록(fast discovery with slow registration)은 빠른 능력 창출과 보수적 도입을 분리하여, 후속 환자 코호트 전반에서 지속적인 이점을 입증한 후에만 새로운 도구가 영구 에이전트에 반영되도록 합니다. 공개 녹내장 및 심장 질환 벤치마크(benchmark)와 두 가지 비공개 임상 태스크 전반에서 MedRSI는 분할, 측정, 예측, 멀티모달 추론 및 생성 능력을 점진적으로 발전시키며, 수작업으로 설계된 의료용 에이전트를 능가하고 원래 설계자가 예상하지 못한 임상 문제에 대한 솔루션을 자율적으로 발견합니다. 본 연구 결과는 의료용 에이전트가 배포 전에 지정된 능력에 국한될 필요가 없음을 보여줍니다. 즉, 무엇을 개선하고 무엇을 유지할지 통제하는 임상적으로 기반을 둔(grounded) 메커니즘을 통해 진단 경험으로부터 새로운 능력을 지속적으로 구축, 검증 및 축적할 수 있습니다. 코드는 https://github.com/ImprintLab/MedRSI 에서 확인할 수 있습니다.
SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원
SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery
원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.