슬림 어텐션(slim attention)은 MHA(멀티 헤드 어텐션)를 사용하는 트랜스포머 모델의 컨텍스트 메모리 크기를 2배 줄이며, 큰 컨텍스트 윈도우에서 추론 속도를 최대 2배까지 높일 수 있다. 슬림 어텐션은 표준 어텐션 메커니즘을 수학적으로 동일하게 정확히 구현한 것이므로 모델 정확도를 저하시키지 않는다. 다시 말해, 슬림 어텐션은 컨텍스트 메모리를 2배로 무손실 압축한다. 인코더-디코더 트랜스포머의 경우 컨텍스트 메모리 크기를 더욱 줄일 수 있다. 예를 들어 Whisper 모델에서는 슬림 어텐션이 컨텍스트 메모리를 8배 줄이며, 예컨대 배치 크기 64에서 토큰 생성 속도를 5배 높일 수 있다. 또한 예를 들어 T5-11B 모델에서는 MHA 투영 차원이 임베딩 차원보다 크기 때문에 메모리를 32배 줄일 수 있다. 코드와 더 많은 트랜스포머 기법은 https://github.com/OpenMachine-ai/transformer-tricks 를, 본 논문의 유튜브 영상은 https://www.youtube.com/watch?v=uVtk3B6YO4Y 를 참조하라.
많은 상용 대규모 언어 모델(LLM)은 종종 폐쇄형(closed-source)이어서, 개발자가 특정 응용에 맞게 콘텐츠 생성을 정렬(alignment)하기 위해 프롬프트 튜닝에만 의존하게 제한된다. 이러한 모델은 현재 토큰 로짓에 대한 접근을 제공하지 않지만, 그러한 접근이 가능하다면 프롬프트 엔지니어링을 넘어선 더 강력한 적응(adaptation) 기법을 가능하게 할 것이라고 주장한다. 본 논문에서는 로짓 접근과 소량의 태스크별 데이터가 주어졌을 때, 블랙박스 LLM을 응용별 콘텐츠 생성 방향으로 효과적으로 유도할 수 있는 토큰 수준 확률 재가중(reweighting) 프레임워크를 제안한다. 우리 접근법은 다음 토큰 예측을 지도 분류(supervised classification)의 관점에서 본다. 블랙박스 LLM을 태스크별 데이터와 정렬하는 문제를 레이블 노이즈 보정(label noise correction) 문제로 형식화할 수 있음을 보이며, 이는 로짓만으로 동작하는 자기회귀(autoregressive) 확률 재가중 모델인 Plugin 모델로 이어진다. 태스크 적응을 위해 로짓 재가중만으로 충분한 이유에 대한 이론적 근거를 제공한다. 다양한 데이터셋, LLM, 재가중 모델을 사용한 광범위한 실험은 본 방법의 효과를 보여 주며, 폐쇄형 모델에서 토큰 로짓에 대한 더 넓은 접근을 촉구한다.
이미지 분할(image segmentation)은 자동화된 의료 영상 분석의 핵심으로, 해부학적 구조와 병리학적 영역의 정밀한 식별을 가능하게 합니다. 기존의 분할 모델(model)은 일반적으로 단일 장기나 질환만을 대상으로 하여 임상 현장 전반에서의 적응성이 제한적이었습니다. 다중 장기 및 다중 질환 분할이 연구되어 왔으나, 이러한 데이터셋(dataset)을 구축하려면 의료 전문가의 광범위한 수작업 주석(annotation)이 필요합니다. 프롬프트(prompt) 기반 분할은 어노테이션 속도를 높이는 유연하고 사용자 주도적인 대안을 제공하지만, 흉부 X선에서 여러 장기와 질환을 아우르는 프롬프트 기반 대화형 분할을 다룬 선행 연구는 없었습니다. 본 연구는 두 가지 주요 기여를 제시합니다. 첫째, 프롬프트 기반 분할을 위해 여러 공개 흉부 X선 데이터셋에서 선별하여 23개 클래스(6개 장기 및 17개 질환)를 아우르는 전문가 설계 두들(doodle) 프롬프트의 새로운 데이터셋을 소개합니다. 둘째, 흉부 X선과 사용자가 제공한 두들 프롬프트를 결합하여 다양한 해부학적 및 병리학적 영역을 정확하게 분할하는 경량 듀얼 입력 분할 프레임워크인 PromptForSegCXR을 제안합니다. 이 모델은 공간적 및 의미론적 표현을 통합하기 위한 다단계 특징(feature) 융합 전략과 더불어, 효율적인 계층적 특징 추출 및 적응형 재보정을 위해 스퀴즈-앤-익사이테이션(squeeze-and-excitation) 어텐션(attention)이 적용된 깊이별-점별-잔차 합성곱(depthwise-pointwise-residual convolution) 블록을 사용합니다. 실험 결과, 이 모델은 전체 데이터셋에서 81.62%의 다이스 점수(Dice score)를 달성하여 경량성을 유지하면서도 SAM 기반 프롬프트 분할 모델 대비 최대 10%, 기존 분할 아키텍처 대비 최대 23% 뛰어난 성능을 보였습니다. 이러한 결과는 정확하고 유연한 프롬프트 기반 흉부 X선 분할에 대한 제안된 접근법의 유효성을 입증합니다.
셀프 어텐션(self-attention)과 순전파 신경망(Feed-Forward Network, FFN)으로 구성된 트랜스포머는 다양한 비전 태스크 전반에 걸쳐 네트워크 설계 환경을 혁신했습니다. 셀프 어텐션은 성능의 핵심 요인으로서 광범위하게 연구되어 온 반면, FFN은 거의 주목받지 못했습니다. FFN은 풍부한 표현을 효과적으로 활용하기 위해 거의 모든 AI 모델에 매끄럽게 통합되는 다재다능한 연산자입니다. 최근 연구들은 FFN이 키-값 메모리처럼 기능한다는 점도 보여줍니다. 따라서 셀프 어텐션 내부의 쿼리-키-값 메커니즘과 유사하게, FFN 역시 입력이 쿼리 역할을 하고 두 개의 투영 가중치가 각각 키와 값으로 작동하는 메모리 네트워크로 볼 수 있습니다. 이러한 관찰을 바탕으로, 우리는 경쟁력 있는 성능을 내는 데 있어 핵심은 쿼리-키-값 프레임워크 자체에 있다는 가설을 세웠습니다. 이를 검증하기 위해, 쿼리-키-값 프레임워크를 유지하면서 셀프 어텐션을 합성곱만을 사용하는 더욱 FFN 형태에 가까운 효율적인 토큰 믹서로 변환하는 FFNification을 제안합니다. 구체적으로 FFNification은 쿼리-키-값 상호작용을 큰 커널 합성곱으로 대체하고 소프트맥스 대신 GELU 활성화 함수를 채택합니다. 이렇게 파생된 토큰 믹서인 FFNified 어텐션은 국소적으로 분포된 공간적 패턴을 감지하기 위한 키-값 메모리 역할을 하며, 쿼리-키-값 프레임워크의 각 대응 하위 연산 내에서 ConvNeXt 블록과 반대 차원에서 작동합니다. 위 두 모듈을 기반으로 우리는 Fast-Forward Networks(FFNet) 제품군을 제시합니다. 단순한 연산자들로만 구성되었음에도 불구하고, FFNet은 주목할 만한 효율성 향상과 함께 각 도메인의 정교하고 고도로 특화된 방법들을 능가합니다. 이러한 결과는 우리의 가설을 입증하며, 나아가 쿼리-키-값 프레임워크 내에서 하위 연산을 특정하지 않는 일반적인 믹서 아키텍처인 MetaMixer를 제안하도록 이끕니다.
비전-언어 모델(VLM) 개인화 시 긍정·부정 샘플 부족 문제를 해결하기 위해, 개념을 트리 구조로 표현하여 난이도와 다양성이 제어된 합성 데이터를 생성하는 Concept-as-Tree(CaT) 프레임워크를 제안한다. 트리 편집 연산으로 긍정·부정 샘플을 생성하고 Perturbation-based Concept-Specific(PCS) 점수 기반 필터링으로 품질을 보장하며, MyVLM·Yo'LLaVA·MC-LLaVA 벤치마크에서 모든 파인튜닝 기반 방법의 개인화 성능을 유의미하게 향상시켰다.
비교 오라클(comparison oracle)만으로 매끄러운 함수의 정규화된 그래디언트 방향을 검정·추정하는 문제를 다루며, 그래디언트 검정은 O(1)번, 방향 추정은 O(n log(1/ε))번의 쿼리로 달성하고 후자의 쿼리 복잡도가 최적임을 증명한다. 쿼리를 중첩(superposition) 상태로 수행할 수 있는 양자 비교 오라클 모델에서는 O(log(n/ε))번의 쿼리로 그래디언트를 추정하는 알고리즘을 제안한다.