최신 대규모 언어 모델(LLM)은 방대한 데이터셋으로 사전학습되기 때문에, 벤치마크 데이터가 학습 세트에 포함되는 것을 막기 어렵고 이로 인해 평가 결과의 신뢰성이 훼손됩니다. 특히 베이스 모델은 인스트럭션 수행 능력이 제한적이어서 태스크 기반 평가가 복잡해지므로, 신뢰할 수 있는 평가가 더욱 어렵습니다. 본 논문에서는 새로 공개된 텍스트를 정기적으로 수집하여 베이스 언어 모델을 평가하고 데이터 오염(data contamination) 위험을 줄이는 동적 벤치마크인 Uncheatable Eval을 소개합니다. 모델의 예측 능력과 데이터를 무손실로 압축하는 능력 사이의 관계에 착안하여, 모델이 새로운 텍스트를 얼마나 잘 예측하는지를 압축률(compression rate)로 평가합니다. 14개 텍스트 카테고리에 걸쳐 80개 모델을 평가하고, 컨텍스트 길이에 따라 압축 성능이 어떻게 변하는지 분석하며, 압축률과 제로샷 MMLU 정확도 간의 상관관계를 살펴봅니다. 그 결과 세 가지 주요 발견을 얻었습니다. (1) 압축 성능은 모델 크기에 따라 일관된 스케일링 경향을 따릅니다. (2) 어텐션 기반 모델, 하이브리드 모델, 순환 모델은 더 많은 컨텍스트가 주어질 때 압축 성능이 변화하는 양상이 서로 다릅니다. (3) 압축률이 낮을수록 제로샷 MMLU 정확도가 높은 경향이 강하게 나타납니다. 코드는 https://github.com/Jellyfish042/uncheatable_eval 에서 확인할 수 있습니다.
대규모 소프트웨어 아카이브(예: Software Heritage (https://www.softwareheritage.org/))의 저장 요구에 기인하여, 우리는 소스 코드의 무손실 압축 문제를 연구한다. 범용 압축기(예: zstd, bzip2)는 압축률과 속도 사이의 좋은 트레이드오프를 제공하지만, 소스 코드에 내재된 모든 특수 규칙성을 활용하지 못한다. 최근 접근법은 Shannon의 심볼 랭킹(symbol-ranking) 프레임워크 내에서 대규모 언어 모델(LLM)을 활용하며, 예측된 순위가 임의로 증가할 수 있는 방식에 의존한다. 공간을 줄이는 데는 효과적이지만, 이 설정은 상당한 처리량(throughput) 저하를 초래하며, 모든 순위를 명시적으로 인코딩할 필요가 있는지에 대한 질문을 남긴다. 본 연구에서는 예측을 상위 $T$개 순위($T=1$ 또는 $63$)로 제한하는 두 가지 새로운 심볼 랭킹 변형을 배치한 LLM 기반 압축기를 제안하며, 임계값을 벗어난 심볼은 예외로 저장하고 순위 스트림과 함께 범용 압축기를 통해 공동으로 압축한다. 우리는 일반 도메인, 코드 특화, 양자화 모델을 포함한 30개 LLM에 걸쳐 LLM 기반 소스 코드 압축에 대한 최초의 대규모 평가를 수행한다. $T$ 제한 접근법은 압축률(최대 37% 상대적 향상)과 압축 처리량(40% 더 빠름) 모두에서 기존 LLM 기반 압축기를 능가한다. 범용 압축기(예: zstd, bzip2)와 비교하면, 최대 82%의 상대적 압축 이득을 얻지만 속도는 더 낮아, 압축-속도 스펙트럼에서 새로운 트레이드오프 지점을 제공한다. 또한 이러한 이득이 자연어에 비해 소스 코드에서 더 크다는 것을 보여주며, 이는 소스 코드가 LLM이 포착하지만 범용 exact-match 기반 압축기가 놓치는 규칙성을 드러낸다는 흥미로운 시사점을 제시한다. 마지막으로 이론적 및 실용적 연구 방향을 제공하는 미해결 문제들에 대해 논의하며 결론을 짓는다.
최근 대규모 언어 모델(LLM)이 무손실 이미지 압축에서 유망한 진전을 이끌어 왔다. 그러나 기존 패러다임을 의료 영상에 직접 적용할 경우 압축 성능과 효율성 사이에서 만족스럽지 못한 트레이드오프를 겪는다. 더욱이 기존 LLM 기반 압축기는 현대 의료 환경에서 중요한 압축 과정의 보안을 종종 간과한다. 이를 위해, 우리는 새로운 무손실 압축 및 스테가노그래피 통합 프레임워크를 제안한다. 비트 평면 슬라이싱(bit plane slicing, BPS)에서 영감을 받아, 의료 영상에 프라이버시 메시지를 보이지 않는 방식으로 안전하게 임베딩하는 것이 가능함을 확인했다. 이 통찰을 바탕으로, 먼저 적응형 모달리티 분해 전략을 고안하여 전체 이미지를 두 세그먼트로 분할하고, 이후 이중 경로 무손실 압축을 위한 전역 및 지역 모달리티를 제공한다. 이중 경로 단계에서, 압축 과정의 보안을 보장하기 위해 지역 모달리티 경로 내 세분화된 메시지 스테가노그래피 알고리즘을 혁신적으로 제안한다. 제안한 해부학적 사전지식(anatomical priors) 기반 저랭크 적응(A-LoRA) 미세조정 전략과 결합하여, 광범위한 실험 결과가 압축률, 효율성 및 보안 측면에서 제안 방법의 우수성을 입증한다. 소스 코드는 공개될 예정이다.
LUMI는 기존 LLM 기반 무손실 이미지 압축이 토크나이저에 종속되는 문제를 해결하기 위해, 픽셀 값을 텍스트 토큰 대신 LLM의 연속 임베딩 공간으로 직접 매핑하는 토크나이저 독립적 프레임워크를 제안한다. LLaMA, Qwen, Gemma 백본에서 자연·의료·원격탐사 이미지 벤치마크 실험 결과, 동결된 LLM 백본에 경량 픽셀 임베딩 모듈과 256방향 예측 헤드만 추가하여 경쟁력 있는 압축률과 향상된 크로스 도메인 강건성을 달성했다.