Cuid: A new study of perceived image quality and its subjective assessment
원문 초록
Research on image quality assessment (IQA) remains limited mainly due to our incomplete knowledge about human visual perception. Existing IQA algorithms have been designed or trained with insufficient subjective data with a small degree of stimulus variability. This has led to challenges for those algorithms to handle complexity and diversity of real-world digital content. Perceptual evidence from human subjects serves as a grounding for the development of advanced IQA algorithms. It is thus critical to acquire reliable subjective data with controlled perception experiments that faithfully reflect human behavioural responses to distortions in visual signals. In this paper, we present a new study of image quality perception where subjective ratings were collected in a controlled lab environment. We investigate how quality perception is affected by a combination of different categories of images and different types and levels of distortions. The database will be made publicly available to facilitate calibration and validation of IQA algorithms.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SAMark: 단락 수준 패러프레이즈 견고성을 갖춘 자기 고정(self-anchored) 텍스트 워터마킹
SAMark: A Self-Anchored Text Watermarking with Paragraph-Level Paraphrase Robustness
의미 수준 워터마킹(SWM)은 문장을 기본 단위로 취급하여 텍스트 수정에 대한 견고성을 향상시킨다. 그러나 단락 수준 패러프레이즈(paraphrasing)에 대한 견고성은 여전히 어려운 문제로 남아 있다. 이러한 공격은 문장 순서를 변경함으로써 워터마크 신호를 전역적으로 교란하기 때문이다. 본 연구에서는 SAMark를 제안한다. 이는 의미 공간(semantic space)에 단계 독립적(step-independent) green region을 설정함으로써 문장 순서에 대한 의존성을 제거하는 자기 고정(self-anchored) 워터마킹 프레임워크이다. 탐지성(detectability)을 향상시키기 위해, 워터마크 신호를 증폭하면서 약하게 정렬(aligned)된 후보에서 발생하는 노이즈를 억제하는 다채널 쌍곡(hyperbolic) 스코어링 메커니즘을 도입한다. 또한 단순 n-gram 반복 필터를 넘어 의미적 중복(semantic redundancy)을 다루기 위해 hard filtering과 soft 정규화(regularization)를 결합한 다양성 인식(diversity-aware) 필터링 전략을 제안한다. 실험 결과, SAMark는 일반적인 단락 수준 패러프레이즈 공격 하에서 최대 90.2% TP@FP1%를 달성하며, 평균적으로 가장 강력한 선행 기준선(baseline)보다 30% 이상 우수한 성능을 보인다. 동시에 워터마크가 없는 텍스트와 경쟁할 만한 생성 품질을 유지하며, 기존 방법을 제한하던 견고성-품질 트레이드오프(robustness-quality trade-off)를 깬다. 코드는 https://github.com/Z1zs/SAMark 에서 공개될 예정이다.
3인칭 감사를 넘어서: 사용자 중심 LLM 바이어스 연구를 위한 상황화된 상호작용 감사
Beyond Third-Person Audits: Situated Interaction Auditing for User-Centered LLM Bias Research
대규모 언어 모델(LLM)의 편향 연구는 모델이 인구 집단을 외부 대상으로서 어떻게 표상하거나 평가하는지를 연구하는 3인칭 감사에 주로 초점을 맞추어 왔다. 그러나 이 패러다임은 감사에 사용자가 부재하다는 구조적 사각지대를 간과한다. 실제로 LLM은 개방적이고 개인적인 상호작용에서 사용되며, 이때 모델은 사용자를 암묵적으로 표상하고 그에 맞춰 응답을 조정한다. 동일한 요청이 누가 묻느냐에 따라 다른 응답을 낳는다면, 편향은 모델이 타인을 서술하는 방식이 아니라 대화 상대를 대하는 방식에서 나타난다. 1인칭 편향에 대한 실증 연구가 늘고 있으나, 서로 다른 단서, 결과 지표, 타당화 방식을 사용하여 결과를 비교하기 어렵다. 본 논문은 이러한 문헌을 위한 공통 진단 프레임워크인 상황 기반 상호작용 감사(SIA)를 제안한다. SIA는 이름과 표면적 표지, 글쓰기 스타일과 방언, 명시된 정체성이라는 사용자 프로필 신호의 유형론을 설계 원칙 및 결과 지표와 함께 도입하여 연구를 비교하고 누적할 수 있게 한다. 우리는 이 프레임워크를 아홉 개 과업 영역과 세 가지 모델에 걸친 칠레인의 이름과 성에 대한 사례 연구로 구현하고, 실무자를 위한 지침과 연구자를 위한 미해결 질문으로 마무리한다.
LLM 추론을 위한 힌트 유도 다양화 정책 최적화
Hint-Guided Diversified Policy Optimization for LLM Reasoning
최근 대규모 언어 모델(LLM)의 발전은 인상적인 추론 능력을 보여주었으며, 검증 가능한 보상을 활용한 강화학습(RLVR)은 유망한 성능 향상 전략으로 주목받고 있다. 그러나 기존 보상 메커니즘은 결과 수준의 정확성에 국한되어 있어, 모델이 다양한 해법을 고려하도록 유도하는 명시적인 신호가 부족하다. 대조적으로, 인간의 문제 해결은 일반적으로 여러 잠재적 접근법을 평가하고 가장 신뢰할 수 있는 해법을 선택하는 과정을 거치지만, 현재의 RLVR 프레임워크는 이러한 인지 과정을 명시적으로 유도하지 않는다. 이에 영감을 받아, 본 연구에서는 모델이 먼저 모든 잠재적 후보 해법의 개요를 힌트로 나열한 다음 추가 추론을 위해 가장 신뢰할 수 있는 해법을 선택하도록 하는 힌트 유도 다양화 정책 최적화(HDPO)를 제안한다. HDPO는 구조화된 추론을 위한 콜드 스타트(Cold Start for Structured Reasoning)와 힌트 유도 다양화 강화학습(Hint-Guided Diversified Reinforcement Learning)의 두 단계로 구성되어, 모델이 '제안-선택-사고(propose-select-think)' 궤적을 따라 다양하고 신뢰할 수 있는 해법을 생성하도록 장려한다. 실험 결과는 HDPO가 LLM의 추론 성능을 효과적으로 향상시키고, 후보 해법의 다양성뿐만 아니라 신뢰할 수 있는 해법을 식별하는 LLM의 능력 또한 향상시킴을 보여준다.
영향력 있는 다원주의적 정렬 연구를 위한 로드맵
A Roadmap to Impactful Pluralistic Alignment Research
책임 있는 AI에 관한 많은 연구는 수십억 명이 사용하는 AI 시스템의 행동을 바꾸는 것을 목표로 한다. 다양한 인간의 가치와 관점을 대표하고 이에 기여하는 AI 시스템을 구축하는 것을 목표로 하는 다원적 가치 정렬은 이러한 활발한 연구 의제 중 하나로 부상했다. 그러나 주요 프론티어 연구소와 오픈 웨이트 개발자를 감사한 결과, 다원적 정렬이 이들 모델의 학습이나 평가 방식에 영향을 미쳤다는 공개적 증거를 찾을 수 없었다. 다원적 정렬은 주요 목표를 달성하려면 실제 도입이 필요하므로, 우리는 세 가지 장벽을 규명하고 각각을 해결하기 위한 연구 로드맵을 제시한다. 1. 지금까지 다원적 정렬의 정당화는 대부분 규범적이거나 이론적이다. 다원적 AI가 사용자와 사회에 주는 이점과 단점을 측정하는 연구가 필요하다. 2. 다원적 정렬 연구 커뮤니티는 다원적 행동이 언제 정당화되는지, 그리고 실제로 어떤 모습이어야 하는지에 대해 합의하지 못했다. 개발자가 이를 구현할 수 있을 만큼 구체적으로 이 행동을 명세하는 연구가 필요하다. 3. 기존의 다원주의 평가와 방법은 배포할 준비가 되어 있지 않다. 다른 모델 특성에 미치는 영향을 보고하고 프로덕션 시스템의 요구 사항을 충족하는 평가와 방법이 필요하다. 이러한 장벽은 다원적 정렬에만 해당하지 않으므로, 우리의 로드맵은 유사한 변화 이론을 가진 책임 있는 AI 연구의 다른 분야에도 적용된다. 사람들이 더 많은 의사결정을 AI 시스템에 맡기고 AI 에이전트가 사람을 대신해 행동하는 만큼, 우리는 이 로드맵이 해당 연구가 그러한 결정을 내리는 배포된 모델에 도달하도록 돕기를 바란다.
모든 증명이 동등하지 않다: 정확성 너머의 LLM 증명 품질 평가
Not All Proofs Are Equal: Evaluating LLM Proof Quality Beyond Correctness
대규모 언어 모델(LLM)은 어려운 문제에 대해 올바른 증명을 내놓는 경우가 많을 만큼 유능한 수학 문제 해결자가 되었다. 그러나 정확성만으로는 충분하지 않다. 수학적 증명은 명료하고, 통찰력이 있으며, 전이 가능한 지식을 담고, 독자에게 전반적으로 유용해야 한다. 증명의 질은 주관적이며 독자와 맥락에 따라 달라지지만, 그 구성 요소 중 상당수는 구체화할 수 있다. 본 연구에서는 이러한 구성 요소를 식별하고, 어려운 경시대회 문제에서 선별하여 증명 품질의 확장 가능한 대리 지표 여러 가지를 측정하는 벤치마크인 ProofRank를 소개한다. 해당 지표는 (i) 간결성: 증명이 불필요한 단계를 피하는지 정량화, (ii) 계산 용이성: 증명이 지루한 계산에 의존하는 정도, (iii) 인지적 단순성: 사용된 증명 기법에 얼마나 접근하기 쉬운지, (iv) 다양성: 한 문제에 대한 모델의 증명이 얼마나 다양한지, (v) 적응성: 모델이 지정된 기법을 얼마나 잘 따를 수 있는지이다. 증명 품질은 정확성이 대체로 포착하지 못하는 차원에서 모델마다 크게 다르다는 것을 확인했다. 모든 증명 수준의 대리 지표는 프롬프팅으로 조절할 수 있으나, 대체로 정확성이 어느 정도 희생된다. 따라서 ProofRank는 정확성을 넘어서는 수학적 증명의 중요한 측면을 포착하며, 올바를 뿐만 아니라 가치 있는 증명을 생성하는 모델의 필요성을 보여 준다.
분류를 위한 데이터셋 증류 재고: 증류 세트가 코어셋보다 우수한가?
Rethinking Dataset Distillation for Classification: Do Distilled Sets Outperform Coresets?
데이터셋 증류(DD)는 대규모 데이터셋의 정보를 소수의 합성 샘플로 압축하여 효율적인 학습을 위한 간결한 학습 세트를 합성하는 것을 목표로 하는, 데이터 중심 머신러닝의 주요 접근법으로 부상했다. 그러나 DD 방법은 표준 ERM부터 단일/다중 교사 지도에 이르기까지 일관되지 않은 평가 프로토콜 하에서 평가되는 경우가 많아, 증류된 데이터 자체의 효과를 평가 방식과 분리하여 파악하기 어렵다. 또한 많은 기존 방법은 압축된 데이터셋을 실제 샘플의 부분집합으로 제한하면 표현력이 근본적으로 제한된다는 가정에 기반하여, DD가 코어셋 선택(CS)과 같은 데이터 가지치기 접근법보다 우수하다고 주장한다. 본 연구에서는 표준화된 데이터셋과 평가 프로토콜을 사용한 대규모 실험을 통해 DD 방법의 본질적 효과를 비판적으로 평가한다. 우리는 ImageNet-1K, ImageNet100, ImageNette에서 널리 채택된 세 가지 학습 프로토콜을 사용하여 일곱 가지 최신(SOTA) DD 방법을 네 가지 CS 전략과 비교 평가한다. 실험 결과, 일부 DD 방법은 단순한 무작위 부분집합조차 능가하지 못하며, SOTA DD 접근법도 대규모 데이터셋에서 코어셋과 비슷하거나 더 나쁜 성능을 보이면서 구축 비용은 상당히 더 높은 것으로 나타났다. 정확도 외에도 압축된 세트의 대표성, 다양성, 품질을 평가한 결과, 코어셋이 원본 데이터 분포를 일관되게 더 잘 포괄하는 것을 확인했다. 이러한 결과는 현재 DD 방법의 실용적 이점이 제한적임을 보여 주며, 코어셋이 여전히 경쟁력이 있고 데이터 중심 학습에서 계산적으로 더 효율적인 대안인 경우가 많음을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.