A survey on text generation using generative adversarial networks
원문 초록
This work presents a thorough review concerning recent studies and text generation advancements using Generative Adversarial Networks. The usage of adversarial learning for text generation is promising as it provides alternatives to generate the so-called "natural" language. Nevertheless, adversarial text generation is not a simple task as its foremost architecture, the Generative Adversarial Networks, were designed to cope with continuous information (image) instead of discrete data (text). Thus, most works are based on three possible options, i.e., Gumbel-Softmax differentiation, Reinforcement Learning, and modified training objectives. All alternatives are reviewed in this survey as they present the most recent approaches for generating text using adversarial-based techniques. The selected works were taken from renowned databases, such as Science Direct, IEEEXplore, Springer, Association for Computing Machinery, and arXiv, whereas each selected work has been critically analyzed and assessed to present its objective, methodology, and experimental results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머
Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond
뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.
패턴 인식기에서 개인화된 동반자로: 정신 건강 분야 대규모 언어 모델 서베이
From Pattern Recognizers to Personalized Companions: A Survey of Large Language Models in Mental Health
전 세계적으로 증가하는 정신 건강 질환 유병률은 제한된 자원, 높은 비용, 사회적 낙인, 개인정보 보호 우려와 같은 전통적 의료 체계의 오랜 장벽과 맞물려, 접근 가능하고 확장이 용이한 지원책에 대한 시급한 필요성을 낳았습니다. 대규모 언어 모델(LLM)은 고도화된 자연어 이해 및 생성을 통해 정신 건강 지원의 민주화를 이끌 강력한 잠재력을 지닌 혁신적 기술로 부상했습니다. 그러나 이 분야에서 급격히 확장되며 파편화된 연구들은 일관된 발전적 서사를 갖추지 못해, 현재의 진척 상황을 맥락화하고 향후 연구 방향을 파악하는 데 어려움을 초래하고 있습니다. 본 서베이 논문은 정신 건강 분야에서 LLM의 역할이 뚜렷하고 점진적으로 정교해지는 세 가지 단계를 거쳐 진화하고 있다는 중심 논제를 바탕으로 문헌을 체계화하고 분석하여 이러한 공백을 해소합니다. 저자들은 LLM이 평가를 위한 수동적인 정보 도구이자 패턴 인식기(Pattern Recognizer)로 주로 기능했던 1단계에서 시작하여, 일회성의 무상태(stateless) 상호작용을 수행하는 공감형 대화자(Empathetic Conversationalist) 역할을 하는 2단계를 거쳐, 상태를 유지하는(stateful) 인지 에이전트로 구현되어 장기적이고 개인화된 동반자(Longitudinal, Personalized Companion)를 지향하는 현재의 최전선인 3단계에 이르기까지 그 궤적을 추적합니다. 이러한 프레임워크를 뒷받침하기 위해 핵심 기술, 에이전트 아키텍처(프로필, 메모리, 추론, 계획), 그리고 데이터셋과 벤치마크라는 핵심 인프라를 체계적으로 검토하고, 이들의 진화가 이러한 발전 경로를 어떻게 뒷받침하는지 조명합니다. 본 연구는 이러한 발전적 관점을 통해 기존 연구를 종합적으로 정리하고, 궤적에 대한 통찰력 있는 서사를 제시하며, 정신 건강 관리를 위한 책임감 있고 효과적이며 인간 중심적인 AI의 미래 혁신을 위한 명확한 로드맵을 제공합니다. 본 서베이에서 검토된 큐레이션된 자료 모음은 프로젝트 저장소(https://github.com/Emo-gml/Awesome-Mental-Health-LLMs)에서 확인할 수 있습니다.
추론 엔진에서 추론 제어 평면으로: vLLM, llm-d, 그리고 효율적 분산 LLM 서빙의 진화
From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
대규모 언어 모델(LLM) 추론은 엔진 단위 최적화 문제에서 재사용 가능한 상태, 단계 배치(phase placement), 이기종 가속기, 네트워킹, 오토스케일링, 신뢰성, 서비스 수준 목표(SLO)를 아우르는 분산 제어 문제로 진화하고 있다. 본 논문은 동료 검수 시스템 연구, 오픈소스 구현, 문서화된 프로덕션 사례 연구를 가로질러 이러한 전환을 연결한다. vLLM과 llm-d를 상보적 계층으로 다룬다. 모델 서빙 엔진은 PagedAttention, continuous batching, 커널, 양자화, 병렬 처리 등의 메커니즘으로 실행을 최적화하는 반면, 추론 제어 평면은 플릿 전체에 걸쳐 어디서, 언제, 어떤 정책 하에 실행이 이루어질지를 최적화할 수 있다. 기여는 새로운 벤치마크가 아니라 종합에 있으며, 보고된 모든 성능 및 배포 결과는 원 출처에 대한 귀속을 유지한다. 종합된 증거는 현대 추론에서 희소 자원이 순수 FLOPs만이 아니라 관리되는 상태, 배치(placement), 네트워크 이동, 신뢰성, 의사결정 품질 쪽으로 이동하고 있음을 시사한다. 우리는 엔드포인트만이 아니라 실행 가능한 실행 계획을 선택하는 Inference Execution Planner를 제안한다. 여기에는 집약(aggregated) 대 비집약(disaggregated) 토폴로지, KV 소스 및 전송 동작, 하드웨어 변형, 라우팅/입장(admission) 정책, 더 느린 스케일링 결정이 포함된다. 또한 출처별 벤치마크 지도(atlas), 병목 이동(bottleneck-migration) 분류체계, 실용적 배포 지침, SLO-goodput 기반 평가 프레임워크, 에이전트(agentic), 멀티모달, 이기종, 복원력(resilient) 추론에 대한 연구 질문을 제공한다.
고수준 의미 지능을 향하여
Towards High-Level Semantic Intelligence
최근 AI의 발전은 인지 및 추론 능력을 크게 확장했다. 의미적 복잡성(semantic complexity) 관점에서 AI의 발전은 단순한 의미 처리에서 복잡한 의미 처리로 이어지는 뚜렷한 궤적을 보여준다. 초기 AI 시스템은 주로 직접적이고 문자 그대로의 의미 인식 또는 표현과 관련된 과제를 다루었지만, 현대 시스템은 점점 더 정교한 인지 추론을 수행할 것으로 기대되며, 이를 통해 고수준 의미(High-Level Semantics, HLS)의 이해와 생성을 가능하게 한다. 유사한 궤적은 인간의 인지 발달에서도 관찰할 수 있다. 우리는 이러한 전환을 기본 수준 의미 지능(Basic-Level Semantic Intelligence, BLSI)에서 고수준 의미 지능(High-Level Semantic Intelligence, HLSI)으로의 전환으로 정의한다. 그러나 이 문제는 기존 연구에서 아직 체계적이고 포괄적으로 검토되지 않았다. 이 공백에 동기를 부여받아, 본 서베이는 의미적 복잡성 관점에서 AI 의미 지능의 발전을 검토한다. 우리는 텍스트, 음성, 비전, 멀티모달 시나리오 전반에 걸쳐 유머, 풍자, 은유, 공감, 설득, 내러티브 및 기타 일반적인 HLS 현상을 포함한 HLS 과제에 대한 기존 연구를 체계적으로 조사한다. 구체적으로, 이해와 생성 모두에 대해 데이터 구축 방법, 모델링 및 최적화(optimization) 전략, 평가(evaluation) 방법론을 요약한다. HLS는 AI를 진정으로 인간과 유사한 지능으로 발전시키는 데 필수적이다. 의미 지능 관점에서 기존 방법과 통찰을 종합함으로써, 본 서베이는 HLSI를 향한 AI의 지속적인 발전을 지원하는 것을 목표로 한다.
더 많을수록 더 나은 것은 아니다: LLM 의견 다양성에 중요한 것은 무엇인가?
More Is Not More: What Matters for Diversity in LLM Opinions?
대규모 언어 모델(LLM)은 합성 설문, 포커스 그룹 모델링, 여론 예측과 같은 개방형(open-ended) 과제에서 다양한 인간 의견을 시뮬레이션하는 데 점점 더 많이 사용되고 있다. 그러나 LLM 출력은 체계적인 의견 동질화를 보인다. 실무자들은 다양성을 높이기 위한 다양한 개입 방법을 탐구해 왔지만, 연구 환경은 여전히 파편화되어 있다: 서로 다른 방법들이 비교 불가능한 지표로 개별적으로 평가되며, 실무에서는 보통 동시에 배포·업그레이드되어 특정 구성 요소에 대한 효과를 분리하기 어렵다. LLM 출력 다양성에 대한 보다 과학적인 이해를 위해, 우리는 두 가지 주요 개입 차원—입력 조건화(페르소나 깊이로 구현)와 상호작용 아키텍처—을 분리하는 요인 실험을 설계한다. 7개 모델에 걸쳐 실제 사용자의 개방형 질문 100개에 대해 모든 조건을 평가하고, 여러 상보적 지표로 다양성을 측정한다. 우리의 결과는 여러 일반적인 가정에 도전한다. 첫째, 페르소나 세부 정보가 많을수록 다양성이 단조적으로 증가하지는 않는다. 페르소나 조건화의 초기 단계만으로도 이득의 대부분을 이미 포착하며, 인구통계학적 세부 정보를 추가로 상세화하는 것은 일관되게 개선하지 않고 일부 모델에서는 다양성을 줄이기도 한다. 둘째, 단 하나의 최적 상호작용 아키텍처를 찾기보다, 서로 다른 아키텍처가 대체로 겹치지 않는 의견 영역을 탐색한다는 것을 발견한다. 여러 아키텍처를 결합하면 어느 하나를 최적화하는 것보다 더 넓은 커버리지를 얻을 수 있다. 셋째, 샘플링 temperature를 높이거나 다양성 지시를 추가하는 것과 같이 흔히 시도되는 저비용 대안은 구조화된 개입에 비해 미미한 효과만 낸다. 전반적으로, 우리의 연구는 다양성이 단일 차원을 따라 스케일링(scaling)한 결과가 아니라, 개입의 구조적 형태와 조합에 매우 민감함을 보여준다.
모델 속의 이야기꾼: 서사 패턴 상속, 확대 역학, 그리고 LLM의 정렬 거버넌스
The Storyteller in the Model: Narrative Pattern Inheritance, Escalation Dynamics, and Alignment Governance in LLMs
LLM은 주로 인간이 작성한 텍스트로 학습되지만, 해당 텍스트에 내재된 구조적·서사적 관습이 체계적 행동 영향의 원천이거나 배포된 시스템에서의 거버넌스 위험으로 거의 검토되지 않는다. 본 논문은 주인공, 적대자, 약자와 같은 원형적 역할과 긴장-해결 서사 호를 포함하여 출판된 인간 글쓰기에 내재된 스토리텔링 패턴이 학습 과정에서 흡수되어 이후 LLM 출력에 표면화되는지, 그리고 그로 인해 장기 상호작용에서 응답이 예상치 못한, 적대적이거나 수사적으로 유혹적인 행동으로 표류하는지를 검토한다. LLM 정렬, 페르소나 역학, 창발적 미정렬, 사용자 상호작용 패턴에 관한 최근 실증 연구에 대한 체계적 문헌 검토와 교차 논문 분석을 통해, 우리는 이 가설을 뒷받침하는 증거를 관찰한다. 연구 결과는 세 가지 핵심 패턴을 드러낸다. 첫째, LLM은 독립적으로 추론하기보다 학습 데이터의 통계적 패턴을 재현한다. 둘째, 아첨(sycophancy)과 기만성(deceptiveness)을 포함한 측정 가능한 잠재 특성이 관련 없는 프롬프트 전반에 걸쳐 안정적으로 창발한다. 셋째, 좁은 서사 과제에 대한 미세조정은 해당 과제를 훨씬 넘어서는 의도하지 않은 행동 변화를 야기할 수 있다. 또한 증거는 설득적이고 서사적 스타일의 출력이 실제 사용에서 가장 흔한 LLM 산출물 중 하나이며, 이러한 위험을 증폭시킨다고 시사한다. 서사 표류(narrative drift)는 배포된 AI 시스템에서 모니터링되지 않는 확대 경로를 구성하며, 개별 사건 탐지 메커니즘을 회피하고 전용 모니터링 도구를 필요로 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.