Metaverse Entertainment

Metaverse Entertainment

Technical Design Department Technical Development Team AI Part 2023.01 ~ 2024.05

Generative AI StyleGAN TTS / Voice LLM Chatbot

Projects

프로젝트를 선택하면 아래에 상세 내용이 표시됩니다 Select a project to view its details below

인플루언서 맞춤 이미지 생성 Influencer-Tailored Image Generation

업무 목표Objectives

  • 디자이너의 버추얼 인플루언서 SNS 이미지 편집 속도 개선
  • 특정 인물의 의상 착의, 구도 확인 등을 위한 이미지 생성 모델 구축
  • Improved the designers' editing throughput for virtual-influencer social posts
  • Built an image generation model for previewing outfits and compositions on a specific persona

담당 업무Responsibilities

업무 성과Achievements

  • 인플루언서 인스타그램(rina.8k) 포스트 제작
  • 유튜브 썸네일 및 컨텐츠 이미지 제작
  • Produced posts for the influencer Instagram account (rina.8k)
  • Produced YouTube thumbnails and supporting content imagery
Faceswap example
대역 모델 → 특정 인플루언서 face-swap 예시 Example of face-swapping from a stand-in model onto the target influencer persona

Face Re-Aging 기술 개발 Face Re-Aging Technology Development

업무 목표Objectives

  • 디자이너의 인물 연령 리터칭 작업 속도 개선
  • AI 기술 기반의 가이드 이미지 제공
  • Speed up designers' character-age retouching workflow
  • Provide AI-generated reference images to guide the work

담당 업무Responsibilities

  • StyleGAN 기반의 나이 변환 기술 연구 및 논문 작성
  • 연령 변환을 위해 두 단계로 구성된 새로운 프레임워크 제안
  • Researched and wrote a paper on StyleGAN-based age transformation
  • Proposed a novel two-stage framework for face re-aging

업무 성과Achievements

Age transformation result
연령 변환 가이드 이미지 생성 예시 Example reference images generated for age transformation

화자 변환 음성 AI 연구 Speaker-Conversion Voice AI

담당 업무Responsibilities

  • 촬영 비용 절감을 위한 특정 캐릭터 성우 전용 음성 변환 모델 미세조정 및 사내 배포
  • 캐릭터 음성 서비스를 위한 AutoEncoder 기반의 다중 언어 TTS 기술 개발
  • Fine-tuned and internally deployed a character-specific voice-conversion model to reduce voice actor casting costs
  • Developed an AutoEncoder-based multilingual TTS system for character voice services

업무 성과Achievements

  • 관련 유튜브 컨텐츠 제작 및 성우 섭외 비용 절감
  • Produced supporting YouTube content while cutting voice actor casting costs
MAVE April Fools' special thumbnail
음성 변환 TTS 기술을 적용한 MAVE 만우절 특집 영상 MAVE April Fools' special, featuring the voice-conversion TTS work

페르소나 AI Chatbot 개발 Persona AI Chatbot Development

담당 업무Responsibilities

  • RAG 기반 Open LLM(LLaMA2, GPT-4)을 활용한 챗봇 데모 구축 및 사내 테스트
  • 특정 아티스트의 정체성으로 학습된 LLM 모델을 사용한 1:1 대화 서비스 제공
  • 라이브 컨텐츠에 사용될 LLM 기반 챗봇 시스템 개발 및 Unreal Engine과 연동
  • 챗봇 시스템 전문 업체 미팅 및 관련 회의 참석
  • Built and internally tested a RAG-based chatbot demo on open LLMs (LLaMA2, GPT-4)
  • Delivered a 1:1 conversation service using LLMs trained on a specific artist's persona
  • Developed an LLM-based chatbot system for live content and integrated it with Unreal Engine
  • Met with specialist chatbot vendors and attended related discussions

관련 기사Related News

Chat SIU: persona chatbot conversation example
MAVE 멤버 '시우' 페르소나로 학습된 챗봇과의 대화 예시 ('챗 시우' 서비스) A conversation with the chatbot trained on MAVE member SIU's persona (the "Chat SIU:" service)