Generative AI Portfolio

윤동식 Dongsik Yoon

합성 데이터 생성, 자동 검수, 콘텐츠 제작

kevinds1106@naver.com│홈페이지│포트폴리오│CV│경력기술서│인스타그램

수록 작업

01상품 이미지 기반 캐릭터 룩북 생성GPT Image, Higgsfield, MiniMax H302

02보행자 성별/연령 데이터셋 증강Qwen-Image-Edit03–04

03특정 현장 대상 데이터셋 생성 자동화FLUX.205–06

04현장 수집 제약 데이터셋 생성SD1.5 + FLUX.1, ControlNet07–08

05특정 인물 얼굴 생성과 디테일 보정SD1.5, SD2.0, SDXL, LCM, IPAdapter09

버추얼 인플루언서 생성 이미지 — METAVERSE ENTERTAINMENT
VIRTUAL INFLUENCER RINA

01 / 09

PERSONAL PROJECT INSTAGRAM

상품 이미지 기반 캐릭터 룩북 생성@fashionnonkey 인스타그램↗

작업 개요: 모델 촬영 없이 상품 이미지만으로 고정 캐릭터의 착용 컷과 릴스를 만드는 제작 파이프라인
생성 방식: 상품 사진 레퍼런스로 GPT Image와 Higgsfield 결과를 비교하고, 채택 컷은 서버의 ComfyUI 워크플로에서 MiniMax H3로 영상화

제작 흐름

입력

IMAGE A/B GPT Image vs Higgsfield MCP 연결

출력

반려

GEN

GEN

전송

comfyui bot 재구성 예시

LOOK 06

MiniMax H3로 전달

요청

VIDEO MiniMax H3

출력

릴스 0:05

보정

01상품 이미지상품 4점 + 후디 레이어

02착장 컷 생성두 경로 비교 후 채택

03생성 컷 여러 장같은 캐릭터로 씬 A와 B

04텔레그램 봇채택 컷 전송

05영상 생성ComfyUI 서버 워크플로

06소개 영상릴스로 편집

07게시피드 및 릴스

실패 → 수정 → 채택

사례반려 컷실물 REF조치채택 컷

CASE 01

1가슴 로고 누락 Palace × Oakley 플리스

GEN반려

REF1

프롬프트 수정→재생성1 로고 보완

게시본채택

CASE 02

2선글라스 디테일 누락 Prada Symbole 선글라스

GEN반려

REF2

프롬프트 수정→재생성2 디테일 보완

게시본채택

생성 결과게시본, 같은 착장의 두 장면

이미지 속 상표는 각 권리자 소유이며 해당 브랜드와 무관 02 / 09

보행자 성별/연령 데이터셋 증강아이파크몰 방문자 분석↗

작업 개요: 저해상도 공개 데이터셋 RAPv2를 고해상도로 재생성. 자세와 의복은 유지, 연령과 성별은 라벨과 일치하도록 조건 부여
사용 모델: qwen_image_edit_2511_bf16 qwen_2.5_vl_7b_fp8_scaled qwen_image_vae LoRA Lightning-4steps-V1.0-bf16
적용 기법: Qwen-Image-Edit 모델을 활용하여 원본의 구도와 인물은 그대로 두고 흐릿하게 뭉개진 저해상도 디테일만 복원

모델 로드
프롬프트 조건
샘플러 스케줄
VAE 변환
이미지 처리

03 / 09

복원 결과와 지표 검수

데이터셋 검수

지표 구성과 검출 항목

정규화 상관(ZNCC)	전체 구조가 원본에서 이탈했는가
평균 절대차(MAD)	픽셀 평균 차이가 과한가
Canny edge IoU	윤곽선이 유지되는가
HSV 히스토그램	색 분포가 무너졌는가
Haar 얼굴 검출	없던 얼굴이 생겼는가
합산 점수	위 다섯 항목을 가중 합산한 종합 점수

검수 절차

초기 생성분 전체 84,928장 중 10,413장 재생성 대상 (12.26%) — 얼굴 환각 / 구조 이탈 / 색상 붕괴 등

재생성 대상 판정 사례

왼쪽은 얼굴 환각과 구조 이탈, 오른쪽은 구조 이탈만 검출된 컷

최종 복원 결과

세로 197~515px 원본을 1522~1568px로 복원 — 픽셀 수 기준 9~59배

04 / 09

특정 현장 대상 데이터셋 생성 자동화엘리베이터 내부 상황 판단↗

작업 개요: 수집이 어려운 배경과 공개 데이터에 없는 객체 조합을 인페인팅으로 만들고, 3단 자동 큐레이션으로 사용 가능한 컷만 선별
사용 모델: FLUX.2-dev DualCLIP (t5 + clip_l) ae (VAE)
적용 기법: 매 합성마다 특정 ROI에 랜덤 위치 마스크를 적용하고 FLUX.2-dev 인페인팅 모델을 통해 배경은 고정한 채 마스크 영역에만 특정 객체를 생성
관련 연구: Auto-Curated Domain-Specific Dataset Generation via Diffusion Models (WACVW 2026) 프로젝트 페이지 논문 arXiv 발표 영상

모델 로드
프롬프트 조건
샘플러 스케줄
VAE 변환
이미지 처리

05 / 09

합성 결과와 3단 큐레이션

데이터셋 검수

자동 선별 지표 구성

S_det	합성된 객체를 검출기가 찾아낸 신뢰도
B_det	검출기가 반환한 객체 경계 박스, 이후 mask 위치와 IoU 비교
S_aes	미학 평가 모델의 생성 품질 점수
S_vlm	프롬프트 의도와 VLM이 서술한 장면의 부합 정도
선호도 분류기	주관적 선별 기준을 학습한 판정 모델

탈락 사례

06 / 09

현장 수집 제약 데이터셋 생성지하주차장 화재 감지↗

작업 개요: 지하주차장 CCTV 프레임의 차량 영역에 검은 연기와 차량 화재를 인페인팅 합성. 촬영이 불가능한 재난 상황의 탐지 학습 데이터를 보강
사용 모델: realisticVisionV60B1_v51HyperInpaintVAE FLUX.1-dev (2nd pass) LoRA smokeanywhere, redblack, on_fire10, lcm_sd15 control_v11p_sd15_canny_fp16
적용 기법: Canny ControlNet으로 차량 윤곽을 고정하고 SD1.5 인페인팅 모델과 특정 LoRA를 통한 연기와 화재 질감을 주입, 그 후 FLUX.1-dev 2차 패스로 디테일을 정리

모델 로드
프롬프트 조건
샘플러 스케줄
VAE 변환
이미지 처리

07 / 09

연기와 화재 합성 결과

개입 범위	원본 프레임의 차량 bbox 단위로 마스크를 만들어 그 영역만 개입
선별 기준	연기와 화재가 실제와 같이 합성된 이미지만 라벨러가 채택, 실패본 제외

연기 합성

화재 합성

08 / 09

특정 인물 얼굴 생성과 디테일 보정버추얼 인플루언서 이미지 생성↗

작업 개요: 디자이너의 SNS 콘텐츠 제작 속도 개선을 위한 맞춤형 이미지 생성 모델 제공
사용 모델: SD1.5 / SD2.0 / SDXL LCM fine-tuned LoRA IPAdapter Reactor FaceDetailer
적용 기법: LoRA finetuning으로 인물 정체성을 고정하고 IPAdapter, Reactor, FaceDetailer 등으로 참조 이미지의 얼굴 특징을 반영

ComfyUI 노드 그래프 (예시)

생성 결과rina.8k 인스타그램 ↗

09 / 09