고려대학교 석사
전기전자공학과
윤동식
AI Engineer
Computer Vision / Edge AI
실서비스 조건에서 동작하는
Vision AI 시스템을
설계하고 배포합니다.
PoC to Deployment for Real-World Vision Systems
화재 감지 엘리베이터 내부 분석 이상행동 인식 생성형 AI
PROFILE
인적 사항
학력
백석대학교 학사
ICT학부 멀티미디어공학
경력
HDC LABS
R&D Center AI LAB, Computer Vision Part
Metaverse Entertainment
Technical Development Team, AI Part
핵심 강점
현장 배포를 전제로 한 Vision PoC 설계 및 검증 경험
실험용 PoC를 배포 가능한 구조로 전환해 현장 적용까지 수행
도메인 특화 합성데이터 파이프라인 구축
실데이터와 합성데이터를 연계한 데이터 구축 체계 설계
엣지 디바이스 기준 파이프라인 재설계
경량화 모델 기반 구조 설계 및 배포 자동화 환경 구축
논문 및 특허로 이어지는 연구 성과 확장
연구 산출물의 지적 재산화로 회사 기술 자산 축적
기술 스택
Vision Models
YOLO family, Florence2, CLIP, SAM
Generative AI
StableDiffusion, FLUX, LoRA, ComfyUI, StyleGAN
Edge AI / Deployment
Jetson, ONNX, TensorRT, Docker, Bitbucket CI/CD
Languages / Frameworks
Python, PyTorch, Gradio
PROJECT 01
비전 데이터 탐색 및 학습 운영 Agent
자연어와 이미지 기반 데이터 탐색부터 VLM 보조 검수, 사람 승인 기반 학습까지 연결
Agentic Workflow
Multimodal Retrieval
Vision DataOps
LangGraph
Dify
비전 데이터 탐색 및 학습 운영 Agent
01업무 목표
비개발자가 보유 데이터의 종류와 규모를 빠르게 파악하는 탐색 환경 구축
지속 추가되는 데이터를 일관된 기준으로 관리하고 탐색, 검수 및 학습 후보로 연결
02데이터 탐색 및 관리
자연어 및 이미지 질의로 데이터 유형, 규모, 출처와 라벨 상태 조회
신규 및 변경 데이터를 증분 색인해 최신 데이터 현황과 검색 결과에 반영
VLM 보조 검수로 검색 결과와 객체 라벨의 일치 여부 및 판단 근거 제공
03운영 성과
수만 장 규모의 비전 데이터를 통합 색인해 대화형 현황 탐색 경로 구축
탐색부터 VLM 검수, 사람 승인 기반 GPU 학습과 결과 조회까지 E2E 흐름 검증
모델 오탐 이미지를 유사 데이터 재탐색과 후속 학습 후보 구성으로 연결
데이터 현황 및 샘플 조회
학습 후보 구성 및 승인 전 검토
PROJECT 02
아이파크몰 AI 방문자 분석
방문자 분석 요구의 타당성을 판단하고 PoC 범위와 KPI를 정의, Vision Agent 기반 품질 관제로 확장
Technical PM
On-prem AI
PoC
LangGraph
Vision Agent
n8n
아이파크몰 AI 방문자 분석
업무 목표
출입구 CCTV 기반 방문자 IN/OUT 및 특성 분석의 현장 적용 가능성 검증
실환경 데이터 기반 모델 성능과 운영 조건의 확인
담당 업무
온프레미스 환경과 개인정보 보호 조건을 반영한 CCTV 데이터 처리 구조 설계
기능별 KPI와 평가 기준을 수립하고 데이터 수집, 라벨링과 검수 체계 설계
다중 사용자 라벨링 도구 구축 및 검수 기준 설계
프로젝트 운영
요구 분석, 평가 설계, 개발 실행과 현장 검증을 연결한 단계별 추진 체계 수립
내부 사업개발 PM과 AI 엔지니어 3명의 역할, 실행 항목과 완료 기준 구조화
기술 타당성, 데이터 확보 가능성과 검증 결과 기반의 우선순위 및 개발 방향 결정
아이파크몰 AI 방문자 분석 주요 성과
01온프레미스 현장 PoC 운영
영상과 얼굴 정보를 외부로 전송하지 않는 현장 분석 환경 운영
22개 CCTV, 3주 운영, 방문 기록 250만 건 이상 처리
02데이터 및 평가셋 확보
라벨 데이터 구축과 n8n 기반 진척 관리 자동화 구성
연령대 및 성별 라벨 데이터 약 5만 장 구축
작업자 5명의 객체 수와 달성률을 집계해 업무 메신저로 공유
Retail 챗봇 260문항 평가셋을 두 가지 기준으로 검증
정답 일치 여부와 응답 품질을 함께 평가
03분석 기능별 성능 검증
현장 표본과 분리된 평가 세트 기반 기능별 성능 확인
대표 출입구 직접 계수 및 CCTV 재검수를 통한 정확도 약 95% 확인
외형 판정 평가 라벨 기준 성별 90.7%, 연령대 90.5% 일치
Retail 챗봇 260문항에서 정답률 83.1%, 답변 품질 3.82/5, 사실 정확성 4.28/5 확인
04PoC 운영 과정에서 품질 관리 필요성 도출
카메라 녹화 기록과 방문객 지표 이상을 정기적으로 점검할 관리 체계의 필요성 확인
후속 통합 관제 Agent 구현 및 사람 검토를 통한 7개 카메라 설정 조정
CCTV 상태 및 방문객 지표 통합 관제 Agent
01업무 목표
카메라 및 시간대별 방문객 지표의 이상 탐지와 사후 원인 검토 근거 확보
원본 방문객 지표를 변경하지 않는 운영 품질 검수 구조 구축
02판단 및 진단 구조
규칙 및 통계 탐지기로 이상 여부와 S0부터 S3까지 심각도 판정
GPT-5.5를 수치 기반 원인 설명과 궤적 이미지의 원인 후보 진단에 각각 적용
진단 결과가 이상 등급과 운영 설정을 변경하지 않도록 판단 권한 분리
03운영 안전장치
운영 TimescaleDB 5개 테이블의 읽기 전용 조회 및 별도 QA 영역에 검토 결과 기록
S1과 S2는 품질 플래그 기록, S3는 LangGraph 사람 승인 대기 분기
22시 30분 야간 배치 및 S3 사건 발생 시 메일 검토 요청 경로 구성
count_inflation
반복 교차 및 계수선 위치 진단
S2
traffic_spike
이동 궤적 기반 원인 추정
S2
PROJECT 03
엘리베이터 내부 상황 분석 시스템
엘리베이터 현장 적용을 목표로 데이터 구축부터 모델 검증, 배포 자동화까지 수행
YOLO
FLUX
Jetson
Bitbucket
CI/CD
엘리베이터 내부 상황 분석 시스템
업무 목표
AI 기반 엘리베이터 내부 상황 실시간 분석 시스템 개발
엘리베이터 내부 점유 상태, 반려견 합승 등 실시간 상황 분석
담당 업무
기술 제휴 MOU 검토를 위한 엘리베이터 내부 상황 분석 PoC 설계 및 성능 검증
실서비스 적용을 위한 배포형 모델 구조 최적화 및 검출, 판단 로직 정교화
엘리베이터 특수 시점 대응 합성 데이터 생성 및 실데이터 수집, 라벨링 체계 구축
모델, 코드 변경사항 반영을 위한 배포 자동화(CI/CD) 환경 구축
HDC랩스 사옥 엘리베이터 내부 PoC 영상 예시
엘리베이터 내부 상황 분석 시스템 주요 성과
01기술 PoC 검증
반려견 검출과 점유율 추정이 가능한 상황 분석 PoC 설계 및 검증
HDC현대산업개발, HDC랩스, 현대엘리베이터 기술 제휴 MOU 체결
PoC 검증 결과를 3사 기술 제휴 검토의 기술적 근거로 활용
02엣지 환경 재설계와 데이터 전략
10Hz 상태 송신 요구 대응을 위한 Jetson 기반 경량 구조 전환
사내 엘리베이터 2대 실연동, E/V 운행 및 도어 제어 검증
운영 시나리오 중심 검증 및 판단 로직 최적화로 제품화 가능성 제고
top-view 차폐, door status 기반 상황과 CAN payload 출력 구조 검증
내부 7개 시나리오 평균 KPI 97.7% 달성
도메인 특화 합성 데이터 생성 체계와 실환경 데이터 확보 및 정제
반려견 검출 mAP50-95 0.47 → 0.79 개선
03배포 준비와 연구 확장
Jetson(ARM64) 환경의 모델 빌드 및 도커 기반 배포 파이프라인 구축
코드 변경 시 빌드 및 배포 파이프라인이 자동 실행되도록 전환
Vision AI 전반 후속 연구 및 IP 자산 확보 기반 마련
관련 논문 2편 제출, 특허 3건 발명자 등재
기술 검증용 PoC 아키텍처 예시
PROJECT 04
지하주차장 화재 감지 보조 시스템
지하주차장 CCTV 환경에 맞춰 PoC 설계부터 현장 배포까지 전 과정 수행
YOLO
Florence2
CLIP
StableDiffusion
Hailo
지하주차장 화재 감지 보조 시스템
연구 필요성
잇따른 지하주차장 전기차 화재 사건 발생으로 전용 감지 시스템 요청
이상 온도 조기 감지 및 자동 알림이 가능한 화재 감지 보조 시스템 구축 필요
담당 업무
지하주차장 CCTV 환경 특화 합성 데이터 생성 프로세스 설계 및 구축
합성 데이터 기반 화재, 연기 탐지 YOLO 모델 재학습 및 성능 검증
PoC에서 현장 배포까지 단계별 프레임워크 연구 및 재설계
외부 포팅 업체 및 내부 연계 조직과 협업하여 알림 서비스 연결
AI CCTV 감시 공간 내 불꽃, 연기 감지 시 화재 감지 팝업 알림 예시
지하주차장 화재 감지 보조 시스템 주요 성과
01연구 결과
YOLOv8s + VLM(Florence2) 기반 화재, 연기 탐지 PoC 설계 및 논문 발표
합성 데이터 활용으로 화재, 연기 탐지 정량적 성능 향상
F1 0.82 → 0.86, 연기 recall 0.70 → 0.83
도메인 특화 데이터 생성 파이프라인 구축으로 후속 연구로 확장
추가 연구를 통한 논문 게재 및 특허 등록
02배포 구조 전환
초기 VLM 중심 PoC 구조에서 엣지 디바이스 제약으로 현장 적용 한계 확인
YOLOv8n + CLIP 경량 구조로 전환, Hailo 듀얼 칩 기반 실행 구조 확정
단순 모델 교체가 아닌 판단 구조 자체를 사후 검증 방식으로 재설계
03현장 적용
광명센트럴아이파크 전기차 충전구역 화재 감지 보조 시스템 시연 및 적용
현장 운영 중 모델 오탐 이슈에 대한 원인 분석과 재학습 대응 수행
반복 오탐 케이스를 학습 데이터로 재반영해 현장 대응 모델 개선
운영 초기 대비 오탐 알람 약 88% 감소
ICLRW에 게재된 YOLO 및 VLM이 결합된 화재 감지 프레임워크
광명센트럴아이파크 AI 화재 감지 보조 시스템 적용 현황
PROJECT 05
콘텐츠 제작을 위한 생성형 AI 기능 개발
버추얼 인플루언서 이미지 생성, Face Re-Aging, 화자 변환 음성 AI
StableDiffusion
LoRA
StyleGAN
ComfyUI
Gradio
콘텐츠 제작을 위한 생성형 AI 기능 개발
01인플루언서 맞춤 이미지 생성
Stable Diffusion, LoRA, ComfyUI workflow, Gradio WebUI
버추얼 인플루언서 콘텐츠 제작특정 인물 맞춤 이미지 생성 모델 및 관련 내부 툴 구축
기여도
02Face Re-Aging 기술 개발
StyleGAN, GAN Inversion, Gradio WebUI
디자이너의 인물 연령 리터칭 효율 개선2단계 연령 변환 프레임워크를 설계, 연구 성과로 확장
기여도
비전 기반 행동 인지 케어 로봇
업무 목표
이상 단서를 경보 대신 질문의 계기로 쓰는 침대 옆 케어 로봇 설계
벤치마크 성능과 로봇 시점 성능을 분리해 실제 상호작용 지표로 평가
담당 업무
Tapo C220과 Jetson Orin Nano로 1차 실물 프로토타입 제작
로봇 카메라 영상의 신체 단서를 ROS 2 이벤트로 전달하는 두 인지 경로 구성
단서마다 질문과 응답 창을 두 번까지 반복하고, 무응답일 때만 알림 1회
로봇 카메라 1~2m 거리 영상 28개로 RGB 외형 경로와 포즈 중심 경로 비교
주요 성과
벤치마크 97.7% RGB 모델이 로봇 시점에서 질문 단서 2/16에 그침 확인
포즈 중심 경로는 12/16, 정상 영상의 불필요한 질문 2/8
질문 우선 FSM 이벤트 주입 시험 13/13회 통과
