다짜고짜 따라 해보는 스테이블 디퓨전 ComfyUI
HS Ad 기사입력 2024.03.05 12:00 조회 499
 

생성형 AI의 시대에 살고 계신 여러분 안녕하신가요?

요즘 뉴스를 보든, 팀 회의에 들어가든, 친구들과 카톡에서 잡담을 하더라도 생성형 AI가 빠지는 곳이 없습니다. Chat GPT 텍스트 생성을 시작으로 스테이블 디퓨전과 미드저니를 중심으로 한 이미지 생성, 그리고 최근에는 SORA가 발표되며 동영상까지 AI가 생성하는 시대가 찾아왔습니다. 그러다 보니 'AI의 미래가 어떻다~', '기술이 얼마나 대단하다~'. '업무 효율성을 얼마나 늘릴 수 있다' 등 다양한 분석 글이 쏟아지고 있습니다. 하지만 정작 사용방법에 대한 글은 찾기 어려운 것 같습니다. 그래서 오늘은 누구나 저를 따라오면 스테이블 디퓨전을 사용할 수 있는 방법을 글로 작성해보려 합니다. 정말 정말 쉽고 남녀노소, 컴맹 누구든 괜찮습니다. 컴퓨터 사양이 좋지 않아도 괜찮습니다! 인터넷만 연결되어 있다면, 저를 따라서 스테이블 디퓨전을 체험할 수 있게 해 드리겠습니다!

이번 글에서는 구글에서 제공하는 클라우드 컴퓨터 Colab Pro를 이용해 스테이블 디퓨전(ComfyUI)을 설치하고 기초적인 사용법에 대해서 알아보는 시간을 가지겠습니다. 어려운 내용은 전부 빼고 최대한 쉽게 스테이블 디퓨전을 맛볼 수 있게 글을 작성하였으니 마음 편하게 따라와 주시면 좋겠습니다!

그럼 새로운 시대를 향한 첫걸음을 위한 준비물은 아래와 같습니다. 

1. 우리 모두 하나쯤은 가지고 있는 Google 계정

2. 10$ (Google Colab Pro 월 이용료)
AI 신세계를 향한 티켓값이 10$? 싸다 싸 결제 방법까지 친절하게 정리할 테니 걱정 마세요!

3. Google Drive 약 10GB의 여유공간 무료 제공 공간이 15GB입니다! 문제없으시죠?

 

 

자! 마음의 준비가 되셨나요?  그럼 시작해 보겠습니다! (Colab Pro 계정이 있으신 분은 건너뛰어도 됩니다.)

가장 먼저 Google에 로그인을 하시고 "Colab"을 검색해 주세요.


 
 Colab.google 두 번째 페이지로 접속해 주세요!


 
Open Colab 클릭!
 




이렇게 “노트 열기” 창이 열리는데요. 우선 Pro 버전으로 업그레이드를 해야 하기 때문에 취소 버튼을 눌러주세요.
 




우측 상단에 톱니바퀴 클릭! 톱니바퀴를 클릭하게 되면, 설정창이 나타납니다. 여기서 왼쪽 메뉴의 “Colab Pro”를 누르시고 가운데 “자세히 알아보기” 버튼을 눌러주세요.





Colab Pro 월 $9.99을 눌러주세요. 과거에는 Colab 무료 버전에서도 스테이블 디퓨전(ComfyUI)을 사용할 수 있었는데, 23년 10월 16일 기준, 스테이블 디퓨전(Stable Diffusion)을 사용하면 제재를 가한다는 정책이 변경되었습니다. Colab으로 스테이블 디퓨전을 사용하려면 Colab Pro 구독이 필요합니다. 아마도 스테이블 디퓨전의 GPU 사용량이 높아서 계속해서 무료로 제공하긴 어려웠던 모양입니다.





자! 이제 왼쪽 상단의 로고가 PRO로 변경된 걸 확인할 수 있으실 겁니다. 이제 바로 스테이블 디퓨전(ComfyUI) 설치까지 가보도록 할게요! 준비한 아래 링크로 접속해 주세요.
(https://colab.research.google.com/drive/1cBB2HPmOuTk8HM7GMADAdRA1uEfpc_wM?usp=sharing)

 


 

미리 작성된 스테이블 디퓨전(ComfyUI) 설치, 실행 코드가 있습니다. (공유된 코드는 ComfyUI git에서 제공하는 설치 코드에서 dependencies 이슈를 수정하고 Manager를 추가한 버전입니다.)
보이는 화면은 저의 구글 드라이브에 위치한 파일이기 때문에 Drive로 복사를 클릭하셔서 본인의 구글 드라이브로 가져가시면 됩니다. 클릭하면 바로 개인 Colab으로 연결됩니다.




왼쪽 상단에 “colab_comfyui_240303.ipynb의 사본”이라 뜬다면, 제대로 가져오신 겁니다. 본격적인 설치에 앞서서 Colab Pro버전에 맞게 GPU를 선택할 수 있습니다. RAM, 디스크 우측의 ▼를 클릭하면, 런타임 유형 변경을 선택할 수 있습니다. Pro에 맞게 조금 더 좋은 GPU를 일정 리소스만큼 사용할 수 있습니다. (리소스 다 쓸 경우 추가 구매 필요)





이제 설정도 끝났겠다! 우측 옵션을 모두 클릭하고 코드를 실행해 보겠습니다. 코드 실행은 왼쪽 상단의 ▶ 단추를 클릭하시면 됩니다. 구글 드라이브를 사용하게 설정하였기 때문에 액세스 권한을 요청하는 팝업창이 나타납니다. 연결, 승인을 눌러주세요.





Colab이 열심히 환경설치를 하고 있는 동안 우리는 스테이블 디퓨전 모델을 다운로드하러 가겠습니다.

 



통 최근에 스테이블 디퓨전을 처음 접하시는 분들은 SD XL 1.0 모델을 다운로드합니다. 하지만 오늘은 “맛보기”를 위한 날이기에 6.94GB의 SD XL 1.0 아닌 “Real Dream”이라는 2GB짜리 인물 중심으로 학습된 모델을 사용하겠습니다. 단순히 구글 클라우드 업로드 시간을 줄이기 위해 SD 1.5 기반의 저용량 모델을 선택한 것이기 때문에 “나는 XL 기반의 모델을 선택하고 싶다.” 하시면 아래 Civitai.com에 접속하셔서 마음에 드는 Checkpoint 모델을 다운로드하시면 됩니다.
Civitai.com: 세계 최대 이미지 AI생성 커뮤니티 https://civitai.com/models
 

출처: https://civitai.com/models/153568?modelVersionId=275455
 

모델을 다운로드할 때, 주의하실 점이 하나 있습니다. 오픈소스로 자유롭게 공유되고 있으나 작은 규모의 Checkpoint 모델도 2GB가 넘기 때문에 안에 어떤 악성코드, 바이러스를 포함하고 있을지 알 수 없습니다. 

그래서 이러한 위험을 방지하고 AI모델 데이터의 빠른 저장과 배포를 목적으로 개발된 형식이 Safetensor입니다. 안전과 속도를 위해서라도 Safetensor 형식을 확인하고 다운로드하여 주세요. Cvitai에서 다운로드하는 대부분의 모델은 Safetensor 형식입니다.


 



Checkpoint 모델을 다운로드하셨다면, 구글 드라이브에 올려줘야 합니다. Colab에서 환경설정이 끝났다면, Google Drive 접속하면 ComfyUI 폴더가 기다리고 있을 겁니다.





Models 하위 폴더인 Checkpoints 폴더에 다운로드한 Checkpoint 모델을 업로드해 주세요. 그럼 이제 실행작업만 남기고 모든 준비가 끝났습니다!





다시 Colab으로 돌아와서 실행을 위해 “Run ComfyUI with localtunnel” 실행 단추를 클릭해 줍니다.



결과창에 위와 같은 URL링크가 나타납니다. 클릭해 주세요!


 
두둥! Tunnel Password 입력 창이 나타납니다.

 


Password는 바로바로! Colab 실행창에 있던 ip주소입니다.


 

 

짠! 드디어 스테이블 디퓨전을 사용할 수 있는 ComfyUI에 접속했습니다. 
박수 ?????
이곳에서 새로운 시대를 향한 첫걸음 내딛을 수 있습니다. 그러면 하나하나 설명하기 전에 다짜고짜 생성을 한번 해볼까요? 예제로 작성되어 있는 프롬프트가 있습니다.

그러니 우리는 왼쪽 Load Checkpoint에서 구글 드라이브에 업로드했던 Checkpoint 모델을 선택해 줍니다. 그리고 우측 Quene Prompt를 클릭하면 예제로 작성된 프롬프트대로 이미지가 생성됩니다. 참고로 Save/Load는 생성물에 대한 버튼이 아니라 작성되어 있는 워크프로세스(아래 설명)를 저장하고 불러오는 버튼입니다.





어떠신가요? 프롬프트대로 이미지가 잘 생성되었나요? 지금 보이는 화면이 가장 기본 중에 기본인 스테이블 디퓨전의 작업 프
로세스입니다. 오늘은 딱! 눈에 보이는 프로세스만 이해하고 마치도록 하겠습니다. 전~~혀 어렵지 않습니다. 단순히 역할이 나눠진 플로우 차트로 이해하시면 됩니다.

우선 용어를 정리하면 Load Checkpoint, ClLP Text Encode, Ksampler 등 하나의 작업 창을 노드(Node)라고 부릅니다. 그리고 이러한 노드들의 집합을 워크프로세스라고 부릅니다. 우리는 다양한 노드를 조합하여 복잡한 워크프로세스를 제작할 수 있고 이를 통해 원하는 결과물을 생성 및 수정을 할 수 있습니다.





기본 워크프로세스에 존재하는 노드에 대해서 살펴보면, Load Checkpoint 노드는 말 그대로 Checkpoint 모델을 불러오는 노드입니다. 모델을 불러오기 위해서는 정확한 위치에 Checkpoint 모델이 존재해야 하고 ComfyUI 실행 중에 구글 드라이브 상에 모델을 추가한 경우에는 Colab에서 “Run ComfyUI with localtunnel”을 중단하고 재실행해야 적용됩니다.



 
다음은 ClLP Text Encode 노드입니다. 두 개의 노드가 있는데, Output이 Ksampler의 어떤 Input에 연결되어 있는지로 역할이 나뉩니다. 위에 있는 ClLP Text Encode는 생성하고자 하는 대상을 텍스트로 입력하는 긍정 프롬프트입니다. Ksampler의 positive input과 연결되어 있습니다.

반면에 아래에 위치한 ClLP Text Encode는 생성 대상에 없었으면 하는 내용을 텍스트로 입력하는 부정 프롬프트입니다. Ksampler의 negative input과 연결되어 있습니다. Output을 끌어서 바꾸게 된다면, 역할 역시 바꿀 수 있습니다.





Empty Latent Image 노드에서는 생성 이미지의 크기, 한 번의 작업에서 생성할 이미지의 개수를 정할 수 있습니다.






KSampler 노드는 스테이블 디퓨전 모델의 이미지 생성 메커니즘을 수행하는 노드입니다. 스테이블 디퓨전의 기본 원리를 상세히 다루진 않겠습니다만, Sampler는 노이즈가 가득한 임의의 이미지에서 프롬프트에 맞게 스탭 별로 노이즈를 제거해 가며 이미지를 생성하는 기능을 합니다. 그리고 seed, control_after_generate, step 등은 Sampler의 구동을 위한 설정 값(파라미터)입니다.

 

Seed는 생성할 때, 임의로 주어지는 시작점으로 값을 고정하게 되면 거의 동일한 이미지가 여러 번 생성됩니다.

Control_after_generate는 seed 값을 +-1씩 변경, 무작위, 고정을 설정할 수 있는 파라미터입니다. Steps은 몇 번의 샘플링을 할지 정할 수 있습니다. 높다고 하여 반드시 좋은 품질의 이미지가 나오는 것은 아닙니다. 일반적으로 20~30의 값을 사용합니다. sampler name은 샘플러 알고리즘 선택하는 것으로 모델 별로 권장하는 샘플러 알고리즘이 있습니다. 


colab ·  comfyui ·  HSAd ·  생성형AI ·  스테이블디퓨전 · 
이 기사에 대한 의견 ( 총 0개 )
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
[캠페인 하이라이트] MCC 고베식당을 이야기하다
크리에이티브 컨설팅, 실행을 담보로 할 수 있을 것인가? ‘MCC 고베식당’ 프로젝트는 둘로 나뉘어진다. 바로 컨설팅과 실행이다. 그 둘이 함께 붙어 있기에 힘을 발휘한 프로젝트였고, 또한 둘로 나뉘어 있기에 어려운 프로젝트기도 했다. 2010년 4월 27일 매일유업에서 날아든 굵직한 숙제 하나. “우유하던 우리가 카레를 하려고 하는데, 어떻게 하면 잘 할지… 총체적으로 해봐!” 그렇게 시작된 숙제는 제일기획으로서는 새로운 ‘제품 컨설팅’ 의 영역이었다. 지금 이 시점, ‘ 크리에이티브 컨설팅’이라 명명된 우리만의 USP(Unique Selling Point)가 되어가고 있지만 초기만해도 가뜩이나 압도적 독점브랜드가 있는 시장 상황 속에 제품개발도 완결되지 않은, 유통도 가격도 결정되지 않은 실로 막막한 프로젝트였다.
[월간 2024밈] 4월 편 - 잼얘해봐?
  오늘 점심 떵개했다?  HSAD 광고 사건  펠꾸 모음  카카오톡 미니 이모티콘  잼얘 해봐.   오늘 점심 떵개했다 음식을 맛있게 먹기로 유명한 유튜브 먹방 유튜버 떵개떵. 출처: 유튜브 떵개떵  음식을 맛있게 먹는 떵개떵의 이름에서 따와, 맛있는 음식을 먹으면 '떵개했다'라는 말을 사용해요! '오늘 점심
이노션, <디스커버리 2024> 성료
  이노션이 해외법인의 현지인 리더급 임원들을 한국에 초청, 이노션의 조직문화를 체험하게 하고 각국의 역량을 교류할 수 있는 ‘디스커버리(Discovery) 2024’를 실시했다. ‘디스커버리’는 해외 현지인 리더급 직원들이 이노션 본사에 직접 방문해 한국과 이노션만의 조직문화를 이해하고, 법인 별 역량 교류를 통해 글로벌 네트워크 시너지를 창출하는 이노션만의 특별한 사내 프로그램이다. 코로
알바몬 올여름 알바몬으로 알박아, 알바여
알바몬은 ‘1억 알바머니 챌린지’라는 통 큰 프로모션을 홍보하기 위해, 전국민 대상 ‘알바몬으로 누구든 쉽게 알바를 구할 수 있다’는 메시지를 담은 광고 캠페인을 선보였다. 알바와는 가장 거리가 멀어 보이는 시골 어르신들을 주인공으로 정하고, ‘알바’라는 단어가 생소한 시골 어르신들이 ‘알바 가’를 ‘알박아’로, ‘알바여’를 ‘알 빠여’로 잘못 알아듣고 생긴 소동을 영상으로 담아내 재미와 신선함으로 좋은 평을 받았다.
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
당신과 친밀감 느끼는 사이
사람은 만나면 서로의 이야기를 듣습니다. 이야기가 통하면 친해지고 친밀감을 느끼게 됩니다. 관계가 단단해지기 위해선 서로의 이야기에 귀 기울여야 하며, 공감할 수 있어야 하죠.
고고한 메인스트림에 날리는 서브컬처의 통쾌한 펀치! ? QWER에 영향을 준 캐릭터들
    걸밴드 QWER의 인기가 심상치 않습니다. QWER의 미니 1집 앨범 수록곡 <고민중독>은 음악방송 출연 없이 1위 후보에 올랐을뿐더러, 발매 2개월이 지난 지금까지도 멜론 차트 4위를 유지하고 있습니다. QWER의 위아래로 하이브, 카카오엔터, SM과 같은 대형자본이 제작한 노래들만 있다는 점에서 더욱 놀라운 결과입니다. QWER의 인기를 하나의 문화 현상으로 봐야 한다는 주장(아래 영상)도 있습니다. 저는 그
이노션의 공익 캠페인, 글로벌 무대에서도 통했다IID
  이노션이 해외에서 기획·제작한 사회공헌성 캠페인들이 글로벌 어워드를 휩쓸면서 이노션만의 크리에이티브를 활용한 선한 움직임이 주목받고 있다. 이노션은 최근 영국의 권위 있는 광고·디자인 분야 시상식 D&AD(Design and Art Direction) 어워드에서 금상 2개를 포함한 본상 6개를, 미국의 One Show에서 동상 2개를 수상했다. 이번 D&AD 어워드에서 이노션이
[월간 2024밈] 6월 편 - 선배 탕후루 사주실 수수수수퍼노바
  이 영상은 무료로 볼 수 있고 편의점 비닐봉지는 유료인 이유를 모르겠다?‍♀? 수 수 수 수퍼노바? 구라같은데 탕탕후루후루 마라탕후루? 권력있는 점심   이 영상은 무료로 볼 수 있고 편의점 비닐봉지는 유료인 이유를 모르겠다    그룹 라이즈의 일본팬이 X에 작성한 트윗이 화제예요. 'この映像は無料で見れてコンビニのビニ?ル袋は有料なの意味が分からない' 번역하자면 '이 영상은 무
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
당신과 친밀감 느끼는 사이
사람은 만나면 서로의 이야기를 듣습니다. 이야기가 통하면 친해지고 친밀감을 느끼게 됩니다. 관계가 단단해지기 위해선 서로의 이야기에 귀 기울여야 하며, 공감할 수 있어야 하죠.
고고한 메인스트림에 날리는 서브컬처의 통쾌한 펀치! ? QWER에 영향을 준 캐릭터들
    걸밴드 QWER의 인기가 심상치 않습니다. QWER의 미니 1집 앨범 수록곡 <고민중독>은 음악방송 출연 없이 1위 후보에 올랐을뿐더러, 발매 2개월이 지난 지금까지도 멜론 차트 4위를 유지하고 있습니다. QWER의 위아래로 하이브, 카카오엔터, SM과 같은 대형자본이 제작한 노래들만 있다는 점에서 더욱 놀라운 결과입니다. QWER의 인기를 하나의 문화 현상으로 봐야 한다는 주장(아래 영상)도 있습니다. 저는 그
이노션의 공익 캠페인, 글로벌 무대에서도 통했다IID
  이노션이 해외에서 기획·제작한 사회공헌성 캠페인들이 글로벌 어워드를 휩쓸면서 이노션만의 크리에이티브를 활용한 선한 움직임이 주목받고 있다. 이노션은 최근 영국의 권위 있는 광고·디자인 분야 시상식 D&AD(Design and Art Direction) 어워드에서 금상 2개를 포함한 본상 6개를, 미국의 One Show에서 동상 2개를 수상했다. 이번 D&AD 어워드에서 이노션이
[월간 2024밈] 6월 편 - 선배 탕후루 사주실 수수수수퍼노바
  이 영상은 무료로 볼 수 있고 편의점 비닐봉지는 유료인 이유를 모르겠다?‍♀? 수 수 수 수퍼노바? 구라같은데 탕탕후루후루 마라탕후루? 권력있는 점심   이 영상은 무료로 볼 수 있고 편의점 비닐봉지는 유료인 이유를 모르겠다    그룹 라이즈의 일본팬이 X에 작성한 트윗이 화제예요. 'この映像は無料で見れてコンビニのビニ?ル袋は有料なの意味が分からない' 번역하자면 '이 영상은 무
2023년 광고 시장 결산 및 2024년 전망
2023년 연초 광고 시장에 드리웠던 불안한 예감은 현실이 됐다. 지난 2021년 20.4%라는 큰 성장 이후 2022년 5.4% 재 성장하며 숨 고르기로 다시 한번 도약을 준비하던 광고 시장이었다. 하지만 발표된 다수의 전망들은 2023년 광고 시장의 축소를 내다보고 있다. 한국방송광고진흥공사에 따르면 2023년 광고비는 전년 대비 3.1%p 하락으로 전망됐고, 이중 방송 광고비는 17.7% 감소가 예상됐다.
당신과 친밀감 느끼는 사이
사람은 만나면 서로의 이야기를 듣습니다. 이야기가 통하면 친해지고 친밀감을 느끼게 됩니다. 관계가 단단해지기 위해선 서로의 이야기에 귀 기울여야 하며, 공감할 수 있어야 하죠.
고고한 메인스트림에 날리는 서브컬처의 통쾌한 펀치! ? QWER에 영향을 준 캐릭터들
    걸밴드 QWER의 인기가 심상치 않습니다. QWER의 미니 1집 앨범 수록곡 <고민중독>은 음악방송 출연 없이 1위 후보에 올랐을뿐더러, 발매 2개월이 지난 지금까지도 멜론 차트 4위를 유지하고 있습니다. QWER의 위아래로 하이브, 카카오엔터, SM과 같은 대형자본이 제작한 노래들만 있다는 점에서 더욱 놀라운 결과입니다. QWER의 인기를 하나의 문화 현상으로 봐야 한다는 주장(아래 영상)도 있습니다. 저는 그
이노션의 공익 캠페인, 글로벌 무대에서도 통했다IID
  이노션이 해외에서 기획·제작한 사회공헌성 캠페인들이 글로벌 어워드를 휩쓸면서 이노션만의 크리에이티브를 활용한 선한 움직임이 주목받고 있다. 이노션은 최근 영국의 권위 있는 광고·디자인 분야 시상식 D&AD(Design and Art Direction) 어워드에서 금상 2개를 포함한 본상 6개를, 미국의 One Show에서 동상 2개를 수상했다. 이번 D&AD 어워드에서 이노션이
[월간 2024밈] 6월 편 - 선배 탕후루 사주실 수수수수퍼노바
  이 영상은 무료로 볼 수 있고 편의점 비닐봉지는 유료인 이유를 모르겠다?‍♀? 수 수 수 수퍼노바? 구라같은데 탕탕후루후루 마라탕후루? 권력있는 점심   이 영상은 무료로 볼 수 있고 편의점 비닐봉지는 유료인 이유를 모르겠다    그룹 라이즈의 일본팬이 X에 작성한 트윗이 화제예요. 'この映像は無料で見れてコンビニのビニ?ル袋は有料なの意味が分からない' 번역하자면 '이 영상은 무