본문 바로가기

카테고리 없음

스테이블 디퓨전(Stable Diffusion)을 이용하여 원하는 이미지를 생성하는 방법(feat. 딥엘(DeepL) 및 제미나이(Gemini))

반응형

스테이블 디퓨전을 이용해서 

 

사용한 AI는 아래와 같다.

1. 딥엘(DeepL) : 한글 → 영어 번역

2. 제미나이 : 스테이블 디퓨전을 위한 프롬프트 생성 요청

3. 스테이블 디퓨전 : 이미지 생성 및 속성 수정

4. 원하는 결과가 나올때 까지 1~3 반복

 

아래는 위 순서대로 이미지를 만드는 과정이다.

1. 딥엘 (DeepL) 을 이용해 영어로 제미나이에 쓸 프롬프트를 요청한다.

스테이블 디퓨전을 이용할 것이라는 내용을 미리 말해준다
스테이블 디퓨전으로 이미지를 생성하기 위한 이미지 생성 프롬프트를 요청

 

2.  제미나이를 이용해  스테이블 디퓨전을 위한 프롬프트를 요청한다.

딥엘의 결과를 붙여넣는다

3. 스테이블 디퓨전 : 이미지 생성 및 속성 수정

제미나이가 생성해준 프롬프트를 이용해 이미지를 생성한다

 

구름위를 날아다니는 고래를 만들고 싶었는데, 생성이 되지 않아 속성을 조절해본다.

프롬프트를 제대로 따르지 않았다 판단하여 "프롬프트를 얼마나 충실히 따르는지"를 조절하는 cfg를 높여본다.

동일 프롬프트, cfg 15

 

동일 프롬프트, cfg 30

 

동일 프롬프트, cfg 50

 

동일 프롬프트, cfg 80

 

cfg가 무조건 높다고 원하는 그림이 나오는것 같지는 않다.

그동안 나온 결과중 cfg 15가 가장 좋은 결과를 냈으므로 15를 기준으로 이미지를 생성 해 본다.

 

이 속성을 기준으로 원하는 그림을 만들기 위해 값들을 바꿔본다.
제미나이 프롬프트 요청을 위해 번역을 한다
위 결과를 제미나이에 요청한다
제미나이가 준 프롬프트
속성을 유지한채 프롬프트를 변경한 결과
제미나이에 프롬프트를 요청하기 위해 번역을 한다
위 프롬프트를 복붙한 결과

이미지를 인식하지 못한 이유를 모르겠다.

이미지를 인식하면 더 좋은 결과를 얻을 수 있을것 같았는데 아쉽다.

 

스테이블 디퓨전에 요청할 프롬프트
프롬프트로 생성한 이미지 결과
네거티브 프롬프트 수정

사막배경을 빼달라 요청했는데 원하는대로 결과가 나오지 않는다.

 

프롬프트 수정

프롬프트를 수정한 결과이다.

마음에 들지 않는다 더 수정해 보자. 네거티브 프롬프트르 수정한다.

 

프롬프트 결과

포지티브 프롬프트 : 

Style: Photorealistic, hyperrealistic, detailed, dramatic lighting
Focus: A majestic humpback whale breaching through a sea of fluffy white clouds in a vast desert landscape. Bathed in warm afternoon sunlight.
Details: Sand dunes textured with wind ripples, distant cracked earth, the whale's skin glistening with water droplets.

 

네거티브 프롬프트 : 

text, watermark

 

아래 결과를 참고하여 모델을 이용해 본다.

샘플러 이름 설명 장점 단점
k_LMS 목표 분포를 향한 작고 분산 감소 단계의 시리즈 빠르고 효율적인 샘플링 일부 방법보다 덜 정확할 수 있음
DDIM k_LMS의 확장으로, 더 많은 분포 정보를 통합 정확한 샘플링, 빠른 수렴 여전히 적당한 수의 단계가 필요함
k_euler_a / Heun DDIM과 유사하며 속도와 변경된 스타일에 중점 우수한 결과를 빠르게 생성, 스타일적 다양성 제공 프롬프트에 따라 결과물이 덜 안정적일 수 있음
k_dpm_2_a 고품질을 우선시하는 다단계 샘플러 뛰어난 결과를 생성, 정교한 프롬프트에 이상적 느림, 실험보다는 이미지 완성에 더 적합

 

sampler :  LMS
sampler : DDIM

 

sampler : euler_ancestral
sampler : dpm_2_ancestral
모델 결과 비교

 

반응형