Coisas que eu quero fazer
Adicione um VAE à interface web do Stable Diffusion em execução localmente.
O que é VAE?
De acordo com a inteligência artificial de busca do Google, o seguinte é verdade:
VAE (Autoencoder Variacional) éOs modelos de aprendizagem profunda são utilizados em diversas áreas da IA, como geração de imagens e detecção de anomalias.Trata-se de um tipo de aprendizado não supervisionado que se baseia em um autoencoder para comprimir e descomprimir dados, e é caracterizado pela introdução de distribuições de probabilidade para variáveis latentes.
A explicação acima pode não ser muito clara, mas você pode pensar no StableDiffusion como um plugin que melhora a aparência das imagens de saída.
Ambiente
forja de interface web de difusão estável
(Outros modelos stable-diffusion-webui podem ser instalados usando o mesmo método.)
Baixe o VAE
download
Baixe FEET.
Em vez de procurar VAEs diretamente, você geralmente encontrará links para VAEs recomendados na página de download do modelo.
Aqui está um link para o VAE que eu uso.
VAE de uso geral
Este é um VAE (Engenharia de Valor Agregado) desenvolvido pela stability ai (desenvolvedora do Stable Diffusion).
Pode ser usado tanto com modelos de ação ao vivo quanto com modelos no estilo anime.
Você pode baixá-lo de vae-ft-mse-840000-ema-pruned.ckpt na página seguinte.
VAE para imagens de anime
Este é um VAE para imagens de anime.
Você pode baixá-lo em kl-f8-anime.ckpt na página seguinte.
Instalação VAE
Copie o arquivo baixado para a seguinte pasta.
インストールフォルダ\webui\models\VAEDependendo de como o StableDiffusion foi instalado, a pasta webui pode não existir e, em vez disso, estar localizada na pasta de instalação\models\VAE .
Após a conclusão da cópia, clique no botão na parte inferior da interface gráfica.
Assim que o processo estiver concluído, você poderá selecionar o VAE baixado no menu suspenso mostrado na imagem abaixo do botão.
Os itens exibidos no menu suspenso acima não se limitam apenas a VAEs.
Os VAEs têm problemas de compatibilidade com modelos. Só porque você configurou um VAE não garante que você criará uma boa imagem. (As preferências pessoais também influenciam.)
Dependendo da StableDiffusion que você estiver usando, ela será exibida como VAE em vez de VAE/TextEncoder .
VAE utilizou geração de imagens
Selecione o VAE que deseja usar na lista de codificadores VAE/Texto acima, configure os parâmetros como faria para a geração normal de imagens e clique em Gerar.
Resultado
A seguir, uma comparação entre usar e não usar o arquivo vae-ft-mse-840000-ema-pruned.ckpt.
A imagem à esquerda é uma imagem não utilizada, e a imagem à direita é uma imagem gerada usando a função.
Você pode ver que a imagem à direita está mais nítida.
コメント