Coisas que eu quero fazer
StableDiffusion usa AUTOMATIC1111 e anytest no Forge.
Também confirmamos que funciona no ambiente AMD GPU (DirectML) criado no seguinte artigo.
O que é anytest?
anytest é um modelo ControlNet capaz de gerar imagens a partir de desenhos de linhas e silhuetas, e até mesmo redesenhar partes de imagens, tudo dentro de um único modelo.
Como instalar o anytest
Observe que o método de instalação difere entre o AUTOMATIC1111 e o Forge.
Instalando o BarNet
AUTOMÁTICO1111
Abra a aba ‘ Instalar a partir de URL’ dentro da aba ‘Extensões’.
Insira o seguinte URL no campo do repositório Git para a extensão e clique em Instalar.
Caso a instalação da extensão falhe, consulte a página seguinte.
Após a conclusão da instalação, reinicie o StableDiffusion.
A instalação e a inicialização após a instalação podem, por vezes, demorar bastante tempo.
Se a instalação for bem-sucedida, a interface gráfica do ControlNet aparecerá em Seed após a reinicialização.
No meu ambiente, a interface gráfica do ControlNet não apareceu após a reinicialização.
Apareceu depois que eu reiniciei o programa.
Forja
O Forge já inclui o ControlNet, portanto não é necessária nenhuma instalação.
Baixe o modelo
O modelo pode ser baixado na página seguinte.
O arquivo CN-anytest_v4-marged.safetensors parece ser a opção mais segura.
Instalação do modelo
AUTOMÁTICO1111
Coloque o modelo baixado na seguinte pasta.
raiz\extensões\sd-webui-controlnet\modelos
Forja
Coloque o modelo baixado na seguinte pasta.
Raiz \\modelos\ControlNet
A instalação já está concluída.
Utilizando o ControlNet
Vou explicar usando a interface gráfica do Forge.
Selecione o modelo StableDiffusionXL (ponto de verificação).
Para o Forge, a interface do usuário também deve estar no formato XL. (Se a geração da imagem falhar, tente usar o formato SD.)
A maioria dos modelos StableDiffusionXL tem XL no nome.
Eu usei bluePencilXL_v700.safetensors.
Clique no menu ControlNet para abri-lo. (No AUTOMATIC 1111, ele será exibido como ControlNet vXXXXX.)
Marque as caixas de seleção para ControlNet Unit 0 e Enable .
Selecione o modelo Anytest que você baixou para ‘Modelar’.
(Caso o modelo não apareça no menu suspenso, clique no botão de atualizar à direita.)
Arraste e solte as imagens que deseja usar na interface gráfica abaixo.
Em seguida, assim como na geração normal de imagens, insira as informações no Prompt (e no NegativePrompt) e clique em Gerar.
Resultado
Consegui usar qualquer teste.
Como você pode ver no exemplo abaixo, ele interpreta as informações de forma bastante favorável e gera imagens de acordo.
Além disso, a qualidade das imagens geradas parece depender do modelo.
Geração de exemplos
Imagem de entrada:
Modelo:bluePencilXL_v700.safetensors (para imagens estilo anime)
incitar:Uma menina, saia azul, blusa branca, cabelo loiro, vista de frente.
saída:
solução de problemas
AttributeError: O objeto NoneType não possui o atributo shape.
O programa pode falhar em tempo de execução com a mensagem de erro AttributeError: NoneType object has no attribute shape .
Esse erro ocorre quando o modelo de geração de imagem (o checkpoint definido acima, não o ControlNet) não é compatível com SDXL.
Verifique se o modelo de geração de imagens é para SDXL.
コメント