Att generera en AI bild är ganska enkelt, med OpenPose får du AI att posera som du vill! Det är faktiskt enklare än man kan tro. Bortsett från att i text beskriva att en person ska sitta si eller så eller stå på ett visst sätt, så finns det verktyg att använda.
I ett tidigare inlägg har jag beskrivit hur du byter ansikte på en AI bild när du genererar den. Att bestämma vilken pose du vill att personen på bilden ska ha fungerar på ett liknande sätt.
Först behöver du installera ControlNet och det enklaste sättet att göra det på är om du redan har Automatic1111 installerat.
Navigera till “extensions” och klistra in följande länk på samma sätt som bilden ovan och klicka sedan på “install”.
https://github.com/Mikubill/sd-webui-controlnet
Om du gjort rätt (du kan behöva uppdatera webui fönstret) så ska du kunna se ControlNet.
Förberedelser
När jag först startar ett projekt så tar jag en stund att försöka hitta en promt som genererar bilder som åtminstone är i närheten av det jag tänkt mig. När jag hittat en tillräckligt bra promt så är det dags att bestämma vilken AI modell och samplings metod som passar bäst, och oftast räcker det att skapa 2-3 bilder för att veta om det kommer att fungera eller inte.
Nu har du en idé och en grundläggande promt.
Min bas idé för denna text är: A woman jumping in a puddle of mud
Nå, bilderna ovan visar onekligen…någonting som hoppar i en gyttjepöl. Men de ser helt deformerade ut, och de hoppar inte på det sätt jag jag planerade att de skulle. Innan jag börjar leta efter en AI modell och funderar på vilken samplingsmetod jag vill använda, så försöker jag utveckla min promt lite. Jag ska inte gå steg för steg vad det gäller promten, för det skulle ta väldigt mycket tid i anspråk. Slutresultatet är dock detta:
Positiv promt:
A full body picture of a woman jumping in a puddle of mud. Detailed face, hyperdetailed photography, soft light, beautiful highly detailed face, feminine facial detail, hyperfine maximalist eye detail, photorealistic eyes, symetrical eyes, finely detailed, DSLR super resolution, dramatic lighting, octane render hyperrealistic thomas kinkade, UHD, 3D, ultra detailed, professional
Negativ promt:
(worst quality, low quality, normal quality, lowres, low details, oversaturated, undersaturated, overexposed, underexposed, grayscale, bw, bad photo, bad photography, bad art:1.4), (watermark, signature, text font, username, error, logo, words, letters, digits, autograph, trademark, name:1.2), (blur, blurry, grainy), morbid, ugly, asymmetrical, mutated malformed, mutilated, poorly lit, bad shadow, draft, cropped, out of frame, cut off, censored, jpeg artifacts, out of focus, glitch, duplicate, (airbrushed, cartoon, anime, semi-realistic, cgi, render, blender, digital art, manga, amateur:1.3), (3D ,3D Game, 3D Game Scene, 3D Character:1.1), (bad hands, bad anatomy, bad body, bad face, bad teeth, bad arms, bad legs, deformities:1.3)
Den seed jag använder för samtliga bilder i den här texten är: 15415161784
Resultat:
Dessa är onekligen mycket bättre. Och härifrån anser jag att jag kan dels leta efter en passande AI modell och dels fin-justera inställningarna. När jag letar efter en AI modell så brukar jag sätta inställningarna på ungefär: batch size 2 och batch count 3. Då genereras 6 bilder och det tar inte särskilt lång tid, men man får en idé om hur AI modellen arbetar.
AI Modell: Chillout Mix
Bilderna är väl okej, men jag vill ändå testa ett par andra modeller som jag tror kommer fungera bättre.
AI Modell: Dreamshaper
Denna modellen ger lite mer färgglada bilder och kvinnor som faktiskt har käder på sig. Fortfarande lite deformerade dock, men det kan man lösa med inställningarna sedan. Om man nu välher denna modellen.
AI Modell: Realistic Vision
Denna modellen ger väldigt liknande resultat som Dreamshaper, men Dreamshaper är snäppet bättre tycker jag nog.
AI Modell: Re-liberate
Detta är faktiskt en av de bästa all-around AI modellerna tycker jag, och jag kommer att fortsätta med denna modellen för min gyttje-hoppande kvinna.
Finjustera inställningar
Att lära sig finjustera inställningarna är inte alltid så lätt. Många gånger kan du ha helt perfekta inställningar för den AI modellen du arbetar med för tillfället, och tänker att du ska testa en annan modell. Samma inställningar och ny modell kan sluta i totalt kaos. Men när man har misslyckats tusentals gånger så börjar man lära sig ungefär vilka värden olika inställningar ska ha på olika modeller.
Inställningar:
Storlek: 512×512
Batch count/size: 1
CFG Scale: 4
Sampler: Euler a
Steps: 23
Seed: 15415161784
Hires fix: Yes
Upscaler: ESRGAN_4x
Hires steps: 10
Denoise: 0,65
Upscale: 1,25
Ovan inställningar tillsammans med positiva och negativa promterna ger följande bild (fast opixlad)
Det är inget fel på bilden i sig egentligen. Det är i och för sig inte den sorts gyttjepöl jag hade tänkt mig, och jag har inte tänkt att kvinnan ska vara topless i det slutliga resultatet. Något som många antingen inte vet eller inte tänker på är att bilden förändras en hel del bara genom att man ändrar storleken.
Denna bilden har exakt samma modell och samma inställningar, förutom en sak. Jag ändrade bredden från 512 pixlar till 720 pixlar. Eftersom jag inte vill hålla på och pixla bilderna, så kommer jag lägga till förjande i den negativa promten:
(nude:1.2)
Vilket innebär att jag inte vill att resultatet ska vara naken. Genom att sätta ordet inom parentes visar jag att innebörden av ordet är viktigt, och genom att lägga till :1.2 visar jag att det är viktigt att resultatet följer innebörden av ordet. Ju högre siffra man har till höger om 1. desto viktigare är det. Jag har i vissa fall använt så högt som :1.7 men oftast räcker det gott och väl med :1.2.
Använda OpenPose
Nu har vi en kvinna som hoppar i en gyttjepöl (nåja) och vi har fått på henne underkläder åtminstone. Men hon hoppar på fel sätt! Det är här som OpenPose kommer in. Det vi behöver göra nu är att hitta en bild på någon som hoppar rätt, det kan vara en bild du hittat på nätet eller en du tagit själv. Eftersom vi inte kommer att använda bilden i sig, så spelar det heller ingen roll om den går under copyright.
Eftersom jag själv inte vill bryta copyright material, så kommer jag inte att lägga upp bilden jag hittat här. Men du kan se bilden på länken här: Kvinna hoppar jämfota med händerna i luften
Skrolla ner till du hittar inställningarna för ControlNet i Automatic1111 webui, och där laddar du upp bilden som har den posen du är ute efter. Det spelar ingen roll om det är en man eller kvinna eller vilken hudfärg etc de har.
Efter att du har laddat upp din bild så klickar du på ikonen som ser ut som en explosion, vilket kommer att generera streckgubben till höger. Och det är den vi använder egentligen. När du har gjort detta så kan du återigen skrolla upp och klicka på “generate” för att se resultatet.
Resultatet:
Med hjälp av ControlNet och OpenPose har vi lyckats få kvinnan till höger att hoppa exakt på det sätt som vi vill. Den uppmärksamma kanske noterar att hon verkar ha brutit sin högerfot i processen. Detta går att fixa i något som kallas för InPainting, men det är inget jag kommer gå in på idag!
Bonusbild: Hoppande kvinna med mitt ansikte
Följ gärna min Instagram där jag enbart lägger upp bilder som jag gjort baserat på riktiga människor (med deras samtycke).