הנושאים החמים
אז השאלה מתבקשת: האם אפשר לצבוע איורים באמצעות בינה מלאכותית?
והתשובה: כן, בהחלט זה אפשרי להזין את המודל בסקיצה, ולקבל איור מושלם. ועוד בקוד פתוח, ועל המחשב הביתי.
כמובן נתחיל עם ההדגמה:
הנה איור בסיסי מאד שהמודל צבע עבורינו:
ננסה משהו טיפה יותר מורכב:
לא רע, והנה איור עם הרבה פרטים:
אז באיזה מודל השתמשנו? פשוט מאד, בסטייבל דיפיוז'ן הישן והטוב. (גרסה 1.5) אבל... עם תוספת חשובה מאד שנקראת controlNet שנותנת לנו בעצם עוד שליטה על התוצאה, חוץ מלנסות שוב ושוב (ושוב) לדייק את הפרומפט.
למעשה ישנם מספר מודלים שונים של שליטה, לדוגמה מודל אחד שולט על תנוחת האדם שבתמונה, כך שאם נכניס תמונה של אדם יושב עם ידיים למעלה, בכל הווריאציות שנקבל מהמודל, האדם ישב באותה התנוחה.
t
אפשרות שליטה אחרת היא על העומק בתמונה, כך שכל הווריאציות יתאימו לאותה מפת עומק:
מומלץ לעיין במגוון מודלי השליטה השונים כאן.
אנחנו השתמשנו במודל שליטה שנקרא lineArt, וישנו מודל אפילו ייעודי יותר לקומיקס שנקרא LineArt-Anime. המודלים הללו פשוט לוקחים סקיצה מקווים שחורים ע"ג רקע לבן ובונים עליה את התמונה, וזאת בהתאמה לטקסט שבפקודה.
אז איך גם אתם יכולים לעשות זאת בעצמכם? דבר ראשון תתקינו את הממשק של סטייבל דיפיוז'ן לפי המדריך המוצלח הזה
אחר כך בכרטיסיה extentions בחרו install-from-url ותעתיקו את הכתובת הבאה: https://github.com/Mikubill/sd-webui-controlnet
לחצו install והפעילו את התוכנה מחדש.
אחר כך תורידו איזה מודל שאתם רוצים מכאן, תכניסו אותו לתיקייה המתאימה בתוך extensions/controlnet ויאללה תתחילו לשחק.
ואם זה לא מספיק בשבילכם?
אז אפשר לנסות מודלים אחרים של סטייבל דיפיוז'ן לסגנונות שונים, או לנסות מודלים שונים של שליטה.
אי אפשר לסיים את המאמר בלי להתייחס להבטחה הגדולה, מאת היוצר של controlNet, שעומדת להאפיל על כל מה שראינו עד כה בתחום צביעת האיורים, הלא הוא style2paints גרסה 5. שני מודלי ענק (פי 1.42 יותר גדול מסטייבל דיפיוז'ן) שמיועדים בדיוק למטרה זו: אחד מהם נצמד בדיוק לאיור שלך, והשני יותר חופשי. אבל בינתיים אפשר לנשום לרווחה (או לחכות בתסכול וקוצר רוח.. תלוי מאיזה צד מסתכלים) כי היוצרים עדיין "שוקלים את האפקט" של פרסום המודלים הללו, ולכן הפרסום שלהם לקהל הרחב נדחה לזמן לא ידוע.
בינתיים אפשר להשתמש בגרסה 4.5 והתוכנה מוכנה להורדה מגוגל דרייב, אבל היא מיושנת יחסית (משנת 2019).
אז בהצלחה, ואשמח לשיתופים שלכם.
והתשובה: כן, בהחלט זה אפשרי להזין את המודל בסקיצה, ולקבל איור מושלם. ועוד בקוד פתוח, ועל המחשב הביתי.
כמובן נתחיל עם ההדגמה:
הנה איור בסיסי מאד שהמודל צבע עבורינו:
ננסה משהו טיפה יותר מורכב:
לא רע, והנה איור עם הרבה פרטים:
אז באיזה מודל השתמשנו? פשוט מאד, בסטייבל דיפיוז'ן הישן והטוב. (גרסה 1.5) אבל... עם תוספת חשובה מאד שנקראת controlNet שנותנת לנו בעצם עוד שליטה על התוצאה, חוץ מלנסות שוב ושוב (ושוב) לדייק את הפרומפט.
למעשה ישנם מספר מודלים שונים של שליטה, לדוגמה מודל אחד שולט על תנוחת האדם שבתמונה, כך שאם נכניס תמונה של אדם יושב עם ידיים למעלה, בכל הווריאציות שנקבל מהמודל, האדם ישב באותה התנוחה.
t
אפשרות שליטה אחרת היא על העומק בתמונה, כך שכל הווריאציות יתאימו לאותה מפת עומק:
מומלץ לעיין במגוון מודלי השליטה השונים כאן.
אנחנו השתמשנו במודל שליטה שנקרא lineArt, וישנו מודל אפילו ייעודי יותר לקומיקס שנקרא LineArt-Anime. המודלים הללו פשוט לוקחים סקיצה מקווים שחורים ע"ג רקע לבן ובונים עליה את התמונה, וזאת בהתאמה לטקסט שבפקודה.
אז איך גם אתם יכולים לעשות זאת בעצמכם? דבר ראשון תתקינו את הממשק של סטייבל דיפיוז'ן לפי המדריך המוצלח הזה
אחר כך בכרטיסיה extentions בחרו install-from-url ותעתיקו את הכתובת הבאה: https://github.com/Mikubill/sd-webui-controlnet
לחצו install והפעילו את התוכנה מחדש.
אחר כך תורידו איזה מודל שאתם רוצים מכאן, תכניסו אותו לתיקייה המתאימה בתוך extensions/controlnet ויאללה תתחילו לשחק.
ואם זה לא מספיק בשבילכם?
אז אפשר לנסות מודלים אחרים של סטייבל דיפיוז'ן לסגנונות שונים, או לנסות מודלים שונים של שליטה.
אי אפשר לסיים את המאמר בלי להתייחס להבטחה הגדולה, מאת היוצר של controlNet, שעומדת להאפיל על כל מה שראינו עד כה בתחום צביעת האיורים, הלא הוא style2paints גרסה 5. שני מודלי ענק (פי 1.42 יותר גדול מסטייבל דיפיוז'ן) שמיועדים בדיוק למטרה זו: אחד מהם נצמד בדיוק לאיור שלך, והשני יותר חופשי. אבל בינתיים אפשר לנשום לרווחה (או לחכות בתסכול וקוצר רוח.. תלוי מאיזה צד מסתכלים) כי היוצרים עדיין "שוקלים את האפקט" של פרסום המודלים הללו, ולכן הפרסום שלהם לקהל הרחב נדחה לזמן לא ידוע.
בינתיים אפשר להשתמש בגרסה 4.5 והתוכנה מוכנה להורדה מגוגל דרייב, אבל היא מיושנת יחסית (משנת 2019).
אז בהצלחה, ואשמח לשיתופים שלכם.
