Ai Model Drawing Images From Any Prompt

Polres

Ai Model Drawing Images From Any Prompt – Di banyak posting saya sebelumnya, saya telah menunjukkan cara menggunakan model AI untuk membuat karya seni baru dari anotasi teks. Untuk proyek tersebut saya menggunakan setidaknya dua model AI, generator seperti Generative Adversarial Networks (GAN) untuk membuat gambar dan model bahasa/gambar multimodal seperti OpenAI’s Image-Language Pre-Learning (CLIP) [1] untuk memandu generator.

Untuk proyek ini saya ingin melihat apakah saya bisa mendapatkan CLIP untuk mengumpulkan kolase foto modern dari petunjuk teks tanpa menggunakan model AI sebagai generator. Saya membuat generator gambar khusus yang mengumpulkan bagian dari foto dan menggunakan KLIP untuk memindai dan mengedit bagian menjadi kolase. Saya menyebutnya sistem “CLIP and PASTE”, di mana akronim kedua adalah Gambar yang Dapat Dihubungkan Secara Semantik Melalui Pengeditan.

Polres

Ai Model Drawing Images From Any Prompt

Ai Model Drawing Images From Any Prompt

Berikut adalah diagram yang menunjukkan fitur utama KLIP dan PASTE. Saya akan membahas fitur secara singkat dan kemudian menjelaskan secara rinci di bagian berikut.

Ai Art Generator: Make Images With Ai

Prosesnya dimulai dengan petunjuk tekstual, seperti “penguin meluncur menuruni gunung bersalju.” Sistem menggunakan library Python Keyphrase Mining [2] untuk mengekstrak kata kunci. Kemudian mencari gambar dari Wikimedia Commons [3] dan OpenImages [4] yang cocok dengan kata kunci dalam kueri. Saya menggunakan Wikimedia Search API untuk menemukan kemungkinan gambar yang cocok. Untuk OpenImages saya menggunakan CLIP Text Encoder untuk menemukan kecocokan teks yang lebih baik dengan mencocokkan penyisipan kata dan deskripsi. Selanjutnya, sistem mengunduh 100 gambar teratas dari Wikimedia Commons dan OpenImages dan menjalankannya melalui CLIP Image Encoder dan mencocokkannya lagi dengan kata kunci. Sistem ini menjalankan citra teratas melalui model segmentasi citra GRoIE [5] untuk membuat irisan citra. Teks digunakan secara rekursif dengan CLIP untuk menemukan bagian gambar yang paling cocok dengan kata kunci. Saya membuat compositor foto khusus yang secara acak mengumpulkan potongan-potongan menjadi berbagai kolase foto. Pengaturan didukung oleh CLIP untuk mendapatkan yang terbaik. Sistem menyesuaikan posisi segmen gambar dengan pemindaian berulang dan menyusun kolase menggunakan pengoptimal Adam [6] di Pytorch. Setelah 100 iterasi, gambar akhir akan ditampilkan.

Anda dapat membaca tentang detail sistem di bagian di bawah ini. Lihat lampiran untuk lebih banyak kolase dari gambar yang dihasilkan. Dan Anda dapat membuatnya sendiri menggunakan Google Colab di sini.

Kolase sering dianggap sebagai pola dasar teknik artistik modern. Kata – dari kata kerja Perancis untuk tetap bersatu – pertama kali digunakan untuk menggambarkan kreasi Kubisme Pablo Picasso dan Georges Braque, yang pada tahun 1912 mulai menggabungkan potongan koran dan bahan lainnya ke dalam kanvas mereka. Sejak itu, ceritanya, seniman telah menggunakan tindakan memotong dan menempel sebagai cara untuk membawa dunia di sekitar kita ke kanvas dalam kombinasi yang tak terduga dan transformatif. —Samuel Reilly, Ekonom

Searah jarum jam dari kiri atas, Masih hidup dengan iklan, 1913, Pablo Picasso, Gelas dan botol (bulu), Georges Braque, 1914, Memotong dengan pisau dapur dalam budaya berperut bir Weimar akhir di Jerman, 1919, Hannah Höch , Kolase dengan gadis, atlet dan badut, 1925, Alexander Rodchenko, Le Critique d’art, 1920, Raoul Hausmann, Semua gambar ada di domain publik

Ai Art Generators You Should Know About

Anda dapat melihat bagaimana karya seni berkembang dari memasukkan kliping koran yang ditempelkan di atas kanvas dengan gambar berwarna dan pensil hingga komposisi yang dibuat dengan menyusun potongan-potongan dari foto.

Tidak seperti proyek sebelumnya di mana saya menggunakan KeyBERT [7] untuk mengekstrak kata kunci dan frasa dari teks, saya beralih menggunakan paket yang disebut Python Keyphrase Extraction (PKE). Setelah bereksperimen sedikit dengan kedua paket, saya menemukan bahwa PKE tampaknya berfungsi lebih baik. Misalnya, PKE mengizinkan saya untuk menandai bagian-bagian pidato dengan kata-kata kunci (kata benda, kata sifat, dan kata kerja).

Berikut adalah perbandingan skor kata kunci yang diperoleh dari “penguin meluncur menuruni gunung bersalju” oleh kedua sistem tersebut.

Ai Model Drawing Images From Any Prompt

Meskipun KeyBERT memunculkan lebih banyak kandidat kata kunci, beberapa di antaranya, seperti “penguin ski” tidak ada artinya. Namun, sistem PKE tampaknya menangkap esensi latihan dengan dua frasa kunci dengan bobot yang sama, “ski penguin” dan “gunung salju.”

How I Built An Ai Text To Art Generator

Seperti yang saya sebutkan di ikhtisar, saya mengumpulkan gambar kolase dari Wikimedia Commons dan dataset OpenImages. Kedua sumber merilis gambar mereka di bawah lisensi open source Creative Commons Attribution Sharealike.

Ketika hasilnya kembali, saya memfilter gambar berdasarkan dimensinya. Saya suka gambar yang berukuran 512×512 atau lebih besar.

Untuk mencari gambar dalam dataset OpenImages, saya menggunakan CLIP Text Encoder untuk mencocokkan penyisipan frase kunci dengan penyematan deskriptif dalam dataset. Jika Anda ingin mempelajari lebih lanjut tentang proses ini, Anda dapat membaca detailnya di artikel saya tentang mencari paten desain di sini.

Setelah saya memiliki koleksi gambar, saya menjalankannya melalui CLIP Image Encoder untuk membandingkannya dengan embedding untuk keseluruhan pertunjukan. Ini adalah gambar utama dari Wikimedia Commons dan OpenImages.

Craiyon (dall E Mini) Creates A Furry Horror Movie By Jakanddaxter01 Fur Affinity [dot] Net

Saya menggunakan model AI untuk segmentasi gambar yang disebut GRoIE, yang merupakan singkatan dari Trigger Region of Interest [5]. Sistem ini dikembangkan oleh Leonardo Rossi dkk. di Universitas Parma di Italia. GRoIE akan mengekstrak dan memberi label objek latar depan apa pun yang dapat diidentifikasi dari gambar input. Untuk setiap objek yang ditemukannya, ia menciptakan gambar topeng yang mendefinisikan bentuk objek.

Perhatikan bahwa model GROIE sering menemukan dan mengeluarkan lebih dari satu objek di setiap gambar masukan. Misalnya, dalam gambar ini ia menemukan dan mengisolasi kedua penguin.

Related posts

Leave a Reply

Your email address will not be published.