Instrumentul are voce, dar nu e doar a lui | Autorul e plural IV

Partea I
Partea a II-a
Partea a III-a

Mai întâi, să privim modul în care funcționează, din perspectiva utilizatorului, un produs precum DALL-E, Stable Diffusion sau Midjourney. În primul rând, utilizatorul trebuie să aleagă produsul și, dacă acesta permite, modelul folosit. Acest lucru nu este foarte diferit de modul în care un artist de studio, un cineast sau chiar un pictor și-ar alege instrumentele în funcție de ceea ce vrea să obțină, sperând să potrivească rezultatul cu ceea ce își imaginează. Apoi imaginea trebuie descrisă. Este obișnuit să fie ironizați artiștii IA sau prompt engineerii pentru că revendică o formă de proprietate asupra secvențelor de cuvinte folosite ca prompturi, dar există totuși aici cel puțin o îndemânare, dacă nu chiar o artă sau o știință¹. Fiecărui model trebuie să i se vorbească aproape într-o limbă ascunsă și el expune parametri care permit un control precis asupra outputului². Aceste formule aproape incantatorii sunt păstrate cu grijă de prompt engineeri pentru că sunt rezultatul studiului, practicii și experimentării³. Apoi produsul de machine learning îi prezintă utilizatorului un număr de variante. De utilizator depinde să aleagă una dintre versiunile propuse, să ceară modificări sau chiar să se întoarcă la masa de desen, ca să spunem așa, cu un prompt nou.

Putem privi acest proces și vedea în el muncă de ideare, articulare și selecție, adică intervenții cognitive și autoriale, chiar dacă opera este produsă în colaborare cu un agent non-uman. Acesta este tocmai motivul pentru care verdictul din cazul Naruto v. David Slater et al este controversat: maimuțele nu au furat pur și simplu camera lui David Slater și nu au apăsat întâmplător pe buton. Dimpotrivă, fotograful „set up the tripod, selected an angle, adjusted the lens aperture, checked the lighting, and was in the right place at the right time”, după care a selectat „once-in-a-lifetime shot that captured an expression of pure joy and self-awareness on the monkey’s face”⁴. Susținătorii ideii de „IA ca software de plagiat” argumentează că, în cel mai bun caz, utilizatorul seamănă cu un client care comandă o lucrare⁵. Făcând dreptate ambelor poziții, prompt engineerul nu este nici fotograf, nici client. Fotografia medie cere mult mai multă selecție și articulare decât imaginea generată medie. Dar și clientul mediu intervine mult mai puțin în lucrarea solicitată, fie și numai din constrângeri de timp și buget. Prin urmare, IA generativă ne permite să testăm soliditatea noțiunilor noastre despre autorat. Este oare chiar atât de forțat să gândim o ilustrație editorială ca pe o lucrare colaborativă între directorul artistic, autorul textului ilustrat și autorul creditat?

Coborând un nivel mai adânc în IA generativă, trebuie să încetăm să tratăm IA ca pe o entitate omogenă, fie instrument, fie agent non-uman, și să o înțelegem drept sistem. Mai exact, un sistem care canalizează cogniția umană. Am discutat deja despre imprecizia cu care vorbim, în general, despre IA, dar diferențierea dintre diverse tipuri de sisteme IA este doar un pas către o gândire mai precisă despre colaborarea/interacțiunea om-computer, nu capătul drumului. Dacă până acum am imaginat IA ca pe o cutie neagră în care introducem text și din care ies imagini, acum trebuie să ne-o imaginăm ca pe o serie de cutii negre, un pipeline care procesează cuvintele noastre și le transformă treptat în imagini. O schiță simplă, bazată pe ceea ce știm despre modul de funcționare al sistemului DALL-E 2, ar fi următoarea: inputul nostru în limbaj natural este procesat și transformat în tokeni, adică într-o reprezentare numerică a enunțului ca vector multidimensional, apoi este introdus într-un model care produce o imagine de 64 pe 64 de pixeli. Acea imagine este apoi zgomotată și succesiv upscalată folosind cel puțin trei modele de difuzie⁶. Tocmai în această succesiune de pași utilizatorul se confruntă cu o pluralitate de voințe străine, dar umane.

În primul rând, aceste cutii negre, fiind modele de machine learning, trebuie antrenate pe cantități uriașe de date. Dar acele date trebuie totuși curate. Cunoaștem deja discuția despre bias-ul din aceste seturi de date⁷. Bias-ul nu este doar o problemă tehnică sau chiar metodologică; este o alegere, o alegere despre cum ar trebui reprezentată lumea. Această curare este prea amplă pentru a pretinde că seamănă cu relația premodernă, deci preautor, dintre maestru și discipol, dar în același timp nu este nici autoaleasă și colaborativă, cum ar fi cazul unei școli sau al unei mișcări artistice. O altă voință străină impusă utilizatorului este una mult mai rigidă. Toate aceste cutii negre ale machine learning-ului nu sunt pur și simplu conectate unele la altele. Cel mai probabil, inputurile sunt analizate, optimizate automat⁸ și chiar direcționate către un model anume sau altul⁹. Outputurile sunt ele însele filtrate, analizate și ghidate¹⁰ ori chiar respinse¹¹ după anumite euristici. Cele mai impresionante sisteme generative nu sunt deschise studiului, dar testându-le limitele putem descoperi prezența unor asemenea intervenții dirijatoare introduse de inginerii sistemului. De pildă, când încercam să obțin cu Midjourney versiunea 3 o imagine în culori plate, una dintre primele observații a fost că favoriza anumite palete cromatice foarte specifice, mult prea precise pentru a fi doar rezultatul curării datasetului. Alții au observat, la rândul lor, că „Midjourney strongly favors blue and orange”¹². Fie imaginile din setul de antrenament au fost preprocesate, fie outputurile inițiale au fost ghidate, ajustate sau colorizate într-un anumit fel pentru a obține „house style”-ul dorit¹³. Al doilea fenomen pe care l-am observat era că, la aproximativ 30% din procesul de difuzie, apărea un punct clar de contrast orizontal în mijlocul imaginii și unul vertical la o treime față de partea de sus sau de jos. Alții au remarcat și că „Midjourney has a tendency to ignore the requested style in favour of something ‘better looking.’”¹⁴. O tehnică prin care s-ar putea obține un asemenea generator de imagini opinativ este tehnica de „quality-tuning” dezvoltată de inginerii Meta pentru sistemul Emu. Pentru a menține „principles of professional photography composition” și „dynamic lighting with balanced exposure”, ei „fine-tune [a] pre-trained model” pe un mic set de „exceptionally high-quality images”, oprindu-se devreme în procesul de difuzie pentru a evita supraantrenarea¹⁵. Folosind această tehnică, sau una analogă care produce rezultate similare, dezvoltatorii proiectează peste munca utilizatorului propria lor interpretare și propriile criterii despre cum arată o imagine „exceptionally high-quality”.

Aceasta ar putea părea o particularitate a IA generative, dar ea nu face decât să mărească fenomene mereu prezente. Instrumentele pe care le folosim nu sunt neutre și nu au fost niciodată. Dar nu trebuie să căutăm în ele o voință străină, non-umană. În fiecare unealtă, dispozitiv sau instrument este încorporată o agențialitate umană, iar prin ele voința socială se exercită asupra operei produse. Amestecarea uleiului de in cu pigmenți minerali pentru a crea vopseaua în ulei este o tehnică veche, favorabilă multor stiluri, care a completat și a concurat alte medii de-a lungul istoriei. Ca atare, trebuie să existe un motiv pentru care pictura în ulei, ca formă artistică, apare într-un moment și loc foarte precise. John Berger susține că pictura în ulei a devenit mediul artistic dominant timp de aproape o jumătate de mileniu în Europa, deoarece numai pictura în ulei putea conferi obiectelor reprezentate luciul potrivit pentru a reda bogăția materială. Acest lucru a făcut din ea mediul principal al pictorilor europeni între 1500 și 1900, atunci când arta lor „served the interests of the successive ruling classes, all of whom depended in different ways on the new power of capital”¹⁶. Există multe motive pentru care pictura academică în ulei a ieșit din prim-planul lumii artistice, iar camera foto este invocată adesea printre ele. Este adevărat, dar nu pentru că aparatul ar fi pur și simplu mai potrivit pentru a capta realitatea, fiindcă funcția picturii în ulei nu era aceea de a surprinde realitatea obiectivă, noțiune naivă. Fotografia a înlocuit pictura în ulei în capacitatea ei de a surprinde o realitate socială. Funcția pe care fotografia, mai ales fotografia comercială, a moștenit-o de la pictura în ulei a fost aceea de a reprezenta lumea ca fiind „mechanically measured by its materiality”¹⁷, transformând totul în ceva schimbabil pentru că totul este reprezentat ca marfă¹⁸. În acest sens fotografia face pictura în ulei depășită și poate face asta doar pentru că, până în secolul XX, puterea capitalului încetase să mai fie nouă, privată și contestată. Fotografia a fost problematizată și independent de lectura provocatoare a istoriei artei propusă de Berger. Modul principal de a pune sub semnul întrebării realismul imaginii fotografice este exemplificat cel mai bine de Roland Barthes în eseuri precum „The Photographic Message”¹⁹, „Rhetoric of the Image”²⁰ sau „The Third Meaning”²¹. Barthes și cei care i-au urmat s-au concentrat în primul rând asupra felului în care fotografia trebuie citită²² și asupra faptului că ea nu păstrează o lectură fixă, eternă, acordând totodată o anumită atenție modurilor în care o fotografie ascunde mecanismele propriei producții²³. Dar normele sociale se resimt nu doar în felul în care fotografiile sunt citite; ele influențează și ceea ce camera poate vedea. De pildă, vreme de decenii, pelicula Kodak cea mai folosită a eșuat complet în a surprinde pielea neagră și brun-închisă²⁴. Mediul însuși purta o opinie, independent de ceea ce voia fotograful să surprindă și de ceea ce cititorul-privitor era înclinat să vadă. Atunci când este produsă o operă, ne putem concentra doar asupra autorului oficial, dar, oricât de discret, vorbește și societatea.

Unul dintre motivele pentru care am găsit utilă scrierea lui Barthes despre intertextualitate pentru a străbate printre diferitele poziții referitoare la IA generativă este acela că el creează un cadru care permite discutarea nedreptății fără a fi nevoie să invoce exploatarea sau vătămarea. Pentru Barthes, lumea operei și a autorului este totodată o lume a tiraniei și a domniilor, a dominației și a libertăților îngrădite. Dar nu este o lume a furtului, fie el de timp, de muncă, de stil sau de clienți.

După cum am arătat, s-a scris mult despre proveniența ilicită sau cel puțin dubioasă a imaginilor folosite la antrenarea acestor sisteme. Dacă juriștii și eticienii IA încearcă să favorizeze „thoughtful collaboration between stakeholders in order to harness the true potential of generative artificial intelligence”²⁵, ilustratorii tind să aibă deja mintea făcută și găsesc situația asemănătoare cu povestea Kenny Who din banda desenată Judge Dredd²⁶, unde, după scanarea câtorva pagini de portofoliu, un robot poate imita stilul artistului omonim, făcându-l să exclame: „It’s me! My art churned out by a machine!”²⁷. Realitatea este însă foarte diferită, depășind simpla diferență de scară sau viteză a aproprierii. În „Computational Formalism”, Amanda Wasielewski discută pe larg presupunerile dubioase încorporate într-un asemenea scenariu. Ea indică aspecte tehnice care complică extragerea stilului dintr-un corpus, precum faptul că imaginile folosite pentru antrenarea modelelor sunt reproduceri digitale bidimensionale ale unor opere tridimensionale, realizate în condiții variabile de iluminare²⁸; faptul că stilul nu are doar o componentă formală, ci și una culturală și istorică²⁹; precum și faptul că trăsăturile formale ale operei unui artist variază de-a lungul carierei și depind de mediul ales. Dar ea oferă și observații și mai puternice. Adoptând o perspectivă de istoric de artă, Wasielewski remarcă faptul că nu artistul biografic este cel care construiește corpusul operei autorului, ci câmpuri culturale întregi, alcătuite din critici, istorici, studenți, profesori și alte instituții, care decid ce este opera autentică a unui artist și ce este doar juvenilia³⁰ ori fals³¹. Aceste câmpuri decid chiar cine și ce contează drept autor, din instincte și interese politice, recunoscute sau nu. De pildă, meritul artistic și, prin urmare, autoratul sunt privilegii ale modernității occidentale, care exclud tradiții în care natura colaborativă sau colectivă a operei face o asemenea atribuire „challenging if not impossible”³². Ea mai arată și că aceste câmpuri culturale sunt în dezacord cu privire la felul în care trebuie descrise, înțelese și numite anumite opere sau stiluri. Aici, Wasielewski prezintă „competitive synonymity” în care se aflau „Action Painting” și „Abstract Expressionism” atunci când descriau „gestural, nonfigurative work of artists like Pollock”³³. Argumentul ei se oprește într-un loc rezonabil, dar cred că poate fi împins mai departe dacă privim în interiorul modelului care transformă limbajul natural în imagini.

Dacă deschidem una dintre cele mai importante cutii negre care alcătuiesc o IA generativă, vom găsi două rețele neuronale cu o arhitectură encoder-decoder³⁴. Aceste rețele sunt antrenate pe perechi potrivite de imagini și descrieri, rezultatul fiind un text encoder și un image encoder care împart același spațiu matematic, numit de obicei spațiu latent. DALL-E 2 folosea un proces numit contrastive learning pentru a produce un așa-numit prior alcătuit atât din embeddinguri de imagini, cât și de text. Într-un sens mai general, deși simplificat, introducerea imaginii unei vaci aflate pe un avion pe Marte în image encoder ar produce o secvență de numere foarte apropiată de secvența produsă de introducerea expresiei „a cow atop a plane on mars” în text encoder. Aceste secvențe, numite vectori, împreună cu imaginile originale, sunt folosite pentru a antrena rețelele de difuzie care generează efectiv lucrarea, nu textul și imaginile în sine. Nicăieri în acest proces sistemul nu calculează sensul niciunuia dintre texte, fie ele vizuale sau scrise, și nici relația dintre cele două texte. Cum ajunge atunci sistemul să „înțeleagă” ce este o vacă, ce este un avion, ce este Marte, ce înseamnă să fii deasupra a ceva? Răspunsul este că nu ajunge. Calculul are loc în afara lui.

Intuițiile lingvisticii computaționale sunt fundamentale pentru înțelegerea felului în care se realizează acest lucru. Prin construirea unui model în care cuvintele sunt reprezentate ca vectori de valori numerice³⁵, dacă distanța dintre două embeddinguri este foarte mică, cuvintele corespunzătoare care le-au produs sunt puternic înrudite semantic. Fiind vectori, aceste embeddinguri pot fi puse în relație, compuse și analizate prin operații vectoriale, precum scăderea pe dimensiuni controlate³⁶, ceea ce permite cartografierea și traversarea întregului câmp semantic. Lingvistica computațională face inteligibile expresii de tipul „king - man + woman = queen”, ceea ce ar face calculabilă și o ecuație de forma „capital + france = x”, dacă este cartografiată suficient de mult din spațiul vectorial și dacă valoarea așteptată este prezentă. Dacă aceasta este o proprietate structurală a limbajului însuși ori a arhitecturii minții umane sau, dimpotrivă, un fenomen mai arbitrar și construit social contează foarte puțin pentru sistemele de machine learning, fiindcă, în absența unor intervenții ale inginerilor, ele funcționează de partea descriptivismului lingvistic și depind de felul în care noi, ca societate, folosim limbajul. ANN-urile nu rezolvă aceste ecuații lingvistice, ci doar descoperă statistic modul în care am decis, dintr-un motiv sau altul, să le rezolvăm. Aici discuția lui Wasielewski despre „competitive synonymity” devine cu adevărat iluminatoare în raport cu IA generativă. Afirmația ei este că descrierea picturilor lui Pollock drept Abstract Expressionism urmărea „to position the work in a wider pantheon of art for art’s sake and pure aesthetic expression”³⁷, spre deosebire de termenul mai restrâns Action Painting, care „was rooted in Marxist and leftist revolutionary politics”³⁸, sau de descrierea și mai restrânsă „Drip School”. Dacă oricare dintre acești termeni ar fi devenit modul canonic și, prin urmare, semnificativ statistic de a descrie opera lui Jackson Pollock, acest lucru ar fi putut produce o diferență sensibilă în felul în care IA ar fi înțeles nu doar opera lui Pollock sau pictura expresionist abstractă, ci mult, dacă nu cea mai mare parte, a corpusului său vizual, tocmai din cauza naturii relaționale a spațiului vectorial al modelului.

Folosind noțiunea de intertextualitate a lui Barthes, putem intui cum este socializată producerea sensului. Acest fenomen al socializării este la fel de vechi ca societatea umană însăși, iar această formă particulară de socializare, centrată pe cunoașterea științifică și pe figura autorului, este forma ei modernă. Nu este foarte diferită de felul în care activitatea productivă și reproductivă umană a fost mereu socializată, într-o măsură mai mare sau mai mică, între grupuri de dimensiuni variate, actul socializării fiind înțeles și practicat în mod particular fiecărei societăți. Piața și atelierul au socializat producția la o scară nemaivăzută înainte de mașină, dar a fost nevoie de puterea demonică a mașinii și de membrele ei pulsatorii pentru a destrăma misterele producției³⁹. La fel se întâmplă și în cazul textului. Metoda abstracției, cunoașterea științifică și figura autorului ne-au permis să producem și să circulăm sens prin opere într-o măsură imposibilă cu „bricolage”. IA generativă este terifiantă pentru că acționează ca un critic totalizator, impunând un sens fix și universal, transformând orice act de lectură într-unul consumptiv, chiar și pe acelea care sunt prin definiție subiective și istorice; ea înlocuiește scrierea-lectura productivă a operelor-text cu voința alienată a forțelor hegemonice din societate. În același timp, în mod asemănător felului în care Marx susținea în „Capitalul”, în capitolul despre „Machinery and Modern Industry”, că fabrica „rent the veil that concealed from men their own social process of production”⁴⁰, susțin că IA generativă ridică vălul care ascunde natura autoratului social asupra Textului. IA generativă arată atât limitele modalității noastre actuale de dobândire a cunoașterii și de expresie creativă, cât și, prin faptul că face explicite cu precizie matematică „mutual relations of dialogue, parody, contestation” care alcătuiesc această modalitate, poate indica și felul în care aceste limite pot fi depășite.

1. Rijmenam, “The Mystical Craft of Prompt Engineering”; Brabtree, “What Is Prompt Engineering?”

2. Liu and Chilton, “Design Guidelines for Prompt Engineering Text-to-Image Generative Models.”

3. Shen et al., Prompt Stealing Attacks Against Text-to-Image Generation Models.

4. Guadamuz, “Can the Monkey Selfie Case Teach Us Anything about Copyright Law?”

5. Zagrobelna, “Why Artists Don’t Like AI Art.”

6. Ramesh et al., “Zero-Shot Text-to-Image Generation.”

7. Boddington, AI Ethics, 49–51; 166–67; Rughiniș, Societatea digitală: Stăpâni, cetățeni sau sclavi?, 138–41.

8. Hao et al., “Optimizing Prompts for Text-to-Image Generation.”

9. Yanqi, “Mixture-of-Experts with Expert Choice Routing”; Chen et al., “Towards Understanding Mixture of Experts in Deep Learning.”

10. Kawar, Ganz, and Elad, “Enhancing Diffusion-Based Image Synthesis with Robust Classifier Guidance.”

11. Deng and Chen, “Divide-and-Conquer Attack.”

12. Berlin, “The Aesthetics of Generative Models.”

13. “Midjourney Style Tuner.”

14. Parsons, “Everything You Wanted to Know about MidJourney.”

15. Dai et al., “Emu.”

16. Berger, Ways of Seeing, 86.

17. Berger, 87.

18. Berger, 134–38.

19. Barthes and Heath, Image, Music, Text, 15–31.

20. Barthes and Heath, 32–51.

21. Barthes and Heath, 52–68.

22. Imaginile din presă sunt adesea însoțite de legende textuale care îl ghidează pe cititorul ce se găsește în dificultate atunci când încearcă să le citească, pentru că nu este situat în istoria sau cultura care le-a produs. Barthes observă că scrisul nu „amplifică pur și simplu un set de conotații deja date în fotografie”, ci că uneori „produce (invents) an entirely new signified which is retroactively projected into the image” sau chiar poate „contradict the image so as to produce a compensatory connotation” (Barthes and Heath, 27.). Ernest Gombrich formulează observații similare, deși mai directe, atunci când discută relația dintre asemenea etichete și valoarea de adevăr a picturii comerciale, a fotografiilor de război și a ilustrațiilor științifice (Gombrich, Art and Illusion, 56.). Există două domenii în care discutarea relației dintre imagini și legende este de interes pentru arta IA generativă.

În primul rând, pentru că poate evidenția subtilitățile bias-ului din IA generativă. Faptul că modelele de machine learning sunt antrenate pe seturi de date cu probleme sistemice (Barlas et al., “To ‘See’ Is to Stereotype.”) este atât de bine cunoscut încât încercarea de a remedia situația a dat naștere câmpului AI Ethics. Dar acest bias devine limpede abia când produce imagini care nu se conformează lumii după nicio metrică obiectivă, cele mai emblematice cazuri fiind fie subreprezentarea femeilor și a minorităților rasiale, fie supra-reprezentarea lor în contexte complet nepotrivite (Robertson, “Google Apologizes for ‘Missing the Mark’ after Gemini Generated Racially Diverse Nazis.”). S-a acordat mai puțină atenție bias-ului de confirmare al cititorului-privitor atunci când imaginea solicitată prin prompt cere reprezentarea unei situații mai subtile sau mai ambigue, mai ales atunci când nu există un prejudiciu evident dacă modelul selectează o interpretare în detrimentul alteia. Un exemplu este cazul în care sistemelor li se cere să imite un anumit stil artistic, despre care voi discuta mai jos. În acest caz, promptul funcționează exact ca legenda în fotografia utilitară, accentuând o posibilă lectură a imaginii în detrimentul alteia. Modelele sunt evaluate pentru acuratețe, dar doar în categorii largi.

Un alt domeniu în care această discuție este relevantă este producerea seturilor de date de antrenament folosite de IA-urile generative. Cele mai multe modele folosesc o metodologie de antrenare supervizată (Radford et al., “Learning Transferable Visual Models From Natural Language Supervision.”) sau semi-supervizată, ceea ce înseamnă că imaginile pe care sunt antrenate sunt puse în pereche cu descrieri oferite de oameni. Iar oamenii care descriu sau etichetează imaginile sunt ei înșiși situați într-o anumită istorie și cultură.

23. Cu alte cuvinte, noi, ca cititori-privitori, nu știm cum a fost pusă în scenă fotografia înainte de a fi făcută și nici cum a fost manipulată imaginea după ce lumina a lovit pelicula. Un exemplu recent și ilustrativ este fotografia cu care Dikye Ariani a câștigat CEWE Photo Award în 2023 și care s-a dovedit ulterior a fi fost pusă în scenă și realizată sub o lumină dramatică de studio )Growcoot, “Picture That Won ‘World’s Largest Photo Competition’ Was Staged.”), contrazicând spiritul regulilor concursului, dacă nu chiar litera lor.

24. Roth, “Looking at Shirley, the Ultimate Norm.”

25. Hayes, “Generative Artificial Intelligence and Copyright.”

26. Shapira, “But Who? Is The Artist: The Kenny Who Trilogy and The Reality of AI Art”

27. Wagner, Grant, and Kennedy, Judge Dredd: The Art of Kenny Who?, 22–23.

28. Wasielewski, “Computational Formalism,” 50-51;62-63.

29. Wasielewski, 64–65.

30. Wasielewski, 69–72.

31. Wasielewski, 107–15.

32. Wasielewski, 98–99.

33. Wasielewski, 73–74.

34. Li et al., “Your Diffusion Model Is Secretly a Zero-Shot Classifier”; Ramesh et al., “Hierarchical Text-Conditional Image Generation with CLIP Latents.”

35. Turney, “Similarity of Semantic Relations.”

36. Vylomova et al., “Take and Took, Gaggle and Goose, Book and Read.”

37. Wasielewski, “Computational Formalism,” 73.

38. Wasielewski, 73.

39. Marx and Engels, Karl Marx, 35:384–85.

40. Marx and Engels, 35:489.