Monet proti Manetu

Uvod

Edouard Manet in Claude Monet sta bila francoska slikarja, sodobnika v času modernizma. Delo obeh umetnikov je izredno plodno, vendar laičen posameznik z lahkoto zameša enega in drugega avtorja. V aktivnosti spoznamo delo obeh slikarjev in raziščemo, kaj loči Moneta od Maneta.

Za začetek naložimo 107 slik Edouarda Maneta (1832) in Clauda Moneta (1840). Dijake vprašamo, ali poznajo katerega od avtorjev in po čem. Katera so njuna najbolj znana dela? Poskusimo jih uvrstiti v umetniško smer. Manet je namreč pripadnik realizma in kasneje impresionizma, medtem ko je Monet vso kariero tipični impresionist. Nam računalnik lahko pomaga odkriti ključne razlike med avtorjema?

Opazovanje podatkov

Podatke naložimo v Import Images in ga povežemo v Image Viewer. V njem pogledamo, katere slike smo naložili. Izpostavimo nekaj bolj znanih, na primer, Manetovo Luncheon on the grass ter Monetovo Water lilies.

Pokažemo tudi sliki The Grand Canal in Venice. Ali znajo povedati, katera izmed slik je Monetova in katera Manetova? Namignemo, da je to že del ocenjevanja algoritma, ki se imenuje AUC in predstavlja točno to - če imamo dve sliki, od katerih je ena Monetova in druga Manetova, s kolikšno verjetnostjo bomo pravilno določili avtorja.

Globoke nevronske mreže in vložitve

Računalnik je odličen matematik, ni pa ravno uspešen umetnostni zgodovinar. Zgolj na podlagi slike ne bo uspel ugotoviti ničesar pametnega. Zato moramo slike opisati s številkami.

Kako bi slike opisali dijaki? Umetna inteligenca za svoje delovanje namreč potrebuje opise objektov, ki nas zanimajo. Na primer slik. Vsako sliko moramo opisati tako, da bomo čim bolj verno predstavili njene lastnostni. Vsaka posamzna lastnost se imenuje značilka. Kaj bi bile značilke za ločevanje med Monetom in Manetom?

Čeprav bi bilo lahko štetje pojavnosti posamezne barve lahko povsem učinkovito, pa tak opis ne zajame ničesar o vsebini slike. Kaj ne bi bilo bolje, če bi sliko opisali na podlagi njenega motiva? Na primer, da bi portreti imeli drugačne številske opise kot krajine? Da bi recimo šteli pojavitve oči, nosov, ust, trave, dreves in gora? Ter bi na podlagi tega primerjali slike?

Nekaj podobnega počnejo globoke nevronske mreže. Pri tem gre za kompleksne algoritme, ki simulirajo človeško percepcijo. Lahko si predstavljamo, da globoki model na sliki prepozna kvadrate, diagonalne črte, vodoravne črte, trikotnike, ovale in tako naprej ter na podlagi tega sestavi številski opis.

Primer takega model je Inception v3, ki ga je naučil Google na 14 milijonih slik. Model uspešno ločuje med motivi slik, npr. prepozna, ali je na sliki raca ali avto. V našem primeru bo določil, kateri motiv se pojavi na sliki.

Problem je, da teh modelov ne moremo razložiti. Značilke, ki jih vrnejo, so povsem nerazumljive ljudem. To lahko preverimo v gradniku Data Table.

Gradnja napovednega modela

Ko slike opišemo s številkami, lahko zgradimo napovedni model. Najprej potrebujemo postopek ocenjevanja. Tega določimo v gradniku Test and Score. Uporabili bomo prečno preverjanje, ki podatke razdeli na enakomerne skupine in v vsakem koraku uporabi drug del podatkov za učenje in en za testiranje modela. Kakovost modela ocenimo z mero AUC, ki se je spomnimo od prej. Na nek način nam ta mera pove, kako dobro, izmed dveh slik, znamo določiti avtorja.

Nato potrebujemo še postopek za učenje. Izbrali smo logistično regresijo, ki jo pripeljemo v postopek za ocenjevanje (Test and Score). Točnost modela je dokaj visoka, 0.932. Logistična regresija tako dokaj uspešno loči med slikarjema.

Še vedno pa ni nezmotljiva. Poglejmo si, kje se je model zmotil. To storimo v matriki zmot (Confusion Matrix). V diagonalnih, modrih poljih so pravilno napovedani primeri. V rdečih poljih pa so nepravilno napovedani. Za 5 primerov model misli, da jih je naslikal Monet, čeprav je njihov avtor v resnici Manet.

Poglejmo si, katere slike so to. Izberimo polje v matriki zmot in si poglejmo slike v gradniku Image Viewer. Napačno klasificirane Manetove slike vsebujejo zelenje, vodo in mehke poteze. To si tipične lastnosti Monetovega sloga.

Kaj pa obratno? Napačno uvrščene Monetove slike vsebujejo motive ljudi in izrazite linije in kontraste. Vse, kar je značilno za Manetov stil.

Zaključek

Napovedni modeli ter globoke nevronske mreže, ki vpenjajo slike v številski prostor, se dandanes uporabljajo vsepovsod. Tak primer je Google Search, kjer lahko uporabnik išče z ukazom “pomaranča” in bo algoritem v ozadju uspel najti slike pomaranč, četudi te niso označene z izrazom “pomaranča”. Globoke nevronske mreže se uporabljajo tudi pri računalniškem vidu, na primer pri samovozečih avtomobilih za zaznavanje tipov objektov na cesti.

  • Predmet: umetnostna zgodovina
  • Starost: 2. letnik
  • UI tema: klasifikacija
Umestitev v predmetnik

Z vidika umetnostne zgodovine: dijaki spoznajo stilske razlike med Monetom in Manetom, dvema sodobnikoma francoskega modernizma. Samostojno ali ob pomoči učitelja raziščejo, kateri motivi so tipični za katerega slikarja.

Z vidika umetne inteligence: dijaki spoznajo principe delovanja nevronskih mrež ter kako jih lahko uporabimo za klasifikacijo slik. Spoznajo, da so različni modeli primerni na različne naloge, hkrati pa se naučijo tudi, kako zgraditi preprost klasifikator in raziskati pravilno ter napačno klasificirane primere.

Predvideni potrebni gradniki Orangea: Import Images, Image Embedding, Test and Score, Logistic Regression, Confusion Matrix, Image Viewer.

Aktivnost je skladna s splošnimi cilji predmeta:

  • usposablja za razumevanje in analizo umetniškega dela ter umevanje idejnih konceptov v umetnosti;
  • razvija sposobnost besednega izražanja v opisovanju umetniških del in pojavov pri utemeljevanju stališč, kriterijev in pogledov na likovno umetnost;
  • uči pravilne uporabe različnih virov ter kritično iskanje in vrednotenje informacij;
  • razvija sposobnost samostojnega učenja in oblikovanja konceptov