Monet proti Manetu

Uvod

Edouard Manet in Claude Monet sta bila francoska slikarja, sodobnika v času modernizma. Delo obeh umetnikov je izredno plodno, vendar laičen posameznik z lahkoto zameša enega in drugega avtorja. V aktivnosti spoznamo delo obeh slikarjev in raziščemo, kaj loči Moneta od Maneta.

Za začetek naložimo 107 slik Edouarda Maneta (1832) in Clauda Moneta (1840). Dijake vprašamo, ali poznajo katerega od avtorjev in po čem. Katera so njuna najbolj znana dela? Poskusimo jih uvrstiti v umetniško smer. Manet je namreč pripadnik realizma in kasneje impresionizma, medtem ko je Monet vso kariero tipični impresionist. Nam računalnik lahko pomaga odkriti ključne razlike med avtorjema?

Opazovanje podatkov

Podatke naložimo v gradnik Uvoz slik in ga povežemo z gradnikom Pregledovalnik slik. V njem pogledamo, katere slike smo naložili. Izpostavimo nekaj bolj znanih, na primer, Manetovo Luncheon on the grass ter Monetovo Water lilies. Če želimo izpostaviti samo dve sliki, potem Uvoz slik povežemo s Tabelo, v njej izberemo dve sliki in nadalje povežemo z gradnikom Pregledovalnik slik, kjer bosta prikazani samo izbrani sliki.

Pokažemo tudi sliki The Grand Canal in Venice. Ali znajo povedati, katera izmed slik je Monetova in katera Manetova? Namignemo, da je to že del ocenjevanja algoritma, ki se imenuje AUC in predstavlja točno to - če imamo dve sliki, od katerih je ena Monetova in druga Manetova, s kolikšno verjetnostjo bomo pravilno določili avtorja.

Globoke nevronske mreže in vložitve

Računalnik je odličen matematik, ni pa ravno uspešen umetnostni zgodovinar. Zgolj na podlagi slike ne bo uspel ugotoviti ničesar pametnega. Zato moramo slike opisati s številkami.

Kako bi slike opisali dijaki? Umetna inteligenca za svoje delovanje namreč potrebuje opise objektov, ki nas zanimajo. Na primer slik. Vsako sliko moramo opisati tako, da bomo najustrezneje predstavili njene lastnostni. Vsaka posamzna lastnost se imenuje značilka. Kaj bi bile značilke za ločevanje med Monetom in Manetom?

Čeprav bi bilo lahko štetje pojavnosti posamezne barve lahko povsem učinkovito, pa tak opis ne zajame ničesar o vsebini slike. Kaj ne bi bilo bolje, če bi sliko opisali na podlagi njenega motiva? Na primer, da bi portreti imeli drugačne številske opise kot krajine? Da bi recimo šteli pojavitve oči, nosov, ust, trave, dreves in gora? Ter bi na podlagi tega primerjali slike?

Nekaj podobnega počnejo globoke nevronske mreže. Pri tem gre za kompleksne algoritme, ki simulirajo človeško percepcijo. Lahko si predstavljamo, da globoki model na sliki prepozna kvadrate, diagonalne črte, vodoravne črte, trikotnike, ovale in tako naprej ter na podlagi tega sestavi številski opis.

Primer takega modela je Inception v3, ki ga je naučil Google na 14 milijonih slik. Model uspešno ločuje med motivi slik, npr. prepozna, ali je na sliki raca ali avto. V našem primeru bo določil, kateri motiv se pojavi na sliki.

Problem je, da teh modelov ne moremo razložiti. Značilke, ki jih vrnejo, so povsem nerazumljive ljudem. To lahko preverimo tako, da gradnik Vložitev slik (kjer je izbran Inception v3) povežemo s Tabelo in jo odpremo.

Gradnja napovednega modela

Ko slike opišemo s številkami, lahko zgradimo napovedni model. Najprej potrebujemo postopek ocenjevanja. Tega določimo v gradniku Testiraj in meri. Uporabili bomo prečno preverjanje, ki podatke razdeli na enakomerne skupine in v vsakem koraku uporabi drug del podatkov za učenje in en za testiranje modela. Kakovost modela ocenimo z mero AUC, ki se je spomnimo od prej. Na nek način nam ta mera pove, kako dobro, izmed dveh slik, znamo določiti avtorja.

Nato potrebujemo še postopek za učenje. Izbrali smo logistično regresijo, ki jo pripeljemo v postopek za ocenjevanje (Testiraj in meri). Točnost modela je dokaj visoka, 0.914. Logistična regresija tako dokaj uspešno loči med slikarjema.

Še vedno pa ni nezmotljiva. Poglejmo si, kje se je model zmotil. To storimo z gradnikom Matrika zmot. V diagonalnih, modrih poljih so pravilno napovedani primeri. V rdečih poljih pa so nepravilno napovedani. Za 9 primerov model misli, da jih je naslikal Monet, čeprav je njihov avtor v resnici Manet.

Poglejmo si, katere slike so to. Izberimo polje v matriki zmot in si poglejmo slike v gradniku Pregledovalnik slik. Napačno klasificirane Manetove slike vsebujejo zelenje, vodo in mehke poteze. To si tipične lastnosti Monetovega sloga.

Kaj pa obratno? Napačno uvrščene Monetove slike vsebujejo motive ljudi in izrazite linije in kontraste. Vse, kar je značilno za Manetov stil.

Zaključek

Napovedni modeli ter globoke nevronske mreže, ki vpenjajo slike v številski prostor, se dandanes uporabljajo vsepovsod. Tak primer je Google Search, kjer lahko uporabnik išče z ukazom “pomaranča” in bo algoritem v ozadju uspel najti slike pomaranč, četudi te niso označene z izrazom “pomaranča”. Globoke nevronske mreže se uporabljajo tudi pri računalniškem vidu, na primer pri samovozečih avtomobilih za zaznavanje tipov objektov na cesti.