Tanec tužky v algoritmu

Vytvořil algoritmy, které udělaly ze slavné disneyovky Lví král 3D film nebo daly barvu starým černobílým Rumcajsům. Daniel Sýkora, laureát ceny Neuron pro mladé vědce za Computer Science, programuje nástroje, které mají počítačovým animákům vrátit patinu a krásu ruční práce. Ale bez úmorné a nekonečné dřiny.

Rozhovor vyšel v časopise INTERVIEW, květen 2017
Je publikován s laskavým svolením autorky Lenky Vrtiškové Nejezchlebové a redakce.

Proč by se měl do kin vrátit ručně dělaný animovaný film? 
Pel ruční kresby je ve filmu znát, expresivita, rozmáchlost, „nedokonalost“ ruční práce. V nových animácích se vytratila. Počítač všechno vyhladí do někdy až nudné dokonalosti. S podobným problém se už kdysi v dobách klasického kresleného filmu potýkal i slavný animátor Glen Keane, který dělal na Disneyovce Kráska a zvíře. Původně chtěl, aby Zvíře bylo opravu hrubé, drsné, aby to byla expresivní kresba. Ve finální čistokresbě se z něj ale stal spíš uhlazený „elegán“.

Není to jen taková libůstka pro fajnšmekry? Není to běžnému divákovi jedno? 
Toť otázka. Ano, možná to charakterizuje nějakou minoritní art záležitost, přičemž většina lidí možná vlastně chce vyhlazené, lesklé, líbivé obrázky... Ale v poslední době se zdá, že diváci jsou tak trochu přejedení „dokonalostí“ a úhledností. Některá studia už na to dokonce odpovídají a vkládají do 3D animovaných filmů kratší 2D sekvence, které buď ruční kresbu připomínají, nebo to opravdu ruční práce je. Třeba ruční animace tetování jednoho z hrdinů Odvážné Viviany od Disneyho nebo úvodní sekvence z filmu Croodsovi od studia DreamWorks, která připomíná kreslený film. Působí tak velmi osvěžujícím dojmem. Připomíná mi to trochu situaci, jako když uživatelé Instagramu schválně trochu „špiní" fotku, dávají jí nějaký expresivní nádech nebo patinu.

Protože „dokonalost“ není přirozená?

Ano. A představte si, že se dokonce chystá celovečerní britsko-polský animovaný film Loving Vincent, který je kompletně ručně malovaný na plátno olejovými barvami. Pracovalo na něm paralelně 125 malířů.

Wow!
Viděl jsem nějaké sekvence a byl jsem naprosto u vytržení. Počiny jako je Loving Vincent budou ale asi spíše raritní. Nemyslím, že by se chystal velký comeback celovečerních opravdu ručně kreslených animáků, to by bylo pekelně drahé, zdlouhavé a neefektivní, spíše má smysl hledat možnosti, jak propojit počítačovou animaci s ruční prací, a na tom děláme i my.

Vaše algoritmy umožní přenos ruční práce do počítačové animace? 
Ano! Dáme svobodu výtvarníkovi, aby v tom zůstal jeho styl. Zachováme patinu ruční práce, ale zlevníme proces.


Teď se vraťme se na začátek. Bylo nebylo, jednou šel takhle švec Rumcajs, loupežnický aspirant, po lese Řáholci a došel až do vaší diplomové práce. Dostal jste před lety za úkol vymyslet nástroj, který by pomohl nabarvit starou černobílou sérii Večerníčků Radka Pilaře. Jak jste se k tomu dostal? 
Česká televize tehdy řešila, co s první černobílou sérií. Když to pouštěli dětem, byly z toho celé perplex, měly pocit, že tam je něco špatně, protože všechny ostatní Večerníčky byly barevné. Tak se ČT rozhodla Rumcajse obarvit a zadali to studiu UPP (Universal Production Partners, pražské trikové studio, které spolupracuje i na filmech světové produkce, pozn. red.) Jenže tehdy se barvilo na Flame, což byla strašně drahá mašina na filmové triky, stálo to astronomické částky a kvalita výsledného barvení nebyla zrovna úchvatná. Tehdy za mnou přišel Honza Buriánek, tehdy doktorand na ČVUT, který pro ně také pracoval, zda bych nezkusil vymyslet algoritmus, který by umožnil Rumcajse obarvit, aby to netrvalo léta, nestálo majlant a vypadalo to dobře.

To zní jako velká výzva!
Taky že jo. Do té doby jsem dělal spíš věci, kdy se z matematického modelu vyrobí obraz, tohle byl opak. Existuje obraz, ale vy z něj musíte vytáhnout "model" a s tím modelem pak pracovat. Neměl jsem s tím žádné zkušenosti, ale jak mi postupně z UPP dodávali data - skeny z filmového pásu - začalo mě to fascinovat. Viděl jsem ty nejjemnější detaily ruční kresby, jak je to krásně udělané, čistě a chytře provedené. A taky mi došlo, jaká je animace optický podfuk, že stačí relativně málo obrázků, aby to našemu mozku stačilo a považoval to za plynulý pohyb. Rok jsem se s tím pral, bádal a vymýšlel.

Jako malý jste měl Rumcajse rád? 
Líbil se mi, hodně také proto, že tu sérii tenkrát namluvil Karel Höger, ale najednou jsem viděl věci, které tam dítě vidět ani nemůže. Jako bych prokouknul dovnitř. Propadl jsem tomu, dělal analýzu obrazu, zkoušel jsem tehdejší možnosti, to bylo v letech 2001-2002, a zjistil jsem, že neexistuje žádný rozumný nástroj, kterým by se to dalo obarvit, aby to vypadalo pěkně a bylo to rychlé. Tak jsem vymyslel vlastní.

„Programování má podobný charakter jako práce výtvarníka – ten taky o věci přemýšlí, má nápad, hodí si skicu, maluje.“


To vám museli padnout okolo krku, ne? 
Kdepak. To není jednoduché přesvědčit studio, aby zkusilo jiný, nový přístup. Musíte dokázat, že to uděláte rychleji, líp a za míň peněz. Chvíli to trvalo, ale pak řekli: „Jdeme do toho, uděláme to!“ Měl jsem eso v rukávu, můj nástroj fungoval na obyčejném PC, nebylo potřeba platit hodiny na té strašně drahé mašině. Začali jsme barvit.

My? 
Ano. Barvili jsme všichni, včetně členů naší rodiny. A bylo to jedno z nejhezčích období v mém životě. Všichni byli nadšení, že se na tom můžou podílet, že vzniká něco krásnýho. Dodnes, když běží ty první díly v televizi - Jak Rumcajs vyleze ze svojí ševcovny a dostane se do Řáholce, jak potká Manku - říkáme si, kdo co barvil.

Rumcajs dostal červený klobouk, Manka sukni a vy jste měl hotovou diplomovou práci. Co bylo pak? Barvili jste další Večerníčky? 
Něco bylo ve hře, ale nakonec z toho sešlo. Ale mně to nevadilo, měl jsem spoustu nápadů a rozvíjel jsem si svůj nástroj po vlastní ose během doktorátu, snažil jsem se ho vyladit tak, aby se proces ještě zrychlil, zprecizoval a zredukoval se počet ručních zásahů.

Jen tak „do zdi“?
To mě nakonec neuspokojovalo, chtěl jsem zase zkusit něco prosadit do praxe. Shodou okolností jsem na třídním srazu narazil na spolužáky, kteří mají animační studio AniFilm, a tak jsem k nim pak hned naběhl, abych viděl, co řeší za reálné problémy. Spolupracují s výtvarníkem Pavlem Koutským, který má nádherně rozevlátou linku, když kreslí. Barvili to ve Photoshopu, dřevním a strašně pracným způsobem. Když je linka rozbitá, nejde to pomocí běžných nástrojů, barva „vytéká“, a když se to čistí, tak to zase vypadá „chlupatě“ a ošklivě. To musíme pokořit! Další výzva byla přede mnou.

To mě právě napadlo, že barvit Pilařovy obrázky, které mají pěknou tlustou kompaktní konturu, podobnou jako má Lada, není - při vší úctě - tak náročné, jako nabarvit třeba práci Zdeňka Smetany nebo Jiřího Šalamouna, kteří ty zřetelné kontury nepoužívají.
Přesně tak. Tyhle problémy v Rumcajsovi nebyly, ani tam tedy nešlo jen tak „vylejt“ plechovku barvy, ale bylo to výrazně snazší. Tak jsem se do toho zase ponořil. A vynořil jsem se s algoritmem LazyBrush. Byl to velký průlom. Dramaticky se snížila časová i finanční náročnost procesu. Z šílené, zdlouhavé, úmorné práce, která byla často náročnější než samotné rozkleslování, se stal normální, rozumný proces. Když jsem to publikoval, byl o to velký zájem. Díky tomu jsem taky dostal stipendium Marii Curie a odjel na dva roky do Irska. Tam jsem se mohl soustředit, algoritmus ještě vypilovat a napsat publikace. Výsledek jsem prezentoval na konferenci Eurographics, kde to viděli lidé z Disney. A na Štědrý den (2009) přišel ze studia Walta Disneyho e-mail, jestli bych nechtěl přijet, že by stáli o spolupráci.

„Pracoval jsem v jejich největším studiu, kde udělali všechny ty svoje oscarové animáky.“

Na Štědrý den pozvánka do studia Walta Disneyho? Tomu říkám dárek!
Nádhera, jeden z největších dárků v životě. Jeli jsme pak do Ameriky s celou rodinou, holky byly malinké. Pracoval jsem v jejich největším studiu, kde udělali všechny ty svoje oscarové animáky. To byl obrovský moment v mém životě. Jako bych tam rozkvetl. Byl jsem strašně šťastnej, když jsem viděl, že výsledek mé tvrdé práce může usnadnit práci spoustě jiným lidem. Bohužel jsem tam přijel zároveň v době, kdy opravdu končila éra ručně kreslených celovečerních filmů...

A po vás chtěli nástroj, který by převedl starého Lvího krále do 3D, jak už jsme naznačili výše? 
Ano. Chtěli konvertovat staré animáky do stereoskopického kina a začít chtěli Lvím králem, což je ještě stará dobrá ruční práce a pro Američany kultovní záležitost. Byl jsem tam tři měsíce - stihl jsem si tam vytvořit i několik osobních kamarádství, pak jsem ještě na kontrakt pracoval na dálku. Vytvořil jsem několik nástrojů... a pak šel 3D Lví král do kin.

Byl jste se podívat? 
Jasně. Vzal jsem na to i svoje studenty. Ale byli jsme v kině sami, u nás to nebyl takový hit, jako ve Státech. Ale byl to skvělý pocit, neuvěřitelný.

Počítám, že jste si počkal na titulky. 
Aby ne. Jsem fakt hrdej, že je tam moje jméno. Naše dcery jsou fanynky animáků a některá jména z titulků jsou jejich osobní kamarádi, takže my když jdeme do kina, tak pro nás ten hlavní zážitek začíná až na konci, kdy ostatní odcházejí. Známe ty tvůrce. Třeba výtvarníka, který dělal Frozen, Ledové království, u něj Štěpánka jako malinká usnula na gauči v ofisu.

Když jsem si googlovala vaše jméno, vyskakovali na mě různí Sýkorové výtvarníci. To jsou příbuzní? 
Je to dost dobře možné. Můj praděda byl malíř. Můj táta výborně kreslí a i můj bratr Ondřej je skvělý výtvarník. Na naší starší dceři Štěpánce je už taky znát obrovský výtvarný talent.

A vy? 
Vliv je patrný, ale bohužel jsem nezdědil tu schopnost tvořit. Výtvarné umění mám jako vášeň. Jsem nadšený obdivovatel. Když vidím něco, co je opravdu dobré, jsem u vytržení, nevnímám nic kolem. Tak jsem se zamiloval i do své ženy. Byl jsem fascinovaný její tvorbou. Je šíleně manuálně zručná, původem zlatnice, ale umí i malovat, fotografovat, navrhnout interiér. Je prostě dobrá. Občas mi vyčítá, že jsem ji zastavil v kariéře, že ta její ustoupila té mojí, byla rozjetá, ale péče o holky byla opravdu dost na ní... Ale holky jsou konečně dost velké na to, aby se zase rozjela. A už začala. Navrhuje interiéry a má první zakázky.


Výtvarný talent jste sice nezdědil, ale našel jste si svoji cestu, jak do výtvarného umění promluvit. Kudy jste šel? 
Jako dítě jsem miloval Verneovky. A Karla Zemana. A miloval jsem papírové vystřihovací modely z Ábíčka. Obdivoval jsem tu precizní práci. Zkoušel jsem všechno možné, hrál jsem si, ale brzy mi došlo, že nejsem umělecký typ. Zato jsem začal chodit za tátou, učil na strojárně, měli tam první počítač s internetem, někdy v roce 1992. Přitahovalo mě to. Fascinovalo mě programování, první prográmky jsem dělal už na základce, ale na střední škole, s pravěkem internetu, přišel fenomén zvaný demoscéna. A to mě dostalo.

Co je to bylo? 
Počítačový underground. Lidi tvořili audiovizuální díla, v reálném čase, pomocí programování, vytvářeli pohyblivé obrazy, on-line. Stroje byly tenkrát strašně pomalé, normální uživatel si nedovedl ani představit, že by něco takového bylo možné udělat. Ale tihle týpci to uměli. Vytlačit z těch strojů, co se dalo, vyždímali je na maximum, využívali hardwarové triky, programovali v reálném čase vizuály, které se šířily po pevné telefonické lince, té prvotní internetové síti, nebo na disketách. Předháněli se, kdo z toho technicky vydoluje nejvíc a kdo to bude mít hezčí po výtvarné stránce. Spojovalo to matematiku, programování, výtvarno, hudbu. Úplně jsem se do toho zbláznil. Ponořil jsem se do toho hluboko. Učil jsem se, studoval, zkoušel si všechno možné, testoval jsem to, dali jsme se dohromady ještě s pár kamarády a založili jsme skupinu a s našimi demy jezdili i na soutěže. Žil jsem tím. Byla to dost exkluzivní, uzavřená komunita.

Mám si vás představit jako nerda v kapuci s bledým obličejem pořád před monitorem, který nezahlédne slunce, ani holky? 
Přesně takhle zoufalé to bylo (směje se). Od rána do noci u počítače, občas výjezd na soutěž. Vypadal opravdu jako neskutečný blázen. Ani přítelkyni jsem tehdy neměl. Totální nerd, totální geek. Ale ten pocit, když jsme vyhráli soutěž! A strašně moc jsem se na tom naučil. Díky demoscéně jsem se dostal k počítačové grafice, která mě dovedla na FEL (Fakulta elektrotechniky ČVUT, pozn. red.), ke studiu u gurua oboru profesora Žáry, jehož kniha Moderní počítačová grafika byla naší biblí. Z našeho demo-týmu nás tam šlo hned několik. Ale zhruba v době, kdy jsem šel na vysokou, začala demoscéna skomírat. Počítače se zrychlovaly a nám pravověrným začaly chybět ty limity, které jsme museli překonávat.

Už to uměl kdekdo? 
Jo. Už to nebylo tak exkluzivní. Ztratilo to kouzlo. Odumíralo to spolu s miléniem.

Naštěstí si vás pak našel Rumcajs a animáky. Jak vlastně pracujete? U počítače, nebo i s papírem a tužkou?

Když se chci soustředit, tak do počítače koukat nemůžu, to si zalezu někam s papírem a tužkou a kreslím si a čmárám svoje nápady. Jen si to tak nahodím. A pak sednu k počítači a začnu programovat. I programování je kreativní činnost, má podobný charakter jako práce výtvarníka. Taky o tom přemýšlí, má nápad, hodí si skicu a pak maluje. Já taky začínám s tužkou... pak to ale musím vysedět u počítače. A ještě řešit spoustu věcí kolem, hodně času a energie požírá komunikace. To všechno se podepisuje na mém fyzickém stavu, bortím se. Občas se přinutím k pilates, občas běhám, ale nepravidelně. Měl bych zabrat. Ale čeká mě snad restart. Dostal jsem štědré Fullbrightovo stipendium, někdy v půli prázdnin bychom měli odletět celá rodina do Salt Lake City na University of Utah, kde budu pracovat na jednom projektu s mým dlouholetým kamarádem. 

Aha. Já myslela, že to bude sabbatical, že nebudete pracovat.
Práce to bude, ale odříznu se od běžné komunikace, která mě vyčerpává. Kdybych měl odvahu, nastavil bych si v mailu automatickou odpověď ve stylu čarodějky z filmu Rebelka: „Vyrazil jsem si na fesťák řezby a košíků. Vrátím se až na jaře. Pro spojení s Homunkulem stiskněte křížek.“

Učíte tady na fakultě? 
Učím, baví mě to. A taky si díky tomu hledám a nacházím talenty do týmu. A drží mě to v pohotovosti, abych neustrnul, jsou tu hodně chytří studenti, musím se pořád připravovat, abych s nimi neztratil krok, aby mě nenačapali, jak tápu. Když nemá vědec kontakt s mladými lidmi, jde to s ním s kopce.

Máte v týmu i nějakou dívku?
Ano, talentovanou magisterskou studentku, která ve své diplomové práci rozvíjí projekt StyLit. Pomáhá nám i kolegyně akademická malířka, externě spolupracujeme s mou bývalou studentkou a teď se k nám na čas připojila i profesionální animátorka. Můj tým je moje druhá rodina, čímž se taky někdy dostávám do kolize, když jsem se svými „dětmi“ ve škole a nejsem se svými vlastními dětmi doma. Je to těžké, ale snažím se to vyvážit. K lidem v týmu mám vztah, nejsem přísný imperátor, jsme parťáci, děláme společnou věc a funguje to. Nezvládl bych to bez nich. Jsou motor, jsou schopní udělat spoustu práce. 

V době, kdy si budou lidé číst tento článek, budete čerstvým držitelem Ceny Neuron pro mladé vědce, kvůli vám dokonce zřídili novou kategorii Computer Science. Co pro vás takové ocenění znamená? 
Nejdřív mě to zaskočilo. Říkal jsem si, jestli jsem opravdu tak dobrý, že bych ji měl dostat, proč já? Ale pak jsem si začal v hlavě probírat, co všechno jsem udělal, co se mi povedlo... „Aha! A vlastně, proč ne já?!“ (směje se) Je to ale cena pro celý tým. Myslím, že se nám povedlo udělat pár revolučních, krásných nástrojů, které můžou dobře sloužit. A že se mi splní sen. Že i díky našim algoritmům se do kin s novými animáky vrátí i stará dobrá ruční práce.

Nedávno Dan Sýkora se svým týmem ohromili svět počítačové grafiky videem rozhýbaných obličejů, které na sebe berou podobu jakékoliv fotky, sochy nebo obrazu.

„Mám strach, že vypouštíme Krakena, protože to vypadá tak věrohodně, že laik a mnohdy ani samotný výtvarník nerozpozná, že to není ruční práce. A v tom je i potenciální nebezpečí. Je to jako ve sci-fi filmu, kde se androidi vyrovnají svým stvořitelům, pak je přechytračí nebo se postaví proti nim. Mám trochu obavu, že jsme vyrobili něco, co nám trochu utíká, ztrácíme kontrolu a možná jsme to i přeťápli. Na druhou stranu je v tom ale obrovský potenciál. Kdyby se náš nástroj využil pro výrobu animovaného filmu, ušetřila by se spousta peněz, času a námahy, zároveň by to pořád mělo originální výtvarníkův styl," říká Dan Sýkora v navazujícím rozhovoru pro časopis ČiliChilli.

„O něco podobného se snaží velcí hráči. Nejvíc mě rozesmálo a potěšilo, když jsem si přečetl: 'Všechny Zuckerbergovy peníze nestačily, aby vyvinuli něco pořádného na stylizaci obličejů, a tady se podívejte na partičku z ČVUT z Prahy!' Dřív jsme úspěšně udělali stylizace trojrozměrných modelů, ale obličej, to je výzva! Divák je na něj extrémně citlivý, na 3D neživém modelu ledacos schováte, na obličeji ne. A tak jsme to zkoušeli, hráli jsme si s tím. Podařilo se to, i když je pořád co vylepšovat.“

Nástroj Sýkora s úspěchem prezentoval na nejprestižnější konferenci v oboru počítačové grafiky SIGGRAPH 2017.

S Danem Sýkorou o...

... algoritmech pro barvení animovaných filmů

Naše první nástroje se už využívají v praxi. Jsou to zejména algoritmy LazyBrush a TexToons. Klíčovou část algoritmu LazyBrush máme patentovanou – je to v současné době asi nejefektivnější nástroj na barvení kreslených animací na světě a je integrován v profesionálním nástroji TVPaint Animation. Výtvarníkovi stačí udělat jen pár hrubých tahů štětcem – tady na obličej nanese okrovou, kabátek zelený, kalhoty červené, boty černé – a algoritmus pak z těchto tahů odhadne, jak vybarvit celou postavičku, včetně jemných nuancí, jako je například hladké zapíjení barev do kontur. Algoritmus TexToons pak dokáže přenést tahy štětce na následující snímky a proměnit konstantní barvu ve složitější textury, které sledují pohyb kreslené postavičky. LazyBrush jsme vymysleli někdy v roce 2008, trvalo pět let, než si na něj mohli sáhnout grafici a výtvarníci. Už si to ale vyzkoušeli a funguje velmi dobře, jak na večerníčky, třeba Doktora Anima od studia Anifilm, tak i na náročné celovečerní animované filmy, jako byla Červená želva od japonského studia Ghibli, film nominovaný na Oscara. 

 ... tricích pro převádění Lvího krále do 3D podoby

Ve spolupráci s Disneym jsme vyvinuli algoritmus Ink-and-Ray, který dokáže do kreslené animace dodat informaci o hloubce a umožní vytvářet složitější osvětlovací efekty, ale taky umí vytvořit stereoskopický obraz – algoritmus Disney využil v 3D verzi Lvího krále.

... algoritmu, jenž tvoří nové počítačové animace, zachová v nich původní styl autora a umí s ním i pracovat.

Ano. Tento náš nástroj se jmenuje StyLit. Výtvarník – například moje žena, má oblíbená beta-testovací jezdkyně – ručně nakreslí předlohu. Stačí třeba jednoduchá stínovaná koule na podložce. Vznikající kresbu průběžně snímáme kamerou a počítač s využitím našeho algoritmu podle jejího stylu postupně vyrobí složitější obrázek, třeba takového panáčka. Laik většinou ani nepozná, co je ruční práce, a co udělal počítač. Jsme tak schopni naprosto věrně reprodukovat výtvarníkův styl, což má obrovský potenciál – je možné dělat počítačové animace mající vzhled ruční předlohy, to dosud nebylo možné. Bylo to buď, anebo. Buď celé v počítači, nebo celé ručně, snímek po snímku – a to je časově a finančně velmi náročné. Tento projekt je jedním z několika výsledků intenzivní spolupráce s firmou Adobe (Adobe Systems, softwarová firma zaměřená na počítačovou grafiku, pozn. red.), která náš tým dlouhodobě podporuje, umožňuje mi například financovat studenty, nakoupit hardware, létat na konference. Velkou výhodou této spolupráce je i fakt, že firma cílí na tvorbu nových profesionálních nástrojů pro výtvarníky a díky velké komunitě uživatelů má potenciál tyto nástroje prosadit v praxi. A to je náš hlavní cíl.