Laureát Ceny Neuron Tomáš Mikolov se v první části rozhovoru ptal stipendisty NF Neuron Matyáše Boháčka na jeho zkušenost s výzkumem ve Spojených státech a umělé inteligenci jako aktuálním fenoménu. Teď se k tématu vrací, ale jejich role se obracejí – otázky pokládá student Gymnázia Jana Keplera a odpovídá světově uznávaný odborník na umělou inteligenci a strojové učení.

Matyáš Boháček: Zeptám se na základní výzkum. Zdá se mi, že se věda ubírá cestou, která vede k hezkým a aplikovatelným výsledkům. Oproti tomu základní výzkum není tolik sexy.

Tomáš Mikolov: Přesně tak. Základní výzkum je těžší, člověk má víc práce, menší odměnu a budoucnost výzkumu je složitá. Na základním výzkumu je ale zajímavé, že můžeme vymyslet něco, co bude převratné jinde. Je super něco takového objevit, mně se to povedlo párkrát v kariéře. Co se týče neuronových jazykových modelů, které jsou dnes tak populární, byl jsem vlastně první, kdo začal trénovat opravdu velké jazykové modely a z nich generoval text. Přišlo mi to jako být prvním člověkem na Měsíci. Kdo to nezažil, asi to nepochopí. Byl jsem první, kdo viděl něco, co mění budoucnost. A to je motor základního výzkumu – lidi ho dělají, protože je baví, a ne proto, že na něm vydělají. Základní výzkum je skutečně rizikový v tom, že spousta ambiciózních věcí nikdy nevyjde. Ale věřím, že zábavnost nečekaných objevů je skutečně hlavní hnací silou.

Matyáš Boháček: Zaměřujete se i na jiné oblasti umělé inteligence mimo neuronové sítě, například na evoluční přístupy?

Tomáš Mikolov: Myslím, že úspěch umělé inteligence byl posledních deset let tažen strojovým učením. Díru do světa udělaly neuronové sítě, které spadají pod strojové učení, a lidem jako jsem já se podařilo neuronové sítě rozběhnout na velkých datasetech. Čím víc měly dat, tím víc se jim dařilo porážet staré techniky. Najednou se zdálo, že brzy budeme umět řešit věci, které se dříve jevily jako neřešitelné. To bylo hodně optimistické. Aby strojové učení dokázalo více samo za sebe a nekopírovalo jen rozhodnutí lidí, je třeba mít jiný přístup, když chceme, aby byl počítač kreativní, tak potřebujeme techniky, které půjdou za supervizorované učení. A otázkou je, jakým směrem se vydat. Existuje například zpětnovazebné učení, reinforcement learning, ale ani po deseti letech nemá výsledky s komerčním potenciálem. Zdaleka nejsme tam, že by se algoritmy byly schopné učit stejně jako lidi.

Matyáš Boháček: Jaká je cesta dál?

Tomáš Mikolov: Jako zajímavá výzva do budoucna mi přijde jeden z evolučních směrů, tzv. emergentní. Pokud by se v tomto systému modely rozvíjely nekonečně dlouho a do libovolné komplexity, šlo by o modely obecné umělé inteligence, která by měla mít potenciál vyřešit libovolnou úlohu. Neznamená to, že by vyřešila každou úlohu hned. Učila by se podobně jako děti ve škole – číst, psát, počítat zlomky, programovat… Máme tu plasticitu, že jsme schopni se učit nové věci, aniž by to mělo nějaký jasný limit. Vypadá to, jako by evoluce naší mysli mohla pokračovat neomezeně dlouho. Dostat toto do strojového učení mi přijde jako strašně zajímavý cíl. Ale i v tomto případě to ještě nikdo nedokázal rozchodit.

Matyáš Boháček: Přitom vědecká komunita se pořád věnuje neuronovým sítím.

Tomáš Mikolov: Já bych dokonce řekl, že většina komunity se věnuje vyřešeným věcem. Když jsem pracoval s jazykovými modely v neuronových sítích, nebyl to mainstream. Komunita nechtěla přijmou, že je tu potenciální změna paradigmatu, nikdo nebyl nadšený, že může zahodit všechno, co celý život dělal, protože já dokážu jeho problém řešit dvakrát rychleji. Teď všichni ví, že neuronové sítě jsou super. Ale dělat na něčem dalším, co by mohlo být lepší než neuronové sítě? Nikomu se do toho moc nechce.

Matyáš Boháček: Dokážu si představit, že na něco úplně nového pak musí být náročné shánět granty, když není možné přihlášku podpořit přitažlivými demonstračními aplikacemi jako u neuronových sítí.

Tomáš Mikolov: Jasně, mnohem jednodušší je shánět granty na to, co už je vyřešené.

Matyáš Boháček: Proto mě zajímá, jak na to.

Tomáš Mikolov: Byl jsem dlouho v průmyslové oblasti, do vědy jsem se vrátil před dvěma roky a vidím, že lidi kolem mě ví o shánění grantů mnohem víc než já. Je to strašná byrokracie, při které je nejdůležitější zjistit, jak jsou žádosti bodované.

Matyáš Boháček: Napadá mě ještě, jak na tom byl výzkum neuronových sítí třeba před dvaceti lety? A jak rychle se vědecké poznání proměňuje?

Tomáš Mikolov: Tehdy o neuronových sítích všechny učebnice tvrdily, že jde o zajímavé modely, ale v praxi moc nefungují… Ve vědě se naše pochopení může výrazně změnit třeba během dvou let, kdybychom si řekli deset věcí, o kterých víme, že jsou určitě pravda, tak dvě nebo tři z nich už za deset let pravdou být nemusí.

Matyáš Boháček: Tohle hodně reflektovali na mé stáží v Berkeley. Letní semináře nebyly učebnicovým výkladem, ale šlo o reflexi aktuálních článků a diskuzi nad nimi. Na jedné konferenci jsem například viděl čtyři různé postery o tom, že ten a ten článek byl překonaný o tolik a tolik procent. Pak je náročné rozpoznat skutečně přínosná vylepšení. Na druhou stranu se ale přístup veřejnosti mění. Spousta učitelů ze středních škol mi psala, jestli bych nechtěl jako informatik přijít a ukázat studentům základy strojového učení, aby měli základní přehled o tom, co modely jsou a nejsou schopné dělat.

Tomáš Mikolov: Slyšel jsem, že se také věnuješ rozeznávání deep fake videí, popiš to trochu víc.

Matyáš Boháček: Současné modely pro rozpoznávání deep fakes jsou dělané hlavně pro prominentní figury, politiky nebo celebrity. U nich máme k dispozici velké množství dat, a proto můžeme modely na rozpoznávání identity lehce natrénovat. Do budoucna se ale deep fakes budou týkat i neveřejných osob, vzniká například uměle vytvořená pornografie. A jedna z věcí, se kterou bych chtěl pokračoval i do budoucna, je detekce deep fakes u lidí, u kterých nemáme tolik dat.

Tomáš Boháček: A další plány?

Matyáš Boháček: Druhá věc, která mě zajímá, je překlad a rozpoznávání znakového jazyka. Ve spolupráci se Západočeskou univerzitou v Plzni jsme vytvořili model, který je oproti své konkurenci výrazně menší, běží v prohlížeči a nepotřebuje tolik dat pro své trénování. Teď řešíme, jak ho propojit s online překladači a slovníky znakového jazyka. Dovedu si představit, že s patřičnými úpravami pak bude moci pomáhat i v jiných aplikacích (jako je třeba Zoom), kde by pomohl většímu zapojení znakujících lidí na online schůzkách a konferencích. A co se týče mých praktických cílů, čeká mě maturita, výběr vysoké školy a přijímací řízení.

Tomáš Mikolov: Na jaké školy se hlásíš?

Matyáš Boháček: V USA se hlásím na více škol. Mým snem by bylo studovat na Stanfordu nebo Berkeley. Studium v Americe s sebou ale nese i velké finanční náklady, uvidím tedy, jaké budou možnosti. Přihlášku dám každopádně i na MatFyz, ČVUT a další školy v Evropě.

Tomáš Mikolov: Myslím, že něco z toho určitě vyjde. Přeji hodně štěstí.

Matěj Boháček: Moc děkuji. A jaké jsou vaše plány do budoucna?

Tomáš Mikolov: V podstatě mě zajímá cokoliv, co by mohlo vést k nějakému překvapení. Najít nový směr, například přes zmiňovanou emergentní evoluci. A stále vidím potenciál ve strojovém učení. Například internetový vyhledávač je stará technologie z devadesátek a kdyby byla předělaná přes moderní modely, mohla by fungovat mnohem lépe – na internetu je exploze informací a bylo by dobré, kdybychom strojové učení využili k jejich sumarizaci na míru. To znamená vyvinout generativní model vyhledavače, který mi dokáže vytvořit stránky, které budou nejlépe odpovídat na to, co hledám, a zprostředkuje mi informace zajímavým a srozumitelným způsobem přímo pro mě. (Pozn. redakce - článek vznikl před uvedením systému Chat GTP.)

Sledujte naše neuronové sociální sítě