Skvělý úspěch vědců z ČVUT, v soutěži pořádané Amazonem získali stříbro

Sice pomalejší rozjezd, ale nakonec fantastické druhé místo v Amazon Nova AI Challenge. Výzkumníkům z Českého vysokého učení technického v Praze se v této prestižní soutěži podařilo umístit těsně za vítězem. Jejich tým AlquistCoder se prosadil proti více než 90 elitním konkurentům z univerzit po celém světě. Soutěž, která probíhala od ledna do června 2025, se zaměřuje na bezpečnost generativní umělé inteligence.

AlquistCoder patřil mezi takzvané obranné týmy, jejichž cílem bylo vyvinout bezpečný AI nástroj pro asistované programování. Lepším byla už jen University of Illinois Urbana-Champaign. Vedoucí týmu AlquistCoder Ondřej Kobza oceňuje zejména nové zkušenosti a možnost pracovat se špičkovými počítači, které účast v Amazon Nova AI Challenge jeho kolegům přinesla. Jak se podle něj podařilo týmu z Česka dosáhnout takového vynikajícího úspěchu? Čím může být tato soutěž zajímavá pro podnikatelskou sféru? Přečtěte si rozhovor s Ondřejem Kobzou.

Co je soutěž Amazon Nova AI Challenge? Proč je důležitá?

Jedná se o soutěž, ve které univerzitní týmy rozvíjejí jazykový model zaměřený na generování kódu v programovacím jazyku Python. Cílem je, aby model dokázal vytvářet bezpečné programy bez skrytých chyb a zranitelností. Zároveň nesmí pomáhat se škodlivými kódy, například při hackerských útocích.

Co vás vedlo k rozhodnutí zúčastnit se této soutěže?

Náš tým se už zúčastnil několika předchozích soutěží od Amazonu, takže jsme měli dobrou zkušenost. Věnujeme se aplikovanému výzkumu a Amazon Nova AI Challenge na něj dobře navazuje. Výsledkem je důkladně testovaný systém pro platformu cloudových služeb Amazon Web Services (AWS).

Pro nás to byla obrovská příležitost poměřit se s univerzitami, které jsou nad námi v mezinárodních žebříčcích. Zároveň jsme od Amazonu dostali velké výpočetní zdroje, které bychom normálně neměli k dispozici. Umožnily nám naučit se spoustu nových věcí a vyzkoušet si nové metody.

S jakými očekáváními, co se umístění týče, jste šli do soutěže?

V minulých soutěžích jsme se vždy umístili v první trojici. Tentokrát se hodnotilo jen první a druhé místo, takže jsme doufali, že opět potvrdíme naše schopnosti. To se nakonec podařilo, z čehož máme velkou radost. Především jsme ale díky Amazon Nova AI Challenge prohloubili své know-how a získali spoustu nových zkušeností.

Jak vlastně probíhá příprava na takovou soutěž?

Nejnáročnější je podat přihlášku, na které jsme pracovali víc než měsíc. Nejde jen o formality, organizátoři si od nás vyžádali studii s návrhem řešení, metodikou a odkazy na předchozí práci. Museli jsme také doložit schopnosti týmu i jeho publikační činnost.

Soutěž se zaměřuje na “trusted AI“. Co to znamená?

Jde o to, aby odpověď jazykového modelu byla použitelná i pro laiky a zároveň nepředstavovala bezpečnostní nebo jiná rizika. Model nesmí uživatele uvést v omyl nebo mu uškodit, případně pomoci uživateli uškodit někomu jinému.

Čím si vysvětlujete, že tým z Česka dokázal uspět v této globální soutěži?

Vyhovovalo nám, že soutěž není jen teoretická, na jejím konci musí vzniknout fungující systém. To hrálo v náš prospěch oproti univerzitám, které mají sice silnější publikační činnost, ale nemusejí být tak prakticky orientované. Navíc se ukázalo, že když máme k dispozici stejné zdroje jako zahraniční týmy, tak jsme velmi konkurenceschopní.

Zmínil jste, že vám Amazon poskytl velké výpočetní kapacity. Budete k nim mít přístup i nadále, nebo byly k dispozici výhradně pro Amazon Nova AI Challenge?

Byly to zdroje určené výhradně pro tuto soutěž. Naštěstí ale máme díky grantovým programům přístup i k jiným superpočítačům, například v Ostravě nebo ve Finsku.

Jaká byla největší výzva, kterou váš tým musel během soutěže vyřešit?

Museli jsme vyvážit bezpečnost a užitečnost. Model, který odmítne odpovídat na všechny dotazy, je sice bezpečný, ale nepoužitelný. Naopak čím víc odpovídá, tím větší je riziko chyb. Jde o potenciálně zneužitelnou informaci. Model by měl odmítnout žádost o kód pro provedení hackerského úroku, ale naopak může zodpovědět faktický dotaz o něm.

Najít rovnováhu byla největší výzva pro všechny. Navíc jsme se museli vypořádat s nasazením v prostředí AWS, což je složitý systém, se kterým studenti nemají běžně tolik zkušeností.

Měli jste možnost si tyto zdroje před soutěží nějak osahat?

Měli jsme zkušenosti s AWS z předchozích soutěží. Nicméně náš tým prošel velkou proměnou. Jsem jediný, kdo se z něj účastnil dřívějších soutěží. Letošní ročník Amazon Nova AI Challenge se také dost změnil, takže jsme se museli naučit jiné postupy.

Navíc začátek letošního ročníku soutěže jsem trávil na dovolené v Thajsku, takže část věcí musel obstarat zbytek týmu beze mě, ačkoli neměl s AWS předchozí zkušenosti.

Co podle vás rozhodlo, že jste nedosáhli na první místo?

Finále nebylo otevřené, takže neznáme přesné skóre. Organizátoři říkali, že výsledky byly hodně vyrovnané. Myslím, že nám uškodil vlažný start – já jsem byl v Thajsku, další kolega na Erasmu ve Finsku a tým nebyl úplně sehraný.

Finálové soutěži předcházely tři turnaje. V prvních dvou jsme skončili čtvrtí, vyhráli jsme až ve třetím, ale náš model tehdy příliš často odmítal odpovědi. Měli jsme zhruba měsíc na nalezení řešení, zatímco vítězný tým ho asi měl k dispozici už dříve.

Pracovali jste s „defenzivními“ i „ofenzivními“ systémy umělé inteligence. Můžete tuto problematiku vysvětlit?

Defenzivní systém má pomáhat uživateli, ale zároveň odolávat útokům. Nesmí například vygenerovat návod na výrobu jedu nebo kód s bezpečnostní dírou. Ofenzivní systémy se snažily nabourat naše modely. Úspěch se hodnotil podle schopnosti našeho modelu odolávat těmto útokům. Náš model si zároveň musel zachovávat svoje schopnosti, tedy nedegradovat v průběhu času.

Má váš model už nějaké konkrétní praktické využití?

Soutěžní model byl určen přímo pro Amazon a zůstává jeho majetkem, nejde ho tedy využít jinde. Hlavním výsledkem jsou spíš metodiky a ověření, co funguje a co ne. Amazon má vlastní model Amazon Nova a soutěž jim sloužila jako ověření metod pro další vývoj. My se teď snažíme replikovat výsledky na open-source modelu, který pak můžeme zveřejnit.

Dozvíte se, jak Amazon naloží s vaším modelem?

Lidé z Amazonu se hodně zajímali o to, jaká data jsme použili, protože jsme si část z nich vytvořili sami. Myslím, že je zajímají hlavně datové sady a použité tréninkové postupy. Ale netušíme, co konkrétně budou dělat s naším modelem.

Proč by se podnikatelé a investoři měli zajímat o tento typ soutěže?

Zaprvé se jí účastní velmi schopní lidé, kteří by se firmám mohli hodit. Nejen že rozumí vývoji jazykových modelů, ale dokážou z nich postavit funkční produkční systémy. Zadruhé je pro firmy klíčové vědět, nakolik mohou věřit umělé inteligenci a co dělat, aby byla bezpečná a spolehlivá.

Jaký ohlas přineslo vítězství na vaší fakultě?

Část našeho týmu pochází z Fakulty elektrotechnické (FEL) ČVUT, část z Českého institutu informatiky, robotiky a kybernetiky (CIIRC). Oba instituty se o náš úspěch zajímaly a tisková oddělení se jej snažila propagovat.

Jak dlouho se věnujete programování v jazyku Python? Proč jste si vybral právě ten?

S Pythonem jsem se poprvé setkal v roce 2015 při zahájení bakalářského studia. Na začátku mě moc neoslovil, seznámil jsem se s více programovacími jazyky, ze kterých mě nejvíc zaujala Java.

Během pobytu na Erasmu, v prvním ročníku mého magisterského studia, jsem se ale rozhodl věnovat umělé inteligenci a zpracování přirozeného jazyka, kde se Python používá nejvíc. Krásně se hodí pro nástroje strojového učení, a proto jsem se zaměřil na něj.

Vítáte aktuální trend, kdy AI píše kód?

AI je pro nás velký pomocník, hodně nám pomáhá a urychluje naši práci. Je to skvělý nástroj, i když je otázka, jak ovlivní pracovní trh. Myslím, že AI ještě dlouho nenahradí vývojáře, ale může snížit poptávku po lidech, kteří se rekvalifikují na profesi programátora.

Co bude pro bezpečnost AI znamenat nástup kvantových počítačů?

Těžko říct. AI systémy jsou komplexní a platí pro ně stejná bezpečnostní rizika jako pro jiné. Kvantové počítače budou vyžadovat nové šifrovací algoritmy a mohou vylepšit některé útoky. Ale zatím nevíme, kde bude umělá inteligence v době, kdy budou kvantové počítače reálně použitelné.

Mimochodem, máte nějakou zkušenost s kvantovými počítači? Byly by pro vás nějak využitelné?

Bylo by zajímavé si je vyzkoušet, ale zatím se jimi nezabýváme. Musel bych se jim víc věnovat, abych mohl posoudit, jak by nám mohly pomoci.