Hluboké padělky: Neuroset se naučil generovat padělky zvuku a videa

2024 Autor: Seth Attwood | [email protected]. Naposledy změněno: 2023-12-16 16:00

K vytvoření „individuálního“zpravodajského obrazu pro kohokoli z nás a ke zfalšování mediálních zpráv v něm vybraných dnes stačí úsilí jednoho programátora. Izvestiji o tom řekli specialisté na umělou inteligenci a kybernetickou bezpečnost.

Nedávno odhadli, že to vyžaduje práci více týmů. Takové zrychlení bylo možné díky vývoji technologií pro útoky na neuronové sítě a generování audio a video padělků pomocí programů pro vytváření „deep fake“. Noviny Izvestija byly nedávno podrobeny podobnému útoku, když tři libyjské zpravodajské portály najednou zveřejnily zprávu, která se údajně objevila v jednom z čísel. Podle odborníků můžeme během 3-5 let očekávat invazi robotických manipulátorů, které budou automaticky schopny vytvořit spoustu padělků.

Odvážný nový svět

Projektů, které přizpůsobují informační obraz vnímání konkrétních uživatelů, přibývá. Jedním z příkladů jejich práce byla nedávná akce tří libyjských portálů, které zveřejnily zprávu údajně zveřejněnou ve vydání Izvestija 20. listopadu. Tvůrci padělku upravili titulní stranu novin a zveřejnili na ní zprávu o jednáních mezi polním maršálem Khalifou Haftarem a předsedou vlády národní shody (PNS) Fayezem Sarrajem. Falešný typ písma Izvestija doprovázela fotografie dvou vůdců pořízená v květnu 2017. Štítek s logem publikace byl vyříznut ze skutečně vydaného čísla z 20. listopadu a všechny ostatní texty na stránce z vydání z 23. října.

Z pohledu specialistů lze v dohledné době takové falšování provádět automaticky.

„Technologie umělé inteligence jsou nyní zcela otevřené a zařízení pro příjem a zpracování dat se miniaturizují a zlevňují,“Jurij Vilsiter, doktor fyzikálních a matematických věd, profesor Ruské akademie věd, vedoucí oddělení FSUE „GosNIIAS“, řekl listu Izvestija. - Je tedy vysoce pravděpodobné, že nás v blízké budoucnosti nebudou moci odposlouchávat a špehovat, stejně jako manipulovat s realitou, ani stát a velké korporace, ale prostě soukromníci. V příštích letech bude možné pomocí analýzy uživatelských preferencí ovlivnit jeho prostřednictvím zpravodajství a velmi chytrých padělků.

Podle Yuriho Vilsitera již existují technologie, které lze k takovému zásahu do mentálního prostředí použít. Teoreticky lze invazi robotických robotů očekávat za několik let, řekl. Limitujícím bodem zde může být potřeba shromáždit velké databáze příkladů reakcí reálných lidí na umělé podněty se sledováním dlouhodobých následků. Takové sledování bude pravděpodobně vyžadovat několik dalších let výzkumu, než budou cílené útoky důsledně získány.

Útok vize

Alexey Parfentiev, vedoucí analytického oddělení společnosti SearchInform, také souhlasí s Yuri Vilsiterem. Odborníci už podle něj předpovídají útoky na neuronové sítě, i když nyní takové příklady prakticky neexistují.

- Výzkumníci z Gartner se domnívají, že do roku 2022 bude 30 % všech kybernetických útoků zaměřeno na poškození dat, na kterých je neuronová síť trénována, a na krádež hotových modelů strojového učení. Pak si například bezpilotní vozidla mohou náhle začít plést chodce s jinými předměty. A to se nebudeme bavit o finančním nebo reputačním riziku, ale o životě a zdraví obyčejných lidí, domnívá se odborník.

V rámci výzkumu jsou nyní prováděny útoky na systémy počítačového vidění. Účelem takových útoků je přimět neuronovou síť detekovat v obraze něco, co tam není. Nebo naopak nevidět, co bylo v plánu.

„Jedním z aktivně se rozvíjejících témat v oblasti trénování neuronových sítí jsou takzvané adversariální útoky („adversarial attacks. “- Izvestia),“vysvětlil Vladislav Tushkanov, webový analytik společnosti Kaspersky Lab. - Ve většině případů jsou zaměřeny na systémy počítačového vidění. K provedení takového útoku je ve většině případů potřeba mít plný přístup k neuronové síti (tzv. white-box útoky) nebo výsledkům její práce (black-box útoky). Neexistují metody, které by dokázaly ve 100 % případů oklamat jakýkoli systém počítačového vidění. Kromě toho již byly vytvořeny nástroje, které umožňují testovat odolnost neuronových sítí vůči nepřátelským útokům a zvyšovat jejich odolnost.

V průběhu takového útoku se útočník snaží rozpoznaný obrázek nějak změnit tak, aby neuronová síť nefungovala. Často se na fotografii překrývá šum, podobně jako při fotografování ve špatně osvětlené místnosti. Člověk si takové rušení většinou dobře nevšimne, ale neuronová síť začne selhávat. K provedení takového útoku však útočník potřebuje přístup k algoritmu.

Podle Stanislava Ashmanova, generálního ředitele Neuroset Ashmanov, v současné době neexistují žádné metody, jak tento problém řešit. Navíc je tato technologie dostupná komukoli: průměrný programátor ji může používat tak, že si stáhne potřebný open source software ze služby Github.

- Útok na neuronovou síť je technika a algoritmy pro oklamání neuronové sítě, díky které produkuje falešné výsledky a ve skutečnosti ji rozbije jako zámek dveří, - věří Ashmanov. - Nyní je například docela snadné přimět systém rozpoznávání obličejů, aby si myslel, že to nejste vy, ale před ním Arnold Schwarzenegger - to se děje tak, že do dat přicházejících do neuronové sítě přimíchávají lidské oko nepostřehnutelné přísady. Stejné útoky jsou možné pro systémy rozpoznávání a analýzy řeči.

Odborník si je jistý, že to bude jen horší – tyto technologie se dostaly k masám, podvodníci je už používají a neexistuje proti nim žádná ochrana. Protože neexistuje žádná ochrana proti automatizovanému vytváření video a audio padělků.

Hluboké padělky

Technologie Deepfake založené na Deep Learning (technologie hlubokého učení neuronových sítí - Izvestija) již představují skutečnou hrozbu. Video nebo audio padělky vznikají úpravou nebo překrytím tváří slavných lidí, kteří údajně vyslovují potřebný text a hrají nezbytnou roli v zápletce.

„Deepfake vám umožňuje nahradit pohyby rtů a lidskou řeč videem, což vytváří pocit realismu toho, co se děje,“říká Andrey Busargin, ředitel oddělení pro inovativní ochranu značky a duševní vlastnictví ve Group-IB. - Falešné celebrity „nabízejí“uživatelům na sociálních sítích účast na slosování hodnotných cen (chytré telefony, auta, peněžní částky) atd. Odkazy z takových videopublikací často vedou na podvodné a phishingové stránky, kde jsou uživatelé požádáni o zadání osobních údajů, včetně údajů o bankovních kartách. Taková schémata představují hrozbu jak pro běžné uživatele, tak pro veřejné osobnosti, které jsou zmíněny v reklamách. Tento druh podvodu začíná spojovat obrázky celebrit s podvody nebo inzerovaným zbožím, a to je místo, kde narážíme na poškození osobní značky, říká.

Další hrozba je spojena s využíváním „falešných hlasů“pro telefonní podvody. Například v Německu kyberzločinci použili hlasový deepfake, aby přiměli šéfa dceřiné společnosti ze Spojeného království naléhavě převést 220 000 EUR v telefonickém rozhovoru, vydávající se za manažera společnosti.na účet maďarského dodavatele. Šéf britské firmy měl podezření na trik, když jeho „šéf“požádal o druhou peněžní poukázku, ale hovor přišel z rakouského čísla. V té době již byla první tranše převedena na účet v Maďarsku, odkud byly peníze vybrány do Mexika.

Ukazuje se, že současné technologie umožňují vytvořit individuální zpravodajský obrázek plný falešných zpráv. Navíc bude brzy možné odlišit padělky od skutečného videa a zvuku pouze podle hardwaru. Opatření zakazující rozvoj neuronových sítí podle odborníků pravděpodobně nebudou účinná. Brzy proto budeme žít ve světě, ve kterém bude nutné vše neustále překontrolovat.

"Musíme se na to připravit a musíme to přijmout," zdůraznil Jurij Vilsiter. - Lidstvo není poprvé, co přechází z jedné reality do druhé. Náš svět, způsob života a hodnoty se radikálně liší od světa, ve kterém žili naši předkové před 60 000 lety, před 5 000 lety, před 2 000 lety a dokonce před 200-100 lety. V blízké budoucnosti bude člověk z velké části zbaven soukromí a tudíž nucen nic neskrývat a jednat čestně. Přitom nic v okolní realitě a ve vlastní osobnosti nelze vzít na víru, vše bude třeba zpochybňovat a neustále překontrolovat. Ale bude tato budoucí realita strašná? Ne. Bude to prostě úplně jiné.