Počítačoví vědci poprvé předvedli na online konferenci WACV 2021, která se konala 5. – 9. Ledna 2021, systémy určené k detekci hlubokých podvodů. Videa, která manipulují se skutečnými záběry pomocí umělé inteligence.
Vědci prokázali, že detektory lze porazit vložením nepřátelských vzorků do každého oponenta. Příklady protivníka jsou mírně manipulované prostředky umožňující chybné systémy umělé inteligence, jako jsou modely strojového učení. Tým navíc ukázal, že útok stále funguje i po kliknutí na videa.
„Naše práce ukazuje, že útok na falešné detektory může být skutečnou hrozbou,“ řekl Shehzin Hussein, postgraduální student výpočetní techniky v San Diegu. student և první spoluautor na papíře WACV. „Ještě znepokojivější je, že ukazujeme, že silný protivník je schopen spáchat hluboké podvody, i když si protivník nemusí být vědom vnitřních záležitostí modelu strojového učení použitého detektorem.“
Při hlubokém padělání se tvář subjektu mění tak, aby vytvářela působivé realistické záběry událostí, které se nikdy nestaly. Výsledkem je, že se ve videích zaměřují typické detektory hlubokých otřesů na obličej. Nejprve je sledován a poté jsou data oříznuté tváře přenášena do neuronové sítě, která určuje, zda jsou skutečné nebo falešné. Například blikající oči se při hlubokém padělání nereagují dobře, proto se detektory zaměřují na pohyby očí jako na prostředek tohoto rozhodnutí. Nejnovější detektory Deepfake se při detekci falešných videí spoléhají na modely strojového učení.
https://www.youtube.com/watch?v=HhMPSuZgJsc:
Deep Fake Detector XceptionNet označuje nepřátelské video vytvořené vědci jako skutečné. Půjčka University of San Diego, California
Vědci poznamenávají, že šíření falešných videí prostřednictvím platforem sociálních médií způsobilo vážné znepokojení po celém světě, zejména oslabilo důvěryhodnost digitálních médií. „Pokud mají útočníci určité znalosti o detekčním systému, mohou si udělat plány, jak detekovat a obejít slepá místa detektoru,“ řekl Paart Nechara, student a spoluautor informatiky v San Diegu.
Vědci vytvořili kontrastní vzor pro každou tvář ve videu. Ale zatímco změna velikosti komprese videa, stejně jako standardní akce, obvykle odstraní nepřátelské kopie z obrazu, tyto kopie jsou vytvořeny tak, aby těmto procesům odolávaly. Algoritmus útoku to dělá vyhodnocením celé sady vstupních transformací, jak model klasifikuje obrázky jako skutečné nebo falešné. Odtamtud používá toto hodnocení k transformaci obrázků tak, aby soupeřův obrázek zůstal účinný i po kliknutí a demontáži.
Upravená verze obličeje se poté vloží do všech videozáznamů. Proces se poté opakuje pro všechny snímky videa, aby se vytvořilo hluboké falešné video. Útok lze také použít na detektory, které fungují na celých kamerách, na rozdíl od pouhého oříznutí obličeje.
Tým odmítl zveřejnit své heslo, aby ho zneužily nepřátelské strany.
Vysoká úspěšnost
Vědci vyzkoušeli své útoky ve dvou scénářích. Jeden, kde mají útočníci plný přístup k modelu detektoru, včetně architektury a nastavení modelu klasifikace modelu extrakce obličeje. և ten, kde útočníci mohou požádat pouze o model strojového učení, aby zjistili, zda je rámec klasifikován jako skutečný nebo falešný.
V prvním scénáři je u nekomprimovaných videí úspěšnost útoku vyšší než 99%. U komprimovaných videí to bylo 84,96 procenta. Ve druhém scénáři byla úspěšnost 86,43% u nekomprimovaných videí a 78,33% u komprimovaných videí. Toto je první práce, která ukazuje úspěšné útoky na nejmodernější detektory Deepfake.
„Abychom mohli uvést tyto detektory hlubokých padělků do praxe, tvrdíme, že je lze hodnotit proti protivníkovi adaptéru, který si je této obrany vědom; záměrně se snaží tuto obranu narušit.“ „Ukazujeme, že moderní metody umění detekce hlubokého padělání lze snadno obejít, pokud má protivník úplné nebo dokonce částečné znalosti detektoru,“ napsali vědci.
Ke zdokonalení detektorů vědci doporučují přístup známý jako protivníkové školení. Během tréninku adaptér pokračuje v generování nových hlubokých padělků, které mohou obejít současný stav detektoru umění. : Detektor je stále vylepšován, aby detekoval nové hluboké falešné zprávy.
Hluboké nepřátelské padělání. Posouzení zranitelnosti detektorů hluboce falešných příkladů
* Shehzeen Hussain, Malhar Jere, Farinaz Koushanfar, předseda elektrotechniky a výpočetní techniky, San Diego UC
Paarth Neekhara, Julian McAuley, předseda informatiky a inženýrství, San Diego UC