Deepfake przestał być ciekawostką technologiczną i stał się pozycją w rejestrze ryzyka operacyjnego. W styczniu 2024 roku pracownik hongkońskiego oddziału brytyjskiej firmy inżynieryjnej Arup dołączył do wideokonferencji z dyrektorem finansowym i kilkoma współpracownikami. Rozmowa przebiegła normalnie, polecenie brzmiało wiarygodnie, przelewy zostały wykonane. W ciągu jednego dnia wykonano 15 przelewów na łączną kwotę 25,6 miliona dolarów (200 milionów dolarów hongkońskich).
Wszyscy uczestnicy tej wideokonferencji, poza samym pracownikiem, byli wygenerowani przez sztuczną inteligencję. Nie jedno spreparowane nagranie - cała sala pełna fantomów. Oszustwo wyszło na jaw tydzień później, przy kontakcie z prawdziwą centralą.
To nie jest scenariusz z przyszłości. To opis mechanizmu, który działa dziś, jest tani i skaluje się lepiej niż jakikolwiek klasyczny phishing.
Trzy przypadki, które pokazują ewolucję zagrożenia
2019 - sklonowany głos prezesa. Prezes brytyjskiej firmy energetycznej odebrał telefon od szefa niemieckiej spółki matki. Głos brzmiał identycznie, łącznie z akcentem i charakterystyczną melodią mowy. Prośba dotyczyła pilnego przelewu 220 tysięcy euro do węgierskiego dostawcy. Oszust zadzwonił trzy razy: żeby zlecić przelew, żeby zapewnić o rzekomym zwrocie i żeby poprosić o kolejną płatność. Pieniądze przepłynęły przez Węgry do Meksyku, sprawców nie ustalono.
2024 - wideokonferencja z fantomami. Opisany wyżej przypadek Arup. Skok jakościowy: z jednego kanału (dźwięk) na pełną symulację spotkania z wieloma osobami.
2024 - infrastruktura informacyjna państwa. Przejęcie systemu Polskiej Agencji Prasowej i publikacja fałszywej depeszy o mobilizacji. Ten sam mechanizm, tylko cel nie jest finansowy, lecz destabilizacyjny.
Kierunek jest jednoznaczny. W 2019 roku sklonowanie głosu wymagało długiego materiału źródłowego i zasobów. Dziś wystarczy kilkanaście sekund nagrania z konferencji, podcastu albo firmowego filmu rekrutacyjnego. Według raportu CrowdStrike liczba ataków wykorzystujących syntetyczny głos wzrosła między pierwszą a drugą połową 2024 roku o 442%.
Dlaczego ludzie się nabierają
Odpowiedź nie brzmi “bo są nieuważni”. Trzy mechanizmy działają jednocześnie.
Głos i twarz omijają weryfikację. Rozpoznawanie znajomej twarzy i głosu to funkcja automatycznego trybu myślenia, opisanego przeze mnie w tekście o dwóch systemach myślenia. Nie podejmujesz świadomej decyzji “to jest mój szef” - po prostu wiesz. Deepfake atakuje dokładnie tę warstwę, do której świadoma analiza nie ma dostępu.
Presja czasu wyłącza analizę. Każdy z tych ataków zawiera element pilności. To nie przypadek, tylko projekt - świadoma analiza wymaga czasu, więc atakujący ten czas odbiera.
Autorytet zamyka dyskusję. Polecenie od prezesa lub dyrektora finansowego rzadko bywa kwestionowane, zwłaszcza w kulturach organizacyjnych o dużym dystansie władzy. Pracownik, który zadzwoni sprawdzić, czy prezes naprawdę prosił o przelew, ryzykuje wyjście na nieufnego.
Ta ostatnia bariera jest kulturowa, nie techniczna - i to ona najczęściej decyduje o powodzeniu ataku.
Jedna zasada, która chroni najlepiej
Brzmi banalnie i właśnie dlatego bywa lekceważona: głos, obraz i wideo nie są dowodem tożsamości.
Z tego wynika procedura, którą można wdrożyć w każdej organizacji w tydzień:
Każda nietypowa dyspozycja finansowa wymaga potwierdzenia niezależnym kanałem.
Niezależny kanał oznacza kanał, którego atakujący nie kontroluje:
- oddzwonienie na numer z firmowej książki adresowej, nigdy na numer podany w trakcie kontaktu
- potwierdzenie w systemie obiegu dokumentów, nie mailem
- kontakt z drugą osobą z listy autoryzacji
Dodatkowe elementy, które warto ustawić:
- próg kwotowy uruchamiający obowiązkową weryfikację dwuosobową
- hasło kontrolne ustalone offline dla dyspozycji nietypowych
- wyraźne zdjęcie z pracownika odpowiedzialności za zakwestionowanie polecenia przełożonego - bez tego procedura istnieje tylko na papierze
- limit czasowy dla przelewów nietypowych, bo pilność jest sygnałem ostrzegawczym, nie powodem do pośpiechu
Przedostatni punkt jest kluczowy i najczęściej pomijany. Jeśli pracownik obawia się konsekwencji zakwestionowania polecenia szefa, żadna procedura nie zadziała. Zasada musi brzmieć: weryfikacja nietypowej dyspozycji jest obowiązkiem, nie przejawem braku zaufania.
Czego nie zrobi technologia
Narzędzia do wykrywania deepfake’ów istnieją i warto je znać, ale nie należy budować na nich strategii. Powód jest strukturalny: detekcja zawsze goni generację. Model wykrywający artefakty dzisiejszych generatorów będzie bezradny wobec generatora z przyszłego kwartału.
Weryfikacja materiałów wizualnych ma sens w analizie po fakcie i przy treściach publikowanych. Do potwierdzania tożsamości w czasie rzeczywistym się nie nadaje. Tu działa wyłącznie procedura, nie detekcja.
Praktyczne narzędzia do weryfikacji materiałów wizualnych i pełną metodę oceny źródeł opisuję w tekście o weryfikacji informacji metodą SIFT.
Deepfake to nie tylko przelewy
Zawężanie tematu do oszustw finansowych to błąd. Cztery inne wektory, które warto mieć w rejestrze ryzyka:
Manipulacja kursem akcji. Fałszywy komunikat spółki giełdowej działa w minuty, a algorytmy handlowe reagują szybciej niż jakikolwiek dział komunikacji zdąży zaprzeczyć.
Rekrutacja. Kandydat na rozmowie wideo może być syntetyczny - zjawisko udokumentowane przy stanowiskach zdalnych z dostępem do systemów firmowych.
Szantaż reputacyjny. Spreparowane nagranie z udziałem członka zarządu nie musi być doskonałe. Wystarczy, że przez dobę będzie wiarygodne na tyle, by rozejść się w mediach.
Obejście weryfikacji głosowej. Systemy biometrii głosowej w obsłudze klienta powstawały w czasach, gdy klonowanie głosu było trudne.
Gdzie to wpisać w politykę firmy
Deepfake to jeden z kilku wektorów ryzyka związanych ze sztuczną inteligencją i nie warto traktować go osobno. Naturalne miejsce to polityka AI w organizacji, w module dotyczącym zagrożeń zewnętrznych - obok modułów o klasyfikacji danych i dopuszczalnym użyciu narzędzi.
Warto zestawić go z incydentami wewnętrznymi, które opisuję w tekście o incydentach AI w firmach. Tam problemem był wyciek danych do narzędzi AI przez własnych pracowników. Tu problemem jest atak z zewnątrz z użyciem tych samych technologii. Obie kategorie wymagają miejsca w polityce, ale zupełnie innych mechanizmów kontrolnych.
Do systematycznej klasyfikacji ryzyk warto użyć narzędzia do oceny ryzyka AI, które pozwala ocenić poszczególne systemy i scenariusze przed wdrożeniem. Szerszy kontekst zagrożeń dla pracowników opisuję w artykule o zagrożeniach AI w codziennej pracy.
Trzy rzeczy do zrobienia w tym tygodniu
- Sprawdź, ile materiału głosowego swojego zarządu jest publicznie dostępne. Konferencje, podcasty, filmy firmowe. To materiał treningowy dla atakującego i zwykle jest go więcej, niż się zakłada.
- Przetestuj obecną procedurę. Zadzwoń do osoby autoryzującej przelewy jako “prezes” z prośbą o pilny transfer. Sprawdź, czy ktokolwiek zweryfikuje.
- Zapisz zasadę potwierdzania drugim kanałem w procedurze - i zakomunikuj wprost, że weryfikacja polecenia przełożonego jest obowiązkiem, nie brakiem zaufania.
Ostatni punkt kosztuje najmniej i chroni najskuteczniej. Wszystkie opisane wyżej ataki zawiodłyby przy jednym telefonie na znany numer.
Ryzyka związane z AI i deepfake omawiam na szkoleniach dla firm, a mechanizmy poznawcze, które te ataki wykorzystują, są rdzeniem szkolenia z krytycznego myślenia w cyfrowym świecie. Jeśli chcesz przejrzeć procedury weryfikacji w swojej organizacji, zapraszam na Konsultacje biznesowe 1:1 - Maciej Dzierżek.