Największe banki USA pracują nad zapobieganiem dramatycznym incydentom, jakie mogą spowodować modele sztucznej inteligencji, ale przygotowują się również na „dzień po katastrofie”. Podobne kroki podjęły firmy AI, które oceniają, że poważne incydenty są nieuniknione - podaje portal Axios.
Najważniejsze amerykańskie instytucje finansowe dołączyły do spółek AI, które jako pierwsze zaczęły przygotowywać scenariusze na wypadek katastrofy. To rozsądny krok, ale zarazem bardzo niepokojący sygnał, świadczący o skali zagrożenia - komentuje portal.
Zbuntowani agenci AI przejmują kontrolę nad kontami
Banki zaobserwowały już podejrzaną aktywność agentów AI, choć na razie jest ona najczęściej wynikiem postępowania klientów, którzy udostępniają swe hasła albo dane do logowania asystentom lub agentom AI.
Co więcej, w pewnych przypadkach wygląda na to, że modele podejmują kroki bez stosownych poleceń ze strony użytkowników.
Szczególnie zaniepokojenie instytucji finansowych wywołują jednak nie agenty, a tzw. systemy sztucznej inteligencji na granicy możliwości (frontier AI systems), czyli najbardziej zaawansowane, ogólnozadaniowe modele i systemy AI. Związane z ich możliwościami obawy skłoniły banki do zainwestowania w mechanizmy obronne i tworzenia planów na wypadek katastrofy - wyjaśnia Axios.
Portal przypomina, że instytucje odpowiadające za tzw. infrastrukturę krytyczną, w tym banki, mają prawnie wiążący obowiązek podejmować takie kroki.
Jamie Dimon, bardzo poważany dyrektor wykonawczy banku JPMorgan ostrzegł, że klienci powinni przyjąć założenie, iż AI może nie działać na ich korzyść, ani w sposób właściwy. Podkreślił też, że incydentom z udziałem modeli sztucznej inteligencji można jedynie zapobiegać, a jeśli już do nich dojdzie, to „nie można ich zatrzymać” i tylko „zarządzać” klęską.
Rząd USA liczy na "dobrowolne" obietnice
Axios zwraca uwagę, że podczas gdy na „najgorsze możliwe scenariusze” przygotowują się Wall Street i Krzemowa Dolina, rząd federalny liczy na „dobrowolne obietnice w sferze bezpieczeństwa” ze strony przedsiębiorstw AI.
W czwartek portal napisał, że banki wykryły już niezweryfikowane agenty AI poruszające się po kontach klientów, przy czym część z nich zdawała się działać niezależnie od instrukcji swych użytkowników.
Sytuacje komplikuje to, że instytucje finansowe mają trudności z rozróżnieniem między krokami podejmowanymi przez ludzi a działaniem botów, lub też nie mogą ustalić, czy model AI działa na zlecenie, czy też się zbuntował.
Zarządy banków oceniają, że „sytuacja jest przerażająca”.
Szantaż, manipulacja i atak na infrastrukturę krytyczną
Tymczasem Anthropic, OpenAI i inne firmy sektora AI również analizują scenariusze, w których dochodzi do bardzo poważnych incydentów spowodowanych przez AI, lub z udziałem modeli, takich jak atak na usługi finansowe, blokada internetu, czy wręcz sieci energetycznych lub wodociągowych.
Wiele firm i agencji rządowych przygotowuje się na różne awaryjne sytuacje, jednak różnica między nimi a sektorem sztucznej inteligencji polega na tym, że specjaliści od AI „są przekonani, że taki incydent na wielką skalę jest nieunikniony” - podkreśla portal.
Pod koniec września Anthropic, który przygotowuje się do wejścia na giełdę, ostrzegł w prospekcie emisyjnym, iż AI może stanowić „egzystencjalne zagrożenie dla ludzkości”, a jej modele mogą "manifestować postawę samozachowawczą" połączoną z zabiegami mającymi "uniemożliwić ich wyłączenie", mogą też "manipulować" ludźmi, a nawet podejmować kroki "przypominające szantaż".
Axios napisał wówczas, że takie najnowsze ustalenia stawiają pod znakiem pytania zdolność OpenAI i Anthropica, czy też w ogóle firm tego typu, do "ustanowienia całkowitej kontroli nad ich własną technologią". (PAP)
fit/ mal/
