Chińska firma Moonshot wszczęła wewnętrzne dochodzenie po tym, gdy brytyjskim ekspertom ds. cyberbezpieczeństwa udało się skłonić jej modele sztucznej inteligencji z serii Kimi do podania instrukcji w sprawie tworzenia broni biologicznej oraz organizowania zamachów — przekazał w środę portal BBC.
Jak ujawnił brytyjski nadawca, eksperci z firmy Mindgard testującej bezpieczeństwo AI, poddali w lipcu modele Kimi K2.6 i K3 Swarm procesowi tzw. jailbreakingu, czyli serii skomplikowanych instrukcji w celu wymuszenia na narzędziu ominięcia odgórnych ograniczeń.
Gdy obejście zabezpieczeń zadziała, system rozmawia na każdy temat – oświadczył w rozmowie z BBC założyciel Mindgard Peter Garraghan. – Swobodnie oferuje zalecenia dotyczące innych szkodliwych działań, wykazując się przy tym inwencją i kreatywnością - dodał.
W przypadku modelu Kimi 2.6 przełamanie barier mogłoby pozwolić hakerom na uruchamianie własnego kodu na zasobach obliczeniowych dostawcy i uzyskanie dostępu do sieci. W konsekwencji system mógłby posłużyć jako baza wypadowa do prowadzenia cyberataków.
Eksperci Mindgard ujawnili, że usiłowali dwukrotnie skontaktować się mailowo z firmą Moonshot, zanim w połowie września opisali problem na swoim blogu. Podkreślili, że w publikacji dotyczącej wykrytej podatności celowo nie podali szczegółów treści zapytań ani instrukcji technicznych, które pozwoliły na ominięcie zabezpieczeń.
Brytyjska firma zwróciła uwagę, że przedstawiciele Moonshot nawiązali z nią kontakt "dopiero niedawno", gdy o sprawę zapytała ich redakcja BBC. Firma przekazała brytyjskiemu nadawcy, że prowadzi wewnętrzne dochodzenie i docenia wkład zewnętrznych ekspertów w budowanie bezpieczniejszego środowiska AI.
Sprawa wpisuje się w szereg ujawnionych incydentów związanych z bezpieczeństwem stosowania AI, zwłaszcza tych o otwartej architekturze. Amerykańska firma Anthropic udaremniła niedawno próby wykorzystania jej własnych narzędzi do działań mogących realnie wesprzeć rozwój broni biologicznej na świecie. W związku z tym na świecie rozgorzała debata dotycząca skuteczności dotychczasowych zabezpieczeń i regulacji prawnych AI.(PAP)
krp/ akl/
