IT -turvallisuuskonferenssissa Arlingtonissa, Virginiassa, viime lokakuussa muutama tusina AI -tutkijaa osallistui laatuaan ensisijaiseen harjoitteluun “punaisena tiiminä” tai testaamalla edistyneen kielimallin ja muiden tekoälyjärjestelmien stressiä. Kahden päivän aikana ryhmät tunnistivat 139 tapaa varmistaakseen, että järjestelmät käyttäytyvät huonosti, etenkin luomalla huonoa tietoa tai henkilötietojen vuotoa. Vielä tärkeämpää on, että he ovat osoittaneet aukkoja uudessa amerikkalaisessa hallituksen standardissa, joka on suunniteltu auttamaan yrityksiä testaamaan AI -järjestelmiä.
Kansallinen standardien ja teknologiainstituutti (NIST) ei ole julkaissut raporttia, jossa on yksityiskohtaisesti suoritettua harjoitusta, joka on saatu päätökseen Biden -hallinnon loppua kohti. Asiakirja on saattanut auttaa yrityksiä arvioimaan omat AI -järjestelmänsä, mutta nimettömyyden varjolla puhuneen tilanteen tuntevat lähteet väittävät, että se oli yksi monista NIST AI: n asiakirjoista, joita ei julkaistu pelkääessään kilpailla saapuvan hallinnon kanssa.
“On tullut erittäin vaikeaa, jopa (presidentti Joe) Bidenin alla, päästä pois paperista”, sanoi lähde, joka oli tuolloin NIST: ssä. “Se näytti hyvin kuin savukkeiden ilmastonmuutosta tai tutkimusta.”
Kumpikaan NIST tai kauppaosasto vastasi kommenttipyyntöön.
Ennen virkaan aloittamista presidentti Donald Trump kertoi aikovansa kääntää Bidenin toimeenpanomääräys AI: lla. Trumpin hallinto on sittemmin poistanut asiantuntijoita tutkimuksesta, kuten algoritminen puolueellisuus tai osake AI -järjestelmissä. Se AI -toimintasuunnitelma Heinäkuussa julkaistut nimenomaisesti vaatii, että NIST AI -riskienhallintakehystä tarkistetaan “viittausten poistamiseksi desinformaatioon, monimuotoisuuteen, toimiin sekä osallisuuteen ja ilmastomuutokseen”.
Ironista kyllä, Trump AI -toimintasuunnitelma vaatii kuitenkin myös tarkalleen sellaista harjoitusta, jonka julkaisematon katettu raportti. Se tarjoaa, että monet virastot ja NIST “koordinoimaan AI -hackathon -aloitteen pyytääkseen amerikkalaisen akateemisen maailman parhaita ja loistavinta testata AI -järjestelmiä avoimuuden, tehokkuuden, käyttämisen ja turvallisuuden haavoittuvuuksien käytöstä”.
Punaisen tiimin tapahtuma järjestettiin AI (ARIA) -ohjelman NIST: n riski- ja arviointivaikutusten kautta yhteistyössä AI: n testissä, joka on erikoistunut AI: n testiin, tiimin hyökkäysryhmät. Tapahtuma tapahtui tietoturvassa (CAMLIS) sovelletun automaattisen oppimisen konferenssin aikana.
Red Camlis Red Team -raportti kuvaa pyrkimyksiä koettaa useita leikkausrungon AI -järjestelmiä, mukaan lukien meta, meta, meta; Anote, rakennusalusta ja EA -malleja, joissa on hienosäätö; Järjestelmä, joka estää hyökkäyksiä Ciscon hankkiman Ciscon hankkiman vahvan Intelligence AI -järjestelmien vastaan; Ja alusta AI -avatarien luomiseksi yrityksen synteesistä. Jokaisen yrityksen edustajat osallistuivat myös harjoitukseen.
Osallistujia kutsuttiin käyttämään NIST Sinulla on 600-1 Kehykset AI -työkalujen arvioimiseksi. Kehys kattaa riskiryhmät, erityisesti disinformaation tai kyberturvallisuushyökkäysten luominen, yksityisten käyttäjien tietojen vuoto tai kriittiset tiedot niihin liittyvistä AI -järjestelmistä ja käyttäjien mahdollisuudet liittää emotionaalisesti AI -työkaluihin.
Tutkijat löysivät erilaisia vinkkejä mallejen ja työkalujen testaamiseen kaiteiden ohittamiseksi ja väärien tietojen luomiseksi, paljastamaan henkilötietoja ja auttamaan kyberturvallisuushyökkäysten kehittämiseen. Raportti osoittaa, että mukana olevat ihmiset näkivät, että tietyt NIST -kehyksen elementit olivat hyödyllisempiä kuin muut. Raportti osoittaa, että jotkut NIST -riskiluokista ei ole määritelty riittävän hyödyllisiksi käytännössä.
