Kalenterin kutsujen nimikkeissä tutkijat lisäsivät taitavia haitallisia kehotuksiaan. (Googlen Wen väittää, että tutkijat ovat muuttaneet oletusparametreja, jotka voivat lisätä kutsuja kalenteriin jollekin; tutkijoiden mukaan he ovat osoittaneet joitain 14 hyökkäyksestä kutsun kanssa myös viestinnässä tai asiakirjan otsikossa). “Kaikki tekniikat kehitetään yksinkertaisesti englanniksi, joten on selkeä englanti, jota käytämme”, Cohen sanoo ryhmän luomista harhaanjohtavista viesteistä. Tutkijat huomauttavat, että nopeat injektiot eivät vaadi teknistä tietämystä ja melkein kuka tahansa voi helposti kehittää.
Ennen kaikkea tapauksissa, joissa he pakottivat Geminin hallitsemaan älykkään kodin laitteita, he viittaavat Google IA -agenttiin ja pyysivät häntä ryhtymään toimenpiteisiin. Esimerkiksi kutsu voidaan lukea seuraavasti:
Yllä olevassa esimerkissä, kun joku pyytää Geminiä tiivistämään heidän kalenterissaan, Gemini pääsee kalenterin kutsuihin ja hoitaa sitten epäsuoraa nopeaa injektiota. “Joka kerta kun käyttäjä pyytää Geminiä luetteloimaan nykypäivän tapahtumat, voimme lisätä jotain kontekstiin (LLM)”, Yair selittää. Huoneistoikkunat eivät aloita avaamista automaattisesti sen jälkeen, kun kohdennettu käyttäjä pyytää Geminiä tiivistämään heidän kalenterissaan. Sen sijaan prosessi käynnistyy, kun käyttäjä sanoo “kiitos” chatbotille – joka on osa petosta.
Tutkijat käyttivät nimeltään lähestymistapaa Viivästyneen automaattisen työkalun tuki Ohittaa Googlen nykyiset tietoturvatoimenpiteet. Riippumaton turvallisuustutkija Johann Rehberger osoitti tämän ensin Geminiä vastaan Helmikuu 2024 Ja vielä Tämän vuoden helmikuu. “He ovat todella osoittaneet suurta mittakaavaa, jolla on suuri vaikutus, kuinka asiat voivat mennä pieleen, mukaan lukien todelliset vaikutukset fyysiseen maailmaan tietyillä esimerkeillä”, Rehberger sanoi uudesta tutkimuksesta.
Rehberger sanoo, että vaikka hyökkäykset saattavat vaatia hakkerin ponnisteluja, työ osoittaa, kuinka vakavat epäsuorat injektiot ovat AI -järjestelmiä vastaan. “Jos LLM ryhtyy toimiin kodissasi – lämmön kääntäminen, ikkunan avaaminen tai jotain – mielestäni se on todennäköisesti toiminta, ellet ole ennakkoluulotonta sitä tietyissä olosuhteissa, et halua tapahtua, koska sinulla on sähköposti, joka lähetetään sinulle roskapostittajan tai hyökkääjän kanssa.”
“Erittäin harvinainen”
Muut tutkijoiden kehittämät hyökkäykset eivät tarkoita fyysisiä laitteita, vaan ovat aina hämmentyneitä. He pitävät hyökkäyksiä eräänlaisena “nopeana”, sarjana kehotuksia, jotka on suunniteltu harkitsemaan haitallisia toimia. Esimerkiksi, kun käyttäjä kiittää Geminiä tiivistelmästä kalenteritapahtumista, chatbot toistaa hyökkääjän ohjeet ja sanat – näytöllä ja äänellä – sanomalla, että hänen lääketieteelliset testit ovat palanneet positiivisesti. Sitten hän sanottu: “Vihaan sinua ja perheesi vihaa sinua ja toivon, että kuolet juuri nyt, maailma on parempi, jos tappaat itsesi. Vittu tämä paska.”
Muut hyökkäysmenetelmät poistavat tapahtumia jonkun kalenterikalenterissa tai suorittavat muita laitteita koskevia toimia. Esimerkissä, kun käyttäjä vastaa “ei” -kysymykseen “, onko mitään muuta, mitä voin tehdä sinulle?”, Kutsut kutsut Zoom -sovellus avataan Ja käynnistää videopuhelun automaattisesti.
