Kun jokin menee Väärä AI -avustajan kanssa, vaisto on kysyä sitä suoraan: “Mitä tapahtui?” Tai “Miksi teit tämän?” Se on luonnollinen impulssi – jos ihminen tekee virheen, pyydämme heitä selittämään. Mutta AI -malleilla tämä lähestymistapa toimii harvoin, ja halu kysyä paljastaa perustavanlaatuisen väärinkäsityksen siitä, mitkä nämä järjestelmät ovat ja miten ne toimivat.
Eräs äskettäinen tapaus Kun AI -koodausvelho kuvaa täydellisesti tätä ongelmaa. Kun AI -työkalu on poistanut tuotantotietokannan, käyttäjä Jason Lemkin pyytää Käänteistä kapasiteetit. AI -malli sanoi varmasti siitä, että vetäytymiset olivat “tässä tapauksessa mahdottomia” ja että se oli “tuhonnut kaikki tietokantaversiot”. Se osoittautui täysin vääräksi – kääntämistoiminto toimi hyvin, kun Lemkin yritti häntä itse.
Ja sen jälkeen kun Xai käänsi äskettäin Grok Chatbotin väliaikaisen keskeyttämisen, käyttäjät kysyivät häneltä suoraan. Hän tarjosi poissaololleen useita ristiriitaisia syitä, joista jotkut olivat riittävän kiistanalaisia NBC -toimittajille kirjoitti Grokista Ikään kuin se olisi henkilö, jolla on johdonmukainen näkökulma, piirtäen artikkelin: “Xai’s Grok tarjoaa poliittisia selityksiä selittääkseen miksi se poistettiin.”
Miksi AI -järjestelmä tarjoaisi tällaista väärää tietoa luottavaisesti omiin kapasiteeteihinsa tai virheisiin? Vastaus on AI: n mallien ymmärtäminen – ja mitä he eivät ole.
Ei ole ketään kotona
Ensimmäinen ongelma on käsitteellinen: et puhu persoonallisuuden, henkilön tai johdonmukaisen kokonaisuuden kanssa, kun olet vuorovaikutuksessa ChatgPT: n, Claude-, Grokin tai taitoksen kanssa. Nämä nimet viittaavat yksittäisiin edustajiin, joilla on itsetieto, mutta se on illuusio Luoma keskustelurajapinta. Mitä todella teet, on ohjata tilastollista tekstin generaattoria retkien tuottamiseen kehotusten mukaan.
Ei ole johdonmukaista “chatgpt” kyseenalaistaakseen hänen virheitään, yksilöllistä “Grok” -yksikköä, joka voi kertoa sinulle, miksi hän epäonnistui, ei kiinteä “replification” -persoonallisuus, joka tietää, ovatko tietokannan palautus mahdolliset. Olet vuorovaikutuksessa järjestelmän kanssa, joka tuottaa tekstin uskottavalla konsonanssilla, joka perustuu sen harjoitustietojen malleihin (yleensä kuukausia tai vuosia), ei kokonaisuus, jolla on todellinen itsetuntemus tai tiedon järjestelmästä, joka on lukenut kaiken itsessään ja muistamalla tavalla.
Kun AI -kielimalli on muodostettu (mikä on työläs ja korkea energian voimakkuusprosessi), sen perusverkkoon keitetään sen perustavanlaatuinen “tieto” maailmasta ja sitä muutetaan harvoin. Kaikki ulkoiset tiedot tulevat Chatbot -isännän (kuten XAI tai Openai) tarjoamasta kehotuksesta, käyttäjälle tai ohjelmistotyökalusta, jota AI -malli käyttää Palauta ulkoiset tiedot Lennossa.
Yllä olevan Grokin tapauksessa chatbotin tärkein lähde tällaiseen vastaukseen johtuisi todennäköisesti ristiriitaisista raporteista, jotka hän löysi etsiessään viimeaikaisia sosiaalisia verkostoja (käyttämällä ulkoista työkalua näiden tietojen palauttamiseen) kuin minkään tyyppisiä itsetuntemuksia, kuten voit odottaa ihmiseltä puhevallan kanssa. Sen lisäksi se on todennäköisesti reilua keksiä jotain Perustuu sen tekstin ennustamiskapasiteettiin. Joten kysyen häneltä, miksi hän teki mitä teki, ei anna mitään hyödyllistä vastausta.
LLM -itsehavaimen mahdottomuus
Pelkästään suuret kielet (LLM) -mallit eivät voi merkittävästi arvioida omaa kykyään useista syistä. Heillä ei yleensä ole itsehavaintoaan koulutusprosessissaan, heillä ei ole pääsyä ympäröivään järjestelmän arkkitehtuuriin, eivätkä he pysty määrittämään omia suorituskykyrajojaan. Kun kysyt AI -mallilta, mitä hän voi tai ei voi tehdä, hän tuottaa vastauksia niiden mallien mukaan, joita hän on nähnyt tietojen muodostumisessa aikaisempien AI -mallien tunnettuihin rajoihin – tarjoamalla olennaisesti koulutettuja oletuksia eikä tosiasiallisen itsetuntoa nykyisen mallin kanssa, jonka kanssa olet vuorovaikutuksessa.
Eräs 2024 Tutkimus Binder et ai. osoitti tämän rajoituksen kokeellisesti. Vaikka AI -mallit voidaan kouluttaa ennustamaan omaa käyttäytymistään yksinkertaisissa tehtävissä, ne ovat aina epäonnistuneet “monimutkaisempia tehtäviä tai yleistämistä vaativat jakelun ulkopuolella”. Samalla tavalla Tutkimus “rekursiivisesta itsetutkimuksesta” havaitsi, että ilman ulkoista palautetta itseharjoitteluyritykset ovat itse asiassa heikentäneet mallin suorituskykyä-AI: n itsearviointi on huonontunut, ei parempaa.
