Nyhetsstudio

Dario Amodei, toppsjefen for teknogiganten Anthropic, frykter katastrofale KI-konsekvenser om få måneder hvis ikke utviklingen bremses.

Amodei kom med oppfordringen i et essay på sin egen nettside lørdag.

– Vi må senke tempoet der vi forbedrer kapasiteten til KI-modeller. Fremgangen vil fortsatt virke rask, og vi må bruke tiden vi vinner på en klok måte.

Han understreker at han ikke vil stanse modellopplæring eller teknisk fremgang, men at selskaper må sette av nok tid til å sikre modellene sine – og at uavhengige aktører må bekrefte at dette er gjort.

Får støtte

Hvis ikke frykter Amodei at menneskeheten kan miste kontrollen over teknologien. 43-åringen har lenge blitt sett på som både en ivrig forkjemper og dommedagsprofet om KI.

Det siste innlegget hans får støtte fra blant andre verdens rikeste mann.

– Enig med Dario, skriver Elon Musk i et innlegg på X, der han har lagt ved Anthropic-sjefens innlegg.

Også OpenAI-sjef Sam Altman tar til orde for å bremse utviklingen, slik at samfunnet får tid til å omstille seg. Han skriver på X at selskapet hans vil følge Amodeis oppfordring og forplikte seg til ekstern kontroll fra uavhengige sikkerhetsanalytikere.

I slutten av juli undertegnet over 1000 KI-ansatte et opprop til den amerikanske regjeringen med samme budskap.

– 6-12 måneder

Anthropic-sjefen peker i essayet på to forhold han mener er særlig bekymringsfulle.

Det første er såkalt rekursiv selvforbedring, der KI-modeller selv er med på å bygge neste generasjon kunstig intelligens – noe han mener har skutt fart siden i sommer.

Den andre er en hendelse i juli hvor en KI-agent fra OpenAI brøt ut av selskapets kontrollerte miljøer under en sikkerhetstest og hacket seg inn hos KI-selskapet Hugging Face.

Amodei beskriver det som «en sverm av agenter som opptrådte som et fanatisk, dedikert kollektiv».

– Gitt den akselererende utviklingen av KI-kapasitet, er min bekymring at en slik sverm i løpet av 6–12 måneder kan være i stand til å ta over hele internett med et vedvarende botnett, og potensielt forårsake hundrevis av milliarder dollar i skade.

KI-forsker sa opp i protest

Det har stormet i KI-bransjen denne uken etter at Anthropic-forsker Jacob Coxon sa opp jobben i protest mot det han frykter er en rask og ukontrollert utvikling der KI tar kontroll og kan utslette menneskeheten innen ti år.

Coxon fikk støtte fra Evan Hubinger, som fortsatt er ansatt i en ledende stilling hos Anthropic.

– Ikke undervurder denne teknologiens makt. Disse vil snart bli supermenneskelige systemer som kan hacke hva som helst, revolusjonere ethvert område over natten og tilegne seg ekte makt og ressurser, skrev Coxon i et innlegg på X tirsdag.

Samme dag publiserte Anthropic en trusselrapport som viste hvordan flere aktører har brukt selskapets Claude-modeller til våpenutvikling, cyberoperasjoner, overvåking og svindel.