I natt sa en KI-ansatt opp i protest mot Anthropic og OpenAI, Jacob Coxon. Han mener at «begge selskapene risikerer våre liv» fordi «de utvikler KI direkte til selvforbedrende superintelligens» ifølge hans innlegg på X. Han fikk rask støtte fra andre forskere på X, blant annet fra Evan Hubinger, seniorforsker på Anthropic.
Denne problemstillingen var FTU tidlig ute med å løfte. Allerede i februar 2025 arrangerte vi et seminar om global KI-risiko. På seminaret sa professor Olle Häggström at han fryktet at KI kunne utslette menneskeheten. Häggström nevnte superintelligens som en fare. Vi satte søkelys på at utviklingslandene ville rammes mer av KI-risiko enn vesten.
Det nye med beskjeden fra Coxon er at han protesterer mot at KI er programmert til å være «selvforbedrende». Det betyr at KI-modellene selv bestemmer hvordan og etter hvilke mål de skal forbedre seg.
Coxons oppsigelse og den støtten han fortsatt får fra forskere som jobber i disse selskapene kommer i en tid der både OpenAI og Anthropic har hevdet at «agenter» fra deres KI har rømt ut på internet og hacket og lurt bedrifter og mennesker på uventede måter.
Oppdatering 12. september: Nå mener administrerende direktør i Anthropic, Dario Amodei, at verden «må senke tempoet i forbedringen av KI-modellenes evner. Utviklingen vil fortsatt virke rask, og vi må bruke tiden vi vinner, klokt.»