Det var i mai 2025 at Pawel Sawicki la merke til de første svart-hvitt-bildene. De forestilte utmagrede mennesker med tomme blikk i truende mørke omgivelser. Eller de viste fabrikklignende mursteinsbygninger, merkelig velkjente, men likevel fremmede.

Snart begynte de å fylle Facebook-feeden hans, bilder som angivelig viste krematoriene i Auschwitz i 1942, frigjøringen av den samme dødsleiren tre år senere, eller et av orkestrene som spilte der mens drapene pågikk. Ingen av dem var historiske fotografier fra Auschwitz.

Om det er noen som kan avgjøre det, er det Pawel Sawicki. Han er nemlig pressetalsmann ved museet som drives for å bevare minnet om leiren og dem som ble drept der.

Det som nå møtte ham på nett, var i stedet en strøm av bilder generert med kunstig intelligens. Noen av dem var likt og kommentert av hundrevis, iblant tusenvis, av brukere.

– Om vi skulle analysere omfanget av dette, hadde jeg ikke hatt tid til noe annet. Vi har ikke kapasitet til det. Men vi har sett hvordan det utvikler seg og forandrer seg over tid. Og det tar ikke slutt, sier Sawicki.

Masseprodusert søppel

Slop, eller «søl» på norsk, brukes for å beskrive banalt og masseprodusert innhold som er laget med KI uten særlig innsats. En enkel prompt er alt som skal til. Og så kan Donald Trump ta en drink med Benjamin Netanyahu i et etnisk renset Gaza, Jesus kan forvandles til en reke, og holocaust kan bli en jevn strøm av sentimentale bilder som risikerer å forvrenge oppfatningen av historiens verste folkemord.

Det er i alle fall Sawickis frykt.

– Dette er ikke fotografier eller engang bilder av holocaust. Det er digitale fremstillinger av et symbol. Fra Auschwitz finnes det egentlig svært få originalfoto bevart. Men om du i dag søker på Auschwitz på Facebook, møter du snart en endeløs strøm av nye krea-sjoner. Det ser ikke ut til at det er for-nektelse av holocaust som er motivet bak. Mange av bildene knytter seg også til gasskamrene og krematoriene, sier Sawicki.

Han mener det snarere ser ut til å handle om å oppnå en følelsesmessig effekt med bildene.

– Bildene gir mennesker et emosjonelt grumsete og klisjépreget forhold til holocaust, snarere enn den komplekse sannheten, sier han.

Lønnsomme likes

Holocaust-slop forekommer først og fremst på Facebook og Tiktok, men også på andre plattformer. Enkelte sider på Facebook kan hver for seg publisere 15 til 20 bilder i døgnet. De siste månedene har det også kommet filmklipp. Da BBC undersøkte fenomenet i fjor sommer, kunne de knytte sidene til et eget belønningssystem hos Meta, Facebooks mor-selskap, som gir brukere mulighet til å tjene penger på reaksjonene. Innlegg som får likerklikk, deles og kommenteres, er altså en potensiell inntektskilde.

Mange av sidene ser ut til å være knyttet til land i Asia. Ifølge en person i Paki-stan som BBC har snakket med, kan en Facebook-side med KI-generert innhold gi rundt 1000 dollar, cirka 9000 kroner, i måneden.

I de fleste tilfellene begrenser reaksjonene på falske bilder av andre verdenskrigs konsentrasjonsleirer seg til et titall likerklikk, noen triste smilefjes og et og annet hjerte. Men av og til fanger de algoritmenes oppmerksomhet og går viralt.

I fagmiljøer snakkes det iblant om brute force, rå makt, som en måte å knekke en kode eller løse et problem på. Med tilstrekkelig mange forsøk vil man før eller senere lykkes. Og da havner innholdet i feeden til millioner av mennesker.

Metoden brukes ikke bare til å spre falske holocaust-bilder, men også til KI-slop generelt på alle de store plattformene.

Det mener Natalia Stanusch, researcher i AI Forensics, en europeisk organisasjon som i flere kritiske rapporter har undersøkt hvordan kunstig intelligens samspiller med algoritmene i sosiale medier.

Det var AI Forensics som viste hvordan Elon Musks KI-tjeneste Grok var blitt brukt til å lage og spre store mengder falske seksualiserte bilder av kjente personer og mindreårige jenter på X tidlig i år. Totalt undersøkte AI Forensics 20 000 bilder generert av Grok. Litt over halvparten viste personer i undertøy eller bikini. 2 prosent av alle bildene viste barn under 18 år, hvorav 30 bilder viste avkledde mindreårige.

– Funnene vi gjorde, var fryktelige, både for forskerne våre som måtte gjennomgå materialet, og for menneskene som ble utsatt for dette, sier Natalia Stanusch.

Automatiske søppelspredere

Men det er ikke alt. Stanusch og kollegene hennes er også bekymret over en økning i det de kaller agentiske KI-kontoer, som automatisk både skaper og sprer syntetisk innhold.

I fjor høst undersøkte de 354 slike kontoer på Tiktok, som i løpet av en måned postet over 43 000 i hovedsak KI-genererte klipp som til sammen fikk 4,5 milliarder visninger på plattformen.

– Dette er kontoer som bygger videre på innhold vi vet belønnes av algoritmene: sterkt følelsesladet materiale som vekker reaksjoner, enten de er positive eller negative. Det kan handle om alt fra hatretorikk, seksuelt ladet innhold og sensasjonelle opplysninger til klipp av søte katter. Med generativ KI kan dette nå produseres og spres i stor skala, noe som øker sannsynligheten for at noe går viralt, sier Stanusch.

Akkurat som med bildene som forestiller utmagrede konsentrasjonsleirfanger, handler også mye av slop-innholdet i AI Forensics’ undersøkelser om oppmerksomhet. Selv i potensielt politiske sammenhenger er det ikke alltid mulig å avgjøre hva avsenderen er ute etter, påpeker Stanusch.

Falske nyhetsklipp

Det er også tilfellet ved spredning av etterligninger av borgerjournalistikk. Det er merkelappen AI Forensics setter på falske mobilklipp fra brennaktuelle hendelser. Det kan være fra den voldelige utviklingen i Iran, eller det siste årets innsats fra USAs ICE-agenter.

– Dette er blant de mest alarmerende kategoriene. De innehar alle formene som gjør at det kan oppfattes som ekte og faktabasert, og de er laget for å utløse følelsesmessige reaksjoner, sier Stanusch.

KI-genererte videoer av deportasjoner i USA har gått viralt. Mennesker som brutalt føres bort foran øynene på gråtende familiemedlemmer, har millioner av visninger på Facebook, rapporterte i november amerikanske 404 Media, som følger utviklingen rundt KI.

Men også genererte klipp der lokale politifolk angivelig stanser ICE-agenter, er blitt spredt i stor stil. Det er også bilder av butikkinnehavere, prester og vanlige borgere som ser ut til å gjøre opprør mot den omstridte migrasjonspolitistyrken. Bruken av KI-slop er altså ikke begrenset til én bestemt side.

Amnesty International har laget bilder ved bruk av KI i en rapport om politivold i Colombia. Falske bilder av sultende barn i Gaza er blitt spredt. Og kampanjen All Eyes on Rafah i sosiale medier i 2024 fikk kritikk for å ha brukt KI til å lage et dramatisk bilde (t.v.) av en angivelig flyktningleir.

KI-generert bilde Kampanjen All Eyes on Rafah fikk kritikk for å ha brukt KI til å lage et dramatisk bilde av en angivelig flyktningleir.

I februar fant en KI-generert ICE-deportasjon veien inn i en av Tysklands viktigste nyhetssendinger. I en kort collage av flere autentiske filmer fantes en sekvens der en mor føres bort foran øynene på sin gråtende datter. Klippet hadde riktignok små stempler fra OpenAIs videoverktøy Sora, men redaksjonen opplyste ikke om at bildene ikke var ekte.

Syntetiske nyhetskanaler

På Tiktok og Youtube har det også i løpet av vinteren begynt å dukke opp nyhets-stasjoner der innhold og presentasjon er laget med bruk av kunstig intelligns for å fremstå autentisk. Disse KI-kanalene har blant annet rapportert inngående om at det amerikanske senatet forbereder en riksrettssak mot Donald Trump.

Da Riddance.ai, et ideelt, amerikansk nettsted for digital kildekritikk, nylig tok en stikkprøve, fant de 142 KI-skapte nyhetsstasjoner med over 700 000 følgere og titalls millioner visninger.

– Det kommer ikke til å bli bedre, bare verre, sier Jeremy Carrasco, grunnlegger av Riddance, som også driver en populær kanal på Instagram og Youtube, under navnet JeremyFindsAI, der han avslører KI-slop.

Carrasco spår en utvikling der tradisjonell, sentralisert journalistikk vil få større betydning for enkelte grupper, mens andre i stadig større grad vil havne i en falsk virkelighet styrt av algoritmene i sosiale medier.

– Usikkerhet og tvil vil vokse til et omfang vi knapt har sett maken til. Alle institusjonelle aktører undervurderer hvilken effekt dette vil få på samfunnet. Jeg kan ikke understreke nok hvor ille det kommer til å bli. Dette er faktisk noe jeg ikke snakker så mye om i sosiale medier – jeg vil ikke skremme folk – men det kommer til å bli svært vanskelig å få mennesker til å enes om hva som er virkelig, sier Carrasco.

Slutter å tro på det som er sant

En av sekvensene Carrasco har fått flest henvendelser om, er en som viser Alex Pretti, mannen som ble skutt og drept av ICE-agenter i Minneapolis tidligere i år. Det var ikke klippet der han ble skutt, folk ba ham undersøke, men det som viste en tidligere konfrontasjon med politiet, der Alex Pretti blant annet sparker på en bil.

Snart kunne også etablerte medier bekrefte at bildene var ekte, blant annet ved å kontakte Prettis foreldre. Men i strømmen av desinformasjon om hendelsen var det mange som lenge var overbevist om at også dette klippet var KI-generert.

Effekten kalles iblant liar’s dividend – løgnerens utbytte. Det gjør at også tilsynelatende upolitiske fenomener, som strømmen av holocaust-slop, risikerer å få høyst politiske følger.

– Når mennesker oversvømmes av bilder, tekst eller hva som helst som kanskje virker sannsynlig, men ikke er helt sant, slutter de til slutt å bry seg om sannheten i det hele tatt. Slik var situasjonen i Sovjetunionen. Og slik er det i Russland i dag. Det er bekvemt for dagens oligarker og autoritære ledere. De trenger ikke bekymre seg for at folk skal tro at de har makt til å forandre noe, sier Michał Klincewicz, polsk-amerikansk filosof ved Tilburg University i Nederland.

Sammen med kollegene Mark Alfano og Amir Fard lanserte han våren 2025 begrepet slopaganda for å beskrive hvordan generativ KI revolusjonerer tradisjonell propaganda. Med kunstig intelligens er det mulig å oppnå en helt annen presisjon, hastighet, skala og rekkevidde enn med tidligere former for massepåvirkning, skriver de.

– Folk begynner å tvile på sannheten. Kanskje er også de autentiske bildene fra holocaust falske? Kanskje spiller det ikke engang noen rolle? Narrativet endres, og det skapes nye assosiasjoner. Og menneskers engasjement svekkes for det som egentlig burde vekke deres vrede eller rettferdighetssans. Det gjør det lettere å sende dem til kjøttkvernene i Ukraina. Eller å manipulere mottagere i land med lav kildekritisk kompetanse, sier Klincewicz.

Han opplever situasjonen som akutt. Dels på grunn av hvordan Kina, Russland og USA i stadig større grad bruker slopaganda for sine politiske og økonomiske formål. Dels på grunn av hvordan dette innholdet normaliseres i et omfang Klincewicz ikke kunne forutse bare for ett år siden.

– Vi har et presidentembete som tvitrer ut slop-aganda flere ganger i uken.

Han nevner klippet der Trump slipper avføring over demonstranter. Og pågripelsen av den svarte menneskerettsaktivisten Nekima Levy Armstrong i USA – da Det hvite hus informerte om den hendelsen, var Levy Armstrong blitt gitt mørkere hud og tårer. Visjonen av Gaza som et kasino er også et sentralt eksempel.

– Når klippet begynner å bli delt, synes alle at det er snålt, merkelig og avskyelig. Men etter en liten stund blir det en del av samtalen på en måte som var utenkelig for bare et halvt år siden. Og ingen gjør noe, sier Klincewicz.

Nytt syn

I januar i år gikk en rekke museer og minneinstitusjoner i Tyskland ut med et åpent brev og oppfordret plattformselskapene til å stoppe spredningen av holocaust-slop.

Men også institusjonenes eget arbeid blir gransket. Og da ikke bare de åpenbare feiltrinnene, som da Malmö museum i fjor viste KI-retusjerte bilder av holocaustoverlevende.

I sommer lanserte Auschwitz-museet i Polen en digital, delvis KI-generert versjon av leiren for å lette arbeidet for filmskapere – og redusere belastningen på det virkelige, historiske stedet.

– Den virtuelle leiren har ingenting å gjøre med å skrive en prompt i et KI-verktøy. Og hvert film-prosjekt som vil bruke den, vil bli nøye vurdert, sier Pawel Sawicki ved museet.

Men nettopp dette har vekket spørsmål om Auschwitz-museets kontroll over hvordan holocaust kan fremstilles. En satirisk film som «Jojo Rabbit» (2019) ville trolig ha blitt avvist, mener den britiske filmviteren Emily-Rose Baker.

«De eneste kunstneriske fremstillingene som har verdi, er de som tar til orde for realisme, mens holocaust-filmer som avviker fra denne estetikken, avfeies», skriver hun på nettstedet The Conversation.

Også digitale iscenesettelser av samtaler med holocaustoverlevende splitter ekspertene, ikke minst i lys av holocaust-slop i sosiale medier. I tyske Essen kan besøkende nå stille spørsmål til hologramlignende projeksjoner av innspilte intervjuer med overlevende. Holo-Voices heter prosjektet som ble lansert på holocaustdagen 27. januar i år.

– Tidsvitnene som har stilt opp, har gitt sitt samtykke og selv valgt å bli foreviget som hologrammer. Og de representeres der akkurat slik de er. Vi bruker selvsagt ikke generativ kunstig intelligens, men KI brukes utelukkende til svært raskt å finne frem til svaret personen faktisk har gitt på spørsmålene besøkende har, sier Ina Brandes, kristendemokratisk kulturminister i delstaten Nordrhein-Westfalen og øverste ansvarlige for Holo-Voices.

Avgjørende kildekritikk

– Det er fortsatt mulig å skille KI-generert innhold fra autentisk innhold – for den som er oppmerksom. Feil i bakgrunnen, som skilt og annen tekst, leppesynkronisering og et vanskelig definerbart inntrykk av at bildene ser ut som en litt gammel TV-sending, er noen av detaljene man kan se etter, sier Jeremy Carrasco.

Men først og fremst handler det om å spore kilden. Kontoer som publiserer KI-slop, er som regel bare et år eller to gamle. Særlig de som AI Forensics har pekt ut som agentiske.

– EU skal komme med retningslinjer for syntetiske bilder og videoer og ønsker tydelig merking av slikt innhold. Det kunne plattformene allerede ha innført, sier Natalia Stanusch.

Om strømmen av KI-genererte konsentrasjonsleirbilder noen gang skulle forstyrre Pawel Sawickis oppfatning av historien, holder det å reise seg fra skrivebordet. Utenfor kontoret hans brer fortidens redsler seg ut, høyst konkret. Brakke for brakke.

– Det er for tidlig å si hvor alt dette er på vei. Men hvis vi ikke får med oss selskapene som utvikler teknologien til å erkjenne ansvar og reflektere over de moralske konsekvensene av å la dette bli produsert og spredt, da er vi fortapt, sier Sawicki.