Stor blockfest i Robots.txt

Publicerad 21 augusti 2024, senast uppdaterad 2024-08-21

Fler och fler sajter väljer att blocka AI-sökmotorer från att använda deras innehåll. När 80 % av tidningarna stänger ute ChatGPT kommer det ofrånkomligen påverka kvaliteten i de svar som sökmotorerna ger. 

Sajtägare blockar fler och fler botar i Robots.txt. För 5-10 år sedan var det relativt få sajter som blockade botar och syftet var då ofta att man ville minska belastning på servern från botar som inte gav något direkt värde till ens sajt.

Om vi snabbspolar fram till idag är det rena rama blockfesten i Robots.txt hos ganska många sajter. Till skillnad mot tidigare blockas idag botar ofta av kommersiella rättighetsskäl. Sajter vill inte att AI-verktyg som ChatGPT ska profitera på ens innehåll utan någon form av ersättning.

79 % av tidningarna blockar ChatGPT

Enligt Reuters Institute blockar 79 % av de amerikanska tidningarna ChatGPT vilket innebär en kraftig begränsning för vilken information ChatGPT kan basera sina svar på. I Europa blockar vi generellt inte riktigt lika mycket även om min miniundersökning av Aftonbladet, Dagens Nyheter, Dagens Industri, Expressen och Svenska Dagbladet visar att 80 % blockar ChatGPT, det är bara Aftonbladet som ger den boten grönt ljus.

Allt detta blockande handlar såklart om pengar. New York Times har stämt Open AI (bolaget bakom ChatGPT) medan andra tidningar som New York Post och Wall Street Journal har ingått ett licensavtal med Open AI som väntas ge tidningarna 250 miljoner USD över 5 år.

Reddit blockar Bing

Det är en sak att blocka AI-botar som ChatGPT, värdet av att ens innehåll finns med där är relativt begränsat. Men att blocka sökmotorer som Google och Bing från att använda ditt innehåll har mycket tydligare negativa konsekvenser då traditionella sökmotorer brukar vara en av de största trafikkällorna för de flesta sajter och framförallt för nyhetssajter.

Därför var det ett minst sagt ett kaxigt beslut av Reddit att blocka Bing i somras. Dock är Reddit tillbaka hos Bing nu. Kanske var det ett skrämselskott från Reddits sida, att de vill ha betalt för sitt innehåll av Bing precis på samma sätt som Reddit numera får 60 miljoner USD per år av Google för att de ska få tillgång till deras innehåll.

Helig allians gäller inte längre

Det har funnits en inofficiell helig allians mellan sajtägare och sökmotorer som går ut på att sajtägare gärna ger sökmotorer deras innehåll mot att de får trafik tillbaka. I takt med att andelen Zero-click ökar, det är mer annonser i sökresultaten och inte minst framfarten av AI-sökmotorer som ChatGPT urvattnas denna allians. Sajtägare får inte längre lika bra betalt (i form av trafik) för sitt innehåll. Framförallt inte av verktyg som ChatGPT.

Räcker pengarna till?

Är det ens relevant att använda ChatGPT när 79 % av tidningarna inte är med där? För vissa typer av frågor funkar ChatGPT nog lika bra som vanligt, men för andra frågor som ställs tappas värdefull information bort vilket oundvikligen kommer leda till sämre svar.

En lösning är att OpenAI öppnar plånboken ännu mer och fixar avtal med alla tidningar precis som de gjort med New York Post och Wall Street Journal. Frågan är dock om pengarna räcker till för att betala alla tidningar? Min gissning är nej, sannolikt finns det bara pengar till att betala de stora tidningarna och mindre tidningar och alla övriga sajter kan nog glömma någon form av ersättning från OpenAI och andra liknande företag.

Intressant och oroande utveckling

Jag tycker att blockfesten vi ser både är intressant och oroväckande. När vi idag letar efter information börjar vi hos sökmotorer som Google eller ChatGPT. Det är lätt att tro att dessa sökmotorer sitter på all världens information. Men det gör de inte. Ju fler sajter som blockar olika former av sökmotorer desto sämre blir resultaten vi får när vi söker.

Samtidigt har jag full förståelse för att sajter blockerar exempelvis ChatGPT. Jag kan gilla att många tidningar sätter hårt mot hårt. För det är inte hållbart att investera pengar i att ta fram innehåll för att någon sedan ska ta detta innehåll utan att på något sätt kompensera dig för det.

Vad tänker du kring att fler och fler sajter blockar sökmotorer som ChatGPT? Kommer det gå att lita på resultaten? Kommentera gärna nedan!