Z powodu spamu, słabej jakości i mało merytorycznych materiałów w wynikach wyszukiwania wiele osób korzysta z Reddita, aby znaleźć wartościowe treści i odpowiedzi na swoje pytania. Reddit stał się swego rodzaju Internetem w Internecie, dlatego dodanie do Google frazy site:reddit.com stało się tak naturalne jak oddychanie. I o ile Google świetnie radzi sobie z prezentowaniem treści z Reddita, to inne wyszukiwarki zostały właśnie od nich odcięte.
Dawny slogan "Front Page of the Internet" mówi o Reddicie wszystko. No, prawie wszystko, bo w zeszłym roku stał on się obiektem krytyki, gdy ogłosił, że jego API będzie płatne. Wskutek tej decyzji wiele zewnętrznych aplikacji łączących się z Redditem utraciło funkcjonalność. Teraz rozciąga się to także na wyszukiwarki internetowe. Na dobrej pozycji jest w zasadzie tylko Google, które rozwinęło partnerstwo z Redditem, uzyskując dostęp do jego Data API, który dostarcza w czasie rzeczywistym ustrukturyzowane i unikalne treści z platformy. Google otrzymuje też lepsze sygnały, które pomagają mu lepiej zrozumieć treści z Reddita, używać ich do trenowania AI i wyświetlać je w wynikach wyszukiwania.
Po nawiązaniu partnerstwa z Google Reddit zablokował innym wyszukiwarkom dostęp do swojej zawartości. W rezultacie Microsoft Bing i wiele innych wyszukiwarek, które miały dostęp do jego indeksu wyszukiwania, utraciło ten dostęp. Tim Rathschmidt, rzecznik Reddita, powiedział w rozmowie z The Verge: W ogóle nie jest to powiązane z naszym ostatnim partnerstwem z Google. Jesteśmy w trakcie dyskusji z wieloma silnikami wyszukiwania. Nie byliśmy w stanie dojść do porozumienia ze wszystkimi z nich, jako że niektóre nie mogły albo nie chciały składać wiążących obietnic dotyczących korzystania z treści Reddita, w tym ich wykorzystania w kontekście sztucznej inteligencji.
Tłumacząc to na ludzki język: Reddit najwyraźniej chce, aby dostawcy wyszukiwarek płacili mu za możliwość trenowania ich modeli AI w oparciu o publicznie dostępną zawartość wygenerowaną za darmo przez setki milionów użytkowników platformy. Sprawę skomentował też rzecznik Microsoftu: Szanujemy standard robots.txt. Bing zakończył crawling Reddita po tym, jak zaimplementował swój uaktualniony plik robots.txt 1 lipca, który zabrania crawlingu na jego stronie.
W tym roku również OpenAI podpisało umowę z Redditem na dostęp do Reddit Data API. Rysuje to pewien trend, w którym duże firmy rozwijające AI uzyskują ekskluzywny dostęp do cennych źródeł danych, co wzmacnia ich modele sztucznej inteligencji i zostawia w tyle konkurencję, która nie może sobie pozwolić na płacenie Redditowi za możliwość analizowania danych, które przez lata były publicznie dostępne. Możliwe, że tym problemem zajmą się agencję stojące na straży uczciwej konkurencji, takie jak Federalna Komisja Handlu (FTC) czy Komisja Europejska.
