Trzy różne pytania w jednym

„Wykrywanie” brzmi jak jedna czynność, a jest ich kilka i mają zupełnie różny status.

Pierwsza to rozpoznanie autorstwa: czy da się wskazać, że konkretny akapit pochodzi z modelu, a nie od człowieka. To zadanie statystyczne i jak każde zadanie statystyczne ma błędy w obie strony.

Druga to identyfikacja wzorca produkcji: czy da się zauważyć, że w serwisie w ciągu dwóch tygodni pojawiło się czterysta podstron o bardzo podobnej strukturze, długości i rytmie zdań. To zupełnie inny problem i znacznie łatwiejszy, bo nie wymaga oceniania pojedynczego zdania.

Trzecia to ocena jakości: czy tekst odpowiada na pytanie, czy wnosi coś ponad to, co już jest w indeksie, czy stoi za nim ktokolwiek odpowiedzialny. Tu autorstwo w ogóle nie jest potrzebne do wydania oceny.

Kiedy ktoś pyta, czy Google wykrywa AI, zwykle myśli o pierwszym pytaniu. Mechanizmy, które faktycznie decydują o tym, jak radzi sobie strona, dotyczą drugiego i trzeciego.

Co Google powiedział publicznie

Nie ma oświadczenia, w którym Google opisywałby narzędzie do rozpoznawania tekstu z modeli językowych. Jest natomiast wypowiedź, którą trzeba znać.

Wiosną 2022 roku John Mueller odpowiadał na pytanie o materiały tworzone przez modele językowe i zaliczył je do treści powstających automatycznie — a więc do kategorii opisanej w zasadach dotyczących spamu. To wciąż najświeższe stanowisko, jakie mamy na piśmie. Nikt w Google od tego czasu nie zapowiedział, że reguła zostanie zmieniona, i nie zapowiedział też odwrotnie, że jest planowane osobne narzędzie do jej egzekwowania.

Osobno warto pamiętać o SpamBrain — systemie do rozpoznawania spamu opartym na uczeniu maszynowym, o którym Google mówi otwarcie od 2021 roku i który wymienia w raportach podsumowujących walkę ze spamem, a także przy grudniowej aktualizacji dotyczącej spamu linkowego. Jak dokładnie działa, nie wiemy. Wiemy, do czego służy: do wychwytywania wzorców masowej, niskiej jakości produkcji. To dokładnie ta druga z trzech kategorii z poprzedniej sekcji.

Podsumowując ten punkt: Google ma zasadę, która obejmuje maszynową produkcję treści, i ma system do wyłapywania spamu. Nie ma publicznie potwierdzonego detektora autorstwa. To dwie różne rzeczy i nie warto ich łączyć.

Czy technicznie da się to rozpoznać

Rozpoznawanie maszynowego tekstu opiera się na tym, że model wybiera słowa w sposób bardziej przewidywalny niż człowiek. Zdania mają wyrównaną długość, brakuje w nich dziwnych skojarzeń, potknięć i nagłych zmian rejestru. Na dużej próbce ta regularność jest mierzalna.

Problem zaczyna się przy pojedynczym tekście. Ten sam profil statystyczny ma proza pisana przez człowieka, który po prostu pisze poprawnie i nudno — na przykład prawnika trzymającego się szablonu albo tekst przetłumaczony i wygładzony przez korektora. Dlatego każdy taki test daje fałszywe alarmy w obie strony i im krótszy fragment, tym gorzej.

Do tego dochodzi łatwość obejścia. Przepisanie co drugiego zdania, wtrącenie własnego przykładu albo przepuszczenie tekstu przez drugie narzędzie zmienia rozkład na tyle, że test przestaje reagować. Metoda, którą można rozbroić w piętnaście minut, nie jest dobrym fundamentem systemu rankingowego obsługującego cały indeks.

Mam więc taką odpowiedź na to pytanie: statystycznie coś się da rozpoznać, ale z błędem, którego nie da się zignorować, i przy założeniu, że autor nie próbuje ukryć śladów. Trudno mi sobie wyobrazić, że wyszukiwarka opiera na tym karanie stron.

Detektory, które pojawiły się w tym miesiącu

Na fali zainteresowania modelami językowymi weszły do obiegu pierwsze publiczne narzędzia do sprawdzania, czy tekst pochodzi z maszyny. Najgłośniejszym z nich jest GPTZero, opublikowany na początku stycznia przez studenta z Princeton i pomyślany przede wszystkim dla nauczycieli.

Traktuję je jako ciekawostkę i radzę to samo klientom. Trzy powody.

• Nie znam żadnego dowodu, że Google ich używa — ani tych narzędzi, ani ich metody. Optymalizowanie tekstu pod wynik zewnętrznego testu to optymalizowanie pod cudze założenia.

• Mylą się w sposób trudny do wybaczenia — narzędzie, które oznacza tekst napisany przez człowieka jako maszynowy, wyrządza więcej szkody niż pożytku, zwłaszcza gdy ktoś podejmuje na tej podstawie decyzje o wynagrodzeniu autora.

• Nie odpowiadają na właściwe pytanie — nawet gdyby działały bezbłędnie, mówiłyby tylko o autorstwie. O tym, czy tekst jest komukolwiek potrzebny, nie mówią nic.

Widziałem już pierwsze oferty „gwarantujące niewykrywalność treści”. Nie polecam kupowania czegoś, czego nie da się sprawdzić, na podstawie testu, którego nikt nie autoryzował.

Co Google mierzy zamiast autorstwa

Tu dochodzimy do części, która ma realne znaczenie dla wyników.

W sierpniu Google wdrożył Helpful Content Update — mechanizm oceniający, czy witryna ma dużo treści powstałych przede wszystkim po to, żeby zająć miejsce w wynikach. Przez pierwsze miesiące działał wyłącznie na zapytaniach angielskich. Grudniowa odsłona tego systemu, wdrażana od 5 grudnia i zakończona 12 stycznia, objęła wszystkie języki — więc od tego miesiąca dotyczy również polskich witryn.

Zwracam uwagę na dwie cechy tego mechanizmu. Po pierwsze, jest opisany jako sygnał obejmujący całą witrynę, nie pojedynczy adres. Po drugie, w ogóle nie pyta o to, kto napisał tekst — pyta, dla kogo został napisany. Serwis zasypany podstronami bez treści własnej wpada w te kryteria niezależnie od tego, czy powstały maszynowo, czy zostały napisane przez człowieka za dwadzieścia złotych od strony.

Drugą rzeczą, którą mam w głowie od grudnia, jest rozszerzenie wytycznych dla oceniających jakość: znane E-A-T zamieniło się w E-E-A-T, gdzie pierwsze „E” to doświadczenie. To nie jest czynnik rankingowy, ale opisuje sposób myślenia Google o wartości treści. Model językowy nie ma doświadczenia w żadnym praktycznym sensie i nie potrafi napisać, jak coś wyszło w praniu.

Co z tego wynika dla praktyki

Przestałem doradzać w kategoriach „czy to przejdzie”. Zamiast tego pytam o rzeczy sprawdzalne.

Czy tekst jest komukolwiek potrzebny — czyli czy istnieje pytanie, na które odpowiada, i czy odpowiada lepiej niż to, co już jest w wynikach. Czy jest w nim cokolwiek, czego nie znajdzie się w pięciu innych artykułach: konkretny przykład, obserwacja z praktyki, liczba z własnych danych. Czy ktoś jest pod nim podpisany i czy obroni go w rozmowie. Czy tempo publikacji ma cokolwiek wspólnego z możliwościami zespołu, który za tym stoi.

Jeśli odpowiedzi są dobre, pytanie o wykrywanie przestaje mieć znaczenie — treść jest po prostu w porządku. Jeśli są złe, żaden test niewykrywalności tego nie naprawi, bo problem nie leży w autorstwie.

Na koniec zastrzeżenie, które w tej chwili trzeba zrobić: piszę to na przełomie stycznia i lutego, dwa miesiące po tym, jak modele językowe stały się powszechnie dostępne. Google będzie musiał zabrać w tej sprawie głos wyraźniej, niż zrobił to do tej pory, bo skala publikacji rośnie z tygodnia na tydzień. Kiedy to zrobi, wrócę do tematu. Do tego czasu nie zmienia się jedna rzecz: strony, na których widać człowieka, są bezpieczne w każdym wariancie tej wypowiedzi.