BERT — czytanie kontekstu

Przed BERT-em wyszukiwarka traktowała zapytanie w dużej mierze jako zbiór słów. Kluczowa zmiana polegała na tym, że model zaczął uwzględniać relacje między wyrazami, w tym wyrazami funkcyjnymi — przyimkami, spójnikami, negacjami.

Klasyczny przykład, którym Google to ilustrowało, dotyczył zapytań, gdzie jedno małe słowo odwraca sens. „Jak dojechać z Polski do Niemiec” i „jak dojechać z Niemiec do Polski” składają się z tych samych wyrazów i znaczą co innego. Podobnie negacja: „czy można tego nie robić” to inne pytanie niż „czy można to robić”.

Konsekwencje dla praktyki były dwie i obie okazały się trwałe.

Po pierwsze, przestało mieć znaczenie dopasowanie dokładnej frazy. Tekst odpowiadający na pytanie własnymi słowami wypada lepiej niż tekst powtarzający zapytanie w niezmienionej formie.

Po drugie, zaczęło mieć znaczenie pisanie poprawnie i jasno. Model rozumie zdanie, więc zdanie musi być zrozumiałe. Teksty pisane pod dawne algorytmy — z nienaturalnymi formami wciśniętymi dla zgodności z frazą — straciły przewagę, którą miały.

MUM — dalej i szerzej

MUM został ogłoszony w maju 2021 i przy jego opisie warto zachować precyzję, bo wokół niego narosło najwięcej nieporozumień.

Google przedstawiło go jako model znacznie wydajniejszy od poprzednika, z trzema zapowiedzianymi cechami: rozumieniem wielu języków jednocześnie, przenoszeniem wiedzy między nimi oraz wielomodalnością, czyli zdolnością do pracy z tekstem i obrazem razem.

Praktyczna obietnica brzmiała tak: model może odpowiedzieć na złożone pytanie, korzystając z wiedzy zapisanej w języku, którego pytający nie zna, i łącząc informacje z różnych źródeł.

Trzeba jednak powiedzieć jasno, jaki jest stan faktyczny: MUM nie zastąpił algorytmu rankingowego. Google od początku komunikowało, że będzie wprowadzany do konkretnych funkcji stopniowo. Pierwsze zastosowania produkcyjne były wąskie i dotyczyły określonych obszarów, a kolejne funkcje pokazywano na wydarzeniach branżowych. To technologia wykorzystywana w wybranych miejscach, nie nowy sposób oceny wszystkich stron.

Piszę to, bo od dwóch lat spotykam prezentacje o „optymalizacji pod MUM”. To pojęcie puste — nie ma osobnych sygnałów, pod które można pisać.

Co z tego wynika dla pisania treści

Nie ma technik pod BERT ani pod MUM. Są natomiast konsekwencje kierunku, w którym te modele prowadzą, i one są konkretne.

• Odpowiadaj na pytania, nie umieszczaj fraz. Wyszukiwarka rozpoznaje przeformułowania, więc jedna dobrze napisana strona obsłuży kilkanaście wariantów zapytania. Tworzenie osobnej strony na każdą odmianę tej samej frazy to dziś praca przeciw sobie.

• Pisz precyzyjnie, zwłaszcza tam, gdzie sens zależy od jednego słowa. Skoro model czyta negacje i przyimki, dwuznaczne zdanie zostanie zrozumiane inaczej, niż zakładałeś.

• Rozwijaj temat, nie listę fraz. Modele rozumiejące relacje między pojęciami nagradzają wyczerpujące pokrycie zagadnienia — a to jest ta sama rzecz, która stoi za obserwowanym zjawiskiem autorytetu tematycznego.

• Dbaj o obrazy i ich opisy. Skoro wielomodalność jest kierunkiem, sensowne nazwy plików, opisy alternatywne i podpisy przestają być wyłącznie kwestią dostępności.

• Nie unikaj naturalnego języka. Można pisać tak, jak mówią ludzie, i to jest dziś zaleta, nie kompromis.

Czego te modele nie zmieniły

Warto to powiedzieć, bo w komunikacji o kolejnych modelach łatwo o wrażenie, że wszystko poprzednie przestało obowiązywać.

Nie zmieniło się to, że strona musi być dostępna dla robota, poprawnie zaindeksowana i technicznie sprawna. Model rozumiejący język nie odczyta strony, do której nie ma dostępu.

Nie zmieniło się znaczenie wiarygodności. Rozumienie tekstu i ocena tego, czy można mu zaufać, to dwie różne rzeczy — a w tematach o wysokiej stawce ta druga jest ważniejsza.

Nie zmieniła się rola intencji. Model lepiej rozpoznaje, czego szuka użytkownik, ale to znaczy, że trafienie w intencję jest ważniejsze niż wcześniej, nie mniej ważne. Tekst informacyjny nie wygra zapytania zakupowego, choćby był świetnie napisany.

Jak podejść do kolejnych zapowiedzi

To obszar, w którym co roku pojawia się nowa nazwa, więc warto mieć na to metodę.

Moja jest trzypunktowa. Sprawdzam, czy to jest wdrożone, czy zapowiedziane — różnica bywa kilkunastomiesięczna, a komunikaty branżowe zwykle jej nie rozróżniają. Sprawdzam, czego dotyczy — czy algorytmu rankingowego, czy konkretnej funkcji w wyszukiwarce. Sprawdzam, czy ktokolwiek pokazał mechanizm wpływu na widoczność, a nie tylko korelację.

Przy tej trójce większość opowieści o nowych sposobach optymalizacji odpada. Zostaje to, co się nie zmienia od kilku lat: treść odpowiadająca na realne pytanie, napisana przez kogoś, kto zna temat, na stronie, do której wyszukiwarka ma dostęp.

Warto przy tym obserwować, co dzieje się z generatywnymi odpowiedziami w wyszukiwarkach — Google testuje swoje rozwiązanie od maja w programie eksperymentalnym, na razie poza Europą, a Microsoft udostępnił swoje szerzej. Kierunek jest wspólny i prawdopodobnie ważniejszy dla ruchu na strony niż którykolwiek z opisanych tu modeli. Ale to temat, w którym dziś więcej jest pytań niż odpowiedzi, i uczciwiej jest to powiedzieć, niż udawać, że wiemy, jak się skończy.

Na koniec praktyczna wskazówka dotycząca rozmów z klientami i zarządem. Nazwy modeli językowych brzmią poważnie i łatwo ich użyć jako argumentu za dowolną rekomendacją — spotykam prezentacje, w których BERT uzasadnia zarówno wydłużanie tekstów, jak i ich skracanie. Jeśli ktoś tłumaczy propozycję nazwą modelu, warto poprosić o wyjaśnienie mechanizmu: co konkretnie ten model robi i dlaczego proponowana zmiana ma na to wpływ. Przy uczciwej odpowiedzi zwykle okazuje się, że rekomendacja jest sensowna z całkiem innych, prostszych powodów — albo że nie jest sensowna wcale.