Trzy różne rzeczy nazywane „obecnością w AI"

Zanim wybiorę narzędzie, ustalam, o którą z trzech wielkości chodzi, bo mierzy się je zupełnie inaczej i nie da się ich sensownie zsumować.

• Wzmianka marki w treści odpowiedzi — model wymienia nazwę firmy, produktu albo osoby w wygenerowanym tekście. Nie musi przy tym linkować do Twojej strony i najczęściej tego nie robi.

• Cytowanie domeny jako źródła — Twój adres jest jednym z odnośników, którymi system podpiera odpowiedź. To zupełnie inne zjawisko niż wzmianka: bywa, że marka jest wymieniona na podstawie cudzego rankingu, a wśród źródeł jest wyłącznie porównywarka.

• Ruch i zachowanie użytkownika — sesje z domen asystentów, wejścia z podsumowań w wyszukiwarce, wyszukiwania brandowe po rozmowie z modelem. Tylko ta warstwa ma cokolwiek wspólnego z pieniędzmi.

Większość narzędzi sprzedaje pierwszą wielkość, klient zwykle ma na myśli trzecią, a najbardziej użyteczna do pracy nad treścią jest druga. Ustalenie tego na wstępie oszczędza potem kilku nieprzyjemnych rozmów o tym, dlaczego „widoczność w AI” rośnie, a sprzedaż nie.

Dlaczego ten pomiar jest chwiejny i zostanie chwiejny

Klasyczne monitorowanie pozycji opiera się na założeniu, że przy tym samym zapytaniu, z tej samej lokalizacji i na tym samym urządzeniu wynik będzie zbliżony. W odpowiedziach generatywnych to założenie nie obowiązuje.

To samo pytanie zadane dwa razy pod rząd daje inny tekst, inny zestaw źródeł i czasem inne marki. Do tego dochodzi historia rozmowy, kraj, język, wersja modelu i to, czy użytkownik jest zalogowany. Podsumowanie w wyszukiwarce w ogóle nie pojawia się na każde zapytanie — a to, czy się pojawi, zmienia się w czasie i różni między branżami.

Dlatego jedną liczbę z jednego przebiegu traktuję jak jedno zdjęcie tłumu: mówi coś o tym, kto stał z przodu w danej sekundzie, i nic o tym, ile osób przyszło. Sens ma wyłącznie seria pomiarów tą samą metodą, przy tej samej liście pytań, oglądana jako trend przez kilka miesięcy.

Z tego samego powodu nie porównuję wyników dwóch różnych narzędzi między sobą. Różnią się nie tylko próbką pytań, ale i sposobem zadawania — część odpytuje modele przez API, część symuluje ruch w interfejsie przeglądarkowym, a to nie są te same warunki, w jakich pyta klient.

Co wyciągniesz z Search Console, a czego nie

Zacznę od narzędzia, które masz i za które nie płacisz, bo bywa pomijane w tej dyskusji.

Google od czerwca potwierdza, że kliknięcia i wyświetlenia z trybu AI wpadają do raportu skuteczności razem z klasycznymi wynikami. Podobnie jest z podsumowaniami. Praktyczny wniosek jest przykry: dane tam są, ale nie da się ich oddzielić — nie ma osobnego typu wyniku ani filtra, którym wyciągniesz sam ten fragment.

Da się natomiast czytać sygnały pośrednie i ja robię to co miesiąc. Interesuje mnie zestaw zapytań informacyjnych, w których liczba wyświetleń trzyma poziom, a kliknięcia i CTR systematycznie spadają — to typowy obraz zapytania, na które użytkownik dostaje odpowiedź na miejscu. Osobno patrzę na średnią pozycję, bo przy podsumowaniu zajmującym górę ekranu deklarowana trójka wygląda z perspektywy użytkownika inaczej niż dwa lata temu.

Nie nazywam tego pomiarem obecności w AI. To pomiar konsekwencji, i tylko w tym charakterze go raportuję.

Logi serwera i analityka — jedyne twarde dane

Jeśli w całym tym temacie jest coś, co da się policzyć bez założeń, to są to dwie rzeczy: kto pobrał Twoją stronę i kto z niej potem wszedł.

W logach filtruję po robotach, które obsługują ten obszar. Rozdzielam przy tym dwie kategorie, bo mają różny sens biznesowy: roboty zbierające dane do trenowania modeli i roboty, które pobierają stronę na potrzeby konkretnej odpowiedzi w trakcie rozmowy. Zablokowanie pierwszych to decyzja o udostępnianiu treści, zablokowanie drugich to po prostu wypisanie się z cytowań.

W analityce zakładam osobną grupę kanałów dla domen asystentów. Ruchu jest tam zwykle niewiele, ale ma dwie zalety: jest realny i widać po nim intencję. Sprawdzam, na które podstrony trafia i czy zachowuje się inaczej niż ruch z wyszukiwarki.

Trzeci sygnał to wolumen zapytań brandowych — jeśli marka jest wymieniana w odpowiedziach, część osób wpisze potem nazwę w wyszukiwarkę.

Klasy narzędzi zewnętrznych i po czym je oceniać

Rynek dzieli się dziś z grubsza na trzy grupy i warto wiedzieć, za co się płaci.

• Dedykowane monitory promptów — narzędzia takie jak Profound, Peec AI, Otterly czy Scrunch. Zadają zdefiniowaną listę pytań w kilku modelach z określoną częstotliwością i raportują wzmianki, źródła i udział względem konkurencji.

• Moduły w klasycznych pakietach SEO — Semrush, Ahrefs i SE Ranking dołożyły własne raporty widoczności w odpowiedziach generatywnych. Wygodne, bo obok masz historię pozycji i profil linków, zwykle jednak z mniejszą kontrolą nad tym, jak zadawane jest pytanie.

• Narzędzia do analizy ruchu i logów — pokazują, które roboty pobierają serwis i jaki ruch przychodzi z asystentów. Najbliżej rzeczywistości, najdalej od tego, o co pyta klient.

Przy wyborze pytam o cztery rzeczy i to one decydują. Czy narzędzie obsługuje polski język i polską lokalizację. Czy pokazuje surowe odpowiedzi wraz z datą i źródłami, czy tylko wskaźnik. Jak odpytuje modele — interfejsem czy API. I czy pozwala wyeksportować dane.

Narzędzie, które podaje jeden procent i nie pokazuje, z czego go policzyło, jest dla mnie bezużyteczne — nie da się na jego podstawie zdecydować, co napisać.

Własny pomiar, który da się utrzymać rok

U mniejszych klientów zwykle zostaję przy procedurze prowadzonej ręcznie i nie uważam tego za rozwiązanie zastępcze.

Buduję listę kilkudziesięciu pytań, które ta konkretna firma dostaje od klientów — nie fraz kluczowych, tylko pytań w naturalnym języku, z podziałem na etapy: rozpoznanie problemu, porównanie rozwiązań, wybór dostawcy. Lista jest zamknięta i nie zmieniam jej między przebiegami, bo dopisanie pytania psuje porównywalność.

Potem raz w miesiącu, tego samego dnia i w tych samych warunkach, przechodzę listę w trybie AI oraz w dwóch asystentach. Do arkusza wpisuję trzy rzeczy na pytanie: czy marka została wymieniona, czy nasza domena jest wśród źródeł i jakie inne firmy się pojawiły. Odpowiedzi zapisuję jako zrzuty z datą.

Wychodzą z tego dwa sensowne wskaźniki: udział pytań ze wzmianką i udział pytań z cytowaniem domeny. Trzeci, najbardziej użyteczny w rozmowie z klientem, to lista konkurentów wymienianych częściej niż my — bo ona uruchamia dyskusję o treści zamiast o wskaźnikach.

Czego nie warto wpisywać do raportu

Kilka rzeczy odradzam wprost, bo widziałem, jak wracają w postaci pretensji.

Nie raportuję pojedynczych zrzutów jako sukcesu. Jedna dobra odpowiedź to anegdota, a nie wynik, i przy następnym pytaniu może zniknąć bez żadnej przyczyny po naszej stronie.

Nie podaję żadnego wskaźnika procentowego bez opisania próbki. Sama liczba nic nie znaczy, jeśli nie wiadomo, ile pytań zadano, jakim modelem, z jakiego kraju i kiedy. Ten sam zestaw tydzień później da inny wynik, a klient zapamięta pierwszy.

Nie łączę tych danych z przychodem żadnym współczynnikiem. Nie znam wiarygodnej metody przypisania sprzedaży do wzmianki w odpowiedzi, w której nie było nawet linku.

I rzecz, o której mówię klientom od początku: ten pomiar służy do wyznaczania kierunku pracy nad treścią, nie do rozliczania jej efektów. Ma odpowiadać na pytanie, czego brakuje w materiałach, żeby dało się je zacytować — a nie udawać, że mamy nowy kanał z policzalnym zwrotem.