Panel odpowiada na pytanie swojego twórcy

Zestaw raportów w każdym narzędziu to zapis pewnego założenia o tym, co jest ważne. Narzędzie reklamowe pokazuje wyniki w podziale na kampanie, bo taką jednostką się posługuje. Narzędzie analityczne pokazuje kanały, bo z jego perspektywy to naturalny podział ruchu.

Żadne z nich nie zna jednostki, którą operuje firma. Jeśli sklep zarabia różnie na trzech grupach asortymentu i ma dwa modele dostawy o zupełnie innej rentowności, to podział na kampanie i kanały jest podziałem obok problemu.

Widzę to regularnie: konto zoptymalizowane pod najlepszy wskaźnik zwrotu z wydatków w panelu, przy jednoczesnym spadku zysku, bo wzrost wygenerował asortyment o najniższej marży. Panel nie kłamał. Odpowiedział na pytanie o przychód z reklam, a nie o zysk firmy — bo o zysku nic nie wie.

Pierwszy wniosek jest więc taki: zanim zapytam narzędzie o cokolwiek, muszę wiedzieć, jaka jednostka analizy ma sens w tej firmie. To decyzja biznesowa, nie analityczna.

Ta sama nazwa, inna definicja

Druga grupa problemów wynika z tego, że identycznie brzmiące wskaźniki liczone są inaczej.

• Moment przypisania — narzędzie reklamowe przypisuje konwersję do dnia kliknięcia, narzędzie analityczne do dnia, w którym zdarzenie nastąpiło. Przy dłuższym procesie decyzyjnym różnica na poziomie tygodnia jest normą, nie błędem.

• Model atrybucji — jedno narzędzie może rozdzielać zasługę między punkty styku, drugie przypisywać ją ostatniemu niebezpośredniemu źródłu. Te same zamówienia rozłożą się wtedy zupełnie inaczej między kanały.

• Zakres pomiaru — panel reklamowy widzi wyłącznie ruch z własnego ekosystemu, w tym część konwersji po wyświetleniu reklamy bez kliknięcia. Narzędzie analityczne widzi cały ruch, ale tylko po kliknięciu.

• Traktowanie zwrotów i anulacji — w większości konfiguracji nie trafiają do żadnego z tych narzędzi. Przychód w raporcie to przychód zamówiony, nie zrealizowany.

Konsekwencja praktyczna: sumowanie konwersji z kilku paneli daje liczbę, która nie odpowiada niczemu w rzeczywistości. A dokładnie to robi większość zestawień wysyłanych do zarządu.

Coraz więcej modelowania, coraz mniej pomiaru

To zmiana, którą uważam za najważniejszą z ostatnich lat i najsłabiej rozumianą poza branżą.

Kiedy część użytkowników nie wyraża zgody na ciasteczka analityczne, luki w danych są uzupełniane szacunkami. Systemy reklamowe robią to samo z konwersjami, których nie mogą przypisać bezpośrednio. Efekt jest taki, że liczba w raporcie to w części pomiar, a w części model — i nigdzie nie jest napisane, w jakiej proporcji.

Do tego dochodzą progi ochrony prywatności: przy małych liczebnościach segmentów dane potrafią zostać ukryte albo zagregowane, więc raport pokazuje mniej niż faktycznie się wydarzyło. Przy nietypowych kombinacjach wymiarów wyniki mogą być dodatkowo oszacowane na próbce.

Nie mam z tym problemu jako z metodą — modelowanie jest rozsądną odpowiedzią na brak danych. Mam problem z tym, że wygląda dokładnie tak samo jak pomiar. Ta sama czcionka, ta sama precyzja do jednego miejsca po przecinku, żadnego ostrzeżenia.

Dlatego przy decyzjach o większych kwotach zawsze pytam, skąd dokładnie pochodzi liczba, i szukam jej potwierdzenia poza panelem — najczęściej w systemie sprzedażowym, który zna prawdę o zamówieniach.

Czego w panelu nie ma i nigdy nie będzie

Lista jest krótka, ale to na niej opierają się prawdziwe decyzje.

Marża na poziomie produktu, koszt logistyki i obsługi zamówienia, odsetek zwrotów w podziale na asortyment, koszt reklamacji, wartość klienta w dłuższym okresie, informacja, czy lead z formularza w ogóle odebrał telefon. Nic z tego nie znajduje się w narzędziu analitycznym ani reklamowym, bo te systemy nie mają do tych danych dostępu.

Jest jeszcze jedna rzecz, o której się rzadko mówi: przyrostowość. Panel pokazuje, ile konwersji przypisano kampanii, a nie ile z nich nie wydarzyłoby się bez niej. To dwie różne liczby i różnica bywa duża, zwłaszcza w ruchu na własną markę oraz w remarketingu do osób, które i tak wracały.

Odpowiedź na pytanie o przyrostowość wymaga eksperymentu — wyłączenia części ruchu, testu na podzielonej grupie, porównania regionów. Panel takich odpowiedzi nie generuje, choć bywa, że dostarcza narzędzi do przeprowadzenia testu.

Jak wygląda decyzja podjęta na złych danych

Trzy schematy, które widzę najczęściej i które kosztują realne pieniądze.

Pierwszy: przeniesienie budżetu do kanału z najlepszym wskaźnikiem w panelu. Zwykle jest to kanał zbierający konwersje na końcu procesu — remarketing albo ruch na własną markę. Po przeniesieniu wynik całości spada, bo ucięto źródła, które sprowadzały nowych ludzi, a panel przypisywał im mniej.

Drugi: wyłączenie kampanii z rzekomo zerową liczbą konwersji, która w rzeczywistości generowała telefony. Konto po prostu nie miało wdrożonego pomiaru połączeń.

Trzeci: optymalizacja pod konwersję łatwą do zmierzenia, na przykład zapis na newsletter, bo pojawiała się w raporcie licznie i tanio. System reklamowy uczy się wtedy sprowadzać ludzi skłonnych do zapisu, a nie do zakupu, i robi to bardzo skutecznie.

W żadnym z tych przypadków narzędzie nie zawiodło. Zawiodło założenie, że raport pokazuje wynik biznesowy.

Jak zacząć zadawać własne pytania

Nie proponuję budowania hurtowni w pierwszym tygodniu. Proponuję odwrotną kolejność niż zwykle: najpierw pytania, potem dane, na końcu narzędzia.

Zaczynam od rozmowy, w której proszę o trzy pytania, na które właściciel biznesu chciałby znać odpowiedź co miesiąc. Nie o wskaźniki — o pytania. Zwykle brzmią jak „czy warto dalej wydawać na tę grupę produktów” albo „ilu klientów wraca po pierwszym zakupie”.

Potem sprawdzam, jakich danych brakuje, żeby na nie odpowiedzieć. Prawie zawsze wychodzi, że brakuje jednego połączenia: identyfikatora zamówienia albo statusu leada z systemu obsługi klienta. To zwykle kilka dni pracy, a nie projekt na kwartał.

Dopiero wtedy myślę o miejscu, w którym te dane się spotkają, i o formie raportu. Kolejność ma znaczenie, bo projekt rozpoczęty od wyboru narzędzia kończy się pulpitem, na który po dwóch miesiącach nikt nie zagląda.

Do czego domyślne panele nadają się nadal doskonale

Nie chcę, żeby to zabrzmiało jak namawianie do porzucenia gotowych raportów. Sam korzystam z nich codziennie i w kilku zastosowaniach nie mają konkurencji.

Do wykrywania nagłych zmian — spadek wyświetleń, wzrost kosztu kliknięcia, awaria pomiaru — panel jest najszybszym możliwym narzędziem. Do bieżącej pracy operacyjnej wewnątrz jednego kanału też, bo posługuje się jego jednostkami. Do prostych porównań okresu do okresu, przy świadomości ograniczeń, w zupełności wystarcza.

Granica przebiega w miejscu, w którym z panelu wyciąga się wniosek o pieniądzach na poziomie całej firmy. Wtedy potrzebne są dane, których w nim nie ma, i definicje ustalone przez firmę, a nie przez dostawcę narzędzia. Im więcej decyzji delegujemy systemom automatycznym, tym bardziej to boli, bo one uczą się dokładnie na tym, co im pokażemy.