Do czego to się nadaje, a do czego nie

Model językowy jest dobry w porządkowaniu tekstu, którego jest za dużo. Streści, pogrupuje, nazwie powtarzające się motywy, wyciągnie cytaty. To jest jego naturalne zadanie i wykonuje je szybciej niż człowiek.

Jest natomiast zły w liczeniu i w ocenie proporcji. Jeśli poproszę o wskazanie, ile procent opinii dotyczy trwałości, dostanę liczbę, która brzmi wiarygodnie i bywa wzięta z powietrza. Liczenie zostawiam arkuszowi, modelowi zostawiam nazywanie.

Z tego wynika prosty podział pracy, którego się trzymam. Model przypisuje kategorie, arkusz je zlicza. Wszystko, co da się policzyć formułą, powinno być policzone formułą — nawet jeśli to mniej efektowne.

Druga granica dotyczy wniosków biznesowych. Model zaproponuje rekomendacje, ale zrobi to na podstawie ogólnych wzorców, nie znajomości tej firmy. Rekomendacje piszę sam, na podstawie tego, co mi pogrupował.

Skąd biorę dane wejściowe

Przy opiniach o produktach najprostszym źródłem jest własny sklep — jeśli zbiera opinie i da się je wyeksportować. Drugie źródło to opinie o produktach zbierane przez zewnętrzne platformy, którymi sklep i tak się posługuje.

Sięgam też po opinie o produktach konkurencji, jeśli są publicznie dostępne, i po opinie o tej samej kategorii u zagranicznych sprzedawców. Zastrzeżenie jest ważne: sprawdzam warunki korzystania z danego serwisu, zanim cokolwiek pobiorę. Dostępność w przeglądarce nie oznacza zgody na masowe kopiowanie.

Przy słowach kluczowych mam dwa podstawowe zbiory. Raport wyszukiwanych haseł z Google Ads, czyli realne zapytania, na które ktoś zapłacił — najbardziej wartościowy materiał, jaki istnieje. Oraz raport skuteczności z Search Console, gdzie widać zapytania organiczne razem z liczbą wyświetleń i kliknięć.

Oba eksportuję do arkusza i tam zostają. Do modelu wysyłam wyłącznie kolumnę z tekstem, bez identyfikatorów zamówień, adresów i nazwisk.

Analiza opinii: od tysiąca zdań do listy zarzutów

Robię to w trzech przejściach, bo jedno polecenie do wszystkiego daje kiepski wynik.

W pierwszym przejściu proszę o zbudowanie listy kategorii tematycznych na losowej próbce kilkuset opinii — bez narzucania własnych. To ważne, bo jeśli podam kategorie z góry, dostanę potwierdzenie swoich założeń. Z tej listy wybieram te, które faktycznie mają sens dla tej kategorii produktów, i scalam duplikaty.

W drugim przejściu przypisuję kategorie do wszystkich opinii, partiami, z jasnym zastrzeżeniem, że jedna opinia może trafić do kilku kategorii, a przy braku dopasowania powinna zostać nieprzypisana. Wynik wraca do arkusza jako kolumny do zliczania.

W trzecim przejściu pracuję już tylko na wybranych kategoriach — tych z największą liczbą negatywnych wzmianek. Proszę o wyciągnięcie oryginalnych cytatów, nie streszczeń. Cytat od klienta jest wart w rozmowie z właścicielem sklepu więcej niż każdy wykres.

Największa wartość tej pracy nie leży dla mnie w SEO ani w kampaniach, lecz w ofercie. Kilka razy wyszło z tego, że najczęstszy zarzut w opiniach dotyczył rzeczy, o której nie było ani słowa na karcie produktu — na przykład sposobu montażu albo tego, co jest w zestawie.

Słowa kluczowe: grupowanie po intencji

Narzędzia do słów kluczowych grupują frazy po podobieństwie napisu. Model potrafi grupować po tym, czego człowiek chce — i to jest tu prawdziwa przewaga.

Zaczynam od raportu wyszukiwanych haseł posortowanego po koszcie, bo tam siedzą pieniądze. Proszę o przypisanie każdemu zapytaniu etapu decyzji: rozpoznanie problemu, porównywanie rozwiązań, wybór dostawcy, obsługa po zakupie. Dodatkowo o oznaczenie zapytań, które w ogóle nie dotyczą oferty.

Ta ostatnia kolumna zwykle daje najszybszy zysk. Zapytania bez związku z ofertą wracają do mnie jako propozycja listy wykluczeń, którą sam przeglądam wiersz po wierszu. Model bywa nadmiernie surowy i wykluczyłby frazy, które konwertują.

Drugie zastosowanie to szukanie luk. Zestawiam pogrupowane zapytania z listą podstron w serwisie i pytam, dla których grup nie ma odpowiadającej treści. Wynik trzeba weryfikować, ale jako punkt wyjścia do planu treści działa lepiej niż burza mózgów.

Jak formułować polecenia i jak sprawdzać wynik

Kilka rzeczy, które w moim przypadku zrobiły największą różnicę.

• Żądaj formatu. Tabela z określonymi kolumnami, jeden wiersz na opinię, bez komentarza wstępnego i podsumowania. Bez tego dostaniesz esej, którego nie wkleisz do arkusza.

• Podaj definicje kategorii. „Jakość” znaczy dla modelu wszystko i nic. Opisz w jednym zdaniu, co należy do kategorii, a co nie.

• Dopuść odpowiedź „nie wiem”. Jeśli nie napiszesz, że przy braku dopasowania wiersz zostaje pusty, model dopasuje wszystko do czegokolwiek.

• Pracuj partiami i sprawdzaj początek. Przy długich listach jakość spada w dalszej części odpowiedzi, a numeracja potrafi się rozjechać względem oryginału.

Świadomie nie podaję gotowego szablonu polecenia do skopiowania. Za każdym razem, gdy używałem cudzego, wynik był gorszy niż przy poleceniu napisanym pod konkretny zbiór danych.

Do tego dochodzi weryfikacja, bez której nie warto zaczynać. Ustaliłem sobie prostą zasadę: zanim uwierzę w wynik na tysiącu wierszy, sprawdzam ręcznie pięćdziesiąt losowych.

Szukam trzech typów błędów. Pierwszy to przypisanie kategorii na podstawie jednego słowa bez kontekstu — opinia „szybko przyszło, ale przesyłka wygląda jakby ktoś ją kopał” trafia do pozytywnych ocen dostawy. Drugi to gubienie ironii i negacji, w polszczyźnie bardzo częste. Trzeci to sklejanie wierszy, kiedy jedna opinia zawiera znak nowej linii.

Jeśli na pięćdziesięciu wierszach znajdę kilka pomyłek tego rodzaju, wynik nadal jest użyteczny — mówimy o porządkowaniu, nie o rachunkowości. Jeśli znajdę kilkanaście, poprawiam definicje kategorii i powtarzam całość. Nie próbuję ratować złego przebiegu poprawkami.

Dane osobowe i prawa do treści

Ten fragment jest nudny i najczęściej pomijany, a potrafi kosztować najwięcej.

Opinie klientów to często dane osobowe — bywają podpisane imieniem, zawierają numer zamówienia albo szczegóły pozwalające zidentyfikować osobę. Zanim wyślę je do zewnętrznego narzędzia, usuwam wszystko poza treścią i sprawdzam, na jakich zasadach dostawca przetwarza wprowadzane dane oraz czy nie wykorzystuje ich do trenowania modeli.

Druga rzecz to prawa do treści cudzych. Analiza opinii z serwisu konkurencji na własne potrzeby to jedno, publikowanie ich fragmentów w materiałach marketingowych to zupełnie inna sprawa. Przy pierwszym uważam, przy drugim odpuszczam.

I trzecia, praktyczna: uzgadniam z klientem, że tego rodzaju analizy w ogóle robimy. Wolę zapytać wcześniej niż tłumaczyć się później, że dane z jego sklepu były przetwarzane w narzędziu, o którym nie wiedział.

Co z tej pracy wchodzi do kampanii

Z analizy opinii wychodzą zwykle trzy rzeczy: lista rzeczywistych obiekcji, słownik języka klientów i lista braków w opisach produktów. Obiekcje trafiają do treści reklam i do sekcji z pytaniami na stronie. Słownik trafia do nagłówków, bo klient rzadko nazywa produkt tak, jak nazywa go producent.

Z analizy zapytań wychodzi lista wykluczeń, plan treści i czasem decyzja o przebudowie struktury kampanii, gdy okazuje się, że w jednej grupie mieszają się trzy różne etapy decyzji.

Na koniec uczciwe zastrzeżenie. To narzędzie skraca czas pracy, ale nie zastępuje myślenia — sam wielokrotnie dostawałem pięknie pogrupowaną tabelę i dopiero po godzinie zauważałem, że pierwsze pytanie zadałem źle. Kolejność bywa więc odwrotna do obiecywanej: najpierw trzeba wiedzieć, czego się szuka, a dopiero potem to zautomatyzować.