Czego się dowiesz?
Jak testować Customer Agent na pasku bocznym testów, debugować nieoczekiwane odpowiedzi i weryfikować umiejętności, zanim zobaczą je kupujący.
Kilka słów na początek
Będzie potrzebne:
- Customer Agent włączony
- Skonfigurowane treści, Guidance i umiejętności (możesz iterować, ale testowanie bez żadnej konfiguracji niewiele powie)
Dlaczego testowanie ma znaczenie
Zachowanie Customer Agent wynika ze stosu sygnałów — Twoich treści, Guidance, umiejętności, narzędzi. Niewielka zmiana w dowolnym z nich (przeredagowanie opisu marki, dodanie reguły stylu komunikacji, dołączenie nowego narzędzia) może przełożyć się na odpowiedzi, których się nie spodziewasz.
Przetestuj przed uruchomieniem i przetestuj ponownie za każdym razem, gdy wprowadzisz istotną zmianę. Większość marek przeprowadza dokładne testy przed uruchomieniem, a następnie sprawdza co 30 dni lub za każdym razem, gdy aktualizuje treści związane z wyprzedażą, nową linią produktów lub zmianą zasad.
Skonfiguruj to
1. Otwórz pasek boczny testu
Otwórz pasek boczny testu z dowolnego miejsca w Customer Agent. Pasek boczny symuluje prawdziwą rozmowę — Customer Agent używa tych samych umiejętności, narzędzi, treści i Guidance, których używałby podczas rozmowy z prawdziwym kupującym.
Możesz dostosować:
- Kontekst strony — zasymuluj, że kupujący znajduje się na określonej stronie (PDP, kolekcja, koszyk itd.)
- Kanał — przetestuj, jak odpowiedzi są wyświetlane w czacie online, SMS-ie lub e-mailu
- Profil — wybierz profil w Klaviyo, aby Customer Agent miał historię zamówień, subskrypcje i inne informacje kontekstowe, z którymi może pracować
2. Wyślij przykładowe pytania
Uruchamiaj wiadomości w stylu shopper. Zestaw startowy:
- „Jak o to dbać?” (testuje obsługę pytań o produkt)
- „Z jakiego materiału jest to wykonane?” (sprawdza znajomość produktów z katalogu)
- „Gdzie jest moje zamówienie?” (testuje umiejętność śledzenia zamówienia)
- „Jaka jest Wasza polityka zwrotów?” (testuje pobieranie treści)
- „Czy mogę porozmawiać z człowiekiem?” (testuje przekazanie)
Dodaj pytania specyficzne dla marki — wszystko, o co można się spodziewać, że zapyta prawdziwy klient.
3. Sprawdź, co działo się za kulisami
Po każdej odpowiedzi można sprawdzić, co zrobił Customer Agent:
- Którą umiejętność wybrał Customer Agent
- Które narzędzia zostały uruchomione i co zwróciły
- Jakie treści zostały pobrane
- Ostateczna odpowiedź oraz wszelkie reguły eskalacji, które zostały dopasowane
Użyj tego, aby prześledzić, dlaczego Customer Agent odpowiedział w taki sposób. Większość problemów wynika z jednego z tych czterech sygnałów.
Testowanie umiejętności
Jeśli zbudowano w pełni niestandardową umiejętność, podczas testowania skup się na trzech rzeczach:
- Zachowanie routera — Wysyłaj wiadomości, które powinny pasować do treści „Kiedy użyć tej umiejętności” w Twojej umiejętności. Potwierdź, że Twoja umiejętność została faktycznie wybrana.
- Zachowanie odpowiedzi — Przejdź przez sekcje w „Jak odpowiadać” w Twojej umiejętności. Upewnij się, że zachowanie każdej sekcji jest realizowane — w tym użycie narzędzi oraz wszelkie działania przekazania.
- Korzystanie z narzędzi — Jeśli Twoja umiejętność korzysta z narzędzi, potwierdź, że uruchamiają się we właściwym kroku z właściwymi parametrami.
Wprowadzaj iteracje w sekcji „Kiedy używać tej umiejętności”, jeśli router wybiera ją nieprawidłowo, oraz w sekcji „Jak odpowiadać”, jeśli zachowanie jest nieprawidłowe.
Debugowanie nieprawidłowej odpowiedzi
Gdy Customer Agent udziela odpowiedzi, która nie wydaje się właściwa, przejdź przez to w tej kolejności:
- Czy wybrano odpowiednią umiejętność? Jeśli nie, problem leży w sekcji umiejętności „Kiedy używać tej umiejętności.”
- Czy pobrano właściwą treść? Jeśli Customer Agent użył nieaktualnej lub nieprawidłowej treści, popraw źródło — zobacz Jak dodawać treści i nimi zarządzać.
- Czy narzędzia zadziałały prawidłowo? Sprawdź wywołania narzędzia pod kątem brakujących parametrów lub nieoczekiwanych wartości zwracanych.
- Czy Guidance prawidłowo ukształtowało odpowiedź? Ton, zasady stylu komunikacji i zasady eskalacji nakładają się na wynik umiejętności.
Popraw u źródła zamiast łatać na dalszych etapach.
Rozwiązywanie problemów
Objaw: Customer Agent wybiera niewłaściwą umiejętność. Prawdopodobna przyczyna: Opisy umiejętności nakładają się na siebie lub „Kiedy używać tej umiejętności” jest zbyt ogólne albo zbyt wąskie w przypadku w pełni niestandardowej umiejętności. Poprawka: Doprecyzuj treść sekcji „Kiedy używać tej umiejętności” w ramach tej umiejętności. Przetestuj wiele sformułowań dla tego samego zamiaru.
Objaw: Customer Agent nie używa narzędzia, którego oczekujesz. Prawdopodobna przyczyna: narzędzie nie jest dołączone do umiejętności lub „Jak odpowiadać” nie odwołuje się do narzędzia na właściwym etapie. Rozwiązanie: potwierdź, że narzędzie jest dołączone. W sekcji „Jak odpowiadać” wstaw narzędzie w treści na etapie, na którym ma zostać uruchomione.
Objaw: Customer Agent używa niewłaściwej treści. Prawdopodobna przyczyna: Sprzeczne źródła lub treść wyższej jakości obejmująca ten sam temat ma wyższy priorytet niż źródło, którego się spodziewano. Naprawa: Przeprowadź audyt i scal sprzeczne treści. Zsynchronizuj ponownie źródła, które ostatnio edytowano.
Objaw: Ton lub styl odpowiedzi jest nieodpowiedni. Prawdopodobna przyczyna: Konieczne jest dostosowanie zasad tonu głosu lub stylu komunikacji. Rozwiązanie: Sprawdź ustawienia Guidance. Dostosuj ton lub dodaj konkretną zasadę stylu komunikacji.
Wkrótce: Symulacje
Symulacje to nadchodząca funkcja umożliwiająca uruchamianie Customer Agent na partiach danych wejściowych w stylu zakupowym i ocenianie odpowiedzi na dużą skalę. Do czasu udostępnienia symulacji głównym narzędziem testowania jest panel boczny testów.