Jak sprawdzać odpowiedzi AI, zanim trafią do klienta

Narzędzia AI potrafią podać nieprawdziwą informację, która brzmi całkowicie wiarygodnie. Wymyślony przepis, cena z poprzedniego roku, parametr produktu, którego nie ma. To nie jest awaria, którą producent kiedyś naprawi. To cecha sposobu, w jaki te narzędzia działają - i dlatego sprawdzanie ich odpowiedzi musi być częścią pracy, a nie dobrą wolą pojedynczych osób.

Problem w tym, że „sprawdzaj wszystko” w praktyce kończy się tym, że nikt nie sprawdza niczego. Po tygodniu zespół uznaje, że narzędzie działa dobrze, i przestaje czytać. Dlatego zamiast ogólnej zasady proponuję prosty podział i krótką listę kontrolną.

Nie każde zadanie wymaga tego samego sprawdzenia

Najwięcej daje podzielenie zadań na trzy poziomy według tego, co się stanie, jeśli odpowiedź będzie błędna.

Zielony - materiał roboczy. Szkic, burza pomysłów, uporządkowanie własnych notatek, streszczenie do własnego użytku. Nic z tego nie wychodzi na zewnątrz. Wystarczy pobieżne przeczytanie - błąd kosztuje tu co najwyżej kilka minut.

Żółty - treść, która trafi do klienta. Mail, odpowiedź na zapytanie, opis usługi, post. Tu zasada jest jedna: zawsze czyta człowiek, zanim treść wyjdzie. Nie „zerka”, tylko czyta z listą pytań z następnego punktu.

Czerwony - liczby, terminy, zobowiązania, treści prawne i księgowe. Tu odpowiedź narzędzia nie jest źródłem. Człowiek sprawdza każdą liczbę i każdy termin przy źródle - w cenniku, w umowie, w systemie. Nie z pamięci i nie przez porównanie z tym, co „wygląda rozsądnie”.

Ten podział warto ustalić raz, dla konkretnych zadań w firmie, i zapisać. „Szkic oferty - czerwony, bo są w nim ceny” to zdanie, które oszczędza wiele nieporozumień.

Cztery pytania przed wysłaniem

Przy każdej treści z poziomu żółtego i czerwonego:

1. Czy liczby i daty zgadzają się ze źródłem? Nie z pamięcią - ze źródłem. To najczęstsze miejsce, w którym błąd przechodzi niezauważony, bo liczba wygląda wiarygodnie.
2. Czy nie ma tu twierdzeń, których nie potrafię potwierdzić? Nazwy, przepisy, parametry, powołania na badania albo referencje. Jeśli nie wiesz, skąd to jest - usuń albo sprawdź.
3. Czy to brzmi jak my? Ton, sposób zwracania się do klienta, brak obietnic, których firma nie może dotrzymać. Narzędzia chętnie dopisują „gwarantujemy” i „najlepszy na rynku”.
4. Czy nie wkleiłem tam czegoś, czego nie wolno? Dane osobowe, cudze tajemnice handlowe, treści objęte umową o poufności.

Odpowiedź „nie wiem” na którekolwiek z tych pytań oznacza jedno: sprawdź, zanim wyślesz.

Czego nie warto oddawać narzędziu

Niezależnie od tego, jak dobrze działa, kilka decyzji powinno zostać po stronie człowieka:

• ostateczna decyzja cenowa i zobowiązanie terminem,
• odpowiedź na reklamację albo sytuację konfliktową - przynajmniej w pierwszym kontakcie,
• treści o skutkach prawnych bez przeczytania przez człowieka,
• wysyłka bezpośrednio do klienta bez akceptacji, jeśli treść dotyczy zobowiązań,
• ocena ludzi - rekrutacja, ocena pracy, decyzje kadrowe.

Narzędzie może w tych sprawach przygotować szkic, zebrać informacje albo uporządkować notatki. Decyzja i podpis zostają przy człowieku.

Co wklejać do narzędzia, a czego nie

Sprawdzanie odpowiedzi to połowa sprawy. Druga połowa to to, co do narzędzia trafia.

• Nie wklejaj danych osobowych klientów do narzędzi, które nie mają tego uregulowanego w umowie. Warto sprawdzić, co dane narzędzie robi z wprowadzaną treścią - czy ją przechowuje i czy używa jej do dalszego uczenia.
• Nie wklejaj treści objętych umową o poufności ani cudzych tajemnic handlowych.
• Anonimizuj, gdy się da. Do przygotowania szkicu oferty zwykle wystarczy „klient z branży budowlanej, 20 osób”, bez nazwiska i numeru NIP.

Cztery ograniczenia, o których warto wiedzieć z góry

Te rzeczy lepiej usłyszeć przed pierwszym użyciem niż po pierwszym błędzie:

• Narzędzie potrafi podać nieprawdziwą informację brzmiącą wiarygodnie - i nie zasygnalizuje, że nie jest pewne.
• Nie zna wewnętrznych ustaleń firmy, jeśli mu ich nie przekażesz. Nie wie, jaki masz cennik, jakie terminy, co ustaliłeś z klientem w zeszłym tygodniu.
• Wynik zależy od jakości tego, co dostaje. Nieuporządkowany cennik da nieuporządkowaną ofertę.
• Ta sama prośba może dać różne odpowiedzi. Powtarzalność zapewniają szablony i gotowe polecenia przygotowane dla zespołu, a nie samo narzędzie.

Gdy błąd jednak przejdzie

Przejdzie - to kwestia czasu. Ważne jest, co dzieje się potem:

1. Najpierw skutek, potem przyczyna. Poprawiasz u klienta, zanim zaczniesz analizować.
2. Zapisujesz przypadek. Co poszło nie tak i na którym etapie zawiodło sprawdzenie.
3. Poprawiasz instrukcję albo szablon, żeby ten sam błąd nie mógł się powtórzyć.
4. Jeśli błąd był poważny, przenosisz zadanie na wyższy poziom - z żółtego na czerwony.

Zapis błędów jest cenniejszy niż lista sukcesów. To z niego powstają zasady, które faktycznie działają w konkretnej firmie, a nie w artykule.

Jak wprowadzić to w zespole

Nie potrzeba do tego regulaminu. Wystarczy jedna strona:

• lista zadań, w których zespół używa AI, z przypisanym poziomem ryzyka,
• cztery pytania kontrolne,
• lista rzeczy, których się nie automatyzuje,
• informacja, kogo pytać, gdy ktoś nie jest pewien.

Taką stronę najlepiej ustalić razem z osobami, które będą z niej korzystać - wtedy trzyma się ją na biurku, a nie w folderze z procedurami. Przy szkoleniach zespołów przygotowuję ją dla konkretnych stanowisk i ćwiczymy ją na prawdziwych zadaniach uczestników.