Jak zmierzyć efekt wdrożenia AI, żeby nie skończyło się na wrażeniu

Po kilku tygodniach od wdrożenia narzędzia AI pada zwykle to samo pytanie: czy to się opłaciło? I zwykle ta sama odpowiedź: „chyba jest szybciej”. Jedna osoba jest zachwycona, druga twierdzi, że poprawia więcej, niż zyskuje, a trzecia przestała używać narzędzia w drugim tygodniu. Nikt nie ma racji, bo nikt nie ma liczby.

Dobry pomiar nie wymaga systemu raportowego ani analityka. Wymaga zapisania kilku rzeczy, zanim cokolwiek się zmieni.

Wybierz jedną rzecz do zmierzenia

Pomiar wszystkiego naraz kończy się tym, że nie mierzy się niczego. Wybierz jedno zadanie, którego dotyczy zmiana, i jedną miarę, która mówi, czy to zadanie idzie lepiej. Na przykład:

• czas przygotowania odpowiedzi na typowe zapytanie,
• czas od zgłoszenia klienta do pierwszej merytorycznej odpowiedzi,
• liczba poprawek, które trzeba nanieść w szkicu przed wysłaniem,
• liczba ponownych kontaktów w tej samej sprawie.

Miara ma być bezpośrednio związana z zadaniem. „Zadowolenie zespołu z AI” jest ciekawe, ale nie mówi, czy praca idzie szybciej ani lepiej.

Zmierz punkt wyjścia bez systemu raportowego

Wystarczy zwykły arkusz i tydzień lub dwa zwykłej pracy. Dla każdego przykładu zapisujesz:

• datę i rodzaj zadania,
• czas od rozpoczęcia do zakończenia,
• liczbę poprawek albo zwrotów,
• krótką uwagę, jeśli przykład był nietypowy.

Dwie zasady mają tu największe znaczenie. Po pierwsze, mierzy osoba, która wykonuje pracę, a nie ktoś, kto patrzy z boku. Po drugie, mierzy się zwykłą pracę, a nie wyjątkowo staranną. Jeśli zespół wie, że jest mierzony, pierwsze dwa dni bywają szybsze niż zwykle - dlatego tydzień jest lepszy niż jeden dzień.

Kilkanaście przykładów wystarczy, żeby zobaczyć rząd wielkości. Nie chodzi o statystykę do publikacji, tylko o punkt odniesienia do decyzji.

Mierz czas razem z jakością

Samo „szybciej” łatwo osiągnąć kosztem jakości. Dlatego każdą miarę czasu warto zestawić z miarą jakości:

• czas przygotowania odpowiedzi razem z liczbą poprawek przed wysłaniem,
• czas do pierwszej odpowiedzi razem z liczbą dopytań klienta,
• liczba obsłużonych zgłoszeń razem z liczbą ponownych kontaktów w tej samej sprawie.

Jeśli czas spadł, a poprawek przybyło, zmiana mogła jedynie przesunąć pracę z pisania na poprawianie.

Ustal kryteria sukcesu przed startem

Kryteria spisane po pilotażu mają tendencję do dopasowywania się do wyniku. Dlatego zapisz je wcześniej, najlepiej w karcie pilotażu:

• co musi się zmienić, żeby uznać zmianę za udaną - na przykład krótszy czas przygotowania odpowiedzi przy liczbie poprawek nie większej niż dziś,
• czego nie może być gorzej - na przykład liczby reklamacji,
• kiedy podejmujecie decyzję i jakie są możliwe decyzje: idziemy dalej, zmieniamy zakres albo kończymy.

Całą kartę i przebieg pilotażu opisałem w tekście pilotaż AI krok po kroku.

Porównuj w tych samych warunkach

Wynik jest wiarygodny, gdy porównujesz podobne rzeczy:

• te same rodzaje zadań - nie łatwe przykłady po zmianie z trudnymi sprzed zmiany,
• te same osoby albo podobny skład zespołu,
• okres po nauce, a nie pierwszy tydzień z nowym narzędziem - ten tydzień jest nauką, a nie wynikiem,
• podobny czas w roku, jeśli praca jest sezonowa.

Policz koszt uczciwie

Oszczędność czasu to połowa rachunku. Po drugiej stronie są:

• licencje dla osób, które faktycznie korzystają z narzędzia,
• czas przygotowania wdrożenia i instrukcji,
• czas nauki zespołu,
• czas sprawdzania odpowiedzi - bez niego wynik jest zawyżony.

Jeśli liczysz, czy się opłaca, zapisz założenia obok liczb: ile razy w miesiącu wykonuje się zadanie, ile czasu realnie zyskuje się na jednym wykonaniu, ile trwa sprawdzenie. Szacunek z wypisanymi założeniami można sprawdzić i poprawić. Sama liczba bez założeń jest tylko deklaracją.

Liczy się też to, czego nie widać w arkuszu

Obok liczb warto zapisać kilka obserwacji: czy zespół używa narzędzia bez przypominania, które zadania wróciły do starego sposobu pracy i dlaczego, gdzie narzędzie pomyliło się najczęściej. To one mówią, co poprawić, zanim zapadnie decyzja o rozszerzeniu.

Pięć błędów, które psują pomiar

1. Pomiar na wybranych, łatwych przykładach. Wynik wygląda świetnie do pierwszego trudnego przypadku.
2. Porównanie z pamięcią zamiast z zapisem. Pamięć zawsze podpowiada, że wcześniej było wolniej.
3. Pominięcie czasu sprawdzania. Szkic w dwie minuty, który trzeba czytać dziesięć minut, nie jest dwuminutowy.
4. Zmiana kilku rzeczy naraz. Nowy proces, nowy szablon i nowe narzędzie jednocześnie - nie wiadomo, co zadziałało.
5. Brak daty decyzji. Pilotaż bez terminu zamienia się w stan, który trwa, bo nikt nie zdecydował inaczej.

Od tego, co mierzyć, zaczyna się też kolejność wprowadzania AI w firmie. We wdrożeniach AI pomiar punktu wyjścia i porównanie po pilotażu są stałą częścią pracy, a nie dodatkiem na koniec.