Jak zmierzyć, czy wdrożenie AI się udało: framework KPI

Czas czytania: ok. 7 minut

Krótka odpowiedź: sukces wdrożenia AI to nie jedna liczba, tylko pomiar na trzech poziomach naraz. Adopcja: czy ludzie realnie z tego korzystają w codziennej pracy. Proces: czy metryka, którą wdrożenie miało poprawić, faktycznie się rusza, na przykład czas na zadanie, liczba błędów albo długość cyklu. Biznes: czy to przekłada się na koszt lub przychód. Warunek konieczny jest jeden: baseline zmierzony zanim ruszycie, bo bez punktu odniesienia nie udowodnicie żadnej zmiany. Najczęstszy błąd to mierzenie tego, co łatwe (liczba zapytań), zamiast tego, co ważne (metryka procesu, którą chcieliście poprawić). Poniżej rozkładamy framework: trzy poziomy, wskaźniki wyprzedzające i opóźnione, oraz rytm przeglądów z jasnym kryterium korekty.

Dlaczego „czy działa" to złe pytanie

„Czy AI działa" brzmi sensownie, ale nie da się na to odpowiedzieć, bo nie mówi, co miało się zmienić. Model może odpowiadać trafnie w teście i jednocześnie nie zmieniać niczego w pracy, jeśli nikt z niego nie korzysta albo jeśli poprawia metrykę, na której wam nie zależało. Dobre pytanie brzmi inaczej: czy konkretny proces, który wdrożenie miało usprawnić, jest dziś mierzalnie lepszy niż przed startem, i czy ludzie faktycznie tego używają. Zamiast jednej oceny „tak albo nie" potrzebujecie kilku wskaźników przypiętych do celu, który postawiliście na starcie.

Trzy poziomy pomiaru

Poziom 1: adopcja

To najczęściej pomijany, a zwykle najważniejszy poziom. Narzędzie, z którego nikt nie korzysta, ma zerowy zwrot niezależnie od tego, jak dobrze wypada w teście. Mierzcie, czy zespół używa rozwiązania regularnie i w realnych zadaniach, a nie tylko przy okazji demonstracji. Spadająca adopcja po pierwszych tygodniach to najwcześniejszy sygnał, że coś jest nie tak: albo narzędzie nie pasuje do procesu, albo jest wolniejsze niż stara droga, albo ludzie mu nie ufają. Adopcja jest wskaźnikiem wyprzedzającym, widać ją, zanim pojawią się efekty procesowe.

Poziom 2: proces

Tu mierzycie metrykę, którą wdrożenie miało poprawić, i tylko ją. Jeśli celem był szybszy serwis, liczy się czas od zgłoszenia do rozwiązania. Jeśli krótszy cykl ofertowy, liczy się czas od zapytania do oferty. Jeśli mniej błędów w dokumentacji, liczy się liczba poprawek. Kluczowe jest, żeby wybrać tę metrykę przed startem, a nie dobierać po fakcie taką, która akurat wyszła. Jedna, dobrze dobrana metryka procesu jest warta więcej niż pięć ogólnych.

Poziom 3: biznes

Dopiero na końcu patrzycie, czy poprawa procesu przekłada się na koszt albo przychód. To poziom najwolniejszy i najtrudniejszy do przypisania, bo na wynik biznesowy wpływa wiele rzeczy naraz. Dlatego traktujcie go jako potwierdzenie, nie jako pierwszy sygnał. Jak policzyć tę stronę uczciwie, bez doklejania korzyści, których nie da się obronić, rozłożyliśmy w ROI z AI w produkcji.

Baseline: bez niego nie ma pomiaru

Najdroższy błąd to uruchomić wdrożenie i dopiero potem zorientować się, że nikt nie zmierzył, jak było wcześniej. Bez baseline każda liczba po wdrożeniu wisi w powietrzu, bo nie ma jej z czym porównać. Baseline trzeba zdjąć przed startem, na tym samym procesie i w ten sam sposób, w jaki będziecie mierzyć później. Nie musi być idealny, wystarczy, że jest spójny. Ten sam warunek wracał u nas przy pilocie: dobry pilot ma zmierzony punkt wyjścia, o czym pisaliśmy w od pilotażu do wdrożenia.

Wskaźniki wyprzedzające i opóźnione

Wskaźniki wyprzedzające ruszają się wcześnie i mówią, dokąd zmierzacie: adopcja, użycie na docelowym zadaniu, pierwsze skrócenia czasu. Wskaźniki opóźnione ruszają się później i potwierdzają wynik: koszt, rework, długość cyklu w skali miesięcy. Błąd polega na czekaniu wyłącznie na te drugie. Jeśli przez pierwsze tygodnie patrzycie tylko na wynik biznesowy, tracicie okno, w którym dało się jeszcze skorygować wdrożenie. Pilnujcie wskaźników wyprzedzających od pierwszego tygodnia, a opóźnionych w horyzoncie kwartału.

Czego nie mierzyć: metryki pozorne

Część liczb dobrze wygląda w raporcie i nic nie znaczy. Liczba zapytań do systemu rośnie także wtedy, gdy ludzie pytają kilka razy, bo nie znaleźli za pierwszym. „Zaangażowanie" i „liczba wygenerowanych dokumentów" nie mówią, czy praca jest szybsza ani lepsza. Uwaga też na przypisanie: nie zaliczajcie na konto AI każdej poprawy, która akurat zbiegła się w czasie z wdrożeniem. Jeśli metryka pozorna rośnie, a docelowy proces stoi w miejscu, mierzycie hałas, nie efekt.

Rytm przeglądów i kryterium korekty

Pomiar bez daty przeglądu rozmywa się tak samo jak pilot bez daty decyzji. Wpiszcie do harmonogramu dwa punkty kontrolne, na przykład po miesiącu i po kwartale, i na każdym zadajcie te same pytania: czy adopcja rośnie, czy metryka procesu się poprawia, czego brakuje. Ustalcie z góry kryterium korekty, czyli co zrobicie, jeśli po miesiącu adopcja jest niska. Czasem odpowiedź to douczenie ludzi, czasem zmiana zakresu, a czasem uczciwe przyznanie, że proces nie skorzystał w obecnym kształcie. Musi też być jedna osoba odpowiedzialna za te przeglądy, inaczej nikt ich nie poprowadzi.

Jak to się łączy z ROI i decyzją go/no-go

Te trzy rzeczy często się mylą, a odpowiadają na różne pytania. ROI liczycie przed startem, żeby zdecydować, czy w ogóle wchodzić, i jest to model finansowy oparty na założeniach. Decyzja go/no-go zapada po pilocie i mówi, czy skalować. Framework KPI z tego posta działa po wdrożeniu i odpowiada na pytanie, czy to naprawdę zadziałało w codziennej pracy. Baseline i metryka procesu spinają wszystkie trzy, bo bez nich ani nie policzycie ROI, ani nie rozstrzygniecie pilota, ani nie zmierzycie sukcesu.

Czego ten post nie pokrywa

To jest framework doboru i porządkowania KPI, nie gotowy zestaw metryk pod waszą firmę, bo ten zależy od procesu, który usprawniacie. Nie podajemy progów typu „dobra adopcja to X procent" ani kwot oszczędności, bo każda liczba zależy od waszego punktu wyjścia. Nie wchodzimy w narzędzia do zbierania metryk ani w konfigurację raportowania. Nie rozstrzygamy też, czy wdrożenie budować, czy kupić, bo to osobna decyzja, którą rozłożyliśmy w porównaniu build vs buy.

Powiązane

• ROI z AI w produkcji: jak liczyć, czego nie wpisywać w business case
• Od pilotażu AI do wdrożenia: jak nie utknąć w pilot purgatory
• Pilot AI w fabryce w 8 tygodni: co możliwe, a co marketing
• Jak ocenić gotowość firmy produkcyjnej do wdrożenia AI: 5 pytań
• Pięć workflowów AI, które już dziś amortyzują się w polskiej produkcji

FAQ

Jaka jest jedna najważniejsza metryka wdrożenia AI?

Nie ma jednej, ale jeśli trzeba wskazać punkt startu, to adopcja. Narzędzie, z którego zespół nie korzysta, ma zerowy efekt niezależnie od jakości modelu. Adopcja jest też wskaźnikiem wyprzedzającym, więc ostrzega najwcześniej.

Kiedy zacząć mierzyć?

Przed startem. Baseline zdjęty na docelowym procesie przed wdrożeniem jest warunkiem koniecznym, bo bez punktu odniesienia żadna późniejsza liczba nic nie znaczy.

Czym framework KPI różni się od liczenia ROI?

ROI liczycie przed decyzją o wdrożeniu, na założeniach, żeby ocenić opłacalność. Framework KPI działa po wdrożeniu i mierzy, czy proces faktycznie się poprawił i czy ludzie z tego korzystają. To pomiar rzeczywistości, nie prognoza.

Po jakim czasie widać, czy wdrożenie się udało?

Adopcję i pierwsze efekty procesowe widać w tygodniach, efekt biznesowy w horyzoncie kwartału. Dlatego warto ustawić dwa punkty kontrolne, na przykład po miesiącu i po kwartale.