AI on-prem czy chmura dla fabryki: co wybrać i kiedy

Nie ma jednej dobrej odpowiedzi, jest kilka przesłanek, które przeważają szalę. On-premise, czyli AI na waszym sprzęcie, wygrywa, gdy dane są wrażliwe albo objęte umowami, gdy wolumen jest duży i stały, albo gdy zależy wam na pełnej kontroli i pracy offline. Chmura publiczna wygrywa na starcie, przy nierównym lub niskim wolumenie i gdy nie macie zespołu, który utrzyma serwer. Klucz jest w uczciwym rachunku: chmura płaci się za użycie i rośnie liniowo z wolumenem, on-premise to jednorazowy sprzęt plus prąd i ludzie w horyzoncie kilku lat. Poniżej rozkładamy to na pięć pytań, dodajemy tabelę decyzyjną i pokazujemy wariant hybrydowy, o którym najczęściej się zapomina. Decyzję o samym sprzęcie zostawiamy osobnej nocie o wymaganiach lokalnego LLM.

Pytanie pierwsze: czy dane mogą wyjść z firmy

To jest przesłanka, która często kończy dyskusję. Jeśli pracujecie na dokumentacji objętej NDA, na własności intelektualnej klientów albo na danych, których polityka bezpieczeństwa nie pozwala wysyłać na zewnątrz, to chmura publiczna staje się problemem niezależnie od kosztów. On-premise oznacza wtedy najprostszą odpowiedź: dane nie opuszczają waszej infrastruktury, więc znika cała klasa pytań o to, gdzie i przez kogo są przetwarzane. Jeśli natomiast pracujecie na danych mało wrażliwych albo już i tak trzymanych w chmurze, ta przesłanka nie przeważa i decyzja schodzi na poziom kosztów i wygody.

Pytanie drugie: jaki jest wolumen i jak stały

Chmura rozlicza się zwykle za użycie. To świetne na start i przy nieregularnym ruchu, bo płacicie za to, co realnie zużyjecie, i nie zamrażacie kapitału w sprzęcie. Problem pojawia się, gdy wolumen rośnie i stabilizuje się. Wtedy rachunek za użycie rośnie liniowo, a własny sprzęt, raz kupiony, obsługuje ten sam ruch bez rosnącej opłaty. Zasada praktyczna: im bardziej przewidywalne i wysokie obciążenie w horyzoncie dwóch, trzech lat, tym bardziej on-premise zaczyna się opłacać. Im bardziej pilotażowe, jednorazowe albo skokowe, tym bardziej chmura.

Pytanie trzecie: czy policzyliście pełny koszt on-premise

Tu popełnia się najwięcej błędów, zwykle na korzyść on-premise, bo liczy się tylko cenę karty. Pełny koszt posiadania to znacznie więcej: sprzęt jako jednorazowy wydatek, prąd i chłodzenie (karty centrum danych pobierają dużo energii, a chłodzenie dokłada kolejne kilkadziesiąt procent zużycia), ludzie, którzy to utrzymają i zaktualizują (w horyzoncie trzech lat koszt tej pracy potrafi przewyższyć koszt samego sprzętu), oraz realne wykorzystanie. Sprzęt kupujecie na szczyt, a używacie średnio w 40 do 65 procent, więc płacicie za całość. Uczciwe porównanie stawia pełny koszt on-premise obok trzyletniego rachunku za chmurę. Dopiero wtedy widać, który wariant jest tańszy dla waszego konkretnego przypadku, a nie w ogólności. Ile realnie sprzętu trzeba pod dany model, rozłożyliśmy w nocie o wymaganiach sprzętowych lokalnego LLM.

Pytanie czwarte: latencja i praca offline

Są zastosowania, w których liczy się czas odpowiedzi albo niezależność od łącza. Asystent na hali, który musi działać także wtedy, gdy internet padnie, albo proces, w którym opóźnienie sieci jest problemem, przemawiają za lokalnym rozwiązaniem. Dla większości zastosowań biurowych i serwisowych latencja chmury jest w praktyce bez znaczenia, więc ta przesłanka dotyczy raczej wąskich, specyficznych przypadków.

Pytanie piąte: NIS2 i łańcuch dostaw

Jeśli firma jest objęta NIS2, wybór dostawcy AI i lokalizacja przetwarzania danych stają się elementem zarządzania ryzykiem łańcucha dostaw. On-premise nie załatwia zgodności automatycznie, ale upraszcza część pytań: dane nie wychodzą poza perymetr, więc znika temat lokalizacji przetwarzania i podwykonawców. To realna przesłanka dla podmiotów kluczowych, choć samą zgodność i tak trzeba wdrożyć osobno. Jak NIS2 patrzy na dostawcę publicznego LLM od strony łańcucha dostaw, rozłożył szczegółowo aionprem w analizie public cloud LLM a NIS2, Art. 21 ust. 1 lit. d.

Wariant, o którym się zapomina: hybryda

Wybór nie jest zerojedynkowy. W praktyce częsty i sensowny układ to hybryda: dane i procesy najbardziej wrażliwe zostają on-premise, a mniej wrażliwe albo skokowe obciążenia idą do chmury. Dzięki temu nie przepłacacie za sprzęt pod szczyt i jednocześnie trzymacie u siebie to, co musi zostać. To dobry punkt wyjścia, gdy przesłanki się rozjeżdżają.

Jak podejść do decyzji w praktyce

Zacznijcie od pytania o dane, bo ono najczęściej rozstrzyga samo. Jeśli dane muszą zostać u siebie, dalsza dyskusja dotyczy już tylko tego, jak dobrze postawić on-premise, a nie czy. Jeśli dane mogą wyjść, przejdźcie do wolumenu i pełnego kosztu, i policzcie oba warianty na tych samych, realnych liczbach obciążenia. Dopiero na końcu patrzcie na latencję, bo dla większości zastosowań nie przeważa. Ta sama logika porządku decyzji wraca u nas przy ocenie gotowości firmy do AI i przy liczeniu ROI: najpierw przesłanka twarda, potem koszt, na końcu wygoda.

Czego to porównanie nie pokrywa

Nie wchodzimy w szczegóły doboru sprzętu, bo to osobny temat, który rozkładamy przy wymaganiach sprzętowych lokalnego LLM. Nie rozstrzygamy też, czy sprzęt stawiać u siebie, w kolokacji, czy w formie gotowego urządzenia. Nie podajemy kwot ani procentów oszczędności, bo zależą od waszego punktu wyjścia. Tu chodziło o wcześniejszą decyzję: on-premise czy chmura, i o to, które przesłanki naprawdę przeważają szalę.

Powiązane

• Lokalny LLM na serwerze firmowym: jakie wymagania sprzętowe (GPU, VRAM)
• ROI z AI w produkcji: jak liczyć, czego nie wpisywać w business case
• Jak wybrać vendora AI dla produkcji: 10 pytań przed RFP
• Jak ocenić gotowość firmy produkcyjnej do wdrożenia AI: 5 pytań
• RAG do dokumentacji technicznej: jak AI korzysta z DTR i instrukcji maszyn
• Public cloud LLM a NIS2: analiza Art. 21 ust. 1 lit. d (aionprem)

Werdykt

Jeśli dane muszą zostać u siebie albo wolumen jest wysoki i stały w horyzoncie dwóch, trzech lat, przeważa on-premise. W przeciwnym razie, zwłaszcza na starcie i przy nierównym ruchu, taniej i szybciej wychodzi chmura, a przy rozjeżdżających się przesłankach najlepszym punktem wyjścia jest hybryda.