Słowo jest proste: algorytm może ocalić życie, ale potrafi też skomplikować proces leczenia. AI w szpitalach nie jest już fantazją – to codzienność, która w praktyce wprawia w ruch decyzje, które kiedyś podejmowali ludzie wyłącznie na podstawie własnych doświadczeń. Czasami to atut, czasem ryzyko. To zależy od tego, jak podejdziemy do wdrożeń, co zaplanujemy na samym początku i jak będziemy monitorować skutki działań algorytmu.
AI w praktyce to narzędzie, które potrafi przyspieszyć decyzje i spersonalizować leczenie. Z drugiej strony bez ochrony danych, transparentności i odpowiedzialności ryzyko odpływa z rąk pacjenta na korzyść nieprzewidywalnych wniosków. AI Act, czyli unijne przepisy regulujące sztuczną inteligencję, nakłada na placówki określone obowiązki. Brak jasnych reguł i planu może zamienić technologiczną szansę w pułapkę dla ludzi i instytucji atrakcyjnych dla pacjentów.
W niniejszym tekście opisuję pięć błędów, które pojawiają się przy wdrożeniach. Każdy z nich ilustruję przykładem z praktyki i podpowiadam, jak uniknąć zagrożeń bez rezygnacji z korzyści. Artykuł czerpie z obserwacji felietonu Dominika Ropeli, ale dodaję własne, konkretne wskazówki dostosowane do polskiego systemu ochrony zdrowia. Nie będą to teoretyczne dywagacje. Podam rzeczowe przykłady, krótkie instrukcje i ramy, które można z powodzeniem wdrożyć w zespole klinicznym, szpitalnym i administracyjnym.
1. Brak jasnego planu zarządzania ryzykiem i oceny wpływu algorytmu na bezpieczeństwo pacjentów
Najbardziej podstawowy błąd to zaczynanie od technologii, a nie od ryzyka. Wchodząc z modelem wspomagającym decyzje, placówka często nie tworzy przekrojowego planu, który określa, co będzie monitorowane, jakie będą wskaźniki bezpieczeństwa i jak reagować na niepokojące sygnały. Brak właściciela ryzyka, brak jasnych kryteriów włączania i wyłączania modułów, brak rejestru incydentów – to prosta droga do sytuacji, w której algorytm popełnia błąd, a następnie nikt nie wie, kto ponosi odpowiedzialność. W praktyce taki plan powinien zaczynać się od zdefiniowania, co jest celem algorytmu, jakie są granice jego decyzji i jakie kontrolne punkty wyznaczają decyzje leczenia.
Przykład: algorytm triage, który przydziela priorytety pacjentom na podstawie obrazu tomografii. Jeżeli nie ma wyznaczonego właściciela ryzyka i mechanizmów zgłaszania wczesnych sygnałów błędów, łatwo przeoczyć, że model w pewnych warunkach faworyzuje rzadkie przypadki, co prowadzi do opóźnień w potrzebnych diagnostykach. W praktyce warto wprowadzić zestaw testów w realnym środowisku, mechanizm raportowania incydentów i regularny przegląd wyników w sztabie ds. bezpieczeństwa. Plan powinien mieć także scenariusze awaryjne: co zrobimy, gdy algorytm zacznie niepoprawnie klasyfikować przypadki, jak zareagujemy, kto będzie podejmował decyzje i jak będziemy komunikować to pacjentom i personelowi. Wreszcie trzeba jasno określić cele kliniczne i wskaźniki jakości. Czy model skraca czas diagnozy? Czy poprawia trafność decyzji? Czy nie pogarsza wykrywania powikłań? To mierniki, które trzeba zdefiniować od razu, a nie dopisać po fakcie.
2. Brak transparentności i informowania pacjentów o wsparciu AI
Pacjent ma prawo wiedzieć, że decyzja została wsparta narzędziem znajdującym się poza jego intuicją. Brak jasnego komunikatu o roli algorytmu osłabia zaufanie i utrudnia ocenę ryzyka. W praktyce powinna to być prosta informacja: pacjent zostaje poinformowany, że decyzja medyczna oparta jest na ocenie eksperta wspomaginanej algorytmem, z krótkim wyjaśnieniem, co to znaczy i jakie są ograniczenia. Dziś pacjent często dowiaduje się dopiero po fakcie, że coś się stało, co utrudnia mu zrozumienie procesu leczenia. Transparentność nie oznacza ujawniania kodu źródłowego ani szczegółów implementacyjnych, ale dostarczenie zrozumiałych informacji o tym, jak działa wsparcie AI oraz jakie ryzyka i ograniczenia jego użycia mogą wpływać na decyzje kliniczne.
Wyobraź sobie sytuację, w której lekarz korzysta z algorytmu do oceny ryzyka operacyjnego. Pacjent otrzymuje decyzję o zabiegu i nie wie, że to wynik analizy algorytmu. Po kilku miesiącach okazuje się, że model w pewnych warunkach pomija pewne czynniki, które są istotne dla konkretnego pacjenta. Brak jasnej informacji o tym, że decyzja została w części podjęta przez AI, utrudnia pacjentowi zrozumienie decyzji i zgłoszenie ewentualnych skutków ubocznych. W praktyce informacja powinna być prosta, krótka i zrozumiała, a także dostępna w różnych kanałach komunikacji: rozmowa z lekarzem, krótkie pismo i sekcja FAQ w placówce. Transparentność to także sposób prowadzenia dokumentacji medycznej. W opisie decyzji powinna być jasno wskazana rola algorytmu i to w jaki sposób wpływa na końcowy wynik.
3. Niewystarczająca jakość danych i brak monitoringu w praktyce
Dane, na których trenowane są algorytmy, odzwierciedlają rzeczywistość w momencie ich powstawania. Kiedy populacja się zmienia w czasie, a modele nie są aktualizowane, pojawiają się swingy w wynikach. To zjawisko nazywa się drift danych i jest częstym źródłem błędów. W praktyce oznacza to, że model, który trafnie ocenił ryzyko w pierwszym roku wdrożenia, po kilku miesiącach może już nie być skuteczny. Zjawisku temu towarzyszy brak monitoringu, brak rutynowych ocen wpływu i brak planu aktualizacji. Bez stałej kontroli ryzyko przestaje być teoretyczne, staje się realnym ograniczeniem możliwości leczenia. W praktyce warto wdrożyć codzienne raporty wyników, porównania z wynikami manualnymi i regularne testy na nowych danych, które pochodzą z aktualnych warunków klinicznych. Bez takiego monitoringu nawet najlepszy model przestaje być narzędziem ufasz, a staje się statystyką bez wpływu na decyzje pacjentów.
Krótko mówiąc: jeśli dane będą starcze, a algorytmy nie będą aktualizowane, to ryzyko rośnie zamiast zmniejszać. Kluczowe jest zapewnienie jakości danych, walidacji w czasie rzeczywistym oraz włączenie personelu medycznego w proces monitorowania. W praktyce to znaczy: weryfikacja danych wejściowych, audyt decyzji i zrozumienie wpływu na różne grupy pacjentów. Data drift nie jest tylko technicznym pojęciem; to realny problem, który dotyka decyzji klinicznych i zaufanie pacjentów. W praktyce, włączaj personel medyczny w proces kontrole, wprowadzaj rutynowe audyty i trzy razy w roku sprawdzaj, czy algorytm wciąż działa zgodnie z oczekiwaniami. To proste praktyki, które mogą zapobiec błędnym decyzjom i utrzymac skuteczność leczenia na odpowiednim poziomie.
4. Niezgodność z AI Act i brak jasnych zasad przetwarzania danych
Zgodność z przepisami to nie opcja, to warunek kontynuowania pracy. AI Act nakłada na placówki obowiązek oceny ryzyka, prowadzenia rejestrów algorytmów, informowania pacjentów i utrzymania zabezpieczeń danych. Brak zgodności to nie tylko administracyjny błąd, to realne ryzyko dla pacjentów i dla instytucji. W praktyce oznacza to, że placówka powinna mieć spójną politykę przetwarzania danych, jasny sposób uzasadniania decyzji i pełen zapis, jakie dane trafiają do algorytmu oraz w jaki sposób są chronione. Brak tych elementów prowadzi do sytuacji, w której decyzje o leczeniu opierają się na algorytmie, a pacjent nie ma możliwości skorzystania z praw do ochrony danych, a placówka nie ma dokumentacji, która potwierdza zgodność z prawem. W praktyce oznacza to także konieczność prowadzenia rejestru algorytmów, w którym opisuje się cel, źródła danych, zakresy aktualizacji i odpowiedzialność. Bez tego ryzyko błędów i sporu o odpowiedzialność wzrasta.
Wyobraźmy sobie, że algorytm ocenia ryzyko operacyjne i podaje decyzję o zabiegu. Bez jasnego zapisu i uzasadnienia, dlaczego algorytm zadziałał w ten sposób, trudno jest wyjaśnić pacjentowi powstałe wnioski. AI Act wymusza transparentność i odpowiedzialność, a placówki powinny zaadresować te wymagania już na etapie projektowania. W praktyce to także współpraca z zespołem ds. prawnych, ochrony danych i bezpieczeństwa informacji, aby stworzyć zestaw procedur, które będą służyć wszystkim stronom: pacjentom, lekarzom i administratorom.
5. Umowy z dostawcami i brak jasnych zasad odpowiedzialności
W praktyce wdrożenia często pada pytanie, kto ponosi odpowiedzialność za decyzje modelu AI. Czy to szpital, czy dostawca algorytmu? Brak jasnych zapisów w umowie o odpowiedzialności, aktualizacjach i mechanizmach egzekwowania to ryzyko. Umowy z zewnętrznymi dostawcami bywa, że chronią interesy dostawcy bez jasnych gwarancji dla placówki. W efekcie, kiedy algorytm aktualizuje się lub wprowadza nowe funkcje, odpowiedzialności nie precyzuje się i powstaje luka. W praktyce warto żądać od dostawcy przejrzystych mechanizmów audytu, harmonogramów aktualizacji i jasnych klauzul dotyczących odpowiedzialności za błędy i skutki decyzji. To także kwestia sposobu weryfikacji i przeprowadzania testów przed implementacją. Bez takich zapisów trudno jest prowadzić efektywną walkę o bezpieczeństwo pacjentów, bo odpowiedzialność rozdziela się we wszystkich stronach.
