Zastosowanie przepisów AI Act uzależnione jest w pierwszej kolejności od uznania danego rozwiązania za system sztucznej inteligencji w rozumieniu rozporządzenia. W myśl AI Act, system AI to system maszynowy, zaprojektowany do działania z określonym stopniem autonomii, który po wdrożeniu może wykazywać zdolność adaptacji i który – w ramach jasno określonych lub domyślnych celów – generuje na podstawie danych wejściowych wyniki w postaci m.in. prognoz, treści, rekomendacji lub decyzji mających wpływ na środowisko fizyczne bądź cyfrowe.

Definicja ta jest zgodna z ujęciem przyjętym przez Organizację Współpracy Gospodarczej i Rozwoju (OECD). Europejski ustawodawca w motywach rozporządzenia podkreśla, że zamiarem było powiązanie definicji systemu AI z dorobkiem organizacji międzynarodowych zajmujących się tą tematyką. Celem takiego podejścia jest zapewnienie spójności regulacyjnej, ułatwienie globalnej harmonizacji, budowanie zaufania, a także stworzenie elastycznej ramy prawnej zdolnej do dostosowywania się do dynamicznego rozwoju technologii.

Ewolucja definicji systemu AI


Obecna definicja systemu AI w istotny sposób różni się od tej zawartej w pierwotnej wersji projektu rozporządzenia z 21 kwietnia 2021 r. Wówczas system sztucznej inteligencji określano jako oprogramowanie stworzone z wykorzystaniem przynajmniej jednej z technik i metod wymienionych w załączniku I, które – dla realizacji określonych przez człowieka celów – mogło generować wyniki w postaci treści, przewidywań, rekomendacji lub decyzji oddziałujących na środowisko, z którym wchodzi w interakcję.


W załączniku I wskazano konkretne techniki i podejścia z obszaru AI, takie jak:

  • mechanizmy uczenia maszynowego (nadzorowanego, nienadzorowanego i przez wzmacnianie), z wykorzystaniem m.in. metod uczenia głębokiego,
  • techniki oparte na logice i wiedzy, obejmujące reprezentację wiedzy, programowanie indukcyjne, bazy wiedzy, systemy dedukcyjne i eksperckie,
  • podejścia statystyczne, metody estymacji bayesowskiej, wyszukiwania oraz optymalizacji

Inne definicje zawarte w AI Act


Oprócz pojęcia systemu sztucznej inteligencji, rozporządzenie wprowadza także szereg innych definicji, w tym:

  • dostawca – osoba fizyczna, prawna, organ publiczny, agencja lub inny podmiot, który opracowuje system AI lub model ogólnego przeznaczenia (lub zleca jego opracowanie) i wprowadza go do obrotu bądź oddaje do użytku pod własną nazwą handlową lub znakiem towarowym, odpłatnie bądź nieodpłatnie;
  • podmiot stosujący AI – osoba fizyczna, prawna, instytucja publiczna lub inny podmiot, który korzysta z systemu AI i sprawuje nad nim kontrolę, z wyłączeniem przypadków, gdy system używany jest w celach prywatnych i pozazawodowych;
  • deepfake – zmanipulowane lub wygenerowane treści wizualne, dźwiękowe bądź wideo, które przypominają rzeczywiste osoby, obiekty, miejsca lub zdarzenia i mogą wprowadzać odbiorcę w błąd co do ich autentyczności;
  • model AI ogólnego przeznaczenia – model sztucznej inteligencji (zazwyczaj trenowany na dużych zbiorach danych z wykorzystaniem samonadzoru), charakteryzujący się dużą uniwersalnością i zdolnością do wykonywania różnych zadań, niezależnie od sposobu jego udostępnienia, który może być integrowany z różnymi aplikacjami lub systemami niższego poziomu; z definicji tej wyłączone są modele wykorzystywane wyłącznie w ramach badań, rozwoju i tworzenia prototypów przed komercyjnym wdrożeniem;
  • system AI ogólnego przeznaczenia – system oparty na modelu AI ogólnego przeznaczenia, możliwy do wykorzystania w różnych celach, zarówno bezpośrednio, jak i w połączeniu z innymi systemami AI;
  • operacja zmiennoprzecinkowa (FLOP) – dowolna operacja matematyczna wykorzystująca liczby zmiennoprzecinkowe (podzbiór liczb rzeczywistych), które na komputerach są reprezentowane jako liczby całkowite o stałej precyzji przeskalowane przez wykładnik w systemie liczbowym o ustalonej podstawie.

Zakres stosowania AI Act

Podmioty objęte regulacją

Zakres podmiotowy AI Act jest szeroki. Przepisy będą miały zastosowanie do:

  • dostawców wprowadzających na rynek lub oddających do użytku systemy AI oraz modeli ogólnego przeznaczenia w Unii Europejskiej – niezależnie od miejsca ich siedziby,
  • użytkowników systemów AI mających siedzibę na terenie UE,
  • dostawców i użytkowników z państw trzecich, jeżeli wyniki działania ich systemów AI są wykorzystywane w UE,
  • importerów i dystrybutorów systemów AI,
  • producentów, którzy wraz ze swoimi produktami wprowadzają na rynek systemy AI oznaczone ich marką lub znakiem towarowym,
  • przedstawicieli działających w imieniu dostawców niemających siedziby w UE,
  • osób znajdujących się na terytorium Unii, na które oddziałują skutki działania systemów AI.

Wyłączenia spod stosowania przepisów


Rozporządzenie nie będzie miało zastosowania m.in. do:

  • systemów sztucznej inteligencji wykorzystywanych wyłącznie do celów wojskowych, obronnych lub związanych z bezpieczeństwem narodowym,
  • systemów lub modeli AI (wraz z ich wynikami) opracowywanych i używanych wyłącznie na potrzeby badań naukowych bądź rozwoju,
  • działalności badawczej, testowej lub rozwojowej dotyczącej systemów i modeli AI przed ich komercjalizacją lub udostępnieniem,
  • osób fizycznych korzystających z systemów AI w ramach działalności o charakterze czysto osobistym i pozazawodowym,
  • systemów AI dostępnych w modelu open source i na licencjach bezpłatnych – z wyjątkiem przypadków, gdy system taki zostaje zakwalifikowany jako system wysokiego ryzyka lub objęty przepisami art. 5 lub 50 AI Act.

Zakazane praktyki w obszarze sztucznej inteligencji

Ratio legis

Unijny ustawodawca w motywach AI Act zwraca uwagę, że choć technologia sztucznej inteligencji przynosi wiele korzyści, jej nieodpowiednie wykorzystanie może prowadzić do nadużyć, manipulacji czy działań o charakterze kontrolnym wobec społeczeństwa. W związku z ryzykiem takiego zastosowania technologii, w rozporządzeniu przesądzono, iż określone praktyki związane ze sztuczną inteligencją powinny być całkowicie zakazane. Uznano je za sprzeczne z podstawowymi wartościami Unii Europejskiej, takimi jak poszanowanie godności człowieka, wolność, równość, demokracja i praworządność, a także z prawami zapisanymi w Karcie praw podstawowych UE – w tym prawem do prywatności, ochrony danych osobowych, zakazem dyskryminacji oraz prawami dziecka.

Wykaz praktyk zakazanych

AI Act zabrania wprowadzania do obrotu, udostępniania oraz wykorzystywania systemów sztucznej inteligencji, które:

  • stosują techniki podprogowe działające poza świadomością jednostki, a także celowe metody manipulacji lub wprowadzania w błąd,
  • wykorzystują słabości konkretnych osób lub grup, wynikające z wieku, niepełnosprawności czy sytuacji społeczno-ekonomicznej,
  • służą do oceny ryzyka popełnienia przestępstwa przez osobę fizyczną wyłącznie na podstawie profilowania lub analizy jej cech osobowościowych – przy czym zakaz ten nie obejmuje systemów wspierających ludzką ocenę opartą na obiektywnych i weryfikowalnych faktach,
  • tworzą lub rozwijają bazy danych do rozpoznawania twarzy poprzez pozyskiwanie wizerunków z Internetu lub telewizji metodą scrapingu,
  • analizują emocje osób w miejscu pracy lub w instytucjach edukacyjnych (z wyjątkiem przypadków, gdy użycie systemu uzasadniają względy medyczne lub bezpieczeństwa),
  • kategoryzują osoby na podstawie danych biometrycznych w celu ustalenia ich rasy, poglądów politycznych, przekonań religijnych, orientacji seksualnej, przynależności związkowej lub filozoficznych przekonań – z wyłączeniem sytuacji, gdy system jest używany przez organy ścigania i jest to absolutnie niezbędne do realizacji celów określonych w rozporządzeniu,
  • umożliwiają zdalną identyfikację biometryczną w czasie rzeczywistym w przestrzeni publicznej w celach ścigania, poza przypadkami przewidzianymi w AI Act.

Sankcje za naruszenia

Naruszenie zakazów dotyczących stosowania praktyk niezgodnych z AI Act skutkuje nałożeniem administracyjnej kary pieniężnej. Jej wysokość może wynosić do 35 000 000 EUR lub, w przypadku przedsiębiorstwa, do 7 % jego globalnego rocznego obrotu z poprzedniego roku obrotowego – w zależności od tego, która kwota jest wyższa.

Systemy sztucznej inteligencji wysokiego ryzyka (HRAI)

Charakterystyka HRAI

AI Act poświęca szczególną uwagę systemom uznawanym za wysokiego ryzyka (High-Risk AI Systems – HRAI). Są to rozwiązania, których zastosowanie może zagrażać zdrowiu, bezpieczeństwu lub prawom podstawowym człowieka. Za systemy wysokiego ryzyka uznaje się te, które stanowią element bezpieczeństwa produktów objętych unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I lub same stanowią taki produkt. Kwalifikacja taka ma zastosowanie również do systemów AI podlegających ocenie zgodności przez niezależny podmiot w ramach procedury dopuszczenia produktu do obrotu.

Katalog systemów wysokiego ryzyka (załącznik III)

Załącznik III do rozporządzenia określa konkretne kategorie systemów AI uznanych za wysokiego ryzyka. Obejmują one m.in.:

  • biometrię – systemy do zdalnej identyfikacji biometrycznej, kategoryzacji osób według cech wrażliwych lub rozpoznawania emocji,
  • infrastrukturę krytyczną – systemy związane z bezpieczeństwem transportu, dostawą wody, gazu, ciepła i energii elektrycznej,
  • edukację i szkolenia zawodowe – systemy wykorzystywane przy rekrutacji do szkół, ocenie wyników nauki, przyznawaniu kwalifikacji lub monitorowaniu zachowań uczniów podczas egzaminów,
  • zatrudnienie i zarządzanie personelem – systemy używane przy naborze, decyzjach o awansie, zwolnieniu, przydziale zadań, a także monitorowaniu wydajności pracowników,
  • dostęp do podstawowych usług prywatnych – systemy oceny zdolności kredytowej, ustalania scoringu, oceny ryzyka lub wyceny w ubezpieczeniach na życie i zdrowotnych (z wyłączeniem systemów wykrywających oszustwa finansowe).

Odstępstwa od kwalifikacji HRAI

AI Act dopuszcza sytuacje, w których system wymieniony w załączniku III nie będzie traktowany jako wysokiego ryzyka – o ile nie generuje on istotnego zagrożenia dla zdrowia, bezpieczeństwa lub praw podstawowych osób. Dotyczy to przypadków, gdy:

  • system wykonuje wyłącznie wąskie zadanie o charakterze proceduralnym,
  • służy jedynie do udoskonalenia czynności już przeprowadzonej przez człowieka,
  • analizuje wzorce decyzyjne bez wpływania na ostateczne rozstrzygnięcia, przy zachowaniu weryfikacji ludzkiej,
  • realizuje funkcje przygotowawcze w ramach procesów wymienionych w załączniku.

Odstępstwa te nie obejmują jednak systemów wykorzystywanych do profilowania osób fizycznych, czyli automatycznej analizy danych osobowych w celu oceny ich cech lub zachowań.

Dostawca, który chce skorzystać z takiego odstępstwa, musi sporządzić odpowiednią dokumentację oceny i zarejestrować system w unijnej bazie HRAI. Ocena ta może zostać zweryfikowana przez właściwy organ nadzoru, który ma prawo zakwestionować kwalifikację systemu i zobowiązać dostawcę do dostosowania się do wymogów AI Act w określonym terminie. Brak reakcji może skutkować nałożeniem sankcji finansowych.

Wymogi wobec systemów wysokiego ryzyka

Systemy HRAI muszą być projektowane i wdrażane zgodnie z wymogami określonymi w AI Act, z uwzględnieniem ich funkcji oraz aktualnego poziomu wiedzy technicznej w dziedzinie sztucznej inteligencji. Do kluczowych obowiązków należą m.in.:

  • zarządzanie ryzykiem – wdrożenie ciągłego, iteracyjnego procesu identyfikacji, analizy i ograniczania ryzyka przez cały cykl życia systemu,
  • testowanie systemu – umożliwiające ocenę skuteczności zastosowanych środków zarządzania ryzykiem,
  • zarządzanie danymi – zapewnienie, że dane treningowe, walidacyjne i testowe są odpowiednie, reprezentatywne, kompletne i jak najmniej obarczone błędami, z uwzględnieniem kontekstu geograficznego, behawioralnego i funkcjonalnego,
  • dokumentacja techniczna – sporządzenie szczegółowej dokumentacji wykazującej zgodność systemu z wymogami oraz dostarczającej organom i jednostkom notyfikowanym informacji niezbędnych do oceny,
  • rejestrowanie zdarzeń – automatyczne zapisywanie informacji o działaniach systemu, aby możliwe było monitorowanie jego funkcjonowania i reagowanie na sytuacje stwarzające zagrożenie dla zdrowia, bezpieczeństwa lub praw podstawowych.

Systemy te powinny być również tak konstruowane, aby:

  • umożliwiały zrozumienie i interpretację wyników, poprzez dostarczenie jasnych i kompletnych instrukcji dla użytkowników,
  • zapewniały nadzór człowieka, pozwalający m.in. na przerwanie działania systemu, odrzucenie wyniku lub użycie przycisku „stop”,
  • cechowały się odpowiednią dokładnością, odpornością i bezpieczeństwem cybernetycznym, zapobiegając błędom, awariom i nieuprawnionej ingerencji z zewnątrz.

Obowiązki dostawców systemów HRAI

Dostawcy systemów wysokiego ryzyka zobowiązani są m.in. do:

  • zapewnienia pełnej zgodności systemów z wymogami AI Act,
  • wskazania w systemie własnej nazwy handlowej,
  • utrzymywania systemu zarządzania jakością,
  • prowadzenia i aktualizowania dokumentacji technicznej,
  • przechowywania rejestrów zdarzeń,
  • podejmowania działań naprawczych w przypadku podejrzenia niezgodności,
  • przeprowadzenia procedury oceny zgodności,
  • sporządzenia deklaracji zgodności UE,
  • spełnienia obowiązków rejestracyjnych,
  • oraz zapewnienia dostępności i użyteczności systemu zgodnie z wymogami prawa.

Modele AI ogólnego przeznaczenia

Model AI ogólnego przeznaczenia a system AI

AI Act reguluje również zagadnienie tzw. modeli sztucznej inteligencji ogólnego przeznaczenia. Pojęcie to obejmuje modele AI, w tym te szkolone na ogromnych zbiorach danych z wykorzystaniem uczenia z samonadzorem na dużą skalę, które charakteryzują się szerokim zakresem możliwości i potrafią skutecznie wykonywać różnorodne zadania – niezależnie od sposobu ich udostępnienia. Modele te mogą być integrowane z rozmaitymi aplikacjami lub systemami niższego poziomu, z wyjątkiem modeli tworzonych wyłącznie do celów badawczych, rozwojowych lub prototypowych, zanim zostaną wprowadzone na rynek. W motywach do rozporządzenia unijnego wskazano, że choć takie modele stanowią fundament dla systemów sztucznej inteligencji, same w sobie nie są uznawane za systemy AI. Aby model mógł być traktowany jako system AI, konieczne jest dodanie dodatkowych komponentów – np. interfejsu użytkownika lub innych elementów umożliwiających praktyczne zastosowanie.

Model AI ogólnego przeznaczenia z ryzykiem systemowym

Część modeli ogólnego przeznaczenia została przez AI Act zakwalifikowana jako modele obarczone ryzykiem systemowym. Są to modele, które mają potencjał do wywierania znacznego wpływu, co ocenia się z wykorzystaniem określonych narzędzi i metod technicznych, takich jak wskaźniki czy poziomy odniesienia. Model uznaje się za posiadający zdolności dużego oddziaływania, jeśli całkowita liczba operacji obliczeniowych użytych w jego trenowaniu, mierzona w jednostkach FLOP, przekracza 10^25. Komisja Europejska może jednak uznać za taki również model niespełniający tego kryterium, jeżeli jego możliwości lub wpływ są porównywalne. To na dostawcy spoczywa obowiązek powiadomienia Komisji o tym, że model spełnia warunki kwalifikacji jako model AI ogólnego przeznaczenia z ryzykiem systemowym. W zgłoszeniu dostawca może również przedstawić argumenty, dlaczego jego model – mimo spełnienia kryteriów – nie powinien być tak zaklasyfikowany.

Obowiązki dostawców modeli AI ogólnego przeznaczenia

Dostawcy modeli ogólnego przeznaczenia mają obowiązek:

  • przygotowywania i bieżącego aktualizowania dokumentacji technicznej dotyczącej modelu, jego trenowania i testowania (która na żądanie może być przekazana Urzędowi ds. AI lub krajowym organom nadzoru),
  • opracowania oraz udostępniania dostawcom systemów AI dokumentacji technicznej niezbędnej do integracji danego modelu z ich rozwiązaniami,
  • wdrożenia polityki zgodności z unijnymi przepisami dotyczącymi prawa autorskiego,
  • publikacji szczegółowego streszczenia opisującego dane wykorzystane podczas trenowania modelu.

Obowiązki te nie mają zastosowania do dostawców udostępniających swoje modele w ramach bezpłatnych i otwartych licencji, które pozwalają na swobodny dostęp, użycie, modyfikację oraz dystrybucję, a także ujawniają kluczowe informacje o modelu – w tym jego architekturę, wagi oraz sposób działania. Wyjątek ten nie obejmuje jednak modeli AI ogólnego przeznaczenia z ryzykiem systemowym.

Obowiązki dostawców modeli AI ogólnego przeznaczenia z ryzykiem systemowym

Dostawcy modeli AI ogólnego przeznaczenia uznanych za posiadające ryzyko systemowe podlegają dodatkowym wymogom. Muszą oni:

  • przeprowadzać ocenę modelu z wykorzystaniem ustandaryzowanych metod i narzędzi odzwierciedlających aktualny stan wiedzy technicznej, w tym testować model w celu identyfikacji i ograniczenia ryzyk systemowych,
  • analizować i minimalizować potencjalne ryzyka systemowe w skali całej Unii Europejskiej,
  • prowadzić rejestrację, dokumentację oraz zgłaszać Urzędowi ds. AI (i w razie potrzeby także właściwym organom krajowym) informacje o poważnych incydentach,
  • zapewnić właściwy poziom cyberbezpieczeństwa modelu i jego infrastruktury technicznej.

Nadzór nad dostawcami modeli AI ogólnego przeznaczenia

Kontrola nad dostawcami modeli ogólnego przeznaczenia została powierzona Komisji Europejskiej, która zadanie to przekazała Urzędowi ds. AI. Komisja ma prawo m.in. żądać dostępu do modelu poprzez API lub inne środki techniczne, a także do jego kodu źródłowego. W uzasadnionych przypadkach może również nakazać ograniczenie dostępności modelu na rynku bądź całkowite wycofanie go z obrotu.