AI analizuje CV? Jedna decyzja może zmienić Was w providera systemu high-risk

Firma wdraża AI do porządkowania skrzynki, analizowania wiadomości i przygotowywania podsumowań. Proces działa, pracownicy oszczędzają czas, wszyscy są zadowoleni.

Po kilku miesiącach ktoś wpada na całkiem logiczny pomysł: skoro system potrafi analizować wiadomości i załączniki, niech pomoże również przy rekrutacji. Niech czyta CV, porównuje kandydatów z opisem stanowiska i przygotowuje ranking najlepszych osób.

Technicznie może to być tylko kolejna funkcja. Z perspektywy AI Act różnica może być jednak znacznie większa.

Wczoraj system pomagał porządkować skrzynkę. Dzisiaj wpływa na to, kto otrzyma zaproszenie na rozmowę o pracę.

AI Act patrzy nie tylko na technologię

Przy ocenie systemu AI nie wystarczy zapytać, z jakiego modelu korzystamy. Równie ważne jest to, w jakim celu system został wdrożony, w jakim procesie działa i jaki może mieć wpływ na ludzi.

Ten sam model może być używany do:

1. streszczania dokumentów;
2. przygotowywania odpowiedzi na wiadomości;
3. porządkowania firmowej bazy wiedzy;
4. oceniania kandydatów do pracy.

Model może pozostać ten sam, ale prawna ocena każdego z tych zastosowań będzie inna.

Szczególnie ostrożnie należy podchodzić do systemów wpływających na dostęp do zatrudnienia, edukacji, podstawowych usług albo świadczeń. W takich przypadkach błąd systemu nie oznacza wyłącznie źle wygenerowanego podsumowania. Może wpłynąć na sytuację konkretnej osoby.

Rekrutacja jako obszar wysokiego ryzyka

AI Act zalicza do potencjalnie wysokiego ryzyka między innymi systemy przeznaczone do:

1. rekrutacji lub wyboru kandydatów;
2. filtrowania i sortowania aplikacji;
3. oceniania kandydatów;
4. podejmowania decyzji wpływających na warunki zatrudnienia;
5. monitorowania i oceniania pracowników.

System tworzący ranking CV albo rekomendujący, kogo zaprosić do kolejnego etapu, może więc wejść w obszar high-risk.

Nie oznacza to, że każde użycie AI w dziale HR automatycznie będzie systemem wysokiego ryzyka. Narzędzie przygotowujące neutralną transkrypcję spotkania albo poprawiające język ogłoszenia może mieć zupełnie inną kwalifikację.

Znaczenie ma jego rzeczywista funkcja. Trzeba sprawdzić, czy system tylko wykonuje pomocnicze zadanie, czy faktycznie ocenia ludzi, profiluje ich albo istotnie wpływa na decyzję rekrutera.

W AI Act istnieją wyjątki pozwalające w określonych przypadkach uznać system z obszaru wskazanego w załączniku III za system niewysokiego ryzyka. Wymaga to jednak konkretnej analizy. Jeżeli system profiluje osoby fizyczne, możliwość skorzystania z takiego wyjątku jest wyłączona.

Samo stwierdzenie, że „ostatecznie decyzję podejmuje człowiek”, również nie załatwia sprawy. Jeżeli rekruter w praktyce opiera się na rankingu przygotowanym przez AI, rekomendacja systemu nadal może istotnie wpływać na wynik rekrutacji.

Deployer i provider, czyli kto właściwie odpowiada

Drugim krokiem jest ustalenie roli firmy.

Deployer to podmiot, który korzysta z systemu AI w ramach swojej działalności. Przykładem może być firma używająca gotowego narzędzia rekrutacyjnego dostarczonego przez zewnętrznego vendora.

Provider to podmiot, który opracowuje system AI albo zleca jego opracowanie i wprowadza go na rynek lub oddaje do używania pod własną nazwą albo marką.

Na prezentacji produktowej podział może wyglądać prosto:

vendor jest providerem, a klient deployerem.

W praktyce granica potrafi się przesunąć. Firma korzystająca z gotowego narzędzia może wejść w rolę providera, jeżeli między innymi:

1. udostępni system pod własną nazwą lub marką;
2. dokona w nim istotnej modyfikacji;
3. zmieni przeznaczenie systemu w taki sposób, że stanie się on systemem wysokiego ryzyka.

Właśnie dlatego pomysł „skoro AI analizuje maile, niech jeszcze ocenia CV” wymaga wcześniejszego sprawdzenia.

Firma może uważać, że tylko korzysta z gotowej technologii. Jeżeli jednak samodzielnie tworzy nowe zastosowanie, dostosowuje system do danych rekrutacyjnych i określa zasady oceniania kandydatów, jej rola może okazać się znacznie szersza.

Co oznacza rola providera systemu high-risk?

Provider systemu wysokiego ryzyka ma zdecydowanie więcej pracy niż podmiot korzystający ze zwykłego narzędzia biurowego.

W zależności od konkretnego systemu mogą pojawić się obowiązki dotyczące między innymi:

1. systemu zarządzania ryzykiem;
2. jakości oraz zarządzania danymi;
3. dokumentacji technicznej;
4. rejestrowania zdarzeń i przechowywania logów;
5. przygotowania instrukcji dla użytkowników systemu;
6. zaprojektowania skutecznego nadzoru człowieka;
7. dokładności, odporności i cyberbezpieczeństwa;
8. oceny zgodności;
9. rejestracji systemu;
10. monitorowania działania systemu już po jego wdrożeniu.

Deployer również nie jest zwolniony z odpowiedzialności. Powinien korzystać z systemu zgodnie z instrukcjami, zapewnić odpowiednio przygotowany nadzór człowieka, monitorować działanie rozwiązania i reagować na nieprawidłowości.

W procesach HR dochodzą do tego kwestie ochrony danych osobowych, niedyskryminacji oraz obowiązków informacyjnych wobec pracowników i kandydatów.

Jedno wdrożenie może więc wymagać równoległego spojrzenia na AI Act, RODO, prawo pracy, bezpieczeństwo informacji i umowę z dostawcą.

„Człowiek zatwierdza” to jeszcze nie nadzór

W dokumentacji systemów AI często pojawia się zdanie: decyzję zawsze podejmuje człowiek.

Brzmi dobrze, ale warto sprawdzić, jak ten nadzór działa w rzeczywistości.

Czy rekruter zna ograniczenia systemu? Czy potrafi zakwestionować jego rekomendację? Czy widzi coś więcej niż wynik punktowy? Czy ma czas na samodzielne przeczytanie odrzuconej aplikacji? Czy firma sprawdza, czy system nie powiela błędów wynikających z danych historycznych?

Jeżeli AI odrzuciło 80 ze 100 aplikacji, a człowiek sprawdza tylko 20 najwyżej ocenionych, trudno twierdzić, że system nie miał wpływu na decyzję.

Nadzór człowieka nie powinien być wyłącznie podpisem pod wynikiem systemu. Musi być realną możliwością zrozumienia, zakwestionowania i zmiany rekomendacji.

Umowa z dostawcą też ma znaczenie

Przed wdrożeniem warto sprawdzić nie tylko funkcje produktu, ale również umowę z jego dostawcą.

Powinna ona pozwalać ustalić między innymi:

1. jakie jest deklarowane przeznaczenie systemu;
2. kto jest providerem, a kto deployerem;
3. czy dostawca dopuszcza użycie narzędzia w procesach rekrutacyjnych;
4. kto odpowiada za konfigurację, dane i kryteria oceny;
5. jakie informacje i dokumenty dostawca udostępnia klientowi;
6. jak działa raportowanie błędów i incydentów;
7. kto odpowiada za aktualizacje wpływające na działanie systemu;
8. czy i na jakich zasadach dane są wykorzystywane do dalszego trenowania modeli.

Jeżeli produkt jest oferowany jako zwykły asystent biurowy, jego dokumentacja może nie obejmować wymagań właściwych dla systemu high-risk. Sam fakt, że technicznie da się użyć go do oceny kandydatów, nie oznacza jeszcze, że został do tego zaprojektowany i prawidłowo przygotowany.

Od kiedy stosuje się obowiązki dotyczące high-risk AI?

Po zmianach wprowadzonych w 2026 r. przepisy dotyczące systemów wysokiego ryzyka wskazanych w załączniku III, w tym systemów wykorzystywanych w zatrudnieniu i rekrutacji, mają być stosowane od 2 grudnia 2027 r.

Nie oznacza to jednak, że do tego czasu nie warto nic robić.

Przygotowanie systemu zarządzania ryzykiem, dokumentacji, logowania, nadzoru człowieka i zasad zarządzania danymi może wymagać zmian w samym produkcie. Jeżeli system już działa, późniejsze dokładanie tych elementów będzie zwykle trudniejsze niż uwzględnienie ich podczas projektowania.

Niezależnie od tego harmonogramu już teraz mogą mieć zastosowanie inne przepisy, w szczególności RODO, prawo pracy oraz obowiązki dotyczące wykorzystywania danych kandydatów.

Co sprawdzić przed wdrożeniem AI w rekrutacji?

Przed uruchomieniem systemu warto odpowiedzieć na kilka pytań:

1. Do czego dokładnie system będzie wykorzystywany?
2. Czy tylko porządkuje informacje, czy ocenia albo klasyfikuje kandydatów?
3. Czy jego wynik może zdecydować o odrzuceniu aplikacji?
4. Czy dochodzi do profilowania kandydatów?
5. Kto określił przeznaczenie systemu?
6. Czy zmieniliśmy cel przewidziany przez jego pierwotnego dostawcę?
7. Czy system został istotnie dostosowany do naszego procesu lub danych?
8. Kto jest providerem, a kto deployerem?
9. Jak w praktyce działa nadzór człowieka?
10. Czy potrafimy odtworzyć, dlaczego system wydał określoną rekomendację?
11. Czy umowa z dostawcą odpowiada rzeczywistemu sposobowi używania produktu?
12. Czy oceniliśmy kwestie związane z RODO, prawem pracy i ryzykiem dyskryminacji?

Nie każde wdrożenie wymaga od razu wielkiego komitetu do spraw AI. Potrzebna jest jednak sensowna bramka przed produkcją: ktoś powinien wiedzieć, do czego system będzie używany, na kogo może wpływać oraz kto odpowiada za jego działanie.

Najdroższe pytanie zwykle nie brzmi bowiem: „czy możemy użyć tutaj AI?”. Brzmi: „dlaczego nikt nie sprawdził tego, zanim system zaczął podejmować decyzje o ludziach?”.