Czy dokument przygotowany przez sztuczną inteligencję może zostać uznany za bardziej wartościowy niż raport opracowany przez zespół doświadczonych ekspertów? To prowokacyjne pytanie zadali autorzy raportu „Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych” – przełomowej publikacji opracowanej przez Polską Agencję Rozwoju Przedsiębiorczości i Uniwersytet SWPS.
Ten liczący niemal 350 stron przewodnik po świecie generatywnej AI nie tylko opisuje jej potencjał – prezentuje także konkretne eksperymenty, zastosowania i dobre praktyki z polskich instytucji. Na czele z głośnym eksperymentem, którego wynik dla wielu środowisk badawczych okazał się sporym zaskoczeniem.
Zaskakujące wyniki testu porównawczego: AI lepsze od ludzi?
W centrum raportu znalazł się eksperyment przeprowadzony przez Jednostkę Ewaluacyjną PARP i Krajową Jednostkę Ewaluacji. Badacze przygotowali dwie wersje tego samego dokumentu: jedną opracowaną tradycyjnie przez ludzi, drugą – wygenerowaną przez model językowy AI na podstawie kilku prostych pytań. Oceniający – uczestnicy konferencji i członkowie zespołu sterującego – nie wiedzieli, który tekst stworzył człowiek, a który maszyna.
Efekt? Dokument AI zdeklasował wersję ekspercką pod względem przejrzystości, spójności i użyteczności. Średnie oceny dla tekstu stworzonego przez AI wahały się od 4,3 do 4,4 w pięciopunktowej skali. Wersja przygotowana przez ludzi zebrała oceny od 3,8 do 4,1.
To właśnie ten moment stał się impulsem do stworzenia całej publikacji i rozpoczęcia debaty nad tym, jak powinna wyglądać rola człowieka w procesach analitycznych wspieranych przez sztuczną inteligencję.
– Nasz eksperyment sprzed kilku miesięcy, wywołał wiele reakcji i inspirujących komentarzy, czym zachęcił nas do pójścia o krok dalej. Udało się zgromadzić zespół wybitnych ekspertów – innowatorów i entuzjastów (choć niebezkrytycznych) nowej technologii gen AI, będących jednocześnie świetnymi fachowcami w dziedzinie badań, analiz i komunikacji. Autorzy dostarczają wartościowych wskazówek dla producentów wiedzy i twórców szeroko rozumianego contentu, jak można pracować w nowej rzeczywistości wykorzystując potencjał AI, nie zaklinając rzeczywistości jak gdyby nigdy nic. Jednocześnie nasza książka to zaproszenie, które kierujemy do Czytelników – zaproszenie do eksperymentowania z nowymi narzędziami gen AI, do rozwijania dobrych praktyk, które prezentujemy, a przede wszystkim do dyskusji nad możliwościami i wyzwaniami pracy w nowym modelu „co-intelligence” – podkreśla Jacek Pokorski, zastępca dyrektora Departamentu Analiz i Strategii PARP, współautor i współredaktor publikacji.
Współpraca człowieka z maszyną: nie „czy”, tylko „jak”
Raport stawia wyraźną tezę: nie chodzi o zastępowanie ludzi sztuczną inteligencją, lecz o mądrą i celową współpracę. W publikacji opisano tzw. architekturę współpracy z gen AI – zestaw czterech decyzji, jakie musi podjąć organizacja wdrażająca AI w praktyce: jaką rolę przypisać AI, jaką platformę wybrać, w jaki sposób prowadzić interakcję z narzędziem i na jakich zasobach informacyjnych AI ma pracować.
– Książka odpowiada na pytanie: Jak możemy konstruktywnie współpracować z AI? Pokazujemy, od czego zacząć, na co zwrócić uwagę, z jakimi elementami eksperymentować. To coś więcej niż zbiór przykładów. W książce wyjaśniamy mechanizmy i pokazujemy strategie współpracy z AI – czyli kwestie, które będą aktualne niezależnie od wersji modelu, z którym pracujemy. Nazwaliśmy to architekturą współpracy z gen AI. – dodaje dr hab. Karol Olejniczak, kierownik Centrum Projektowania i Ewaluacji Polityk Publicznych Uniwersytetu SWPS.
Od OPZ po raport końcowy – AI w całym cyklu badawczym
Z raportu wyłania się obraz technologii, która może wspierać instytucje publiczne na każdym etapie pracy analitycznej – od przygotowania Opisu Przedmiotu Zamówienia (OPZ), przez kodowanie danych jakościowych i ilościowych, aż po redakcję końcowego raportu. Autorzy podkreślają, że AI szczególnie dobrze sprawdza się w zadaniach powtarzalnych, czasochłonnych lub wymagających syntezy dużej liczby danych – na przykład w przeglądach źródeł, analizie dokumentów czy tworzeniu wersji raportów dla różnych grup odbiorców.
Co to jest OPZ?
Opis Przedmiotu Zamówienia to dokument, w którym instytucje publiczne określają, czego oczekują od zewnętrznego wykonawcy – np. w badaniu ewaluacyjnym. Dzięki AI możliwe jest automatyczne generowanie różnych wariantów OPZ i dopasowanie ich do specyfiki projektu.
Polskie modele AI: Bielik i PLLuM na straży urzędowego języka
W publikacji nie zabrakło wątków lokalnych. Modele Bielik i PLLuM, tworzone z myślą o polskim języku i kontekście instytucjonalnym, stają się podstawą krajowego ekosystemu AI. Pierwszy z nich wspiera m.in. przetwarzanie dokumentów i korespondencji administracyjnej, drugi powstał jako narzędzie do pracy z aktami prawnymi i dokumentacją projektową. A w przeciwieństwie do globalnych modeli, takich jak GPT-4 czy Claude, polskie systemy lepiej radzą sobie z fleksją, specyfiką prawną i administracyjnym językiem urzędowym.
Technologia to nie wszystko. Potrzebna jest również zmiana kultury organizacyjnej
Zespół PARP i SWPS zwraca uwagę, że skuteczne wykorzystanie AI to nie tylko kwestia narzędzi. To także rozwój nowych kompetencji wśród urzędników, a nawet przebudowa procesów organizacyjnych. AI wymusza zmianę ról – z wykonawcy na kontrolera jakości, z analityka na stratega. Dlatego tak ważne jest promowanie tzw. „organizacji uczącej się”, która nie tylko korzysta z technologii, ale potrafi na jej podstawie tworzyć nowe sposoby działania.
Transparentność, etyka i kontrola: filary odpowiedzialnej AI
Szybkie wdrażanie AI w sektorze publicznym niesie też zagrożenia. Brak transparentności, potencjalne uprzedzenia modeli, czy ryzyko nadmiernego automatyzowania decyzji – to tylko niektóre z wyzwań. Raport akcentuje konieczność tworzenia lokalnych kodeksów postępowania, procedur drugiej weryfikacji oraz rozwoju kultury „bezpiecznego eksperymentowania”. Kluczem do trzymania się tych zasad jest tzw. „drugie spojrzenie” – proces, w którym człowiek ocenia i weryfikuje rezultat wygenerowany przez AI, zanim zostanie on wykorzystany – np. jako oficjalny dokument lub rekomendacja.
Wnioski? AI to partner, nie konkurent
Choć tytuł raportu skłania do pytania „czy AI pisze lepiej niż człowiek?”, wnioski autorów są znacznie bardziej powściągliwe. Nie chodzi o wyścig człowiek kontra maszyna, lecz o nowy model współpracy – „co-intelligence”, w którym AI i człowiek wzajemnie się uzupełniają.
Pełna wersja raportu „Generatywna AI w badaniach. Praktyczne zastosowania w ewaluacji polityk publicznych” dostępna jest na stronie PARP.
źródło: informacja prasowa
Dodaj komentarz