Dwa tygodnie temu swoją premierę miała najnowsza wersja modelu językowego opracowanego przez OpenAI, oparta na architekturze GPT-4 – ChatGPT-01-preview. To zaawansowany system przetwarzania języka naturalnego potrafiący generować odpowiedzi na różnorodne pytania, pomagać w rozwiązywaniu problemów, tworzeniu treści oraz analizie informacji. Wersja „preview” oznacza, że jest to wczesna wersja nowego modelu, udostępniona użytkownikom do testowania i zbierania informacji zwrotnych przed wprowadzeniem pełnej wersji.

ChatGPT-01-preview wyróżnia się bardziej naturalnym i płynnym stylem prowadzenia rozmów w porównaniu do wcześniejszych modeli. Oferuje lepsze rozumienie kontekstu i zdolność do dłuższych, bardziej skomplikowanych interakcji, co ma uczynić go narzędziem bardziej efektywnym – zarówno przy prostych, jak i zaawansowanych zadaniach. Model ten potrafi generować zróżnicowane odpowiedzi w szerokim zakresie tematów, od technicznych po kreatywne, co ma pozwolić na wszechstronne zastosowanie w edukacji, biznesie i tworzeniu treści.

Jednym z kluczowych celów wersji „preview” jest umożliwienie użytkownikom zapoznania się z nowymi funkcjonalnościami, które wprowadza GPT-4, jak lepsze zrozumienie kontekstu rozmowy, unikanie błędów logicznych oraz poprawiona umiejętność uczenia się na podstawie interakcji z użytkownikiem. Model ten ma również bardziej rozbudowany mechanizm kontroli odpowiedzi, co zmniejsza ryzyko generowania treści niewłaściwych czy nieodpowiednich.

Wersja „preview” jest jednocześnie testem, dzięki któremu twórcy mogą zbierać dane na temat tego, jak model funkcjonuje w praktyce i jakie są jego mocne oraz słabe strony, co pozwala na dalsze jego doskonalenie przed szerokim wdrożeniem na większą skalę.
Oto kilka kluczowych różnic i nowych funkcji:

1. Zwiększona precyzja odpowiedzi: Model o1-preview jest bardziej precyzyjny w generowaniu odpowiedzi, dzięki ulepszonym algorytmom przetwarzania danych. Zoptymalizowano sposób, w jaki model analizuje kontekst, co pozwala na lepsze rozumienie pytań i formułowanie bardziej trafnych odpowiedzi.
2. Lepsze zrozumienie kontekstu i intencji użytkownika: ChatGPT o1-preview potrafi bardziej efektywnie utrzymywać kontekst rozmowy przy długich dyskusjach, co sprawia, że odpowiedzi są bardziej spójne i związane z wcześniejszymi tematami. Wcześniejsze wersje modelu miały tendencję do „zapominania” kontekstu przy dłuższych konwersacjach.
3. Zaawansowana personalizacja: o1-preview ma zdolność do bardziej precyzyjnego dostosowania odpowiedzi do indywidualnych preferencji użytkowników. Możliwości modelu pozwalają na lepsze rozumienie unikalnych potrzeb i stylu komunikacji rozmówcy.
4. Rozszerzone możliwości korzystania z narzędzi: W tej wersji wprowadzono dodatkowe narzędzia, które umożliwiają integrację z innymi funkcjonalnościami, jak generowanie obrazów (np. DALL-E), przetwarzanie danych w Pythonie, a także możliwość przeszukiwania i przetwarzania informacji w czasie rzeczywistym (np. korzystanie z przeglądarki internetowej).
5. Lepsze radzenie sobie z wielojęzycznością: o1-preview oferuje lepsze wsparcie dla wielu języków, co pozwala na bardziej płynne tłumaczenie i generowanie tekstów w różnych językach. Model bardziej naturalnie dostosowuje się do różnych gramatyk i stylów pisania.
6. Redukcja halucynacji i błędnych informacji: Choć wcześniejsze wersje modelu czasami generowały nieprawdziwe informacje (tzw. „halucynacje”), o1-preview jest lepiej zoptymalizowany pod kątem minimalizowania takich przypadków, co prowadzi do bardziej wiarygodnych odpowiedzi.

Na temat nowych możliwości ChatGPT wypowiedzieli się eksperci z IDEAS NCBR – ośrodka badawczo-rozwojowego działającego w obszarze sztucznej inteligencji i ekonomii cyfrowej. Instytucja ta powołana została przez Narodowe Centrum Badań i Rozwoju i należy do Grupy NCBR, której misją jest wspieranie rozwoju technologicznego Polski.

Dr hab. Piotr Sankowski – lider grupy badawczej “Inteligentne algorytmy i struktury danych” IDEAS NCBR

OpenAI opublikowało nowy model sztucznej inteligencji, który można nazwać modelem hybrydowym, tzn. łączy on generatywne modele językowe z większym systemem, który przeprowadza rozumowania logiczne. Porównując to jak działa ten model teraz z tym jak funkcjonował wcześniej, to starsze modele „recytowały z pamięci”, a ten model przed odpowiedzią się „zastanawia” i nie mówi od razu tego, co mu „ślina na język przyniesie”.

Widać ogromny wzrost skuteczności tego modelu w rozwiązywaniu zadań matematycznych czy programistycznych, a przede wszystkim został zademonstrowany potencjał do rozwiązywania zagadek logicznych, których wcześniej model nie widział. To właśnie znajduje potwierdzenie w przeprowadzonych testach przez OpenAI, tzn. model rozwiązuje zadania z międzynarodowych olimpiad matematycznych czy informatycznych oraz odpowiada na pytania badawcze na poziomie doktoratu. Innymi słowy dzięki dobudowaniu umiejętności rozumowania otrzymaliśmy model, który jest w stanie konkurować z ekspertami dziedzinowymi, a nie tak jak wcześniej wie trochę o wszystkim. Jest to rzeczywiście przełomowa zmiana, bo teraz każdy z nas pośrednio może robić rzeczy, których wcześniej nie był w stanie.

Warto też zdawać sobie sprawę, że ten rozwój się nie zatrzymał, bo jest to tylko pierwszy model tego rodzaju. Na pewno kolejne będą działały jeszcze lepiej i będą wstanie rozwiązywać jeszcze bardziej skomplikowane zadania, np. dowodzić wcześniej nieznane twierdzenia matematyczne. Dalszy rozwój tych narzędzi będzie następował bardzo szybko, a ich wpływ na innowacje i odkrycia naukowe będzie się zwiększał. W tym kontekście trzeba też odwołać się do pracy opublikowanej tydzień temu przez badaczy ze Stanforda którzy pokazali, że współczesne modele językowe są w stanie generować lepsze projekty badawcze niż doświadczeni naukowcy.

Prof. dr hab. inż. Tomasz Trzciński – lider grupy badawczej “Uczenie maszynowe zero-waste w wizji komputerowej” IDEAS NCBR

Rynek pracy już się zmienia, choćby w wyniku wprowadzania poprzednich iteracji technologii opartej na generatywnej sztucznej inteligencji, natomiast postępujące zwiększanie autonomii systemów AI na pewno te zmiany przyspieszy. Moje obserwacje wskazują, że najbardziej zagrożone w informatyce są stanowiska juniorskie, co paradoksalnie może sprawić, że doświadczone osoby z dużą wiedzą będą jeszcze bardziej pożądane w przyszłości niż teraz (bo zabraknie nowej kadry zastępującej ich w przyszłości, kiedy starsi odejdą na emeryturę).

Jednocześnie, zgodnie z paradoksem Jevonsa mówiącym o tym, że im wydajniej wykorzystujemy dany surowiec, tym bardziej jest on potrzebny i w efekcie więcej go potrzebujemy, przewiduję wzrost ogólnego zapotrzebowania na umiejętności programistyczne na świecie. Nie będzie to już jednak ten sam zestaw umiejętności, którego uczymy na uniwersytetach dziś – w cenie będzie umiejętność szybkiego prototypowania na bazie istniejących rozwiązań, umiejętność ich sprawnej selekcji i finalnie bardzo precyzyjnej modyfikacji i dopasowania do finalnego rezultatu.

Przewiduję pojawienie się milionów nowych aplikacji i systemów IT, których nie da się nauczyć w ciągu całego życia, trzeba więc będzie trochę rozumieć każdy z nich i dużo więcej czasu poświęcać na aktualizację wiedzy, a nie jej ścisłe wykorzystanie.

Dr inż. Krzysztof Walas – lider zespołu badawczego “Robotyka interakcji fizycznej” IDEAS NCBR

Czy widzisz potencjalne zagrożenia związane z możliwością autonomicznego podejmowania decyzji przez AI w skomplikowanych procesach technologicznych?

Myślę, że zagrożenie jest duże. Autorzy modelu, w szczególności zespół gotowości [którego szefem jest Polak, prof. Aleksander Mądry – red.] przygotował raport poświęcony bezpieczeństwu systemu. Co więcej, autorzy modelu podkreślają, że nie jest on jeszcze w pełni autonomiczny. Pomocny jest też mechanizm „chain of thoughts”, czyli łańcuch myśli.

Jak pisze OpenAI, “wierzymy, że ukryty łańcuch myśli przedstawia wyjątkową szansę na monitorowanie modeli. Zakładając, że jest on wierny i czytelny, ukryty ciąg myślowy pozwala <<odczytać umysł>> modelu i zrozumieć, w jaki sposób on myśli. Na przykład w przyszłości możemy chcieć monitorować łańcuch myślowy pod kątem oznak manipulacji użytkownikiem.

Jakie środki bezpieczeństwa i kontroli powinny być wprowadzone, aby zminimalizować ryzyko nadużycia takich narzędzi w przyszłości?

Ważnym krokiem są działania na rzecz bezpieczeństwa, które prowadzi samo OpenAI – autorzy piszą, że “sformalizowali porozumienia z amerykańskimi i brytyjskimi instytucjami zajmującymi się bezpieczeństwem AI” – ale nadal jest to wewnętrzny zespół tej firmy, więc nie jest w pełni bezstronny. Potrzebne byłoby zewnętrzne, niekomercyjne ciało, które mogłoby testować tego typu systemy. Ponadto na ten moment to OpenAI decyduje, kiedy wypuszcza model na produkcję. Takich rzeczy nie robimy np. w przemyśle lotniczym. Nie wsiadamy do samolotu, który przeszedł tylko wewnętrzne testy producenta, w oparciu jego własne procedury.

Dlaczego rozwiązanie zadań na olimpiadzie informatycznej jest tak przełomowe?

To tylko jakiś wycinek kompetencji. Kluczem jest tutaj „Learning to reason”. Olimpiady były tym miejscem, gdzie nie chodzi tylko o bierne przetwarzanie wiedzy, ale o wnioskowanie i znajdywanie nowych rozwiązań.

Czy uważasz, że istnieje realne ryzyko masowych zwolnień pracowników z powodu rozwoju technologii AI?

Ten scenariusz wydaje się bardzo realny. Na pewno znacząco wpłynie to na rynek programistyczny. Co raz więcej i co raz bardziej rozbudowanych zadań programistycznych można rozwiązać odpowiednim promptem.

Jakie sektory gospodarki mogą najbardziej zyskać na wdrożeniu takich narzędzi, a które mogą najbardziej ucierpieć?

Na razie sektory gospodarki, które wymagają pracy fizycznej nie są tak bardzo zagrożone, gdyż hardware (roboty) nie są tak zaawansowane. Najbardziej zagrożone są branże związane, z programowaniem, przetwarzaniem danych, etc.

Czy widzisz ryzyko, że AI tego typu może pogłębić nierówności społeczne, np. poprzez wykluczenie osób bez dostępu do nowoczesnych technologii?

Myślę, że dostęp do narzędzi tego typu bardzo pogłębi nierówności społeczne. W wielu branżach pozwoli pracować na przykład 10x szybciej niż osoby, które nie posiadają takiego dostępu. Myślę, że bardzo może ucierpieć branża usług wspólnych, które aktualnie duże korporacje outsourcingują do Polski. Myślę, że dzięki takim modelom możliwy będzie reshoring i wiele z tych prac wróci do US.

Dr Łukasz Kuciński – Senior Research Scientist, grupa badawcza “Bezpieczeństwo systemów i prywatność danych” IDEAS NCBR

W nowym ChatGPT o1-preview następuje zmiana paradygmatu w dziedzinie uczenia maszynowego: zamiast skupiać się wyłącznie na skalowaniu czasu treningu modeli, OpenAI koncentruje się na skalowaniu czasu ich inferencji. Zgodnie z “Gorzkimi lekcjami” Richarda Suttona, dwie techniki efektywnie skalują się wraz ze wzrostem mocy obliczeniowej: uczenie i wyszukiwanie.

ChatGPT o1-preview demonstruje, jak w praktyce można zaimplementować paradygmat skalowania czasu inferencji w środowisku produkcyjnym. W tym podejściu zamiast jednej krzywej zależności między mocą obliczeniową a efektywnością treningu, pojawiają się dwie krzywe: jedna dotycząca treningu (train-compute) i druga inferencji (test-compute). Takie podejście może pomóc ominąć problem malejących korzyści wynikających z dalszego skalowania mocy obliczeniowej podczas treningu modeli, znany jako “diminishing returns” w prawach skalowania treningu.

Istnieje możliwość, że duże modele nie są niezbędne do efektywnego rozumowania. ChatGPT o1-preview pokazuje, że można oddzielić proces rozumowania od samej wiedzy, tworząc model specjalizujący się w rozumowaniu, który potrafi delegować zapytania do innych systemów lub źródeł informacji, takich jak weryfikatory czy bazy danych. W ten sposób można znacząco zredukować zapotrzebowanie na moc obliczeniową.

Szczegóły dotyczące trenowania tego modelu nie są w pełni znane publicznie. Dotyczy to aspektów takich jak trening z wykorzystaniem metody “chain-of-thought” wspieranej przez uczenie ze wzmocnieniem (reinforcement learning), definicja funkcji nagrody, kryteria sukcesu, zastosowane metody wyszukiwania oraz koszty obliczeniowe związane z użyciem CPU i GPU.

Obecna konfiguracja modelu może być wykorzystana do samodoskonalenia, podobnie jak w przypadku algorytmów takich jak Monte Carlo Tree Search (MCTS) zastosowanych w AlphaGo. Można to porównać do koncepcji dwóch systemów myślenia: Systemu I, reprezentującego szybkie i intuicyjne reakcje, oraz Systemu II, odpowiadającego za bardziej refleksyjne i świadome rozumowanie, jak w metodzie “chain-of-thought” zastosowanej w ChatGPT o1-preview.

Zastosowanie metody “chain-of-thought” (CoT) potencjalnie zwiększa wytłumaczalność modeli oraz ułatwia badanie ich bezpieczeństwa poprzez wgląd w proces rozumowania. Ponadto, istnieje możliwość skalowania czasu inferencji modelu. Gdyby pozwolić modelowi “myśleć” przez dłuższy okres, na przykład dni czy tygodnie, być może mogłoby to doprowadzić do przełomowych odkryć naukowych, takich jak opracowanie leku na raka, stworzenie nowych technologii magazynowania energii czy rozwiązanie jednego z problemów milenijnych.

źródło: informacja prasowa