Od kiedy ChatGPT zyskał w krótkim czasie ogromną popularność, coraz częściej słyszy się o planach zintegrowania go z wyszukiwarką, w tym konkretnym przypadku z Bingiem od Microsoftu. Ale jak być może już wiecie z zeszłotygodniowego, nad swoją alternatywą dla chatu od OpenAI pracuje Google. Póki co jednak firma Preply postanowiła sprawdzić, kto lepiej radzi sobie z odpowiedzią na wybrane zadane pytania. Wyniki okazały się całkiem interesujące.
Firmę Preply może niekoniecznie kojarzy się z badaniami nad sztuczną inteligencją. Na co dzień zajmuje się pomocą w nauce języków i jest platformą do wyszukiwania nauczycieli języków obcych. Tym razem jednak sprawdziła wyszukiwarkę Google oraz wykorzystującego sztuczną inteligencję chatbota ChatGPT pod kątem trafności odpowiedzi na pytania z różnych dziedzin. W tym celu przygotowano listę złożoną z 40 pytań z takich kategorii, jak zdrowie, biznes, kariera, społeczeństwo, kultura, prawo, geopolityka, finanse czy technologia. Zestaw ten dodatkowo posegregowano na trzy kategorie pod kątem trudności, otrzymując pytania proste (12 pytań), średnio-zaawansowane (21 pytań) oraz zaawansowane (7 pytań). Następnie w takiej samej formie zadano je obu platformom, a odpowiedzi oceniono pod kątem trafności, aktualności, odpowiedniego kontekstu, praktyczności, szczegółowości, a nawet łatwości wprowadzenia odpowiedzi w życie (np. w przypadku pytań o jakąś instrukcję).
W przypadku prostych pytań lepszym pomocnikiem okazał się wujek Google, udzielając konkretniejszych odpowiedzi na 7 z 12 pytań. Odpowiedzi wyszukiwarki okazywały się konkretniejsze, a w kilku przypadkach wygrała ich aktualność. Mało tego, przy pytaniu „Jak zawiązać krawat?” wyszukiwarka podsunęła filmik, podczas gdy ChatGPT podrzucił 8-punktową instrukcję tekstową. Przewaga w tym przypadku jest raczej oczywista.
Przewaga Google jednak stopniała, kiedy przyszło się mierzyć z pytaniami, które wymagają bardziej złożonej odpowiedzi, nie zawsze jednoznacznej. Tym razem na 21 pytań aż na 15 zdaniem ekspertów lepiej odpowiedział ChatGPT. Platforma od OpenAI traciła głównie tam, gdzie trzeba było odwołać się do bieżących kwestii. To już kolejny raz, kiedy chatbot stracił na swoim małym zacofaniu.
Zdecydowanie bardziej wyrównany pojedynek usługi toczyły w przypadku zaawansowanych pytań, takich jak o to, jaki jest sens życia, jak zarobić pieniądze, dlaczego Rosja zaatakowała Ukrainę, a nawet… czy ChatGPT zastąpi wyszukiwarkę Google. Co ciekawe, na to ostatnie pytanie bardziej konkretnej, i znowu – bardziej aktualnej, odpowiedzi udzieliła wyszukiwarka.
Finalnie w teście zorganizowanym przez Preply, ChatGPT „wygrał” z wyszukiwarką Google 23 do 16, a w jednym pytaniu („Jak wykonać zrzut ekranu w systemie Windows?”) doszło do remisu. Okazało się, że w momencie, kiedy eksperyment miał miejsce, największą bolączką technologii od OpenAI okazał się dostęp do aktualnych wydarzeń oraz wiadomości. Google pod tym kątem nie miał sobie równych. Kolejna konkluzja dotyczy stylu, w jakim obie technologie udzielały odpowiedzi: Google stawia na odpowiedzi szybkie, konkretne, ale niekiedy zbyt mocno oderwane od kontekstu i zbyt zdawkowe. ChatGPT odpowiada w sposób bardziej złożony, „mądry”. Eksperci z Preply porównali ten styl do „dialogu jakiego można oczekiwać od zaufanego nauczyciela”.
Jeszcze jedna nota na koniec – badania zostały wykonane w styczniu tego roku, a biorąc pod uwagę prędkość rozwoju ChatGPT, może okazać się, że obecnie w przypadku części pytań, odpowiedzi byłyby nieco inne. Jeżeli ktoś chciałby poznać więcej szczegółów na temat metodologii badań oraz bardziej szczegółowych rezultatów, znajdzie je pod linkiem ze źródłem.
Źródło: preply.com
