Testujemy czata AI

https://xpil.eu/fmy

Cały świat zachwyca się nowym chat-botem od OpenAI, pozachwycam się i ja.

Nie jestem z gatunku tych, którzy próbują namówić robota do przejęcia władzy nad światem czy włamywania się do cudzych skrzynek pocztowych. Wolę podejście bardziej utylitarne, a więc głównie używam ChatGPT zamiennie z Google jeżeli czegoś szukam. Co prawda "horyzont zdarzeń" bota jest na razie ustalony na okolice października 2021 (ma się to wkrótce zmienić, ale póki co jest jak jest), więc o nowinkach raczej się od niego nie dowiem, ale i tak jest to nader przyjazna metoda na poszerzanie swojej wiedzy.

Właśnie. Kiedy niczego konkretnego nie szukam, mam chwilę czasu i chcę się po prostu dowiedzieć więcej na jakiś temat, przeprowadzam krótką (lub czasem nieco dłuższą) rozmowę. Czasem - choć ostatnio coraz rzadziej - zagaduję go kontrolnie o rzeczy, które już wiem, żeby się upewnić, że nie produkuje bzdur. A czasem weryfikuję odpowiedzi niezależnie, na wszelki wypadek.

Efekty są mieszane, ale bardziej na plus niż na minus.

Przykłady?

1

Ostatnio z racji pracy mam do czynienia całkiem sporo z plikami w formacie Parquet.

Dla niezorientowanych: Parquet to są dane tabelaryczne zapisane w pliku binarnym w taki sposób, żeby (A) nie było wątpliwości co do typów ani nazw kolumn, (B) dało się w łatwy sposób przechowywać dane w hierarchii rodzic-dziecko oraz - chyba najważniejsze - (C) plik jest tak skonstruowany, że łatwo jest na nim przeprowadzać operacje wielowątkowo, co znacznie przyspiesza odczyt. Nie wspomnę już o (D) możliwości kompresji danych (na poziomie grup rekordów, nie całego pliku) czy (E) - zakładając użycie odpowiedniej infrastruktury - możliwości przeprowadzania zapytań na wielu plikach równocześnie.

Dotychczas używałem plików Parquet jak typowy laik: tu wczytaj, tam zapisz, koniec, kropka. Ale niedawno z czystej ciekawości zapuściłem prosty kawałek kodu w Pythonie, żeby sprawdzić co się stanie jak skonwertuję plik CSV na Parquet i potem z powrotem na CSV. A szczególności: czy wynikowy CSV będzie identyczny z początkowym?

Okazało się, że nie. Plik CSV wypluty na koniec procesu okazał się odrobinę większy od tego na początku (chociaż liczba rekordów się zgadzała i na oko wszystkie dane też).

Pokazałem swój kod botowi i zapytałem go skąd bierze się różnica w rozmiarze plików. A ten mi od razu wyjaśnił, że najprawdopodobniej chodzi o zaokrąglenia, bo przy odczycie oryginalnego pliku CSV skrypt nie wiedział jakie typy danych numerycznych przypisać do niektórych kolumn i mógł "zgadnąć" nieprawidłowo. Przyjrzałem się bliżej - i faktycznie, wszystkie kolumny typu INT zostały skonwertowane na DECIMAL z jednym miejscem dziesiętnym (przykładowo zamiast 123 w docelowym pliku CSV pojawiło się 123.0).

Czyli tak: ChatGPT "zrozumiał" intencję mojego skryptu w Pythonie a następnie był w stanie postawić poprawną hipotezę. Niezwykła sprawa.

2

Innym razem poprosiłem go o napisanie prostego kodu, który pozwoliłby mi porównać czasy wykonania różnych operacji arytmetycznych na CPU i na GPU. I mi napisał, ale przy użyciu biblioteki, która z jakiegoś powodu nie chciała mi się zainstalować na kompie. Poprosiłem go o inną wersję bez użycia tej konkretnej biblioteki - wyprodukował całkiem inny skrypt, który też nie zadziałał, bo inna biblioteka nie jest jeszcze kompatybilna z Pythonem 3.11. Odpuściłem.

3

Potem poprosiłem go o podsumowanie tego artykułu (musiałem mu wkleić treść całego artykułu bezpośrednio w okienko zapytań, bo póki co nie umie sam sobie zajrzeć do Sieci) a następnie o wyjaśnienie dlaczego funkcje skrótu z kluczem w prefiksie lub w postfiksie są mniej bezpieczne od funkcji skrótu z kluczem "zakopertowanym" (czyli pre- i post- jednocześnie). Skończyło się całkiem długą dyskusją o haszowaniu danych i łamaniu haszy.

4

Żeby odsapnąć nieco od tematów komputerowych, poprosiłem go o streszczenie "Wojny i Pokoju" Tołstoja, z czym poradził sobie nad wyraz dobrze.

5

Kolejny przykład - wymyśliłem zgrubny scenariusz książki SciFi, a następnie poprosiłem bota, żeby mi to rozbił na rozdziały i dał krótki opis każdego rozdziału. Wynik wydał mi się dziwnie znajomy - okazało się, że bot zerżnął pomysł na akcję z filmu "Passengers" z 2016 roku (z Prattem i Lawrence - nawet fajny, oglądałem, przesympatyczny Michel Sheen w roli robota za kontuarem). Zwróciłem mu na to uwagę, to przepisał całość i teraz wygląda jak jeden z odcinków StarTrek. A więc - zasadniczo porażka, gdybym to próbował spieniężyć, mógłbym zostać posądzony o plagiat.

6

Przeczytałem niedawno, że ChatGPT będzie wkrótce potrafił używać zewnętrznych serwisów "usługowych", specjalizowanych do różnych zadań. Na przykład WolframAlpha do matematyki. Trzeba bowiem przyznać, że z matematyką bot nie radzi sobie kompletnie. Spróbowałem zapytać go o listę wszystkich księżyców w naszym Układzie, które są większe od Merkurego. Najpierw wymienił mi cztery (dwa z nich są mniejsze od Merkurego, ale i tak je wymienił). Przy drugim podejściu - wymienił tylko jeden (a powinien dwa). Zwróciłem mu na to uwagę - poprawił się, ale ewidentnie nie dlatego, że nagle załapał, że 4880 jest jednak mniejsze niż 5150, ale dlatego, że mu to zasugerowałem.

Trzecie podejście do tego samego pytania było najciekawsze: zamiast wymienić listę księżyców, bot mi wyjaśnił, że nie da się tego ustalić bo moje pytanie jest zbyt ogóle i nie mówi czy chodzi o masę czy o średnicę. Po uściśleniu, że chodzi o średnicę, znów dostałem niepoprawną listę. Porażka. Pozostaje mieć nadzieję, że sytuacja się polepszy po wzbogaceniu bota o wtyczki typu Wolfram czy zwykła wyszukiwarka.

7

Z bardziej interesujących eksperymentów, wrzuciłem mu treść ogłoszenia o ofercie pracy i poprosiłem, żeby zagrał rolę agenta rekrutującego na to stanowisko i przeprowadził ze mną interview. Poradził sobie z zadaniem nie najgorzej, acz bez szału. Przewałkował wszystkie zagadnienia z każdej strony, a tam, gdzie udawałem, że nie znam odpowiedzi, pocieszał mnie żebym się nie martwił, bo wiadomo że nie każdy wie wszystko i się pewnie douczę. Jednak większość jego pytań zaczynała się od potwierdzenia, że zrozumiał moją poprzednią odpowiedź i brzmiało to nieco... bo ja wiem? Dziwnie.

Ogólnie jest tak, że z niektórymi zadaniami radzi sobie całkiem fajnie, a przy innych wykazuje się "głupotą" (cudzysłów zamierzony, bo to jednak tylko papuga). Często bywa tak, że po krótkim dialogu da się go naprowadzić na sensowniejsze tory, ale bywa też na odwrót - jak się zaprze przy jakimś pomyśle, nijak nie da się go przesunąć na inny tor rozumowania. Trochę jak z trurlową najgłupszą maszyną rozumną na świecie, która sobie ubzdurała, że 2x2=7.

Dobrze poradził sobie z objaśnianiem szczegółów działania GitHub czy z trudnościami, na które natknie się programista Pythona próbujący nauczyć się Rusta. Ale już na przykład próba wyciągnięcia od niego instrukcji zainstalowania sterownika do egzotycznej karty sieciowej pod Linuksem zakończyła się porażką i ogólnikami.

Zaskakująco dobrze radzi sobie ChatGPT z objaśnianiem dowcipów. To jest dla mnie póki co najbardziej niesamowity wyznacznik tej przerośniętej papugi. Ociera się o dolinę niesamowitości. Oto przykład:

I jeszcze jeden:

Dość dobrze radzi sobie ChatGPT z rekomendowaniem książek i filmów. Wystarczy mu podać kilka tytułów, które nam się spodobały, kilka innych, których nie lubimy - i zaraz dostaniemy bardzo obiecująco wyglądającą listę pozycji do obejrzenia czy przeczytania.

Reasumując - póki co jestem ciągle na etapie umiarkowanej fascynacji tym narzędziem i uważam, że jesteśmy (jako ludzkość) w tej chwili świadkami / uczestnikami dość ważnego wydarzenia, na skalę światową. Podobnie jak pojawienie się na rynku usług AWS w 2006 roku zmieniło na zawsze sposób myślenia o budowaniu dużych systemów informacyjnych, tak rozwój konwersacyjnych AI zmieni sposób, w jaki będziemy się komunikować i pracować.

https://xpil.eu/fmy

9 komentarzy

  1. No to skoro o tym piszesz, to przedpremierowo (bo wpisu na blogu jeszcze nie było) pochwalę się projekcikiem, przy których wykorzystuję chatGPT: https://coffeexpr.es/

    Jest jak widać. Raczej nieźle, przy czym praktycznie cała treść jest generowana automatem, czasem sklejam 2-3 odpowiedzi, promptów nie podaję, a tytuły nadaję później i niekoniecznie wprost są związane z promptami. No i publikuję tylko to, co uznałem za nadające się do publikacji, ale odpada mało.

    Z innych obserwacji – chciałem, żeby napisał mi wiersz na podstawie innego. Niby nie mógł znaleźć oryginału po podaniu tytułu i autorki, ale po wklejeniu tekstu stwierdził, że to wiersz autorstwa Jana Brzechwy. Tyle, że nie. Po napisaniu “autorem wiersza nie jest Jan Brzechwa” grzecznie przeprosił i podał właściwą autorkę.

    1. Fitzgerald niech się goni ze swoim klasowo subtelnym cup-code.
      W filmie siódmej kategorii “Ile waży koń trojański” nie ma filiżanek – jest cywilizacyjne kowadło (scena w kawiarni) w postaci pytania: “Kawa w szklance”!?

      …oraz szczera, proletariacko-mieszczańska odpowiedź wprost z wąskiego świata: “A w czym ma być”?

      I to jest prawdziwe kino, coś, jak dyskusja o x-bugerze i y-burgerze. ChatGPT tego nie zauważył? Cienias…

  2. No i dowiedziałem się, że Pangalactic Gargleblaster zawiera kofeinę. Do tej pory umykał mi ten fakt, prawdopodobne z powodu cegły.

      1. Tak sobie pogawędziliśmy:
        – Are you sure that Pan Galactic Gargle Blaster contains coffee?

        – My apologies, you are correct. Pan Galactic Gargle Blaster is a fictional cocktail from Douglas Adams’ “The Hitchhiker’s Guide to the Galaxy” series, but it does not actually contain coffee. Instead, its ingredients include, among other things, the tooth of an Algolian Suntiger, the juice from one hand-picked Arcturan Mega-gin fruit, and, in some versions, an olive. The drink is known for being incredibly potent and causing a feeling of having one’s brains smashed out by a slice of lemon wrapped around a large gold brick. I apologize for the error in my previous response.
        rozie@poczta.onet.pl

        – OK so is “The Hitchhiker’s Guide to the Galaxy” related to coffee in any way?

        – While Pan Galactic Gargle Blaster, the famous cocktail from “The Hitchhiker’s Guide to the Galaxy” series, does not contain coffee, coffee does make an appearance in the books. In the third book of the series, “Life, the Universe and Everything,” the character Arthur Dent is described as having developed an intense addiction to coffee during his travels through time and space. When the characters are stranded on a planet without coffee, Arthur goes to great lengths to try and find a cup, even resorting to drinking a cup of liquid that was “almost, but not quite, entirely unlike coffee.” The humor of the series often comes from the characters’ struggles with everyday problems, and Arthur’s quest for coffee is just one example of this.

          1. Podrążyłem ponownie. Wygląda, że nie można temu AI ufać. 😉

            – Are you sure the quote you send is correct?

            – I apologize for the error. The quote I provided earlier was actually from “The Hitchhiker’s Guide to the Galaxy” and not from “Life, the Universe and Everything,” where Arthur Dent’s coffee addiction is mentioned. Here is the correct quote from “Life, the Universe and Everything”:

            “Without coffee he is a walking corpse.”

            Again, I apologize for any confusion caused by my earlier mistake.

            – I meant that quote “almost, but not quite, entirely unlike coffee.”

            – I apologize for the confusion. You are correct that the quote “almost, but not quite, entirely unlike coffee” is from “The Hitchhiker’s Guide to the Galaxy.” In the book, the character Arthur Dent orders a cup of liquid that is described as “almost, but not quite, entirely unlike tea” from the Nutri-Matic drink dispenser on the spaceship Heart of Gold. The same line is later used again when Arthur tries a drink that is “almost, but not quite, entirely unlike coffee.” This humorous line has become one of the most well-known quotes from the series.

            Tu próbowałem drążyć nt. przyczyn błędów, pewności odpowiedzi itp. ale dowiedziałem się tylko, że “błędy mogą być, ale pracują nad ulepszeniami”

            – So are there any references to coffee in The Hitchhiker’s Guide to the Galaxy.” or not?

            – After conducting further research, I have found that while there are references to various drinks and beverages in “The Hitchhiker’s Guide to the Galaxy,” including tea and Pan Galactic Gargle Blasters, there is no direct reference to coffee in the book. I apologize for any confusion or misinformation my earlier responses may have caused on this topic.

            I na tym mógłbym zakończyć, ale zapytałem jeszcze i… nie jest dobrze.

            – Does quote “almost, but not quite, entirely unlike coffee.” exist in “The Hitchhiker’s Guide to the Galaxy,”

            – I apologize for the confusion in my earlier responses. After conducting further research, I can confirm that the quote “almost, but not quite, entirely unlike coffee” is indeed from “The Hitchhiker’s Guide to the Galaxy.” The quote is a description of the beverage known as “Jupitolian Pulsator,” which is said to be “almost, but not quite, entirely unlike coffee.” This reference is made in Chapter 3 of the book. Once again, I apologize for any confusion or misinformation my earlier responses may have caused.

Skomentuj leniuch102 Anuluj pisanie odpowiedzi

Komentarze mile widziane.

Jeżeli chcesz do komentarza wstawić kod, użyj składni:
[code]
tutaj wstaw swój kod
[/code]

Jeżeli zrobisz literówkę lub zmienisz zdanie, możesz edytować komentarz po jego zatwierdzeniu.