Procesy promptowe zamiast myślowych. AI a krytyczne myślenie

Wiele miesięcy temu, w trakcie rozmowy kwalifikacyjnej z kandydatem, po raz pierwszy nie umiałem odróżnić jego słów od surowej odpowiedzi, jaką dałaby mi sztuczna inteligencja. Od tamtej pory takie sytuacje pojawiają się coraz częściej, zarówno przy czytaniu odpowiedzi z zadań rekrutacyjnych, jak i podczas słuchania ludzi na rozmowach, i za każdym kolejnym razem zadaję sobie pytanie, za co właściwie firmy miałyby płacić pensję, skoro dostęp do tych samych modeli, których używają ludzie po drugiej stronie, mogą mieć w firmowym abonamencie za kilkaset złotych miesięcznie. Samo pytanie jest pewnie zbyt surowe, bo za tymi odpowiedziami stoją konkretni ludzie, którzy chcieli pokazać się z dobrej strony. Dlatego dużo bardziej od szukania winnych zajmuje mnie to, co się po drodze zmieniło. Mam wrażenie, że nasze procesy myślowe zamieniają się na naszych oczach w procesy promptowe, a rekrutacja jest tylko miejscem, w którym obecnie widać to najwyraźniej.

Zaczęło się od dziwnego poczucia déjà vu w jednym z procesów rekrutacyjnych, które wtedy prowadziłem. Otwierałem kolejną odpowiedź na nasze zadanie rekrutacyjne i gdzieś w głębi przeczuwałem, co w niej przeczytam.

Samo zadanie wygląda niepozornie. To specyfikacja projektu, która imituje wstępne zapytanie od naszego klienta, z celowymi niedopowiedzeniami, bo prawdziwe zapytania też je mają. Prosimy kandydata, żeby w tym zanurkował i pokazał, jak rozumie problem opisanej firmy, zanim zacznie go rozwiązywać. Przykładamy do tego etapu dużą wagę i jesteśmy pod tym względem dość restrykcyjni. Z czasem odpowiedzi pisane czatem zacząłem widzieć także na pozostałych etapach procesu, w ankietach, które kandydaci uzupełniają przy aplikowaniu, w zadaniach pomiędzy etapami i wreszcie na samych rozmowach.

I od dłuższego czasu odpowiedzi, które do nas spływają, są do siebie bliźniaczo podobne. Powtarzają się te same kroki w zbliżonej kolejności i bardzo podobny sposób myślenia o problemie. W zadaniach związanych z estymacją uparcie wracał ten sam plan 30, 60 i 90 dni, jaki model wypluwa sam z siebie, kiedy poprosić go o rozpisanie takiej pracy. Kiedy wrzucamy nasze zadanie do czata, z prostym albo nawet nieco bardziej rozbudowanym promptem, dostajemy dokładnie to, co przysyłają albo odpowiadają kandydaci. Sztuczna inteligencja mocno różnicuje język, więc na pierwszy rzut oka każdy z tych tekstów wygląda inaczej. Dopiero kiedy położę je obok siebie, widzę, że ciągle czytam tę samą odpowiedź, tylko za każdym razem ubraną w inne słowa.

Przerabialiśmy to zadanie także wewnątrz firmy, bo dobrze odwzorowuje naszą codzienną pracę z klientami. I nikt z naszych ludzi nie podszedłby do problemu w ten sposób. Odpowiedź podsuwana przez czata brzmi rozsądnie i trudno się do niej od tak przyczepić, ale doświadczenie w tej branży uczy, że w praktyce takie podejście często zawodzi. Kandydaci najwyraźniej nie zadali sobie po drodze pytania, czy proponowane kroki mają szansę zadziałać u klienta opisanego w specyfikacji.

Nie jest to jedynie mój problem czy kwestia jednego zadania. Takie przypadki przynoszą mi dziś sami ludzie, którzy prowadzą u nas kolejne rekrutacje. To samo słyszę też od innych liderów, z którymi rozmawiam, od dyrektorów technicznych w software house’ach, przez dyrektorów HR w firmach produktowych, aż po rekruterów, którzy szukają do pomocy innych rekruterów. Rynek pracy zaczyna też reagować w sposób, który jeszcze dwa lata temu wyglądałby jakby firmy postanowiły cofnąć się w sposobie pozyskiwania nowych talentów. Z ankiet Gartnera wynika, że około 72% liderów rekrutacji prowadzi dziś rozmowy na miejscu, w biurze, właśnie po to, żeby wykluczyć podpowiadanie przez AI w czasie spotkań zdalnych. Google, Cisco i McKinsey przywróciły rozmowy twarzą w twarz w części swoich procesów. Zaznaczam, że to dane z branżowych ankiet i doniesień prasowych, nie z recenzowanych badań, ale kierunek zgadza się z tym, co widzę dookoła siebie.

Początkowo traktowałem całą sprawę jako problem uczciwości. Ktoś poszedł na skróty, zdarza się. Dziś myślę, że uczciwość jest tu najmniej ciekawym wątkiem, bo to, co dostaję od kandydatów, badacze zdążyli już zmierzyć i nazwać homogenizacją.

Dwadzieścia wiadomości dziennie

Rekrutacja jest zresztą tylko jednym z miejsc, w których to widzę. Przez rolę, którą pełnię w firmie, dostaję czasami nawet dwadzieścia zimnych wiadomości dziennie od ludzi, którzy chcą mi coś sprzedać. Nakładają się w nich ostatnio dwa trendy, hiperautomatyzacja i hiperpersonalizacja, i dochodzi przy tym do absurdów. W zaproszeniu na LinkedInie, w limicie około trzystu znaków, potrafię dostać tak skondensowaną informację o samym sobie, że te dwa zdania w ogóle się ze sobą nie łączą. A w dłuższych wiadomościach sprzedażowych wracają do mnie szablony, które sam wysyłałem dla heheszków piętnaście lat temu, kiedy raczkowałem w sprzedaży. Był wtedy taki patent, żeby klientowi, który uparcie nie odbiera telefonu, wysłać playlistę z utworami „Call Me Maybe”, „Not Right Now”, „We’re Not Gonna Take It” i „Leave Me Alone”. Trochę to był żart, a trochę desperacja. Dziś tamte zagrywki dostają od sztucznej inteligencji drugie życie i wracają do mojej skrzynki jako follow-upy do wiadomości zautomatyzowanych przez nieodpowiednie prompty.

Najpierw cały mój LinkedIn przekonywał, że sprzedaż trzeba promptować i automatyzować na potęgę. Część ludzi poszła więc w najprostsze zautomatyzowane rozwiązania, bez zastanawiania się, jak zrobić to sensownie. Dziś LinkedIn ogłasza, że automatyzacji było dość i trzeba wracać do człowieka. Co do zasady się z tym zgadzam, choć sztuczna inteligencja może w sprzedaży naprawdę pomagać. Tylko należałoby używać do niej procesów myślowych, a nie samych promptów, i wiem, jak ostro to brzmi, gdy teraz to wypowiadam.

Najdokładniej zmierzyli to Anil Doshi i Oliver Hauser. Ich eksperyment dotyczył krótkich opowiadań, ale wnioski przenoszą się na każdy tekst pisany z pomocą czata, od ofert handlowych po odpowiedzi rekrutacyjne.

W eksperymencie opublikowanym w „Science Advances” zaprosili trzystu autorów do napisania krótkiej, ośmiozdaniowej historyjki dla młodych dorosłych. Zanim ktokolwiek usiadł do pisania, każdy przeszedł test skojarzeń rozbieżnych, czyli prosty pomiar tego, na ile ktoś jest kreatywny bez żadnych podpórek. Potem badacze podzielili ludzi na trzy grupy. Pierwsza pisała bez pomocy. Druga dostawała od GPT-4 jeden trzyzdaniowy pomysł na fabułę. Trzecia mogła poprosić nawet o pięć takich pomysłów. Gotowe historie trafiły do sześciuset oceniających, którzy nie wiedzieli, jak powstawały. Efekt był łatwy do przewidzenia.

Teksty napisane z pomocą sztucznej inteligencji otrzymywały wyższe oceny. Najwięcej zyskiwali ci, którzy w teście kreatywności wypadli najsłabiej, bo ich historie oceniano jako nawet o ponad jedną czwartą lepiej napisane i wyraźnie przyjemniejsze w lekturze. Dopiero gdy badacze porównali wszystkie teksty, zobaczyli drugą stronę medalu, bo opowiadania pisane z jednym pomysłem od GPT-4 były o 10,7 procent bardziej podobne do siebie niż te pisane samodzielnie. Każdy autor z osobna napisał więc lepszy tekst, ale cała grupa stworzyła mniej różnorodnych historii.

Autorzy nazwali to dylematem społecznym. Jednostka korzysta, a zbiorowość traci część różnorodności pomysłów. Jeszcze ciekawszy okazał się inny wynik. Jedna podpowiedź ujednolicała teksty mocniej niż pięć różnych propozycji. Najwyraźniej pierwsza sugestia nie daje nam jedynie punktu wyjścia. Ustawia kierunek, w którym później biegnie całe nasze myślenie.

Łatwo pomyśleć, że handlowiec albo kandydat, który chce się odróżnić od reszty, może po prostu przenieść się do innego narzędzia, zmienić model czy dostawcę.

Emily Wenger i Yoed Kenett postanowili to sprawdzić. Wzięli szeroki zestaw modeli od różnych producentów i dali im te same standaryzowane testy kreatywności, którymi psychologowie od lat mierzą pomysłowość ludzi. Potem zmierzyli, jak bardzo odpowiedzi modeli są podobne do siebie nawzajem, i zestawili to z tym, jak bardzo różnią się między sobą odpowiedzi ludzi.

Modele odpowiadały o wiele bardziej podobnie do siebie, niż ludzie odpowiadają do innych ludzi, i to nawet po odsianiu różnic w strukturze czy długości odpowiedzi.

W literaturze funkcjonuje już na to termin monokultura algorytmiczna. Modele są wprawdzie rozwijane przez różne zespoły, ale uczą się na w dużej mierze wspólnych zasobach danych. W efekcie podpowiadają podobne rozwiązania, pomijają podobne możliwości i powtarzają podobne błędy. Z perspektywy użytkownika zmienia się więc okno czatu, ale niekoniecznie kierunek myślenia.

Kiedy nakładam to wszystko na nasze zadanie rekrutacyjne, przestaje mnie cokolwiek dziwić. Kandydaci przecież nie zmówili się między sobą. Każdy z nich osobno usiadł ze swoim czatem, dostał sensownie brzmiący plan i uznał go za własny. Równolegle niemal identyczną propozycję dostali wszyscy, którzy zadali podobne pytanie. I najbardziej zastanawia mnie w tych rozmowach to, że ludzie przynoszący bliźniacze odpowiedzi brzmią przy tym coraz pewniej.

Eksperci od wszystkiego

Na samych rozmowach kwalifikacyjnych kandydaci rzadziej niż kiedyś odpowiadają na moje pytania wprost, a częściej próbują odgadnąć, co chcę usłyszeć. Mam wrażenie, że lawirują. W trakcie zdania skanują reakcje moje i osób, które towarzyszą mi na spotkaniu, i na bieżąco kalibrują wypowiedź pod nasze oczekiwania. Trochę tak, jakby suflera szukali najpierw w nas, zanim znajdą go w narzędziach. To, co sami myślą, schodzi na dalszy plan, o ile w ogóle się pojawia.

Mam na to swój sposób, choć nie jest specjalnie wyrafinowany. Powtarzam na rozmowie jakąś modną tezę i sprawdzam, czy człowiek po prostu się z nią zgodzi, czy wejdzie w głębszą polemikę. To dziś mój główny filtr, bo najbardziej zależy mi na tym, żeby zobaczyć, czy ktoś myśli samodzielnie. I regularnie mam przed sobą ludzi, którzy sprawiają wrażenie ekspertów praktycznie od każdego tematu. Pewność siebie jest duża, a wiedza szeroka jak nigdy wcześniej, tylko że po dwóch albo trzech pytaniach pogłębiających robi się bardzo płytko.

Najlepiej opisuje to eksperyment z Uniwersytetu Aalto. Daniel Fernandes, Steeven Villa i Robin Welsch sprawdzili, co dzieje się z naszą samooceną, kiedy rozwiązujemy zadania z pomocą czata. Zaprosili do badania najpierw niespełna 250, a potem kolejne ponad 450 osób i dali im do rozwiązania zadania logiczne z LSAT, amerykańskiego egzaminu wstępnego na studia prawnicze. Połowa uczestników mogła korzystać z ChatGPT. Po zadaniach każdy oceniał, jak mu poszło, a za trafną ocenę własnych wyników płacono dodatkowe pieniądze, więc nikt nie miał powodu, żeby się oszukiwać.

Klasyczny efekt Dunninga-Krugera działa tak, że najsłabsi przeceniają swoje umiejętności najmocniej, a najlepsi mają skłonność do ich zaniżania. W grupie pracującej z czatem ten wzorzec się rozsypał. Swoje wyniki przeceniali wszyscy, niezależnie od faktycznych umiejętności.

A w części pomiarów efekt wręcz się odwrócił, bo najmocniej przeceniały się osoby przekonane o własnej wysokiej biegłości w korzystaniu ze sztucznej inteligencji.

Badacze zajrzeli też w to, jak uczestnicy faktycznie pracowali z narzędziem. Większość zadawała dokładnie jedno pytanie na zadanie. Kopiowali treść, wklejali ją do czata, brali wynik i szli dalej. Bez drugiego pytania i bez sprawdzenia, czy to, co dostali, w ogóle trzyma się logiki.

Pewność siebie, którą widzę u kandydatów, prawdopodobnie nie jest grą ani tupetem. Ci ludzie naprawdę czują się ekspertami, bo odpowiedź, z którą przychodzą, dobrze brzmi. Tyle że to przekonanie wzięło się z jakości tego, co pokazał im model, a nie z własnej drogi do rozwiązania. W takich warunkach nietrudno pomylić dostęp do wiedzy z jej posiadaniem.

Między przeczytaniem problemu a jego rozwiązaniem zawsze działa się jakaś praca. Człowiek musiał zrozumieć, co właściwie jest do zrobienia, rozkładał problem na mniejsze części, stawiał własną hipotezę i sprawdzał, czy ta w ogóle się trzyma. Uczestnikom badania ta środkowa część wypadła. Został początek, czyli przeczytanie treści, i koniec, czyli przyjęcie gotowej odpowiedzi. A skoro wypadła nawet w warunkach kontrolowanego eksperymentu, to trudno mi wierzyć, że w codziennej pracy, gdzie nikt nam nie patrzy na ręce, wygląda to lepiej. Ta wycięta środkowa część to właśnie proces myślowy. I to ją coraz częściej zastępujemy procesem promptowym.

Proces promptowy

Kiedy rozmawiam z ludźmi o ich realnych wyzwaniach, także daleko od rekrutacji, rozmowa zaskakująco szybko schodzi z samego problemu na to, co wpisać do czata i jak sformułować prompt, żeby wyciągnąć z niego dobrą odpowiedź. Pytanie „jak to rozwiązać” gdzieś po drodze zamienia się w pytanie „o co zapytać”.

Cała praca zaczyna się wtedy i kończy przy czacie. Układamy możliwie dobre polecenie, a później oceniamy, czy to, co wróciło, wygląda wystarczająco dobrze, żeby to komuś oddać lub pokazać. Nam samym zostaje rola nadzorcy cudzego myślenia.

O tym, jak ta nowa rola wygląda w codziennej pracy, sporo mówi badanie Microsoftu i Carnegie Mellon. Hao-Ping Lee z zespołem poprosili 319 pracowników wiedzy, którzy używają sztucznej inteligencji co najmniej raz w tygodniu, żeby opisali łącznie 936 prawdziwych sytuacji ze swojej pracy. Chodziło o konkretne maile, raporty i analizy, przy których ci ludzie faktycznie siedzieli, a przy każdej takiej sytuacji odpowiadali, ile własnego krytycznego myślenia w nią włożyli i jak bardzo zaufali temu, co zwróciło narzędzie.

Im bardziej ktoś ufał narzędziu, tym mniej krytycznego myślenia wkładał w zadanie. Im bardziej ufał własnym umiejętnościom, tym częściej sprawdzał, poprawiał i kwestionował, choć kosztowało go to więcej wysiłku.

Ważniejsze działo się jednak z samym myśleniem, bo ono u tych ludzi nie znikało, tylko zmieniało charakter. Przesuwało się ze zbierania informacji na weryfikację tego, co zwróciła maszyna, i z rozwiązywania problemów na sklejanie gotowych odpowiedzi, aż w końcu sama praca zamieniała się w jej nadzorowanie.

Kandydaci z naszych rekrutacji wzięli odpowiedź modelu, ocenili, że wygląda dobrze, i przekazali ją dalej. Sęk w tym, że żeby sensownie ocenić cudze myślenie, trzeba samemu umieć przejść tę drogę.

Łatwo wymagać jej od kandydata, mając przed sobą listę pytań, a potem wysłać wiadomość, przy której sami nie pomyśleliśmy ani przez chwilę. Trudno rzetelnie oceniać cudzą drogę, skoro własną przy każdej dłuższej wiadomości oddajemy modelowi.

Dziś, kiedy mamy do napisania dłuższego maila, bardzo często zaczynamy od otwarcia okna czata i wrzucenia do niego kilku zdań o tym, co chcemy przekazać. Czasem jest to krótkie polecenie, z którego model ma się domyślić reszty. Wraca tekst dłuższy i bardziej uprzejmy niż to, co mieliśmy w głowie, więc idzie dalej prawie bez zmian.

Po drugiej stronie odbiorca dostaje kilka akapitów, których nadawca nie napisał, a przed sobą ma jeszcze resztę korespondencji z tego dnia. Kopiuje więc to, co dostał, do swojego czata, prosi o streszczenie, a przy okazji o propozycję odpowiedzi. Odpowiedź wraca do nas równie rozbudowana, więc robimy z nią dokładnie to samo. Zdania układają w tej wymianie dwa modele, a my po obu stronach zajmujemy się kopiowaniem i wklejaniem.

Żart o tym, żeby spiąć ze sobą dwa czaty i pozwolić im dogadać się bez nas, krąży po sieci od dawna. Coraz trudniej się z niego śmiać, bo w takiej wymianie bywamy i nadawcą, i tym, kto wkleja cudzy tekst do streszczenia. Przy potwierdzaniu terminu czy ustalaniu szczegółów spotkania nic złego się nie dzieje. Gorzej, kiedy w ten sposób przechodzi przez nas opis problemu, zakres projektu albo informacja zwrotna dla kogoś z zespołu.

Nieważne, jak tekst powstał, skoro to ja przekazałem modelowi swoje myślenie, a on je tylko ubrał w słowa. Tak to sobie tłumaczymy i trudno się z tym nie zgodzić, dopóki mamy co przekazać. Do okna czata równie łatwo wpisać samo polecenie i poczekać, aż model wymyśli treść za nas. Z zewnątrz obie wiadomości wyglądają tak samo, więc ludzie coraz częściej przestają czytać te dłuższe i z góry zakładają, że po drugiej stronie i tak pisał czat.

Narzędzie podniosło przy tym poprzeczkę. Skoro wszyscy piszą dłużej i szybciej, to i wiadomości przychodzi więcej, a z zewnątrz widać po nich jedynie to, jak szybko ktoś odpisał. Rozbudowana wiadomość powstaje w minutę, a zrozumienie, o co naprawdę chodzi drugiej stronie, zajmuje kilkanaście. Wybieramy minutę, bo tylko ona mieści się w dniu, który mamy. Razem z pisaniem oddajemy wtedy modelowi decyzję o tym, co właściwie chcemy powiedzieć drugiemu człowiekowi, a po całej wymianie wiemy o sprawie mniej więcej tyle samo, co przed nią, tylko mamy ją odhaczoną.

W nagłówkach w portalach informacyjnych całe to oddawanie myślenia maszynie funkcjonuje pod hasłem „czy AI nas ogłupia”, a poważniej postawione pytanie brzmi, jak AI wpływa na krytyczne myślenie. Dane są mniej jednoznaczne niż nagłówki.

Michael Gerlich zebrał dane od ponad 600 osób i im częściej ktoś korzystał ze sztucznej inteligencji, tym słabiej wypadał w testach krytycznego myślenia, a zależność była najmocniejsza u najmłodszych. Pośredniczyło w tym zjawisko nazywane cognitive offloading, czyli odciążenie poznawcze, bo im chętniej przenosimy wysiłek umysłowy na narzędzie, tym rzadziej uruchamiamy go sami.

To jednak korelacja, a nie dowód, równie dobrze ludzie o słabszym krytycznym myśleniu mogą częściej sięgać po czata. Z kolei zespół z MIT Media Lab, którego eksperyment opisywałem już szerzej w „Tęsknię za myśleniem”, ukuł na ten stan pojęcie długu poznawczego, bo odkładane myślenie działa jak odkładany dług i koszty kiedyś trzeba spłacić. W ich badaniu osoby piszące eseje z czatem miały największy kłopot z zacytowaniem zdania z tekstu, który oddały chwilę wcześniej, a kiedy w kolejnej rundzie zabrano im narzędzie, ich mózgi nie wracały od razu do dawnego zaangażowania. Dodam tylko, że to eksperyment na 54 osobach i wciąż bez recenzji naukowej, więc traktuję go jako hipotezę.

Ta zamiana nie kończy się zresztą na rekrutacji. W sprzedaży, o której pisałem wcześniej, mało kto zastanawia się, dlaczego klienci przestali odpisywać, za to dokręca się kolejne automatyzacje. W mailach, raportach i analizach z badania Microsoftu widać ją w najzwyklejszej pracy biurowej.

We wszystkich tych miejscach brak środkowej części procesu może długo pozostawać niewidoczny, bo gotowy efekt wygląda tak samo porządnie niezależnie od tego, czy ktoś go przemyślał. Do tego myślenie produkowało po drodze nie tylko rozwiązanie, ale też wątpliwości i pytania, którymi człowiek sam siebie sprawdzał. Czat wątpliwości często nie zgłasza, bo jest zbudowany tak, żeby się z nami zgadzać, więc znika też naturalny moment zatrzymania. Klient po prostu nie odpisuje, a przygotowany czatem raport trafia do przełożonego (który czasem też używa AI, by go przeanalizować), a ponieważ wygląda jak każdy inny, nic w tej pętli nie wskazuje, że zabrakło w niej myślenia.

Rekrutacja jest pod tym względem bezlitosna. Siedzimy przy jednym stole i w każdej chwili mogę zadać pytanie, którego nie było w żadnym prompcie. O ile oczywiście kandydat na spotkaniu online nie korzysta z narzędzi, które na bieżąco analizują rozmowę i podsuwają mu rekomendacje odpowiedzi.

Aplikacje w rodzaju Cluely czy Final Round AI wyświetlają podpowiedzi na półprzezroczystej nakładce, niewidocznej przy udostępnianiu ekranu, a firma analizująca rozmowy rekrutacyjne policzyła na próbce dziewiętnastu tysięcy rozmów, że odsetek kandydatów korzystających z takich suflerów podwoił się w drugiej połowie 2025 roku z 15 do 35 procent. Oczywiście to dane od dostawcy, który żyje z ich wykrywania, więc biorę na nie poprawkę.

Prompter

Z takim suflerem zetknąłem się osobiście w zeszłym roku. Prowadziliśmy zdalną rozmowę rekrutacyjną z kandydatem starającym się o jedno ze stanowisk u nas w firmie i od początku miałem wrażenie, że czyta on swoje odpowiedzi. Patrzył prosto w ekran, prawie bezpośrednio w kamerę, a momentami brzmiał, jakby zwyczajnie recytował przygotowany tekst. W którymś momencie nie miałem już wątpliwości i zapytałem go wprost, czy korzysta właśnie z podpowiedzi sztucznej inteligencji.

Kandydat na moment się zmieszał. Wyglądał trochę jak gracz przyłapany na graniu na kodach. Ostatecznie zaprzeczył, ale od tego momentu nasza rozmowa była zupełnie inna i na innym poziomie. Wreszcie słuchałem tego, co on sam myśli, a nie tego, co w czasie rzeczywistym wygenerowało narzędzie. Dokładnie takich rozmów w rekrutacji oczekuję.

Powiedziałem mu to zresztą na koniec, bo druga część naszego spotkania, ta, w której mówił od siebie, miała inny wydźwięk niż pierwsza. Mogę też rozumieć, dlaczego w ogóle sięgnął po suflera. Tłumaczę sobie, że chciał po prostu lepiej wypaść i pewnie gdzieś po drodze uwierzył, że jego własne odpowiedzi nie wystarczą. Rynek pracy w IT mocno się w ostatnich latach odmienił, pracodawcom o kandydatów jest dziś zdecydowanie łatwiej, a konkurencja o każde stanowisko wyraźnie urosła. Skończyło się jednak odwrotnie, bo podpowiedzi, które miały mu pomóc zdobyć pracę, przez pół rozmowy zasłaniały te rzeczy, dla których warto byłoby go zatrudnić.

Inny przykład przyszedł do mnie od członków zespołu, którzy prowadzili u nas jedną z ostatnich rekrutacji. Trafili na kandydata korzystającego ze sztucznej inteligencji przez praktycznie całą rozmowę, łącznie z pytaniami, które sam zadał im na końcu. Odpowiedzi od początku były bardzo płynne i perfekcyjnie ułożone, bez jednego zająknięcia, jak gotowe scenariusze dopasowane do każdego pytania.

Kiedy zaczęli podejrzewać, że coś jest nie tak, przeszli na pytania wymagające odniesienia się do wcześniejszych odpowiedzi albo do własnych doświadczeń, a wtedy sposób odpowiadania robił się, o dziwo, jeszcze bardziej charakterystyczny dla modelu. Najmocniejszy był moment, w którym poprosili kandydata o odegranie krótkiej scenki z przeglądu kodu, w której miał zareagować na błąd młodszego programisty. Kilka razy doprecyzowywali scenariusz i naprowadzali go na zadanie, ale za każdym razem wracał do wyidealizowanego, ogólnego opisu tego, jak powinno wyglądać udzielanie informacji zwrotnej, i ani razu nie wszedł w rolę. Wyglądało to tak, jakby po drugiej stronie działało narzędzie z wgranym CV i opisami projektów, które na bieżąco generowało gotowe odpowiedzi do odczytania.

Na rozmowie rekrutacyjnej sufler zasłania człowieka najwyżej przez godzinę, ale w pracy potrafi ukrywać go latami, a to zaczyna już kosztować realne pieniądze, i to nie tylko pracownika.

Pensja za abonament

Pensja nawet młodszego specjalisty to dziś równowartość kilkudziesięciu firmowych abonamentów na sztuczną inteligencję. Jeżeli więc czyjaś praca zaczyna się i kończy na przepisaniu problemu do okna czatu, to jego najtańszym konkurentem na rynku pracy staje się właśnie ten abonament.

Erik Brynjolfsson z dwójką współpracowników pokazał w liczbach, co podpowiadające narzędzia robią z wartością czyjejś pracy. Badacze dostali dostęp do danych dużej firmy technologicznej, która swoim konsultantom obsługi klienta wdrożyła asystenta AI, czyli w gruncie rzeczy jawną i legalną wersję suflera z poprzedniej sekcji. Narzędzie na bieżąco śledziło rozmowę z klientem i podpowiadało konsultantowi, co może odpisać, a on mógł z podpowiedzi skorzystać, przerobić ją albo zignorować. Do analizy weszło ponad pięć tysięcy konsultantów i około trzech milionów rozmów, razem z informacją o tym, jak szybko rozwiązywali sprawy przed wdrożeniem i po nim.

Średnia produktywność wzrosła o 14%, co przy takich wdrożeniach nie robi wielkiego wrażenia. Dopiero rozbicie wyniku na grupy pokazało, co naprawdę się wydarzyło. Najmniej doświadczeni konsultanci poprawili się aż o 34%, podczas gdy najlepsi praktycznie wcale. Asystent uczył się bowiem na rozmowach najlepszych i rozdawał ich sposób pracy całej reszcie. Początkujący dostawali w podpowiedziach doświadczenie, którego sami nie zdążyli jeszcze zebrać, a najlepsi odzyskiwali w nich to, co wcześniej wypracowali.

Dla początkujących i dla firm to dobra wiadomość, ale ciągnie ona za sobą mniej przyjemną konsekwencję. Skoro solidna średnia jest dostępna od ręki każdemu, kto płaci za narzędzie, rynek przestaje za nią dopłacać, a premia za umiejętności, czyli to, ile pracodawca jest gotów dołożyć za bycie lepszym od przeciętnej, przesuwa się tam, gdzie narzędzie nie sięga. Widać to już w danych o zatrudnieniu.

Ten sam Brynjolfsson, tym razem na danych płacowych milionów amerykańskich pracowników, sprawdził, co dzieje się z najmłodszymi na rynku.

Zatrudnienie osób między 22. a 25. rokiem życia w zawodach najbardziej wystawionych na sztuczną inteligencję spadło względnie o 13%, podczas gdy ich starsi koledzy w tych samych zawodach trzymają się stabilnie.

Spadek koncentruje się tam, gdzie AI pracę automatyzuje, i omija miejsca, gdzie ją tylko wspomaga. To wciąż świeże dane, trudne do oddzielenia od ogólnej koniunktury, więc traktuję je ostrożnie, jako jeszcze jedną poszlakę.

Skąd w takim razie ma się brać przewaga? Częściowej odpowiedzi dostarcza eksperyment zespołu Hamsy Bastani z Wharton, przeprowadzony na prawie tysiącu uczniów szkoły średniej uczących się matematyki.

Część z nich dostała na ćwiczeniach zwykły czat, część wersję przerobioną na korepetytora, który naprowadzał pytaniami i wskazówkami, ale nie podawał wyników, a grupa kontrolna uczyła się po staremu. Podczas ćwiczeń wyniki z narzędziem wyglądały świetnie, przy zwykłym czacie o 48% lepiej, a przy korepetytorze ponad dwa razy lepiej niż bez pomocy. Rozstrzygnięcie przyszło na egzaminie, na którym czata już nie było.

Grupa zwykłego czata wypadła o 17% gorzej niż uczniowie, którzy sztucznej inteligencji nie widzieli na oczy, a grupa korepetytora nie straciła nic. O wyniku decydowało to, czy uczeń po drodze nadal wykonywał własną pracę myślową, czy oddawał ją w całości narzędziu.

Dla liderów firm stawka jest tu podwójna. Po pierwsze płacą komuś pensję wielokrotnie wyższą od abonamentu, więc chcą, żeby między problemem a odpowiedzią działa się jego własna praca, a przynajmniej rzetelna weryfikacja. Po drugie firmy żyją głównie z tego, że myślą o problemach klientów inaczej niż inni. Jeżeli oferty i podejście do projektów zaczną wychodzić z tych samych modeli, z których korzysta konkurencja, klient prędzej czy później przestanie widzieć różnicę. Kupujący, który prosi o wycenę pięć firm i dostaje pięć dokumentów z tymi samymi krokami i bardzo podobnymi obietnicami, jest przecież dokładnie w mojej sytuacji z zadaniem rekrutacyjnym. A kiedy oferty przestają się różnić, o wyborze zaczyna decydować już tylko cena.

Łatwo mi o tym pisać z pozycji pracodawcy, który ocenia cudze odpowiedzi. Sam jednak też musiałem w którymś momencie zadać sobie to pytanie.

Wiem, czego nie wiem

Tuż przed publikacją tego tekstu trafiłem jeszcze na eksperyment zespołu Valeria Capraro, poświęcony właśnie zdaniu „nie wiem”. W pięciu badaniach na ponad trzech tysiącach osób uczestnicy odpowiadali na trudne pytania o drobne detale z filmów, na przykład o kolor strojów drużyny z „Podkręć jak Beckham”, i przy każdym pytaniu mogli też odmówić odpowiedzi. Część osób dostawała przy tym podpowiedź modelu, którego badacze dobrali celowo tak, żeby na tych pytaniach zwykle się mylił. Chodziło o to, żeby nikt nie mógł tłumaczyć swojej decyzji rozsądnym zaufaniem do sprawnego narzędzia.

Bez podpowiedzi 44% uczestników potrafiło przyznać, że nie zna odpowiedzi. Z podpowiedzią mówiło tak już tylko 3%. Ludzie odpowiadali na więcej pytań, trafiali trzy razy rzadziej, a ich pewność siebie niemal się podwoiła.

Badacze spróbowali jeszcze płacić za trafność i karać za błędy, co trochę pomogło, ale gotowość do przyznania się do niewiedzy i tak nie wróciła nawet w okolice poziomu sprzed podpowiedzi. To na razie preprint, więc podchodzę do niego ostrożnie, ale trudno o lepszą ilustrację tego, jak szybko znika z nas zdanie „nie wiem”.

Sam łapałem się kiedyś na tym, że kiedy pojawiało się coś, na czym się nie znałem, pierwsza myśl brzmiała „nie znam się, zapytam AI”. Gdzieś po drodze wypadało mi z tej sekwencji „to się tego nauczę”. Odpowiedź od sztucznej inteligencji przychodziła błyskawicznie, więc temat wydawał się załatwiony, a ja przechodziłem do kolejnej rzeczy z miłym poczuciem, że już wszystko wiem. Po jakimś czasie zauważyłem, że to poczucie niewiele ma wspólnego z tym, co faktycznie potrafię.

Dziś wolę podejście, które pozwala podejmować lepsze decyzje. Zamiast czuć, że wiem wszystko, tyle że płasko, na jeden prompt w głąb, wolę wiedzieć, czego nie wiem, i wiedzieć, jak to poznać. W praktyce różnica sprowadza się do tego, czym kończy się rozmowa z czatem. Jeżeli odpowiedź zamyka temat, zostaję z cudzym wnioskiem i złudzeniem wiedzy. Jeżeli otwiera, czyli odsyła mnie do źródeł, tłumaczy mechanikę zamiast samego wyniku i zostawia mi kawałek roboty do samodzielnego przećwiczenia, to jest to jedna z lepszych metod nauki, jakie znam.

Piszę to wszystko jako osoba, która ze sztucznej inteligencji korzysta codziennie, wdraża ją u klientów i napisała książkę o tym, jak robić to z sensem. Nie namawiam nikogo do odkładania narzędzi. Chodzi mi o to, żeby sztuczna inteligencja pomagała mi robić rzeczy lepiej, uczyło mnie czegoś albo automatyzowała powtarzalne czynności, i żebym nie udawał, że mam pojęcie o czymś, o czym pojęcia nie mam, bo to po prostu niebezpieczne. Staram się przy tym pilnować zasady, że powtarzalne czynności może przejmować narzędzie, ale zrozumienie problemu i decyzję o kierunku zostawiam sobie.

Ten sam filtr, którego używam na rozmowach rekrutacyjnych, działa zresztą w codziennej pracy z zespołem. Kiedy ktoś pokazuje mi efekt swojej pracy, mogę dopytać, dlaczego wybrał takie rozwiązanie i jakie inne odrzucił po drodze. Człowiek, który przeszedł własny proces myślowy, opowie o tym bez większego zastanowienia. Ten, który tylko przekleił odpowiedź czata, zwykle zatrzymuje się tam, gdzie skończył się jego prompt.

Korepetytor z eksperymentu Wharton zachowywał się jak dobry nauczyciel, czyli naprowadzał zamiast podawać wyniki. Nic nie stoi na przeszkodzie, żeby tak samo ustawić własnego czata, bo wystarczy zacząć rozmowę od prostej instrukcji w stylu „nie podawaj mi gotowego rozwiązania, naprowadzaj mnie pytaniami i sprawdzaj moje odpowiedzi”.

Najwięcej nadziei daje mi w całym tym temacie badanie Erica Hanushka i jego zespołu. W Niemczech ponad trzy tysiące osób między szesnastym a sześćdziesiątym piątym rokiem życia rozwiązało testy czytania ze zrozumieniem i liczenia w ramach dużego międzynarodowego badania kompetencji dorosłych. Po mniej więcej trzech i pół roku badacze wrócili do tych samych ludzi i poprosili ich o rozwiązanie testów jeszcze raz. Dzięki temu zamiast porównywać młodszych ze starszymi, mogli zobaczyć, jak z upływem lat zmieniają się umiejętności konkretnego człowieka.

Średnia potwierdziła to, czego można się spodziewać, bo wyniki rosły mniej więcej do czterdziestki, a później zaczynały opadać. Kiedy jednak badacze podzielili uczestników według tego, jak często używają czytania i liczenia w pracy oraz w domu, okazało się, że średnia skleja ze sobą dwie zupełnie różne grupy. U osób, które robią to rzadko, spadek zaczynał się już w okolicach trzydziestego piątego roku życia. U tych, które robią to często, spadku nie było w ogóle, w żadnym badanym wieku. Myślenie zachowuje się pod tym względem jak mięsień i działa to w obie strony przez całe życie.

Sam korzystam z tych narzędzi codziennie i widzę, ile potrafią poukładać w firmie oraz ile powtarzalnej roboty zdejmują z ludzi. Zależy mi tylko na tym, żebyśmy w całym tym procesie zostali my sami i żeby niezależnie od technologii, którą się otaczamy, decyzje nadal należały do nas, te dobre, a z czasem coraz lepsze.

Dziś zostawiam Cię z dwoma pytaniami, które regularnie zadaję także sobie. Ile z odpowiedzi, które w tym tygodniu dostałeś od innych, było jeszcze ich odpowiedziami? A kiedy Ty ostatni raz rozgryzłeś jakiś problem samodzielnie, od początku do końca, zanim zapytałeś o niego czata?