Link do artykułu: AI Brain Fry Is Real: Why More AI Tools Are Making You Less Productive | Zemith.com

Artykuł opisuje trzy raporty/badania. W pierwszym, od Boston Consulting Group i University of California, przebadano prawie 1500 pracowników w temacie jakości pracy i zdrowia psychicznego w posługiwaniu się narzędziami AI, które wymagają Human in the loop. Wynika z niego, że dopóki pracownik musi kontrolować do trzech narzędzi, produktywność rośnie względem pracownika, który nie używa AI do pracy, ale przy większej ilości rozpoczyna się spadek produktywności. Według badania pracownicy tacy czują większe zmęczenie umysłowe, przeciążenie informacjami i niemożliwość skupienia się na zadaniach. Zespół przebodźcowania informacyjnego najczęściej dotykał pracowników marketingu.

Z kolei raport od Goldman Sachs wykazuje, że nie ma związku pomiędzy powszechnym wdrażaniem narzędzi AI a realnym wzrostem produktywności w całej gospodarce. Raport dostrzega maksymalny wzrost do 30%, ale tylko w ściśle określonych zadaniach jak obsługa klienta czy rozwój oprogramowania. Ale też, co warto zauważyć, te zadania łatwo mierzyć. Pokazano też, że tylko 10% dużych firm z indeksu S&P 500 w jakikolwiek sposób bada wzrost produktywności przy używaniu narzędzi AI.

Najdziwniejszy element, będący troszkę w opozycji do raportu poprzedniego, to badanie METR z 2025 roku, gdzie 16 doświadczonych twórców oprogramowania open-source poddano testowi. Mieli do wykonania kilkaset zadań przy użyciu narzędzi AI i okazało się, że wykonywali je 19% średnio wolniej niż bez narzędzi AI (a według nich wykonali szybciej).

A teraz ode mnie apropos, bo czasem takie badania pokazują faktyczny problem, ale czasem wydaje mi się, że mają błędne założenia.

Problem z przebodźcowaniem nie dotyczy przecież tylko AI, on dotyczy sposobu pracy naszego mózgu. Na ilu rzeczach na raz możemy się skupić i jak szybko potrafimy przestawiać uwagę na coś innego. Nie chodzi o to, że kontrolujemy pracę kilku narzędzi. Załóżmy, że w ciągu dnia pracujemy nad aplikacją, generujemy raporty, koordynujemy pracę zespołu, robimy coś ad hoc, co akurat trzeba wykonać. Przestawianie uwagi mózgu na poszczególne zadania nie następuje natychmiast. Jest to osobnicze, inni szybciej i łatwiej "ogarniają" kilka rzeczy na raz, inni wolniej i słabiej. Tacy po prostu jesteśmy. Ale faktycznie koordynacja narzędzi AI, np. weryfikacja pracy agentów, może powodować problemy, gdyż za szybko i za często musimy reagować na bardzo szybkie w działaniu sztuczne inteligencje.

Co do wzrostu produktywności, generalnie podążając za hype'em, firmy próbują używać narzędzi AI wszędzie, a nie tam, gdzie faktycznie ma to sens. Ale gdzie leży sprzeczność pomiędzy wzrostem do 30% np. przy tworzeniu oprogramowania a spadkiem produktywności seniorów? Przebadano 16 „debeściaków", którzy zapewne faktycznie w swoich technologiach są i lepsi, i wydajniejsi od AI. Tworzenie programów z wykorzystaniem LLM wymusza poświęcenie dużej ilości czasu na analizę tego, co AI zrobiło, na sprawdzenie. Żaden z tych seniorów na pewno nie tworzył rozwiązań na hurra, bez sprawdzania, a więc finalnie na weryfikację AI tracili tyle czasu, ile by sami napisali. Często trudniej jest zrozumieć obcy kod, niż napisać własny. Różnice widać przy masie, gdy mid czy junior dostają możliwość tworzenia rozwiązań, gdy PM może zamiast wykonać PoC z zespołem, zlecić wykonanie go modelowi.

Jest grono ludzi na LinkedIn, którzy chorobliwie atakują każdy post o AI, ale są i odwrotni, którzy już w trzy godziny zrobili to czy tamto, a prawda leży pośrodku. AI to kolejne narzędzie, którego warto używać tam, gdzie ma to sens. Chopin nie używałby LLM do tworzenia muzyki, ale ja mogę sobie wypromptować dżingiel, gdy będę potrzebował. Sienkiewicz nie pisałby tekstów z AI, ale Pan Janek z lokalnego sklepu spożywczego może użyć LLM-a, aby mu ładnie opisał ofertę, gdy on sam nie jest literatem.