Trafiłem na artykuł Astrofazy o zobrazowaniu milimetra sześciennego ludzkiego mózgu. Milimetr. Taki kawałeczek, który łatwo przeoczyć, a w nim około 150 milionów synaps.
I zacząłem się zastanawiać, jak to odnieść do modeli AI, z którymi pracuję na co dzień. Co właściwie porównujemy, kiedy mówimy, że AI przypomina mózg? Sam model? Model z pamięcią? Całą aplikację, która otwiera dokumenty, przegląda internet i wykonuje polecenia?
Nie jestem neurobiologiem. Jestem praktykiem IT, interesuję się nauką, tworzę rozwiązania z AI, a po godzinach piszę science fiction. Siłą rzeczy te światy trochę mi się mieszają. Czasem wychodzi z tego pomysł na rozwiązanie biznesowe, czasem fragment powieści, a czasem takie rozważania jak dzisiaj 😉
Najpierw jednak kilka konkretów.
Badacze z Harvardu i Google odtworzyli strukturę około jednego milimetra sześciennego ludzkiej kory mózgowej. W próbce znajdowało się około 57 tysięcy komórek, w tym około 16 tysięcy neuronów, oraz niemal 150 milionów synaps. Obrazowanie i rekonstrukcja dały zbiór około 1,4 petabajta danych. To 1400 terabajtów. Opis badania w Google Research.
Tylko uwaga: to nie oznacza, że ten kawałek mózgu ma pamięć o pojemności 1400 TB. Tyle zajmuje jego niezwykle szczegółowe odwzorowanie. Zdjęcie książki też może zajmować znacznie więcej miejsca niż zapisany w niej tekst.
Nie odczytano również czyichś wspomnień. Powstała mapa struktury tkanki. Ogromne osiągnięcie, ale od zobaczenia połączeń do zrozumienia, jak z ich działania powstaje wspomnienie pierwszego treningu czy rozmowy z bliską osobą, droga jest jeszcze długa.
A jak na tym tle wygląda model AI?
Kiedy wpisujemy pytanie do ChatGPT, widzimy jedno okno rozmowy. Łatwo więc potraktować wszystko, co się w nim dzieje, jako działanie jednego „czegoś”. Tymczasem pod spodem współpracuje kilka różnych elementów.
Sam wytrenowany model to określona konstrukcja matematyczna i wyuczone parametry, nazywane wagami. Podczas treningu ich wartości są dostosowywane tak, żeby model coraz lepiej wykonywał zadania. W przypadku modelu językowego podstawowym zadaniem jest przewidywanie kolejnych fragmentów tekstu.
Brzmi banalnie. Tylko że poprawne kontynuowanie tekstu może wymagać rozpoznania kontekstu, relacji między pojęciami, zasad języka, a także wykonania całkiem złożonych operacji. Opis mechanizmu nie jest jeszcze opisem granic jego możliwości.
Wagi modelu nie są folderem z dokumentami. Nie ma tam osobnego pliku „Kordian”, obok pliku „Warszawa”, a dalej instrukcji programowania w Pythonie. Wiedza i umiejętności są reprezentowane w sposób rozproszony. Nie wyklucza to zapamiętania konkretnych fragmentów treningowych, ale model nie działa jak wyszukiwarka przeglądająca własne archiwum.
Gdybym miał odnieść to do człowieka, porównałbym wyuczony model do pewnego zasobu kompetencji. Umiesz czytać, rozpoznajesz pojęcia, masz skojarzenia, potrafisz rozwiązywać określone problemy. To wszystko wpływa na to, jak zareagujesz na nowe zadanie.
I właśnie w tym sensie model można przyrównać do części naszego aparatu poznawczego. Nie do konkretnego kawałka kory, który da się wskazać palcem, ale do zestawu funkcji.
Wyobraźmy sobie teraz, że masz przygotować ofertę dla klienta.
Masz doświadczenie zawodowe, znasz swoją branżę i potrafisz liczyć. Ale nie wiesz jeszcze, czego ten konkretny klient potrzebuje. Ktoś musi Ci to powiedzieć.
Dostajesz wiadomość, czytasz wymagania i zaczynasz pracować. W systemie AI podobną rolę pełni kontekst: instrukcje, treść rozmowy, dokumenty, wyniki wcześniejszych działań. Model wykorzystuje swoje wyuczone kompetencje do przetwarzania tego, co właśnie otrzymał.
Jeżeli klient zmieni termin realizacji, uwzględniasz nowy termin. Model również może to zrobić, gdy informacja znajdzie się w jego kontekście. Nie potrzebuje w tym celu ponownego wielkiego treningu.
Potem zaglądasz do wcześniejszej korespondencji. Otwierasz kalkulator. Sprawdzasz ceny w systemie firmy.
W aplikacji AI służą do tego narzędzia. Model może zdecydować, że potrzebuje dokumentu, i wygenerować odpowiednie wywołanie. Oprogramowanie otwiera plik, a wynik trafia z powrotem do modelu. Model ocenia dane i wybiera następny krok.
Narzędzie przypomina tu kalkulator albo rękę sięgającą po dokument. Zapisane notatki przypominają notes. Nie musimy od razu przypisywać notesowi funkcji hipokampa, żeby zrozumieć, po co jest potrzebny.
Ważne: to nie znaczy, że model bez notatek nie ma żadnej pamięci. Jego wyuczone parametry już są nośnikiem informacji. Kontekst daje mu dostęp do bieżących danych. Pamięć zewnętrzna jest jeszcze innym mechanizmem.
Wszystkie trzy potocznie nazywamy „pamięcią”, choć działają inaczej.
Dlatego gdy AI pamięta, że prowadzisz firmę transportową, mogą za tym stać różne rzeczy. Informacja nadal znajduje się w rozmowie. Aplikacja zapisała ją i właśnie ponownie dołączyła. Albo model wywnioskował ją z dostępnych danych.
Sama odpowiedź „pamiętam” nie mówi nam, który mechanizm zadziałał.
U człowieka robi się jeszcze ciekawiej.
Doświadczenie może zmieniać nie tylko to, co aktualnie rozważasz, ale również sposób, w jaki będziesz reagował w przyszłości. Uczysz się. Czasem świadomie, czasem nawet nie zauważasz, że coś się zmieniło.
Kto trenował sport, ten zna różnicę między przeczytaniem instrukcji a nabyciem umiejętności. Można wiedzieć, jak powinien wyglądać ruch, i nadal go nie umieć. Na macie sama teoria szybko przechodzi weryfikację.
Kusi więc powiedzenie: człowiek to taki model, który aktualizuje się po każdej rozmowie i każdym doświadczeniu.
Jako analogia jest to interesujące. Jako opis biologii byłoby zbyt proste.
Pamięć wiąże się między innymi ze zmianami siły połączeń, ich przebudową i właściwościami komórek. Badania nad śladami pamięciowymi pokazują, że uczestniczące w nich zespoły neuronów mogą zmieniać się podczas utrwalania pamięci. To dynamiczny proces, a nie samo dokładanie kolejnych elementów do coraz większej sieci. Badanie w „Nature Neuroscience”.
Nie mamy kompletnego wyjaśnienia ludzkiej pamięci, ale też nie zaczynamy od zera. W badaniach eksperymentalnych wykazano przyczynowy udział określonych zmian synaptycznych w tworzeniu śladów pamięciowych. Badanie w „Science”.
I jeszcze jedno: osłabienie wspomnienia nie musi oznaczać, że zostało ono fizycznie skasowane. Czym innym jest utrwalona informacja, a czym innym możliwość jej przywołania.
Mózg nie ma też administratora, który przegląda połączenia i usuwa te oznaczone jako błędne. Szkoda, czasem przydałaby się taka konserwacja. Potrafimy przecież długo trzymać się przekonań, które z rzeczywistością mają niewiele wspólnego.
Nie pisałbym również, że cała pamięć człowieka jest prawdopodobieństwem. To, że wspomnienie bywa niepewne albo że proces można opisywać probabilistycznie, nie wyjaśnia jeszcze sposobu jego przechowywania.
Podobieństwo jest więc ciekawe, ale granic analogii nie warto zamazywać.
W typowym użyciu współczesnego LLM rozmowa nie aktualizuje na bieżąco wag modelu. Może jednak zmienić kontekst i zawartość zewnętrznych notatek. Później aplikacja ponownie dostarczy te informacje i model wykorzysta je przy następnym zadaniu.
Z perspektywy użytkownika wygląda to jak zdobywanie doświadczenia. Technicznie może być bardziej podobne do przeczytania własnego dziennika.
Widać to dobrze na przykładzie opisu GPT‑6 Astra. OpenAI przedstawia zarówno rozwój umiejętności modelu, jak i rozwiązania w Codex pozwalające zachowywać notatki między oknami kontekstu oraz przeszukiwać wcześniejsze fragmenty pracy. To deklarowane funkcje systemu, które warto odróżnić od samego treningu modelu.
Model wnosi zdolność interpretowania informacji, planowania i oceniania wyników. Otaczające go oprogramowanie zapewnia dostęp do danych, wykonuje operacje i podtrzymuje kolejne kroki pracy. Rozwój zachodzi po obu stronach.
I dlatego pytanie „ile synaps ma człowiek, a ile parametrów ma AI?” niewiele nam samo w sobie mówi. Synapsa nie jest pojedynczą liczbą, neuron biologiczny nie jest prostym elementem równania, a liczba połączeń nie jest uniwersalną jednostką inteligencji.
Dla mnie najciekawsze pytanie leży gdzie indziej.
Co się stanie, jeśli połączymy coraz sprawniejsze modele z trwałą pamięcią doświadczeń, ciągłym dopływem informacji i możliwością uczenia się podczas działania? Jak bardzo taki system będzie różnił się od dzisiejszego okna rozmowy?
Nie wynika z tego automatycznie świadomość. O tym pisałem już w osobnym artykule i nadal uważam, że pytania są ciekawsze niż pochopne deklaracje.
Ale chyba właśnie dlatego tak mnie to fascynuje. Z jednej strony próbujemy zrozumieć maleńki fragment własnego mózgu. Z drugiej budujemy systemy, które pomagają nam analizować świat, choć ich konstrukcja bardzo różni się od naszej.
A ja, jako praktyk i autor SF, coraz częściej łapię się na tym, że granica między pomysłem do powieści a pomysłem do wdrożenia staje się zaskakująco cienka.