Wstęp: Koniec z paraliżem analitycznym. Czas na pragmatyzm.

Świat AI jest pełen szumu wokół gigantycznych modeli językowych (LLM). To może onieśmielać i prowadzić do „paraliżu analitycznego” – wrażenia, że bez dostępu do ogromnej mocy obliczeniowej nie da się niczego sensownego osiągnąć.

Z mojego doświadczenia wynika, że kluczem jest precyzyjne dopasowanie narzędzia do problemu. Zamiast sięgać od razu po najcięższe, najbardziej zasobożerne rozwiązania, skuteczna może być metodyczna analiza i wybór optymalnej technologii. Właśnie dlatego strategiczny dobór Małych Modeli Językowych (SLM) staje się bardzo ciekawą alternatywą

W tym artykule spróbuję podzielić SLM na praktyczne „kategorie wagowe” i – co ważniejsze – poprę to prawdziwymi przykładami wdrożeń, które wyszperałem w sieci

---

Kategoria 1: Waga Piórkowa (modele ~270M – 3B parametrów)

To najbardziej wyspecjalizowane i zwinne modele. Działają błyskawicznie i można je uruchomić niemal wszędzie, nawet na urządzeniach mobilnych. Można je porównać do precyzyjnego, dedykowanego narzędzia – nie są uniwersalne, ale w swoim konkretnym zastosowaniu działają bezkonkurencyjnie.

• Praktyczne Zastosowania: Klasyfikacja tekstu, analiza sentymentu, ekstrakcja słów kluczowych, proste chatboty FAQ.
• Przykłady z rynku:
  • Google Gemma 270M: Ten model jest projektowany specjalnie do dostrajania pod konkretne zadania na urządzeniach mobilnych, co pozwala tworzyć wyspecjalizowanych asystentów działających offline.
  • IBM Granite-4.0-H-Micro (3B): IBM stworzyło ten model z myślą o zastosowaniach brzegowych, gdzie liczy się szybkość i minimalne zużycie zasobów.

---

Kategoria 2: Wszechstronne Narzędzia (modele – 4B – 13B parametrów)

To obecnie „złoty środek” i najpopularniejsza kategoria. Modele takie jak Mistral 7B, Llama 3/4 8B czy Microsoft PHI-4 oferują fantastyczny stosunek możliwości do kosztów. Można je postrzegać jako wszechstronny „szwajcarski scyzoryk” w arsenale AI – są niezawodnym fundamentem dla większości typowych zastosowań biznesowych.

• Praktyczne Zastosowania: Zaawansowane systemy RAG (inteligentne przeszukiwanie dokumentacji), generowanie treści marketingowych, podsumowywanie spotkań.
• Przykłady z rynku (poszperałem trochę):
  • Microsoft PHI-3 (3.8B) w Sektorze Zdrowia: Firma Epic Systems, gigant na rynku oprogramowania medycznego w USA, zintegrowała model PHI-3. Cel? Poprawa wsparcia pacjenta przy jednoczesnym zachowaniu pełnej zgodności z rygorystycznymi normami prywatności HIPAA, ponieważ wszystkie wrażliwe dane pozostają w wewnętrznej infrastrukturze. To idealny przykład, jak SLM rozwiązuje problem bezpieczeństwa.
  • Gemma 4B w Moderacji Treści: Firma Adaptive ML na zlecenie telekomu SK Telecom dostroiła model Gemma 4B do moderacji treści wielojęzycznych. Efekt? Wyspecjalizowany, mały model nie tylko dorównał, ale przewyższył wydajność znacznie większych, zamkniętych modeli w tym konkretnym zadaniu.
  • Bielik 7B na Polskim Podwórku Prawniczym: Polski model Bielik, stworzony przez Fundację SpeakLeash i AGH, pokazuje swoją siłę w niszowych zastosowaniach. W testach analizy dokumentów prawnych, jak podaje firma Deviniti, Bielik osiągnął wyższy wskaźnik F1 (0.95) niż globalny gigant GPT-4 (0.89). To dowód na to, że precyzyjnie dostrojony, mniejszy model może pokonać większego konkurenta w specjalistycznej dziedzinie. Nic dziwnego, że z jego możliwości korzystają już m.in. Poznańskie Centrum Superkomputerowo-Sieciowe czy Kancelaria Prezesa Rady Ministrów. Ale o Bieliku to chcę osobno, bo sam się bardzo tym modelem interesuję, tylko czekam z utęsknieniem, gdy będzie wpierał w Ollama lub LM studio tools. Ale o tych narzędziach później.

---

Kategoria 3: Strategiczne Platformy (modele ~27B – 90B parametrów)

To najpotężniejsze z małych modeli, zacierające granicę z LLM. Wymagają większych zasobów, ale oferują głębokie zdolności rozumowania i analizy złożonych dokumentów. Można je porównać do strategicznego centrum dowodzenia, które nie tylko wykonuje zadania, ale potrafi też analizować szerszy kontekst i planować wieloetapowe operacje.

• Praktyczne Zastosowania: Analiza wielostronicowych umów, budowanie prostych agentów AI (function calling), zaawansowana analityka danych.
• Przykłady z rynku:
  • IBM Granite 32B w Zastosowaniach Korporacyjnych: IBM Consulting wykorzystuje modele z rodziny Granite jako domyślne silniki AI. Oferują one wydajność porównywalną do znacznie większych systemów przy, jak podaje IBM, drastycznie niższych kosztach. Model wizyjny Granite został wytrenowany na 85 milionach dokumentów PDF, co czyni go ekspertem w przetwarzaniu firmowej dokumentacji.
  • Meta Llama (do 90B) jako Fundament Biznesu: Firma (pod pseudonimem) Case-Based Research (CBR) używa dostrojonego modelu Llama do analizy skomplikowanych przypadków badawczych. Dzięki lekkości SLM, firma spełnia rygorystyczne SLA dotyczące niskiej latencji przy kosztach nieosiągalnych dla większych modeli. Z kolei Instagram i WhatsApp używają mniejszych wariantów Llama do szybkiego przetwarzania zapytań użytkowników.

---

Podsumowanie: Strategia, nie siła (i realne oszczędności)

Te przykłady doskonale pokazują, że wybór SLM to decyzja strategiczna, która przekłada się na konkretne korzyści ekonomiczne:

• Koszty: IBM wspomina o kosztach niższych nawet o 90% w porównaniu do największych modeli.
• Wydajność: Inferencja (czyli działanie modelu) jest 2-5x szybsza, a zużycie energii spada o 60-80%.
• Prywatność: Wdrożenia lokalne (on-premise), jak w przypadku Epic Systems, gwarantują pełną kontrolę nad danymi.

Czyli po co to?

Na LinkedIn często widzę teksty, że ten czy inny mały, gorzej odpowiada od chata GPT i po co to w ogóle.

Otóż w skrócie, macie w firmie dane wrażliwe, których absolutnie nie możecie wypuszczać poza organizację a już tym bardziej do innego kraju. Właśnie do takich celów służą SLMy. Sam osobiście, muszę powiedzieć, że cały czas się zastanawiam do czego użyć SLMa, i jak wpadne na pomysły z przykładem to dam znać.

Na razie planuję być wirtualnie na https://bieliksummit.ai i zdam relację zaraz po:)

Jeśli macie inne przykładu praktycznego użycia małych modeli to dajcie znać.