Lokalne AI przestało być eksperymentem dostępnym wyłącznie dla osób, które lubią grzebać w terminalu. Dzisiaj można zacząć znacznie prościej. Wystarczy komputer, trochę RAMu, LM Studio i niewielki model. W tym wpisie pokażę krok po kroku, jak przejść od instalacji aplikacji do pierwszego działającego czatu, a później wykorzystać lokalny model także poza samym LM Studio.
Krok 1: Instalacja LM Studio
Wejdź na lmstudio.ai/download. Zobaczysz co najmniej dwie opcje: LM Studio Bionic (nowsza aplikacja) oraz LM Studio (wersja klasyczna). Na start wybierz wersję klasyczną – bez dopisku “Bionic” – i pobierz instalator na swój system.
Zainstaluj aplikację standardowo: na macOS trafi do folderu Aplikacji, na Windowsie poprowadzi cię kreator instalatora. Domyślny folder instalacji to
~/.lmstudio, a domyślna lokalizacja zapisu modeli to~/.lmstudio/models. Modele potrafią sporo ważyć, więc jeśli chcesz zmienić miejsce ich zapisu, najlepiej zrobić to przed pobraniem pierwszego z nich (za chwilę pokażę gdzie).
Przy pierwszym uruchomieniu zobaczysz trzy ekrany:
Powitanie – nic specjalnego do zrobienia.
Szybka instalacja modelu – domyślnie zaproponowany zostanie najpewniej Gemma 4 E4B. Polecam ten krok pominąć, jeśli planujesz zmienić lokalizację zapisu modeli.
Opcje startowe – czy uruchamiać LM Studio przy starcie systemu i czy włączyć opcje deweloperskie. Żadnej z nich nie trzeba włączać teraz – zawsze można to zrobić później.
Po tej "czystej" konfiguracji (jeszcze bez modelu) to dobry moment, żeby zmienić domyślną lokalizację zapisu modeli, jeśli tego potrzebujesz. Wejdź w App Settings → General → Model Directory i wskaż folder, w którym mają się zapisywać pobrane modele.
Krok 2: Pierwszy model
Najprościej zacząć od zakładki Models Search i skorzystać z domyślnego katalogu Staff Pick – to zbiór w miarę bezpiecznych, sprawdzonych opcji (nie jest to pełna lista wszystkich modeli, które można odpalić lokalnie – o pobieraniu modeli bezpośrednio z Hugging Face opowiem przy innej okazji).
Na pierwszy raz nie polecam od razu sięgać po coś w rodzaju Qwen 3.8 27B – lepiej zacząć od mniejszego modelu, np. Gemma 4 E4B. To nie jest żaden “state of the art”, ale bez problemu odpali się nawet na karcie z 4 GB VRAM. Ważne: przy wyborze modelu zwracaj uwagę, czy zmieści się w całości w pamięci RAM/VRAM. LM Studio podpowiada to komunikatami:
“Likely too large” – prawdopodobnie za duży,
“Partial GPU Offload Possible” – częściowe odciążenie na GPU,
“Full GPU Offload Possible” – model zmieści się w całości na GPU.
Najlepiej wybierać modele, które w pełni mieszczą się na GPU – to znacząco przyspiesza generowanie odpowiedzi.
Po wybraniu modelu klikamy Downlad i czekamy na zakończenie pobierania. Mi przy dwóch modelach na raz (Gemma 4 E4B i wersji 12B QA) zajęło to około 25 minut. To dobry moment na przerwę na kawę.
Gdy pobieranie się zakończy, otwieramy nowy czat. Przed rozpoczęciem rozmowy trzeba wybrać model z listy – po wybraniu poczekaj chwilę (kilka–kilkanaście sekund), aż model załaduje się do pamięci. Potem można napisać pierwszego prompta
Krok 3: Pierwszy prompt
Jesteśmy właśnie na etapie, na którym możemy wpisać pierwszy prompt do modelu działającego lokalnie na naszym komputerze. Jak każe obyczaj, działanie modelu przetestujemy standardowym “Hello, world!”:
Można też oczywiście po polsku:
Bonus: Podłączenie do Hermesa
Samo pisanie czatów w LM Studio to jednak dopiero początek. LM Studio może działać również jako lokalny serwer, dzięki czemu inne aplikacje lub “harness” (np. Hermes) mogą korzystać z uruchomionego przez nas modelu.
Zakładając, że instalację samego Hermesa masz już za sobą, podłączenie lokalnego modelu wygląda następująco:
W LM Studio przejdź do zakładki Developer. Jeśli model nie jest jeszcze załadowany do pamięci, zrób to teraz.
Ważna uwaga: Hermes potrzebuje co najmniej 65K kontekstu, więc trzeba to zwiększyć w ustawieniach modelu.
Po zmianie ustawień czekamy na pełne załadowanie modelu. Następnie zmieniamy status serwera na Running.
Kolejno uruchamiamy Hermesa i przechodzimy do ustawień.
Następnie: Provider → Custom Endpoints.
Kopiujemy informacje z LM Studio: API Model Identifier oraz adres lokalnego serwera LM Studio.
Wklejamy je w odpowiednie pola w Hermesie. Providera możemy nazwać np. „LM Studio”. Na koniec testujemy połączenie i klikamy Save.
I to tyle – masz działający, w pełni lokalny model AI, gotowy do codziennych zadań i automatyzacji przez Hermesa. Teraz można otworzyć nową sesję i puścić komendę
/init:
Jak to działa w praktyce?
Na moim Mac-u z M5 i 16 GB RAM Gemma 4 E4B generuje ok. 30–35 tokenów na sekundę. Nie jest to demon prędkości, ale do prostych zadań i automatyzacji jest to już całkiem użyteczny poziom.
I właśnie tutaj zaczyna się robić ciekawie. Bo lokalne AI nie musi być najlepszym modelem, jaki istnieje. Musi być wystarczająco dobre do konkretnego zadania.
Do prostego przepisywania tekstu, klasyfikacji, generowania odpowiedzi, eksperymentów czy niektórych automatyzacji taki model może być zupełnie wystarczający.