wersja: Bielik
maj 2025
Licencja
Apache 2.0
Bielik – test lokalnej instalacji i pierwsze loty modelu
Instalacja AI
Bielika instaluję z wykorzystaniem serwera Ollama.
Rezygnacja z użycia dockera przy lokalnym uruchamianiu modelu Bielik podyktowana jest chęcią maksymalnego wykorzystania zasobów sprzętowych i uproszczenia środowiska. Uruchamianie modeli bez warstwy kontenera pozwala m.in.:
- Pełniej wykorzystać GPU i RAM: brak narzutu kontenera oznacza, że wszystkie zasoby (np. pamięć GPU NVIDIA) mogą być dostępne bezpośrednio. W praktyce uzyskujemy lepszą wydajność i płynniejsze działanie modelu.
- Uprościć dostęp do plików i modeli: modele i pliki konfiguracyjne są trzymane w zwykłym systemie plików WSL, co eliminuje konieczność zarządzania wolumenami dockera czy kopiowania danych do kontenera.
- Łatwiej zarządzać modelami: Ollama działa jako samodzielne narzędzie (standalone), wspierając proste dodawanie/zmianę modeli bez pośredniej warstwy. Można swobodnie modyfikować pliki modeli i szybko testować nowe modele lokalnie.
Krótko mówiąc, pominięcie dockera upraszcza środowisko i eliminuje narzut, co jest korzystne dla wydajności i elastyczności konfiguracji.
Modele językowe
Na stronie https://huggingface.co/ dostepne są modele językowe, które można uruchomić za pomocą m.in. serwera Ollama. Wpisując w wyszukiwarce "Bielik" mamy dostęp do różnych wersji modelu.
Istnieje możliwość uruchomienia modelu (serwera Ollama) jednym poleceniem bezpośrednio z repozytorium Hugging Face. Proponuję jednak, aby model ściągnąć na dysk i dopiero wtedy uruchomić serwer.
Uruchomienie Ollama:
service ollama start
Ja mam już przygotowany i sćgnięty model - można to sprawdzić
ollama list
i uruchamiamy bielika
ollama run SpeakLeash/bielik-11b-v2.3-instruct:Q6_K
Teraz można już korzystać z Bielika bezpośrendio z terminala:
>>> Kim jesteś?
Jestem asystentem AI stworzonym przez SpeakLeash i ACK Cyfronet AGH. Moja rola polega na pomaganiu użytkownikom w różnych zadaniach, takich jak odpowiadanie na pytania, generowanie tekstu i wiele innych. Zostałem zaprojektowany, aby być przydatnym narzędziem dla osób poszukujących informacji lub potrzebujących wsparcia w konkretnych dziedzinach. Jeśli masz jakiekolwiek pytania lub potrzebujesz pomocy, jestem tutaj, aby Ci pomóc!
Możemy obserwować jak zapytania do modelu wpływają na obciążenie karty graficznej. Monitorowanie co 2 sekundy.
watch -n 2 nvidia-smi

Zalety lokalnej konfiguracji Ollama (WSL + Bielik)
Konfiguracja obejmująca WSL2 + Ollama + model Bielik (bez Dockera) oferuje szereg korzyści z punktu widzenia administratorów i inżynierów AI:
- Maksymalna wydajność – brak narzutu konteneryzacji oznacza wykorzystanie pełnej mocy lokalnego sprzętu. Model może korzystać z GPU i dużej ilości RAM bez ograniczeń narzucanych przez dockera (np. domyślne limity pamięci). W efekcie uzyskujemy szybsze odpowiedzi i możliwość pracy z większymi modelami.
- Prosta konfiguracja i obsługa – instalacja sprowadza się do kilku komend w WSL, a narzędzie Ollama jest lekkie i gotowe do użycia zaraz po instalacjireddit.com. Nie ma potrzeby utrzymywania obrazów dockera, konfigurowania wolumenów czy sieci kontenera. Start/stop serwera Ollama odbywa się poprzez usługę systemową w WSL lub komendę ollama serve.
- Łatwe testowanie różnych modeli – lokalna instancja Ollama umożliwia szybkie przełączanie się między modelami. Możemy w jednej chwili uruchomić Bielik do obsługi języka polskiego, by za chwilę przetestować inny model (np. Llama2 czy Mistral) – wystarczy pobrać odpowiedni model i wywołać go przez CLI. Dzięki temu środowisko jest idealne do eksperymentów z wieloma LLM. Dodawanie nowego modelu sprowadza się do jednej komendy (pull/run) lub importu pliku – jest to bardzo elastyczne rozwiązanie dla inżynierów, którzy lubią dostosowywać i testować modele pod własne potrzeby.
- Efektywne zarządzanie zasobami – modele w Ollama mogą być w razie potrzeby łatwo usuwane
ollama rm <model>
Nieużywane modele są automatycznie wyrzucane z pamięci po pewnym czasie bez aktywności (domyślnie ~5 min), co zapobiega marnowaniu zasobów. Ponadto mamy pełną kontrolę nad tym, kiedy model jest ładowany do pamięci – nic nie dzieje się poza naszymi oczekiwaniami.
Porównanie modelu lokalnego i w chmurze
| Ollama Bielik | https://chat.bielik.ai/ |
|
Pytanie: Podaj trzy zalety i trzy wady pracy zdalnej. Trzy zalety pracy zdalnej: 1. Elastyczność czasowa - Pracując zdalnie, można lepiej dostosować godziny pracy do własnych potrzeb i harmonogramu życia prywatnego. Pozwala to na 2. Oszczędność czasu i kosztów - Brak konieczności dojazdów do pracy oznacza oszczędność czasu, który można poświęcić na inne aktywności, oraz redukcję 3. Możliwość pracy z dowolnego miejsca - Praca zdalna umożliwia pracę z różnych lokalizacji, co może być korzystne dla osób mieszkających w odległych Trzy wady pracy zdalnej: 1. Izolacja społeczna - Praca zdalna może prowadzić do poczucia izolacji i braku kontaktów z kolegami z pracy, co może negatywnie wpływać na 2. Trudności w komunikacji - Brak bezpośredniego kontaktu twarzą w twarz może utrudniać efektywną komunikację, szczególnie w przypadku złożonych 3. Rozmycie granic między życiem zawodowym a prywatnym - Praca zdalna może prowadzić do trudności w oddzieleniu czasu pracy od czasu wolnego, co może Praca zdalna ma swoje zalety i wady, a jej efektywność zależy od indywidualnych preferencji, umiejętności organizacyjnych oraz wsparcia ze strony |
Pytanie: Podaj trzy zalety i trzy wady pracy zdalnej. Bielik Bot
Elastyczność czasowa i przestrzenna – możliwość dostosowania godzin pracy do własnych potrzeb oraz pracy z dowolnego miejsca. Izolacja społeczna – brak bezpośredniego kontaktu z kolegami z pracy może prowadzić do poczucia samotności i trudności w budowaniu relacji.
|
|
Pytanie: Wymyśl nazwę dla nowego gatunku książki, który łączy science fiction i kryminał.
Nazwa dla nowego gatunku książki łączącego science fiction i kryminał: "Galaktyczny Detektyw" Wyjaśnienie: - "Galaktyczny" nawiązuje do elementów science fiction, takich jak podróże międzygwiezdne, zaawansowane technologie i obce cywilizacje. Ta nazwa sugeruje historię osadzoną w przyszłości lub alternatywnej rzeczywistości kosmicznej, gdzie detektyw musi zmierzyć się z wyzwaniami i |
Pytanie: Wymyśl nazwę dla nowego gatunku książki, który łączy science fiction i kryminał. "Kosmiczne zagadki" – gatunek łączący elementy science fiction i kryminału, w którym detektywi rozwiązują zagadki w futurystycznych, często pozaziemskich realiach. Jeśli masz więcej pytań lub potrzebujesz dodatkowych informacji, daj znać! |
|
Pytanie: Wyjaśnij w prostych słowach, czym jest sztuczna inteligencja, tak żeby zrozumiało to dziecko. Sztuczna inteligencja (SI) to sposób, w jaki komputery i maszyny uczą się robić rzeczy podobne do tego, co robią ludzie. Oto kilka prostych wyjaśnień: 1. Maszyny uczące się: Wyobraź sobie, że maszyna ma pamięć i potrafi zapamiętywać różne informacje. Kiedy coś się dzieje, na przykład ktoś mówi do niej 2. Rozwiązywanie problemów: Maszyny z sztuczną inteligencją potrafią rozwiązywać problemy, tak jak ludzie. Na przykład, jeśli maszyna widzi obrazek i 3. Rozpoznawanie mowy: Wyobraź sobie, że maszyna potrafi słuchać twojego głosu i rozumieć, co mówisz. Dzięki temu może wykonywać polecenia lub 4. Samochody bez kierowcy: Sztuczna inteligencja pomaga w tworzeniu samochodów, które mogą jeździć same, bez potrzeby człowieka za kierownicą. Maszyna 5. Pomoc w nauce: Sztuczna inteligencja może pomagać dzieciom w nauce, na przykład poprzez programy edukacyjne, które dostosowują się do twoich potrzeb Pamiętaj, że sztuczna inteligencja jest ciągle rozwijana i staje się coraz bardziej zaawansowana, ale nadal nie jest tak mądra jak ludzie. To narzędzie, |
Pytanie: Wyjaśnij w prostych słowach, czym jest sztuczna inteligencja, tak żeby zrozumiało to dziecko. Sztuczna inteligencja (SI) to sposób, w jaki komputery uczą się i myślą jak ludzie. Wyobraź sobie, że komputer to jakby bardzo mądry robot, który potrafi się uczyć i rozwiązywać problemy. Na przykład, SI może nauczyć się rozpoznawać obrazki, grać w gry lub nawet prowadzić samochód. To trochę jakby komputer miał swój własny mózg, który może się uczyć i robić różne rzeczy bez ciągłego programowania przez ludzi. |
Bielik lokalnie lata równie dobrze jak w chmurze :-).