Przejdź do głównej treści
BielikAI

wersja: Bielik

maj 2025

Licencja

Apache 2.0

Bielik – test lokalnej instalacji i pierwsze loty modelu

Instalacja AI

Bielika instaluję z wykorzystaniem serwera Ollama.

Rezygnacja z użycia dockera przy lokalnym uruchamianiu modelu Bielik podyktowana jest chęcią maksymalnego wykorzystania zasobów sprzętowych i uproszczenia środowiska. Uruchamianie modeli bez warstwy kontenera pozwala m.in.:

  • Pełniej wykorzystać GPU i RAM: brak narzutu kontenera oznacza, że wszystkie zasoby (np. pamięć GPU NVIDIA) mogą być dostępne bezpośrednio. W praktyce uzyskujemy lepszą wydajność i płynniejsze działanie modelu.
  • Uprościć dostęp do plików i modeli: modele i pliki konfiguracyjne są trzymane w zwykłym systemie plików WSL, co eliminuje konieczność zarządzania wolumenami dockera czy kopiowania danych do kontenera.
  • Łatwiej zarządzać modelami: Ollama działa jako samodzielne narzędzie (standalone), wspierając proste dodawanie/zmianę modeli bez pośredniej warstwy. Można swobodnie modyfikować pliki modeli i szybko testować nowe modele lokalnie.

Krótko mówiąc, pominięcie dockera upraszcza środowisko i eliminuje narzut, co jest korzystne dla wydajności i elastyczności konfiguracji.

Modele językowe

Na stronie https://huggingface.co/ dostepne są modele językowe, które można uruchomić za pomocą m.in. serwera Ollama. Wpisując w wyszukiwarce "Bielik" mamy dostęp do różnych wersji modelu.

Istnieje możliwość uruchomienia modelu (serwera Ollama) jednym poleceniem bezpośrednio z repozytorium Hugging Face. Proponuję jednak, aby model ściągnąć na dysk i dopiero wtedy uruchomić serwer. 

Uruchomienie Ollama:

service ollama start

Ja mam już przygotowany i sćgnięty model - można to sprawdzić

ollama list

i uruchamiamy bielika

ollama run SpeakLeash/bielik-11b-v2.3-instruct:Q6_K

Teraz można już korzystać z Bielika bezpośrendio z terminala:

>>> Kim jesteś? 
Jestem asystentem AI stworzonym przez SpeakLeash i ACK Cyfronet AGH. Moja rola polega na pomaganiu użytkownikom w różnych zadaniach, takich jak odpowiadanie na pytania, generowanie tekstu i wiele innych. Zostałem zaprojektowany, aby być przydatnym narzędziem dla osób poszukujących informacji lub potrzebujących wsparcia w konkretnych dziedzinach. Jeśli masz jakiekolwiek pytania lub potrzebujesz pomocy, jestem tutaj, aby Ci pomóc!

Możemy obserwować jak zapytania do modelu wpływają na obciążenie karty graficznej. Monitorowanie co 2 sekundy.

watch -n 2 nvidia-smi

Zalety lokalnej konfiguracji Ollama (WSL + Bielik)

Konfiguracja obejmująca WSL2 + Ollama + model Bielik (bez Dockera) oferuje szereg korzyści z punktu widzenia administratorów i inżynierów AI:

  • Maksymalna wydajność – brak narzutu konteneryzacji oznacza wykorzystanie pełnej mocy lokalnego sprzętu. Model może korzystać z GPU i dużej ilości RAM bez ograniczeń narzucanych przez dockera (np. domyślne limity pamięci). W efekcie uzyskujemy szybsze odpowiedzi i możliwość pracy z większymi modelami.
  • Prosta konfiguracja i obsługa – instalacja sprowadza się do kilku komend w WSL, a narzędzie Ollama jest lekkie i gotowe do użycia zaraz po instalacjireddit.com. Nie ma potrzeby utrzymywania obrazów dockera, konfigurowania wolumenów czy sieci kontenera. Start/stop serwera Ollama odbywa się poprzez usługę systemową w WSL lub komendę ollama serve.
  • Łatwe testowanie różnych modeli – lokalna instancja Ollama umożliwia szybkie przełączanie się między modelami. Możemy w jednej chwili uruchomić Bielik do obsługi języka polskiego, by za chwilę przetestować inny model (np. Llama2 czy Mistral) – wystarczy pobrać odpowiedni model i wywołać go przez CLI. Dzięki temu środowisko jest idealne do eksperymentów z wieloma LLM. Dodawanie nowego modelu sprowadza się do jednej komendy (pull/run) lub importu pliku – jest to bardzo elastyczne rozwiązanie dla inżynierów, którzy lubią dostosowywać i testować modele pod własne potrzeby.

 

  • Efektywne zarządzanie zasobami – modele w Ollama mogą być w razie potrzeby łatwo usuwane
    ollama rm <model>
    Nieużywane modele są automatycznie wyrzucane z pamięci po pewnym czasie bez aktywności (domyślnie ~5 min), co zapobiega marnowaniu zasobów. Ponadto mamy pełną kontrolę nad tym, kiedy model jest ładowany do pamięci – nic nie dzieje się poza naszymi oczekiwaniami.

Porównanie modelu lokalnego i w chmurze

 

Ollama Bielik https://chat.bielik.ai/

Pytanie: Podaj trzy zalety i trzy wady pracy zdalnej.

Trzy zalety pracy zdalnej:

1. Elastyczność czasowa - Pracując zdalnie, można lepiej dostosować godziny pracy do własnych potrzeb i harmonogramu życia prywatnego. Pozwala to na
lepsze zarządzanie czasem i zwiększenie produktywności.

2. Oszczędność czasu i kosztów - Brak konieczności dojazdów do pracy oznacza oszczędność czasu, który można poświęcić na inne aktywności, oraz redukcję
kosztów związanych z transportem.

3. Możliwość pracy z dowolnego miejsca - Praca zdalna umożliwia pracę z różnych lokalizacji, co może być korzystne dla osób mieszkających w odległych
lub słabo skomunikowanych obszarach.

Trzy wady pracy zdalnej:

1. Izolacja społeczna - Praca zdalna może prowadzić do poczucia izolacji i braku kontaktów z kolegami z pracy, co może negatywnie wpływać na
samopoczucie i motywację.

2. Trudności w komunikacji - Brak bezpośredniego kontaktu twarzą w twarz może utrudniać efektywną komunikację, szczególnie w przypadku złożonych
projektów lub problemów wymagających współpracy.

3. Rozmycie granic między życiem zawodowym a prywatnym - Praca zdalna może prowadzić do trudności w oddzieleniu czasu pracy od czasu wolnego, co może
skutkować przepracowaniem i brakiem równowagi między obowiązkami zawodowymi a życiem prywatnym.

Praca zdalna ma swoje zalety i wady, a jej efektywność zależy od indywidualnych preferencji, umiejętności organizacyjnych oraz wsparcia ze strony
pracodawcy.

Pytanie: Podaj trzy zalety i trzy wady pracy zdalnej.

Bielik Bot


Zalety pracy zdalnej:

Elastyczność czasowa i przestrzenna – możliwość dostosowania godzin pracy do własnych potrzeb oraz pracy z dowolnego miejsca.
Oszczędność czasu i pieniędzy – brak konieczności dojazdów do biura, co przekłada się na oszczędność czasu i kosztów transportu.
Lepsza równowaga między życiem zawodowym a prywatnym – łatwiejsze zarządzanie obowiązkami domowymi i rodzinnymi.
Wady pracy zdalnej:

Izolacja społeczna – brak bezpośredniego kontaktu z kolegami z pracy może prowadzić do poczucia samotności i trudności w budowaniu relacji.
Trudności w oddzieleniu pracy od życia prywatnego – łatwość dostępu do obowiązków zawodowych z domu może powodować przeciążenie i stres.
Problemy z komunikacją – brak bezpośredniego kontaktu i możliwości spontanicznych rozmów może utrudniać efektywną komunikację i współpracę.
Jeśli masz więcej pytań lub potrzebujesz dodatkowych informacji, daj znać!

 

Pytanie: Wymyśl nazwę dla nowego gatunku książki, który łączy science fiction i kryminał.

 

Nazwa dla nowego gatunku książki łączącego science fiction i kryminał: "Galaktyczny Detektyw"

Wyjaśnienie:

- "Galaktyczny" nawiązuje do elementów science fiction, takich jak podróże międzygwiezdne, zaawansowane technologie i obce cywilizacje.
- "Detektyw" odnosi się do aspektu kryminalnego, w którym główny bohater rozwiązuje zagadki, śledztwa lub tajemnice.

Ta nazwa sugeruje historię osadzoną w przyszłości lub alternatywnej rzeczywistości kosmicznej, gdzie detektyw musi zmierzyć się z wyzwaniami i
zagrożeniami charakterystycznymi dla science fiction, jednocześnie prowadząc śledztwo w sprawie przestępstwa lub tajemnicy.

Pytanie: Wymyśl nazwę dla nowego gatunku książki, który łączy science fiction i kryminał.

"Kosmiczne zagadki" – gatunek łączący elementy science fiction i kryminału, w którym detektywi rozwiązują zagadki w futurystycznych, często pozaziemskich realiach.

Jeśli masz więcej pytań lub potrzebujesz dodatkowych informacji, daj znać!

Pytanie: Wyjaśnij w prostych słowach, czym jest sztuczna inteligencja, tak żeby zrozumiało to dziecko.

Sztuczna inteligencja (SI) to sposób, w jaki komputery i maszyny uczą się robić rzeczy podobne do tego, co robią ludzie. Oto kilka prostych wyjaśnień:

1. Maszyny uczące się: Wyobraź sobie, że maszyna ma pamięć i potrafi zapamiętywać różne informacje. Kiedy coś się dzieje, na przykład ktoś mówi do niej
lub pokazuje jej obrazek, maszyna uczy się z tego i może przewidywać, co się stanie w przyszłości.

2. Rozwiązywanie problemów: Maszyny z sztuczną inteligencją potrafią rozwiązywać problemy, tak jak ludzie. Na przykład, jeśli maszyna widzi obrazek i
musi odgadnąć, co to jest, uczy się na podstawie wcześniejszych doświadczeń i może zgadywać coraz lepiej.

3. Rozpoznawanie mowy: Wyobraź sobie, że maszyna potrafi słuchać twojego głosu i rozumieć, co mówisz. Dzięki temu może wykonywać polecenia lub
odpowiadać na pytania, tak jakby była żywą osobą.

4. Samochody bez kierowcy: Sztuczna inteligencja pomaga w tworzeniu samochodów, które mogą jeździć same, bez potrzeby człowieka za kierownicą. Maszyna
uczy się rozpoznawać drogi, znaki i inne pojazdy, aby bezpiecznie prowadzić samochód.

5. Pomoc w nauce: Sztuczna inteligencja może pomagać dzieciom w nauce, na przykład poprzez programy edukacyjne, które dostosowują się do twoich potrzeb
i poziomu wiedzy.

Pamiętaj, że sztuczna inteligencja jest ciągle rozwijana i staje się coraz bardziej zaawansowana, ale nadal nie jest tak mądra jak ludzie. To narzędzie,
które może nam pomagać w różnych dziedzinach życia.

Pytanie: Wyjaśnij w prostych słowach, czym jest sztuczna inteligencja, tak żeby zrozumiało to dziecko.

Sztuczna inteligencja (SI) to sposób, w jaki komputery uczą się i myślą jak ludzie. Wyobraź sobie, że komputer to jakby bardzo mądry robot, który potrafi się uczyć i rozwiązywać problemy. Na przykład, SI może nauczyć się rozpoznawać obrazki, grać w gry lub nawet prowadzić samochód. To trochę jakby komputer miał swój własny mózg, który może się uczyć i robić różne rzeczy bez ciągłego programowania przez ludzi.

Bielik lokalnie lata równie dobrze jak w chmurze :-).