Sztuczna inteligencja w postaci dużych modeli językowych (LLM) szturmem zdobywa świat programowania. Wielu z nas korzysta z API ChatGPT lub podobnych usług w chmurze, ale czy wiedziałeś, że możesz uruchomić taki model lokalnie na swoim komputerze i wbudować go w aplikację C#? Brzmi ciekawie? W tym artykule przedstawię Ci narzędzie o nazwie Ollama – platformę open-source, która umożliwia łatwe uruchamianie zaawansowanych modeli językowych na własnym sprzęcie. Dowiesz się, czym jest Ollama, jak z niej skorzystać jako programista .NET oraz dlaczego warto się nią zainteresować.
Co to jest Ollama?
Ollama to projekt open-source stworzony po to, by ułatwić uruchamianie modeli językowych AI (LLM) na lokalnym komputerze. Możesz to traktować jak prywatną wersję ChatGPT, działającą w pełni offline, do której masz pełny dostęp i kontrolę. Ollama dostarcza przyjazny interfejs (CLI i API) oraz izolowane środowisko do obsługi modeli, dzięki czemu nie musisz ręcznie konfigurować zależności czy martwić się o zgodność bibliotek – narzędzie robi to za Ciebie w tle. W praktyce sprowadza się to do tego, że pobierasz wybrany model, uruchamiasz go jednym poleceniem i możesz od razu zadawać mu pytania (promptować), a on generuje odpowiedzi.
Co ważne, Ollama udostępnia bogatą bibliotekę gotowych modeli do pobrania. Znajdziesz tam popularne open-source'owe LLM jak np. Llama 2 (od Meta) do ogólnych zastosowań, Mistral (model nastawiony na fakty), Gemma (model konwersacyjny do dialogów) czy LLaVA (model multimodalny do obrazków i tekstu). Nie musisz trenować ich od zera – wystarczy pobrać odpowiednią paczkę z wagami modelu i już możesz z niej korzystać.
Najważniejsze zalety Ollama
• Prywatność i kontrola – Model działa lokalnie, więc Twoje dane nie opuszczają komputera. Masz pełną kontrolę nad tym, co dzieje się z danymi wejściowymi i wygenerowanymi odpowiedziami. To ważne zwłaszcza, gdy pracujesz z wrażliwymi danymi, które nie powinny trafiać do zewnętrznych API.
• Brak zależności od chmury – Nie potrzebujesz dostępu do internetu ani zewnętrznych serwerów, by korzystać z AI. Unikasz też kosztów związanych z płatnymi usługami chmurowymi – po jednorazowym pobraniu modelu możesz z niego korzystać bez ograniczeń (oczywiście w granicach mocy obliczeniowej Twojego sprzętu). Niższe opóźnienia to dodatkowy plus – odpowiedzi generują się u Ciebie lokalnie, bez sieciowych opóźnień.
• Bogata biblioteka modeli – Ollama oferuje wiele pretrenowanych modeli do różnych zastosowań. Możesz dobrać model pasujący do Twojego zadania (konwersacja, generowanie kodu, tłumaczenie, odpowiadanie na pytania itp.) i dostosowany do mocy Twojej maszyny (są lżejsze modele, które ruszą na CPU, jak i większe, które najlepiej działają z dobrą kartą GPU).
• Integracja i łatwość użycia – Narzędzie zaprojektowano tak, by łatwo włączyć je do własnego projektu. Ollama udostępnia proste w użyciu API lokalne oraz mechanizmy integracji z popularnymi frameworkami (Python, Node, a także .NET). Dla programistów C# istnieją np. biblioteki klienckie pozwalające wywoływać modele Ollama z kodu, a nawet wsparcie w ramach platformy .NET (o czym za chwilę). Dzięki temu możesz szybko wzbogacić swoją aplikację o funkcje AI, nie zagłębiając się w niskopoziomowe detale ML.
Jak zacząć korzystać z Ollama w C#?
Skoro wiemy już, co oferuje Ollama, przyjrzyjmy się, jak praktycznie zacząć jej używać jako programista .NET. Dobra wiadomość jest taka, że to naprawdę prosty proces – sprowadza się do kilku kroków:
1. Instalacja Ollama – Pobierz instalator ze strony oficjalnej Ollama i zainstaluj narzędzie na swoim systemie. Ollama działa na Windows, macOS oraz Linux (na Windows dostępna jest natywna aplikacja z obsługą GPU). Instalator na Windows sam zadba o wszystkie zależności – po instalacji będziesz mieć na komputerze gotowe środowisko do uruchamiania modeli LLM.
2. Pobranie modelu LLM – Po instalacji, musisz pobrać wybrany model językowy, którego chcesz użyć. Służy do tego polecenie ollama pull. Przykład:
ollama pull llama2
Powyższe polecenie pobierze model Llama 2 (domyślnie w jakiejś domyślnej konfiguracji, np. 7B parametrów) z biblioteki Ollama na Twój dysk. Możesz w ten sposób pobierać różne dostępne modele – ich pełną listę znajdziesz w dokumentacji lub na stronie projektu.
3. Uruchomienie modelu – Gdy masz już model, uruchamiasz go poleceniem ollama run <nazwa_modelu>. Kontynuując przykład:
ollama run llama2
To polecenie ładuje model do pamięci i uruchamia lokalny serwer API Ollama. Domyślnie nasłuchuje on na adresie http://localhost:11434. Od tej pory model jest gotowy do działania – możesz zadawać mu pytania przez interfejs w terminalu lub wysyłać zapytania z kodu. (Uwaga: W systemie Windows narzędzie może uruchomić się jako aplikacja w tle – zerknij na pasek zadań – i automatycznie wystartuje swoje API).
4. Wywołanie modelu z aplikacji C# – Mając działający lokalnie model, możesz komunikować się z nim z poziomu swojej aplikacji .NET. Ollama udostępnia prosty endpoint HTTP (REST API) do zadawania pytań modelowi. Dzięki temu można wykorzystać np. klasę HttpClient w C# do wysyłania promptów i odbierania odpowiedzi. Poniżej znajduje się uproszczony przykład, jak można to zrobić:
using System.Net.Http;
using System.Text;
using System.Threading.Tasks;
/* ... (wewnątrz async metody) */
using HttpClient client = new HttpClient();
string prompt = "Wymień pierwsze trzy liczby pierwsze.";
string requestJson = $"{{\"model\": \"llama2\", \"prompt\": \"{prompt}\", \"stream\": false}}";
var content = new StringContent(requestJson, Encoding.UTF8, "application/json");
HttpResponseMessage response = await client.PostAsync("http://localhost:11434/api/generate", content);
string resultJson = await response.Content.ReadAsStringAsync();
Console.WriteLine(resultJson);Powyższy kod wysyła zapytanie POST do lokalnego API Ollama. W zapytaniu podajemy, którego modelu użyć ("model": "llama2") oraz nasz prompt z poleceniem czy pytaniem. Parametr "stream": false oznacza, że chcemy otrzymać całą odpowiedź naraz (Ollama wspiera też strumieniowanie tokenów podobnie jak API OpenAI). Po wywołaniu, serwer zwróci odpowiedź w formacie JSON zawierającym wygenerowany tekst. W zmiennej resultJson znajdzie się więc wynik wygenerowany przez model (do przeparsowania na obiekt lub wyłuskania tekstu odpowiedzi).
Uwaga: Ollama na Windows udostępnia także endpointy kompatybilne z API OpenAI. Oznacza to, że istniejące biblioteki klienckie pisane pod ChatGPT/OpenAI API można przekierować na lokalny adres Ollama i powinny działać bez większych zmian – co może ułatwić integrację. W ekosystemie .NET pojawiają się też dedykowane biblioteki, takie jak OllamaSharp czy wsparcie w ramach Microsoft Semantic Kernel, pozwalające jeszcze sprawniej wywoływać lokalne modele i wplatać je w aplikacje. To jednak temat na osobny wpis.
Podsumowanie
Ollama otwiera przed programistami C# nowe możliwości – pozwala korzystać z potęgi modeli językowych AI bezpośrednio na własnym sprzęcie, z pominięciem ograniczeń i kosztów chmurowych usług. W praktyce oznacza to większą swobodę eksperymentowania i tworzenia inteligentnych funkcjonalności w aplikacjach .NET: od chatbotów, przez generowanie podsumowań czy tłumaczeń, po budowanie własnych asystentów i agentów AI. To wszystko z zachowaniem kontroli nad danymi i możliwością dostosowania modeli do własnych potrzeb.
Mam nadzieję, że to krótkie wprowadzenie zachęciło Cię do wypróbowania Ollama. Warto samodzielnie pobrać model i pobawić się nim – zobaczysz, jak łatwo można uzyskać odpowiedzi podobne do ChatGPT, ale działające lokalnie. Jeśli tematy sztucznej inteligencji w .NET Cię fascynują i chcesz pójść o krok dalej, rozważ udział w moim kompletnym szkoleniu online Szkoła AI w C#/.NET. W tym szkoleniu uczymy się krok po kroku, jak budować własne rozwiązania oparte o AI, integrując modele językowe (takie jak Ollama i inne) w aplikacjach C#. To świetna okazja, by pogłębić wiedzę i zdobyć praktyczne umiejętności w tej dynamicznie rozwijającej się dziedzinie.
