W tym samouczku dowiesz się, jak uruchomić modele językowe (LLM) lokalnie na swoim komputerze za darmo, unikając usług chmurowych i dbając o prywatność swoich danych. Używając narzędzi takich jak Ollama, możesz łatwo wchodzić w interakcje z tymi modelami, tak jak w przypadku ChatGPT. Postępuj zgodnie z tymi krokami, aby wszystko skonfigurować na swoim komputerze.
Krok 1: Zainstaluj Ollama
- Przejdź na stronę internetową Ollama.
- Pobierz instalator Ollama dla swojego systemu operacyjnego.
- Uruchom instalator i postępuj zgodnie z instrukcjami wyświetlanymi na ekranie, aby zakończyć instalację.
Krok 2: Uruchom Ollama
- Wyszukaj "cmd" w menu Start.
- Wpisz ollama i naciśnij Enter, aby uruchomić aplikację.
- Powinieneś zobaczyć komunikat powitalny, który potwierdza, że Ollama jest zainstalowana i działa poprawnie.
Możesz również w przeglądarce wkleić adres:
http://127.0.0.1:11434
Krok 3: Pobierz model do Ollama
W konsoli cmd użyj następującego polecenia, aby pobrać model dla przykładowego modelu, który testuję:
ollama run llama2-uncensored
Tutaj znajdziesz listę dostępnych modeli do pobrania: modele.
Możesz użyć polecenia „ollama list”, aby uzyskać listę wszystkich zainstalowanych modeli LLM na swoim systemie.
Uwaga: Aby uruchomić modele 7B, powinieneś mieć co najmniej 8 GB dostępnej pamięci RAM; dla modeli 13B - 16 GB; a dla modeli 33B - 32 GB.
Kiedy skończysz interakcję, możesz zakończyć działanie polecenia, używając „Ctrl+D”, wpisując „/bye” lub używając „/?”, aby uzyskać dodatkowe informacje.
Brak komentarzy:
Prześlij komentarz