Llama.cpp
llama.cpp - gangsta program pozwalający testować model LLaMA (i podobne) offline na twoim kompie. Ma w miarę małe wymagania sprzętowe i nie wymaga skomplikowanej instalacji.
Wymagania
Program używa procesora, nie wymaga karty graficznej. Im więcej RAMu posiadasz, tym lepszy model będzie się dało odpalić.
| Model (wersja q4_0) | Rozmiar pliku | Wymagana pamięć |
|---|---|---|
| LLaMA-7B, Alpaca-Native-7B, Alpaca-LoRA-7B | ~4 GB | ~6 GB |
| LLaMA-13B, Alpaca-LoRA-13B | ~8 GB | ~12 GB |
| LLaMA-33B, Alpaca-LoRA-33B | ~19 GB | ~28,5 GB |
| LLaMA-65B | ~38 GB | ~57 GB |
Instalacja programu
Wejdź na https://github.com/ggerganov/llama.cpp, po prawej stronie w sekcji "Releases" kliknij na link Latest i pobierz plik .zip. Wypakuj wszystko do jakiegoś folderu.
Przygotowanie modelu
Oficjalna metoda to:
- Wypełnienie formularza na stronie https://github.com/facebookresearch/llama, żeby uzyskać dostęp do modelu
- Pobranie 220 GB plików 🙀
- Przerobienie modelu z formatu Facebooka (*.pth) na format GGML (*.bin)
Problem w tym jest taki, że ta ostatnia operacja wymaga dużo RAMu. :| Na szczęście na necie można znaleźć gotowe przerobione modele. Niestety wstawianie linka do nich to złamanie regulaminu Facebooka i nie może on zostać zamieszczony na Mruczek Wiki[1].
Używanie programu (model LLaMA)
No więc masz już pobrany model oraz program. :D
- Uruchom wiersz poleceń w folderze w którym znajduje się program. Najłatwiejsza metoda to shift+prawy przycisk myszki w tle folderu i opcja "Otwórz okno programu PowerShell" lub "Otwórz wiersz poleceń"
- Wpisz polecenie:
.\main.exe -m <ścieżka do modelu> -n <długość tekstu (max 2048)> -p "<prompt>"
Przykład:
.\main.exe -m .\LLaMA-ggml-4bit_2023-03-14\7B\ggml-model-q4_0.bin -n 512 -p "MruczekWiki is the best website on the internet, because "
Używanie programu (model Alpaca)
Model Alpaca jest zrobiony na bazie LLaMy. Obowiązuje ta sama licencja, co sprawia że link do pobrania nie może być tutaj zamieszczony[1].
Utwórz plik alpaca.txt w tym samym folderze, gdzie jest plik main.exe. W środku wpisz poniższy tekst. Pamiętaj o enterze na końcu zdania.
Below is an instruction that describes a task. Write a response that appropriately completes the request.
Uruchom program poleceniem:
.\main.exe -m <ścieżka do modelu> --color -f .\alpaca.txt -ins
Przykład:
.\main.exe -m .\Alpaca-7B-ggml-4bit-LoRA-merged_2023-03-20\ggml-model-q4_0.bin --color -f .\alpaca.txt -ins
Aby przerwać generowanie tekstu użyj Ctrl+C, aby wyjść z programu pospamuj Ctrl+C kilka razy. Jeśli chcesz skopiować wygenerowany tekst, zaznacz go i użyj prawego przycisku myszki.