Запуск LLM на Raspberry Pi

Экспериментальная площадка по оптимизации и запуску локальных языковых моделей на маломощном железе. Без облаков, приватно, на грани возможного.

$ ./run_llm.sh --model phi-3-mini --quant q4_k_m
Loading weights... [████████████████] 100%
Context: 4096 | RAM: 768MB | Backend: llama.cpp
> Ready. Type your prompt:

⚡ Оптимизация

Квантование, offloading на GPU/Vulkan, настройка тредов под ARM Cortex.

📦 Совместимость

Raspberry Pi 4/5, Armbian, Ubuntu 24.04, Docker-контейнеры.

🔒 Приватность

Все данные остаются на устройстве. Никаких API-ключей и телеметрии.

Open Source

Используем llama.cpp, Ollama, HuggingFace и собственные скрипты автоматизации.