AirLLM — запуск 70B языковых моделей на GPU с 4 ГБ видеопамяти
AirLLM — open source Python библиотека, которая кардинально снижает потребление видеопамяти при инференсе больших языковых моделей. 70B модель запускается на единственной GPU с 4 ГБ VRAM — без квантиз…
📂 GitHub