Решения

Готовые решения с исходным кодом на GitHub

Фильтры по тегам

Все ai-agents llm open-source cli mcp python self-hosted multi-agent claude-code tools rag orchestration model-serving

Показано: 3

DeepInfer — высокопроизводительный движок инференса от DeepSeek

DeepInfer — это движок инференса от компании DeepSeek AI. На нём работают её собственные продакшн сервисы, а в октябре 2026 года проект выложили в открытый доступ. Это не набор разрозненных скриптов: …

📂 GitHub
deepseek llm inference ещё 2

oMLX — LLM-инференс на Mac с continuous batching и SSD-кэшем KV-блоков

oMLX — open source сервер LLM инференса, оптимизированный специально для Mac на Apple Silicon. Проект вырос из vllm mlx v0.1.0 и заметно эволюционировал: мульти модельное обслуживание, двухуровневый K…

📂 GitHub
llm inference local-first ещё 2

vLLM — высокопроизводительный движок инференса LLM

vLLM — быстрая и простая в использовании библиотека для inference и сервинга больших языковых моделей. Проект разработан в Sky Computing Lab в UC Berkeley и вырос в один из самых активных open source …

📂 GitHub
llm inference model-serving ещё 2