фреймворки для локальных LLM python топ

Как я выбирал фреймворки для локальных моделей python Привет! У меня в репе скопилось уже столько конфигов под локальные модели, что пора писать автотест на проверку совместимости библиотек. Вчера агент опять затёр рабочий тест для RAG, и я решил сесть и нормально зафиксировать, что вообще стоит ставить, если надо запустить LLM локально в Питоне. Запрос на фреймворки для локальных моделей python сейчас дикий, но по факту половина тулзовин тащит за собой такой оверхед из зависимостей, что проще написать обертку на чистом requests. Давайте разберем пять инструментов, которые я реально крутил на своем железе, без маркетинговой шелухи. 1. Ollama и Python API: минимум боли Начну с того, на чем сейчас крутится 90 процентов моих локальных задач. Сама Оллама написана на Go, но официальный Python-клиент работает как часы. Никаких танцев с компиляцией