Обучение собственной LoRA для Flux.1 Dev через Kohya_ss требует мощной видеокарты уровня RTX 3090/4090 с 24 ГБ VRAM, качественного датасета из 15–30 выровненных фотографий и точной настройки множителей rank и alpha.
Метод подходит для коммерческих проектов и рекламы, где заказчик требует жесткого контроля портретного сходства, но уступает по скорости классическим SDXL-моделям и страдает от артефактов кожи при завышенных шагах.
Зачем запускать обучение Flux.1 Dev LoRA своими силами
Когда мы с дизайнером берем в работу очередной рекламный проект, заказчик редко соглашается на абстрактные генерации. Ему нужно точное попадание в лицо реального амбассадора, узнаваемый стиль или конкретный предмет из каталога. Базовая модель Flux.1 Dev великолепно понимает текст и анатомию, но не знает вашего клиента. Именно поэтому приходится уходить в локальное обучение LoRA.
Мы используем графический интерфейс Kohya_ss, так как он позволяет прозрачно контролировать все параметры процесса — от скорости обучения (learning rate) до сохранения промежуточных эпох. Это не магия одной кнопки: если выставить настройки наугад, вместо лица амбассадора модель выдаст «пластиковую» маску или начнет генерировать артефакты на руках и фоне.
- Требуется локальная видеокарта с объемом видеопамяти от 24 ГБ (RTX 3090 или RTX 4090).
- Обязательно наличие быстрой дисковой системы NVMe для быстрой подгрузки тензоров.
- Процесс завязан на связку Python, CUDA и актуальные библиотеки diffusers.
Kohya_ss GitHub Repository: https://github.com/bmaltais/kohya_ssHugging Face Flux.1 Dev Model Card: https://huggingface.co/black-forest-labs/FLUX.1-devСколько нужно фотографий и какого качества для датасета
Главная ошибка начинающих — закинуть в папку тысячу случайных кадров с телефона и надеяться на чудо. Для Flux.1 Dev критически важна чистота датасета. Мы с дизайнером собираем от 15 до 30 качественных фотографий одного человека в разных ракурсах, с разным освещением, но без сильных искажений перспективы и экстремальных эмоций, которые ломают базовую сетку лица.
Каждый кадр предварительно кадрируется и очищается от лишнего мусора на фоне, чтобы нейросеть не путала лицо с деталями одежды или интерьера. Разрешение изображений должно быть не ниже 1024х1024 пикселей. Использование подписей (captioning) обязательно: текстовые файлы с описанием каждого кадра помогают модели быстрее понять, где объект тренировки, а где случайные элементы.
- Объем датасета: 15–30 тщательно отобранных кадров.
- Разрешение: строго от 1024 пикселей по меньшей стороне.
- Разметка: текстовые `.txt` файлы с описанием содержимого для каждого изображения.
Критические параметры Kohya_ss для обучения Flux.1 Dev
Интерфейс Kohya_ss предлагает сотни ползунков, но для архитектуры Flux.1 важны лишь несколько ключевых веток. Поскольку модель использует тяжелый трансформер и текстовые энкодеры T5 и CLIP, стандартные настройки от SDXL здесь приводят к мгновенному переобучению (overfitting) или ошибкам нехватки памяти (OOM).
Мы выставляем значение network_dim (rank) на уровне 16 или 32, а network_alpha — вполовину меньше или равным rank (например, 16). Скорость обучения (learning rate) для самого веса LoRA задаем в пределах от 1e-4 до 4e-4, используя оптимизатор AdamW8bit с пониженной точностью (bf16), так как Flux.1 нативно обучается в bfloat16, что критично для стабильности градиентов.
- Network Rank (dim): 16 или 32 для оптимального баланса веса и детализации.
- Learning Rate: 1e-4 для быстрого старта без разрушения базовых слоев.
- Precision: bfloat16 (bf16) для сохранения точности вычислений на RTX 4090.
Настройка шагов обучения и предотвращение переобучения
Вопрос правильного количества шагов (steps) и эпох (epochs) всегда решается через тестовые прогонки. Если запустить обучение слишком надолго, модель потеряет гибкость: лицо станет «вшитым» в любой фон, а кожа приобретет неебливый глянец, от которого рекламу сразу завернет арт-директор.
При размере датасета в 20 картинок мы обычно выставляем общее количество повторений (repeats) около 10–15 на каждое изображение за эпоху, суммарно получая порядка 1000–1500 шагов. Сохранение весов (save_every_n_epochs) настраиваем на каждую эпоху, чтобы в ComfyUI потом протестировать промежуточные версии и выбрать ту, где портретное сходство уже максимальное, а артефактов еще нет.
- Общие шаги: ориентируйтесь на диапазон 1000–2000 шагов в зависимости от размера датасета.
- Сохранение эпох: сохраняйте веса каждые 1–2 эпохи для ручной проверки в генераторе.
- Контроль потерь (loss): следите за графиком, резкое падение loss в ноль означает переобучение.
Типичные артефакты лица и одежды при переносе LoRA в ComfyUI
Когда готовая `.safetensors` модель переносится в ноды ComfyUI для финального рендеринга, всплывают стандартные проблемы реальных запусков. Чаще всего мы сталкиваемся с тем, что глаза приобретают стеклянный блеск, а по контуру волос появляется характерный «ореол» из пикселей исходного фона датасета.
Еще одна беда — деформация одежды. Если в обучающей выборке человек был в одной и той же куртке на половине кадров, модель начинает намертво привязывать эту куртку к лицу, и вставить персонажа в строгий костюм или летнюю футболку становится проблематично. Решается это расширением разнообразия одежды в датасете или снижением веса LoRA (strength) при инференсе до 0.7–0.85.
- Стеклянный взгляд и перенасыщенная текстура кожи при высоком весе LoRA (>0.9).
- Перенос элементов фона с тренировочных фото на новые генерации.
- «Прилипание» одежды из датасета к любым текстовым промптам.
Чек-лист проверки готовой LoRA перед сдачей в рекламу
Прежде чем показывать результат заказчику или отдавать дизайнеру в работу, мы проводим стресс-тест собранной LoRA по трем сценариям. Задача — убедиться, что модель ведет себя предсказуемо в нестандартных условиях, а не только на статичных портретах анфас.
Мы проверяем генерацию в полный рост, смену освещения (например, жесткий контровой свет или неоновые вывески) и изменение эмоций. Если на этом этапе лицо плывет или теряет узнаваемость, мы снижаем вес в ComfyUI или пересобираем датасет, убирая кадры с проблемными ракурсами.
- Стресс-тест смены одежды через текстовый промпт.
- Проверка узнаваемости при боковом и сложном студийном освещении.
- Контроль целостности кистей рук и геометрии тела при активации LoRA.
Источники