Обучение LoRA для Flux.1 Dev через Kohya_ss: реальный тест и качество лиц

Обучение собственной LoRA для Flux.1 Dev через Kohya_ss требует мощной видеокарты уровня RTX 3090/4090 с 24 ГБ VRAM, качественного датасета из 15–30 выровненных фотографий и точной настройки множителей rank и alpha.

Метод подходит для коммерческих проектов и рекламы, где заказчик требует жесткого контроля портретного сходства, но уступает по скорости классическим SDXL-моделям и страдает от артефактов кожи при завышенных шагах.

Зачем запускать обучение Flux.1 Dev LoRA своими силами

Когда мы с дизайнером берем в работу очередной рекламный проект, заказчик редко соглашается на абстрактные генерации. Ему нужно точное попадание в лицо реального амбассадора, узнаваемый стиль или конкретный предмет из каталога. Базовая модель Flux.1 Dev великолепно понимает текст и анатомию, но не знает вашего клиента. Именно поэтому приходится уходить в локальное обучение LoRA.

Мы используем графический интерфейс Kohya_ss, так как он позволяет прозрачно контролировать все параметры процесса — от скорости обучения (learning rate) до сохранения промежуточных эпох. Это не магия одной кнопки: если выставить настройки наугад, вместо лица амбассадора модель выдаст «пластиковую» маску или начнет генерировать артефакты на руках и фоне.

• Требуется локальная видеокарта с объемом видеопамяти от 24 ГБ (RTX 3090 или RTX 4090).
• Обязательно наличие быстрой дисковой системы NVMe для быстрой подгрузки тензоров.
• Процесс завязан на связку Python, CUDA и актуальные библиотеки diffusers.

Сколько нужно фотографий и какого качества для датасета

Главная ошибка начинающих — закинуть в папку тысячу случайных кадров с телефона и надеяться на чудо. Для Flux.1 Dev критически важна чистота датасета. Мы с дизайнером собираем от 15 до 30 качественных фотографий одного человека в разных ракурсах, с разным освещением, но без сильных искажений перспективы и экстремальных эмоций, которые ломают базовую сетку лица.

Каждый кадр предварительно кадрируется и очищается от лишнего мусора на фоне, чтобы нейросеть не путала лицо с деталями одежды или интерьера. Разрешение изображений должно быть не ниже 1024х1024 пикселей. Использование подписей (captioning) обязательно: текстовые файлы с описанием каждого кадра помогают модели быстрее понять, где объект тренировки, а где случайные элементы.

• Объем датасета: 15–30 тщательно отобранных кадров.
• Разрешение: строго от 1024 пикселей по меньшей стороне.
• Разметка: текстовые `.txt` файлы с описанием содержимого для каждого изображения.

Критические параметры Kohya_ss для обучения Flux.1 Dev

Интерфейс Kohya_ss предлагает сотни ползунков, но для архитектуры Flux.1 важны лишь несколько ключевых веток. Поскольку модель использует тяжелый трансформер и текстовые энкодеры T5 и CLIP, стандартные настройки от SDXL здесь приводят к мгновенному переобучению (overfitting) или ошибкам нехватки памяти (OOM).

Мы выставляем значение network_dim (rank) на уровне 16 или 32, а network_alpha — вполовину меньше или равным rank (например, 16). Скорость обучения (learning rate) для самого веса LoRA задаем в пределах от 1e-4 до 4e-4, используя оптимизатор AdamW8bit с пониженной точностью (bf16), так как Flux.1 нативно обучается в bfloat16, что критично для стабильности градиентов.

• Network Rank (dim): 16 или 32 для оптимального баланса веса и детализации.
• Learning Rate: 1e-4 для быстрого старта без разрушения базовых слоев.
• Precision: bfloat16 (bf16) для сохранения точности вычислений на RTX 4090.

Настройка шагов обучения и предотвращение переобучения

Вопрос правильного количества шагов (steps) и эпох (epochs) всегда решается через тестовые прогонки. Если запустить обучение слишком надолго, модель потеряет гибкость: лицо станет «вшитым» в любой фон, а кожа приобретет неебливый глянец, от которого рекламу сразу завернет арт-директор.

При размере датасета в 20 картинок мы обычно выставляем общее количество повторений (repeats) около 10–15 на каждое изображение за эпоху, суммарно получая порядка 1000–1500 шагов. Сохранение весов (save_every_n_epochs) настраиваем на каждую эпоху, чтобы в ComfyUI потом протестировать промежуточные версии и выбрать ту, где портретное сходство уже максимальное, а артефактов еще нет.

• Общие шаги: ориентируйтесь на диапазон 1000–2000 шагов в зависимости от размера датасета.
• Сохранение эпох: сохраняйте веса каждые 1–2 эпохи для ручной проверки в генераторе.
• Контроль потерь (loss): следите за графиком, резкое падение loss в ноль означает переобучение.

Типичные артефакты лица и одежды при переносе LoRA в ComfyUI

Когда готовая `.safetensors` модель переносится в ноды ComfyUI для финального рендеринга, всплывают стандартные проблемы реальных запусков. Чаще всего мы сталкиваемся с тем, что глаза приобретают стеклянный блеск, а по контуру волос появляется характерный «ореол» из пикселей исходного фона датасета.

Еще одна беда — деформация одежды. Если в обучающей выборке человек был в одной и той же куртке на половине кадров, модель начинает намертво привязывать эту куртку к лицу, и вставить персонажа в строгий костюм или летнюю футболку становится проблематично. Решается это расширением разнообразия одежды в датасете или снижением веса LoRA (strength) при инференсе до 0.7–0.85.

• Стеклянный взгляд и перенасыщенная текстура кожи при высоком весе LoRA (>0.9).
• Перенос элементов фона с тренировочных фото на новые генерации.
• «Прилипание» одежды из датасета к любым текстовым промптам.

Чек-лист проверки готовой LoRA перед сдачей в рекламу

Прежде чем показывать результат заказчику или отдавать дизайнеру в работу, мы проводим стресс-тест собранной LoRA по трем сценариям. Задача — убедиться, что модель ведет себя предсказуемо в нестандартных условиях, а не только на статичных портретах анфас.

Мы проверяем генерацию в полный рост, смену освещения (например, жесткий контровой свет или неоновые вывески) и изменение эмоций. Если на этом этапе лицо плывет или теряет узнаваемость, мы снижаем вес в ComfyUI или пересобираем датасет, убирая кадры с проблемными ракурсами.

• Стресс-тест смены одежды через текстовый промпт.
• Проверка узнаваемости при боковом и сложном студийном освещении.
• Контроль целостности кистей рук и геометрии тела при активации LoRA.

Источники