Софья Ларина
Софья ЛаринаТариф БортинженерИзображения

СтатьяКейс

Обучение LoRA для Flux.1 Dev через Kohya_ss: реальный тест и качество лиц

Автор отметил, что материал написан или существенно правлен с помощью ИИ (gemini-2.5-flash).

Обучение собственной LoRA для Flux.1 Dev через Kohya_ss требует мощной видеокарты уровня RTX 3090/4090 с 24 ГБ VRAM, качественного датасета из 15–30 выровненных фотографий и точной настройки множителей rank и alpha.

Метод подходит для коммерческих проектов и рекламы, где заказчик требует жесткого контроля портретного сходства, но уступает по скорости классическим SDXL-моделям и страдает от артефактов кожи при завышенных шагах.

Зачем запускать обучение Flux.1 Dev LoRA своими силами

Когда мы с дизайнером берем в работу очередной рекламный проект, заказчик редко соглашается на абстрактные генерации. Ему нужно точное попадание в лицо реального амбассадора, узнаваемый стиль или конкретный предмет из каталога. Базовая модель Flux.1 Dev великолепно понимает текст и анатомию, но не знает вашего клиента. Именно поэтому приходится уходить в локальное обучение LoRA.

Мы используем графический интерфейс Kohya_ss, так как он позволяет прозрачно контролировать все параметры процесса — от скорости обучения (learning rate) до сохранения промежуточных эпох. Это не магия одной кнопки: если выставить настройки наугад, вместо лица амбассадора модель выдаст «пластиковую» маску или начнет генерировать артефакты на руках и фоне.

  • Требуется локальная видеокарта с объемом видеопамяти от 24 ГБ (RTX 3090 или RTX 4090).
  • Обязательно наличие быстрой дисковой системы NVMe для быстрой подгрузки тензоров.
  • Процесс завязан на связку Python, CUDA и актуальные библиотеки diffusers.
Kohya_ss GitHub Repository: https://github.com/bmaltais/kohya_ssHugging Face Flux.1 Dev Model Card: https://huggingface.co/black-forest-labs/FLUX.1-dev

Сколько нужно фотографий и какого качества для датасета

Главная ошибка начинающих — закинуть в папку тысячу случайных кадров с телефона и надеяться на чудо. Для Flux.1 Dev критически важна чистота датасета. Мы с дизайнером собираем от 15 до 30 качественных фотографий одного человека в разных ракурсах, с разным освещением, но без сильных искажений перспективы и экстремальных эмоций, которые ломают базовую сетку лица.

Каждый кадр предварительно кадрируется и очищается от лишнего мусора на фоне, чтобы нейросеть не путала лицо с деталями одежды или интерьера. Разрешение изображений должно быть не ниже 1024х1024 пикселей. Использование подписей (captioning) обязательно: текстовые файлы с описанием каждого кадра помогают модели быстрее понять, где объект тренировки, а где случайные элементы.

  • Объем датасета: 15–30 тщательно отобранных кадров.
  • Разрешение: строго от 1024 пикселей по меньшей стороне.
  • Разметка: текстовые `.txt` файлы с описанием содержимого для каждого изображения.

Критические параметры Kohya_ss для обучения Flux.1 Dev

Интерфейс Kohya_ss предлагает сотни ползунков, но для архитектуры Flux.1 важны лишь несколько ключевых веток. Поскольку модель использует тяжелый трансформер и текстовые энкодеры T5 и CLIP, стандартные настройки от SDXL здесь приводят к мгновенному переобучению (overfitting) или ошибкам нехватки памяти (OOM).

Мы выставляем значение network_dim (rank) на уровне 16 или 32, а network_alpha — вполовину меньше или равным rank (например, 16). Скорость обучения (learning rate) для самого веса LoRA задаем в пределах от 1e-4 до 4e-4, используя оптимизатор AdamW8bit с пониженной точностью (bf16), так как Flux.1 нативно обучается в bfloat16, что критично для стабильности градиентов.

  • Network Rank (dim): 16 или 32 для оптимального баланса веса и детализации.
  • Learning Rate: 1e-4 для быстрого старта без разрушения базовых слоев.
  • Precision: bfloat16 (bf16) для сохранения точности вычислений на RTX 4090.

Настройка шагов обучения и предотвращение переобучения

Вопрос правильного количества шагов (steps) и эпох (epochs) всегда решается через тестовые прогонки. Если запустить обучение слишком надолго, модель потеряет гибкость: лицо станет «вшитым» в любой фон, а кожа приобретет неебливый глянец, от которого рекламу сразу завернет арт-директор.

При размере датасета в 20 картинок мы обычно выставляем общее количество повторений (repeats) около 10–15 на каждое изображение за эпоху, суммарно получая порядка 1000–1500 шагов. Сохранение весов (save_every_n_epochs) настраиваем на каждую эпоху, чтобы в ComfyUI потом протестировать промежуточные версии и выбрать ту, где портретное сходство уже максимальное, а артефактов еще нет.

  • Общие шаги: ориентируйтесь на диапазон 1000–2000 шагов в зависимости от размера датасета.
  • Сохранение эпох: сохраняйте веса каждые 1–2 эпохи для ручной проверки в генераторе.
  • Контроль потерь (loss): следите за графиком, резкое падение loss в ноль означает переобучение.

Типичные артефакты лица и одежды при переносе LoRA в ComfyUI

Когда готовая `.safetensors` модель переносится в ноды ComfyUI для финального рендеринга, всплывают стандартные проблемы реальных запусков. Чаще всего мы сталкиваемся с тем, что глаза приобретают стеклянный блеск, а по контуру волос появляется характерный «ореол» из пикселей исходного фона датасета.

Еще одна беда — деформация одежды. Если в обучающей выборке человек был в одной и той же куртке на половине кадров, модель начинает намертво привязывать эту куртку к лицу, и вставить персонажа в строгий костюм или летнюю футболку становится проблематично. Решается это расширением разнообразия одежды в датасете или снижением веса LoRA (strength) при инференсе до 0.7–0.85.

  • Стеклянный взгляд и перенасыщенная текстура кожи при высоком весе LoRA (>0.9).
  • Перенос элементов фона с тренировочных фото на новые генерации.
  • «Прилипание» одежды из датасета к любым текстовым промптам.

Чек-лист проверки готовой LoRA перед сдачей в рекламу

Прежде чем показывать результат заказчику или отдавать дизайнеру в работу, мы проводим стресс-тест собранной LoRA по трем сценариям. Задача — убедиться, что модель ведет себя предсказуемо в нестандартных условиях, а не только на статичных портретах анфас.

Мы проверяем генерацию в полный рост, смену освещения (например, жесткий контровой свет или неоновые вывески) и изменение эмоций. Если на этом этапе лицо плывет или теряет узнаваемость, мы снижаем вес в ComfyUI или пересобираем датасет, убирая кадры с проблемными ракурсами.

  • Стресс-тест смены одежды через текстовый промпт.
  • Проверка узнаваемости при боковом и сложном студийном освещении.
  • Контроль целостности кистей рук и геометрии тела при активации LoRA.

Источники

Источник: https://github.com/bmaltais/kohya_ss

0
12

Комментарии (0)

Войдите, чтобы комментировать.

Без Plus — 5 комментариев в месяц. Мало слов — чистый воздух. Войти

Комментариев пока нет — будьте первым.

Ещё в теме «Изображения»

Похожие материалы и соседние разборы

Павел Дронов
Павел ДроновТариф Бортинженер

Зачем подключать DeepSeek R1 к 1С своими силами Разноска банковских выписок в 1С:Бухгалтерия съедает у бухгалтера массу времени, особенно если контрагенты пишут в назначении платежа «всякую ерунду». Отправлять первичку в облачные сервисы нельзя по соображениям безопасности: коммерческая тайна и персональные данные клиентов не должны уходить на сторонние серверы. Решением становится запуск локальной языковой модели DeepSeek R1 через инструмент Ollama. В этом разборе мы опираемся на официальные спецификации моделей и открытую документацию по интеграции локального API, чтобы посчитать реальные затраты на железо и время обработки документов. Методика и ограничения полевого теста Чтобы не строить иллюзий о миллионной экономии, возьмем конкретные вводные: база 1С:Бухгалтерия предприятия, ред. 3.0, примерно 400–600 входящих платежей в месяц. Тест

DeepSeek R1 в 1С:Бухгалтерия: разбор реального теста автоматизацииПоказать полностью
0
18
Софья Ларина
Софья ЛаринаТариф Бортинженер

Введение в оживление фото: почему половина туториалов врет У меня на прошлой неделе горел проект: клиент принес архивные кадры из девяностых и потребовал запустить их в рилс с легким движением глаз и улыбкой. Задача классическая, но когда я полезла в первые попавшиеся туториалы из поисковика, результат выглядел так, будто на человека наложили фильтр из фильмов ужасов. Глаза разъезжаются, зубы двоятся, а вместо живой текстуры кожи — сплошная пластиковая каша. В коммерческом дизайне такой фокус не прокатит. Реклама не простит халтуры, а заказчик справедливо спросит, почему лицо выглядит жутко. Поэтому мы с дизайнером сели тестировать инструменты не по красивым тизерам на сайтах, а на реальных проблемных исходниках: старых сканах, зернистых портретах и студийных снимках с жестким светом. Ниже я собрала топ-5 нейросетей, которые действительно умеют

Нейросети для оживления фото: топ-5 сервисов для рекламыПоказать полностью
0
14
Софья Ларина
Софья ЛаринаТариф Бортинженер

Вместо введения: почему старые способы стирания логотипов больше не работают У меня на прошлой неделе горел проект: срочно понадобилось вставить в презентацию для клиента скриншот видео, а там по центру красовалась полупрозрачная плашка стока. Раньше мы с дизайнером открывали штамп в фотошопе и сидели медитативно замазывали каждый пиксель. На сплошном фоне это еще прокатывало, но если водяной знак падал на текстуру лица или сложный градиент — получалось такое откровенное мыло, что хоть плачь. Сейчас всё проще и сложнее одновременно. Появились нейросети, которые умеют дорисовывать скрытые под логотипом детали по контексту. Но тут кроется другая засада: половина сайтов по запросу «нейросеть убрать водяной знак с видео бесплатно» предлагают скачать какую-то сомнительную программу с вирусами или выдают результат с дикими артефактами. Я

Нейросети для удаления водяных знаков: топ-5 рабочих сервисов без мылаПоказать полностью
0
16
Никита Орлов
Никита ОрловТариф Бортинженер

Введение в мультиагентные системы: почему старые подходы больше не тащат Привет! У меня в репе за последние полгода скопилось столько экспериментов с AI-агентами, что пора бы разложить всё по полочкам. Если раньше мы просто кидали промпты в LLM через API и радовались, то теперь бизнес требует полноценных конвейеров. Один агент пишет код, второй ищет баги, третий ревьюит — и всё это должно крутиться без падений. Пытаться писать такую оркестрацию на голом Python и костылях из asyncio — верный способ поседеть к релизу. Нужны нормальные фреймворки для мультиагентных систем, топ которых я как раз и хочу разобрать. Ниже — пять инструментов, которые мы щупали руками, ловили на них баги и собирали работающие контуры. LangGraph: когда нужен полный контроль над состоянием графа Первый кандидат в нашем списке — LangGraph от команды LangChain. Я начинал с

Фреймворки для мультиагентных систем: топ-5 инструментов в 2025Показать полностью
0
27
Софья Ларина
Софья ЛаринаТариф Бортинженер

Нейросети для видео топ 5: на чем мы реально работаем в студии Привет! У меня тут на днях сорвался подрядчик по графике, сроки сгорели, а заказчику нужен трехсекундный футуристичный пролет камеры для рекламного ролика. Пришлось срочно поднимать весь наш арсенал ИИ-инструментов, тестировать генерацию видео по тексту и собирать те ии сервисы, которые выдают результат не «в стиле психоделического сна собаки», а пригодную для продакшна картинку. Давайте честно: восторженных обзоров в сети полно, но когда дело доходит до правок клиента и формата 4K (или хотя бы нормального FullHD без мыла), половина хайповых нейросетей отваливается. Я отобрала пятерку инструментов, которые мы реально гоняем в хвост и в гриву на коммерческих проектах в этом сезоне. Смотрим, кому они подходят, а кому лучше обойти стороной. Runway Gen-2 и Gen-3: рабочая лошадка для

Нейросети для генерации видео топ 5: что реально отдать в рекламуПоказать полностью
0
17
Софья Ларина
Софья ЛаринаТариф Бортинженер

Для коммерческих рекламных роликов, где критически важна предсказуемая анатомия человека и читаемость мелких деталей на продукте, на практике лучше подходит Kling AI, тогда как MiniMax Video выигрывает за счет более сложной и плавной динамики камеры. Сравнение актуально для продакшн-студий и арт-директоров, выбирающих инструмент для срочных задач под дедлайны. Главное ограничение обеих моделей — генерация стабильного текста и логотипов с первой попытки пока остается лотереей. Коммерческий контекст: почему мы выбираем между Kling AI и MiniMax Когда заказчик ставит задачу сделать рекламный ролик «вчера», а бюджет не закладывает трехдневный рендер в 3D-пакетах, мы с дизайнером смотрим на генеративные видеоинструменты. Задача арт-стороны здесь земная: картинка должна не просто выглядеть дорого на тизере, но и не разваливаться на анатомические

Kling AI против MiniMax: что выбрать для рекламного видеоПоказать полностью
0
13