Применение LoRA в Fooocus

Подключаем LoRA

LoRAs (Low-Rank Adaptation) представляют собой специализированные модели, используемые для модификации и стилизации изображений в генеративных системах. Они позволяют добавлять визуальные эффекты, корректировать позы, улучшать детали изображения и выполнять другие задачи. В данном контексте рассматривается их использование в программе Fooocus, которая поддерживает модели формата SDXL.

Для поиска и загрузки подходящих моделей рекомендуется платформа civitai.com, где можно воспользоваться фильтрацией. Fooocus поддерживает только LoRA, совместимые с базовой моделью SDXL 1.0, поэтому при выборе следует открыть раздел Models и применить фильтры. В настройках фильтра указывается тип модели как LoRA и выбирается соответствующая базовая модель.

После выбора LoRA важно ознакомиться с её описанием. Некоторые модели содержат ключевые слова или дополнительные настройки, которые необходимо учитывать при генерации изображений. Например, если используется LoRA SDXL_Fog_Sa_May_V2, добавляющая эффект тумана, в запросе к Fooocus нужно указать ключевые слова, такие как fog или in the fog. Эти слова выступают в роли подсказок для алгоритма.

Скачанную LoRA следует разместить в папке программы Fooocus:
/Fooocus/models/loras.

Для активации LoRA в интерфейсе Fooocus требуется выполнить следующие действия:

• Указать соответствующие ключевые слова.
• Активировать опцию Advanced и перейти на вкладку Models.
• Нажать кнопку Refresh All Files, чтобы обновить список доступных моделей.
• Выбрать загруженную LoRA в выпадающем списке.

Дополнительно можно настроить вес LoRA с помощью ползунка, который определяет степень влияния модели на процесс генерации.

Рассмотрим влияние веса на результат генерации.

Fooocus изначально позволяет подключить не более пяти LoRA одновременно, однако это ограничение можно снять, изменив соответствующую настройку. Если включены несколько LoRA, их порядок в интерфейсе практически не влияет на итоговый результат.

Этот подход позволяет гибко комбинировать различные модели для достижения нужного визуального эффекта.

Пример Настройки Мultiple LoRA

Например, если вы хотите добавить эффект тумана и одновременно изменить стиль изображения на стимпанк, вы можете следовать таким шагам:

• Скачайте соответствующие LoRA (например, SDXL_Fog_Sa_May_V2 и SDXL_Steampunk_V1).
• Добавьте ключевые слова для каждой LoRA в запрос (например, «fog» и «steampunk»).
• Включите галочку «Advanced» и перейдите на вкладку «Models».
• Выберите обе скачанные LoRA из выпадающего списка и настройте их веса, используя ползунки или точные значения.
• Экспериментируйте с разными комбинациями весов, наблюдая за результатами, чтобы найти оптимальную комбинацию.

Эти шаги помогут эффективно использовать в Fooocus несколько LoRA одновременно, создавая сложные и интересные эффекты в генерируемых изображениях.