内容AI: 目标驱动的图像生成

mp.weixin.qq.com

IP-Adapter + ReferenceNet（Anymate-anyone）

1. 研究现状：
   • 基于参考图像生成的技术主要分为inpainting技术和参考图生成技术。
   • inpainting技术的缺点是生成的物体与原图一模一样，难以融入新场景。
2. 测试时微调：
   • 测试时微调需要对特定物体进行额外的模型微调，如DreamBooth等。
   • DreamBooth通过捆绑特定图像与文本，学习人/物到文本的映射关系。
3. 免测试时微调：
   • 免测试时微调具备zero-shot生成能力，如IP-Adapter和Animate-anyone。
   • IP-Adapter通过Image Encoder编码条件图像，但可能丢失细节信息。
   • ReferenceNet通过多尺度特征注入去噪阶段，提升生成图像一致性。

SDXL和 Flux 作为基模。SDXL 和 Flux 对文字等具有较好的还原能力。  在方案选择上，我们尝试了基于 ControlNet [6]、ReferenceNet 和一些虚拟试衣的范式，并且最终基于虚拟试衣的范式并进行相应修改调整来进行参考图生成。

对于一些特定场景还在进行进一步的优化，后续完善后会逐步开源，敬请期待！