如果通过接口实现，可能要在物体的 mask 边缘继续扩大，否则重绘的效果不是特别好

Lama Cleaner

介绍

Segment Anything Model（SAM）

IOPaint原项目名是Lama Cleaner，这个项目就是SOTA人工智能模型支持的图像修复工具。从图片中删除任何不需要的对象、缺陷、人物或擦除和替换任何东西。

IOPaint

擦除模型（Erase models）

扩散模型（Diffusion models）

https://arxiv.org/pdf/2109.07161.pdf

摘要

• 问题描述：目前的图像修复算法在大块缺失区域、复杂几何结构以及高分辨率图像上的修复效果差强人意。
• 原因分析：在修复网络和损失函数都缺少有效的感受野。
• 解决方案： large mask inpainting（lama）
• 1）使用 fast Fourier convolutions（FFCs）以获取更大（wide）的感受野；
• 2）使用一个更大（high）感受野的 perceptual loss（感知损失）；
• 3）训练的时候采用更大（large）的 mask 来验证前 2 步改进的效果。
• 实验结果：超过了以往的 SOTA 模型，鲁棒性更好（即使在比训练的分辨率 256x256 更高的图像上也有很好的效果），参数量和时间也更少。

插件