数据增强 | Notion

一个算法工程师，要清晰的知道当前任务的数据是什么样子的？数据分布？数据质量？使用的数据增广方法，增广完以后图片张什么样子？送入到网络的图片张什么样子？
数据增广只是简单的增加训练数据量？还是纯粹的控制模型复杂程度？？？ ‣
- 数据增广不是经典意义上的增加训练数据，在监督学习的理论中，训练集和测试集都来自于真实分布P，每一个样本都是i.i.d抽样，而增广产生的图像，不是从P里面i.i.d抽样出来的，所以不是经典统计意义上的，“数据越多越接近真实分布”这种扩充训练数据。
- 为什么会有效？相当于增强了模型对某种变换的不变性。也就是说再使用平移，缩放，颜色抖动等，标签不变，也就是告诉模型，在面对这些变化的时候，不改变语义信息或者类别，是将这些人类的先验知识直接加入到模型的学习过程中去。
- 等价于一种正则化。数据增广相当于在训练目标里加入额外约束，使模型必须对某些输入扰动保持一致/平滑，从而缩小了模型可选择的函数集合（降低了模型的自由度，是一种正则化作用）。在不进行数据增广的时候，训练只是要求模型在每一个训练样本点上都预测正确，但是点与点之间可以随意震荡，没有任何约束。一旦使用增广，旋转，裁剪等，相当于在训练样本点之外也加了一种约束，参考邻域风险最小化的思想，那么满足这些约束的函数集合要远远小于增广之前的函数集合，等价于复杂度降低。从另一个视角来说，增广之前一个样本提供一个约束，增广之后，每个样本提供的约束更多，那么这个时候模型就要去满足多个约束，而不是简单的靠”记忆”去区分，被迫学习更通用的模式或者判别规律。
- 所以数据增广有效的关键不在于“制造更多 i.i.d. 样本”，而在于把人类先验（例如几何/颜色变化不应改变类别）注入训练过程，强制模型在这些变换方向上保持不变或平滑，从而减少估计方差、降低有效复杂度；从这个角度，增广是一种数据空间的正则化，而许多参数正则化（如 dropout）也可被解释为对输入/表示施加噪声的隐式增广。
一定要有工匠精神，做数据，就要根据业务场景，尽可能的去做全，从数据一步一步的搭建起来，这是地基，完全做好在进行下一步，分析场景中可能会遇到什么场景，什么场景下的难度较大，那些场景是主要场景？等等。了解到需要什么数据，就应该去考虑，获取数据的方式？如何爬取数据才能让获得的数据更贴近我们的场景？其次是获得数据应该如何清洗？一步一步的设计清晰规则，那些是我们需要的，那些是我们不需要的？都要设计清楚。

常见的数据增强以及实现方法：

需要注意的是:

大多数情况下，图像是 uint8（无符号 8 位整型），取值范围是 0–255。
如果直接在 uint8 上做算术运算（如缩放、归一化、加噪声、平移亮度等），会出现问题：
- 溢出：例如 250 + 10 会变成 4（因为超过 255 会回绕）。
- 除法取整：在 uint8 下，128 / 255 = 0，完全丢失信息。

所以在对图像处理之前会进行如下操作：

img = img.astype(np.float) # 新版本numpy是np.float32或者np.float64（图像处理不需要64那么高)

将图像转化到浮点数空间进行操作，操作完成之后再将数值范围调整至[0,255]：

            img = np.maximum(img, 0)
            img = np.minimum(img, 255)
            img = img.astype(np.uint8)

1. 随机亮度

实现方法：对每一个像素值都加上随机的像素偏移值，加上之后要确保像素值的范围保持在[0,255]之间

代码实现:

    def RandomBrightness(self, img, brightness_prob, brightness_delta):
        prob = random.uniform(0, 1.0)
        if (prob < brightness_prob): # 以一定的概率进行随机亮度增广
            img = img.astype(np.float) 
            assert brightness_delta >= 0
            delta = random.uniform(-brightness_delta, brightness_delta)
            img += delta  # 每一个像素值随机加上一个偏移值，导致图像变暗或者变亮
            img = np.maximum(img, 0)
            img = np.minimum(img, 255)
            img = img.astype(np.uint8)
        return img

2. 灰度化

实现方法：先将Img由RGB转化为灰度图，使其丧失颜色信息，仅保留亮度信息。然后再将灰度图转化为RGB。输出的图像还是灰度的（蓝、绿、红三个通道的值相同），这样做保持了图像是RGB 3通道，也实现了灰度化。

代码实现：

            if random.uniform(0, 1.0) < 0.4:  # 20%
                img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) # 用亮度加权公式把 BGR → 灰度；
                img = cv2.cvtColor(img, cv2.COLOR_GRAY2BGR) # 把单通道灰度复制为 3 通道，保持网络输入格式。

OpenCV的灰度化cv2.COLOR_BGR2GRAY,不是简单的对像素求平均，而是根据人眼亮度响应计算的。