鋼板表面缺陷偵測報告：基於 RT-DETR 之開發歷程

Object Detection

I. 使用模型與選擇原因（Model Selection & Rationale）

• 模型：RT-DETR（Real-Time Detection Transformer）
• 模型簡介：
  • DETR（Detection Transformer）由 Mata 提出。傳統的物件偵測模型（如 YOLO）是基於卷積神經網路，看圖片的局部特徵。DETR 引進了 Transformer 技術，模型會同時關注整張圖片的所有像素點。
  • 早期的 DETR 雖然準，但跑得很慢。百度開發的 RT-DETR 做了大幅優化，讓 Transformer 結構能在 GPU 上快速運行，達到「實時（Read-Time）」處理的速度。
• 選擇原因：
  • **針對微小與細長缺陷的適應性：**KSDD2 資料集中的缺陷（如裂痕）特徵有時非常細微。RT-DETR 的全局注意（Global Attention）機制，擅長捕捉這些跨越長距離的細微連續特徵。
  • **推論速度與穩定性：**在 RTX4080 上，RT-DETR-L 能做到毫秒級的預測速度。在工業產線上，這種「又快又準」的特性是良好的自動化質檢模型。

II. 訓練超參數與資料預處理（Hyperparameters & Data Preprocessing）

• 超參數設定

  超參數	設定值	說明
  Batch Size	16	批次大小。每一輪疊代模型同時看 16 張圖。
  Learning Rate	0.0002	初始學習率。由於初期發生過 NaN（梯度爆炸），此處將其調低。
  Optimizer	AdamW	優化器。Adam 的改進版，加入了權重衰減（Weight Decay），能有效防止模型過擬合（Overfitting）。
  Loss Function	GIoU + Class + L1	複合損失函數。GIoU 負責邊框定位準確度，Class 負責類別判斷，L1 則是針對 Transformer 解碼器的座標預測進行精細微調。
  Epoch	100	最大訓練 Epoch。實測模型在 40 左右趨於穩定，100 epoch 可以確保模型收斂。
  Warmup Epochs	5.0	預熱 Epoch。在正式訓練前，先用極小的學習率跑 5 輪，引導權重進入平穩區域，避免一開始就因為梯度過大而崩潰。

• 資料預處理

  • **影像縮放：**統一調整為 640 x 640，匹配 RT-DETR 的預訓練權重。
  • **Mosaic Data Augmentation：**將四張隨機選取的訓練圖拼接成一張圖。
  • **Flip Augmentation：**開啟隨機的上下翻轉、左右翻轉。

III. 訓練歷程與問題解決（Failure & Debugging Analysis）

• 階段一：標籤未對齊（0 Images Found）
  • **問題：**最初訓練時 Scanning 結果顯示 0 images, 2099 backgrounds。
  • **原因：**Ultralytics 預設尋找 labels/ 資料夾，而原始資料存放於 label/。
  • **解決：**修正資料夾命名規則，模型成功讀取到資料。
• 階段二：梯度爆炸（Loss NaN）
  • **問題：**使用預設的 learning rate（0.01），結果在第 9 個 epoch 時，GIoU Loss、Class Loss、L1 Loss 皆變為 NaN。
  • **原因：**由於 learning rate 太高，導致梯度更新步幅過大，數值溢出。
  • **解決：**經過幾輪測試，決定使用 learning rate = 0.002。

IV. 實驗結果（Experimental Results）

• 核心指標：mAP@0.5 = 0.727
  • mAP 全名為 mean Average Precision，0.5 表示 IoU 達到 50% 時，判定為偵測成功。
• P-R Curve：如下圖
  • 表示模型在 Precision 和 Recall 之間的取捨，曲線越靠右上表示模型預測效果越好。

V. 失敗案例分析（Failure Analysis）

• 20043.png：false positive，推測為雜訊形成連續直線，造成模型的誤判。

  

• 20155.png：false negative，推測為缺陷與背景雜訊太過接近，導致模型辨識失敗。

  

Segmentation