Results

Xác định vấn đề bài toán + data:

• Xác định có 200 batch, mỗi batch chứa 1000 ID

  → Dùng os.listdir() để list toàn bộ các batch, loop through từng batch một

  → Data lớn nên không thể insert từng row (từng ID) một vào db → cần dùng execute_values() insert nhiều rows cùng 1 lúc chỉ với 1 query

• Data json nhìn như nào: list of dictionaries; chứa value ID, name, url_key, …

  → Có thể dùng json.load() method, riêng images_url là list nên cần dùng json.dumps() để biến thành string để db đọc

  → Bảng trong db cần trông như thế nào: chứa đủ các cột tương ứng, data type phù hợp

Lessons learned:

• Học cách load dữ liệu lớn vào một database, thao tác với python trên vscode
• Học được các method, function mới:
  • re.search() vs re.match(): so sánh 2 methods
  • os.path.join(): join nhiều path thành một
  • execute_values(): insert/update nhiều rows chỉ với một query
  • connect() và cursor(): connect với db và execute query bằng python