<aside> 💡 自動化收集it幫幫忙鐵人賽文章,以便後續建立一個管理當前追蹤的鐵人賽文章與主題

</aside>

系統url: https://airflow.howhow1019.com/ GitHub專案: https://github.com/yinghao1019/scrapy-ithome 展示帳號 username: airflowUser password: demo12345z@

開發環境

• Google compute engine (GCE)
• Docker,Docker-compose
• Mongo DB Altas
• PyCharam
• ScrapeOps
• Airflow

開發套件與框架

• Scrapy
• pymongo
• scrapy-fake-useragent
• beautifulsoup4
• html5lib

系統架構

架構簡述