本課程內容特色:
1.解析 GitHub 上擁有超過 1,600 Stars的知名金融大數據開源專案 - FinMind 所使用的關鍵技術。
2.本課程會提供完整的課程原始碼,只要跟著操作,一定能夠完成。
3.驗證碼、Google reCAPTCHA 等反爬機制破解。
4.分散式系統 Rabbitmq、Celery。開發自己的分散式系統,課程中以爬蟲為例,課程之外也能用來部署自己的應用程式。並透過分散式的方式來加速爬蟲,提升資料收集速度、系統穩定度、並預留未來拓展性,還能減少 IP 被封鎖的情況。
5.關聯式資料庫-MySQL。使用 Docker 一鍵架設。
6.大數據監控系統 Grafana、Promethus、Chatbot。
-建立分散式爬蟲,在蒐集資料的同時進行資料檢查,確保資料完整性。
-進行大規模爬蟲、資料處理時,有效監控當前進度。
-以 Grafana、Promethus,建立 Dashboard 監控儀表板,協助使用者了解資料狀況的同時監測異常,並實時對 Slack、Telegram、Gmail 等發出 Alert 。
7.本課程的爬蟲以 FinMind 實務案例進行探討,不同於一般爬蟲課程,會更能貼近業界遇到的真實情況。
設備需求:
Python 3.6
VS code 1.41.1
Docker、Docker Compose
建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。