節目介紹

用Python 建立分散式架構及監控系統:一堂課打造金融大數據戰情室

本課程內容特色:
1.解析 GitHub 上擁有超過 1,600 Stars的知名金融大數據開源專案 - FinMind 所使用的關鍵技術。
2.本課程會提供完整的課程原始碼,只要跟著操作,一定能夠完成。
3.驗證碼、Google reCAPTCHA 等反爬機制破解。
4.分散式系統 Rabbitmq、Celery。開發自己的分散式系統,課程中以爬蟲為例,課程之外也能用來部署自己的應用程式。並透過分散式的方式來加速爬蟲,提升資料收集速度、系統穩定度、並預留未來拓展性,還能減少 IP 被封鎖的情況。
5.關聯式資料庫-MySQL。使用 Docker 一鍵架設。
6.大數據監控系統 Grafana、Promethus、Chatbot。
-建立分散式爬蟲,在蒐集資料的同時進行資料檢查,確保資料完整性。
-進行大規模爬蟲、資料處理時,有效監控當前進度。
-以 Grafana、Promethus,建立 Dashboard 監控儀表板,協助使用者了解資料狀況的同時監測異常,並實時對 Slack、Telegram、Gmail 等發出 Alert 。
7.本課程的爬蟲以 FinMind 實務案例進行探討,不同於一般爬蟲課程,會更能貼近業界遇到的真實情況。

設備需求:
Python 3.6
VS code 1.41.1
Docker、Docker Compose
建議 Windows 的學員,安裝 WSL,Ubuntu、Mac 的成員則無需安裝。
製作團隊簡介
FinMind團隊,包含林子軒、陳彥辰、林鼎皓三位講師。

林子軒:
-天瓏暢銷書週排行榜 TOP 1、月排行榜 TOP 1。博客來 7 日暢銷榜 TOP 9。-momo 銷售排行 TOP 1
-獲聘明新科技大學指定業界專家
-17 LIVE 大數據工程師
-永豐金證券工程師(shioaji 團隊)
-Open Up Summit Speaker(2019)

陳彥辰:
-資料領域資深專家
-現任知名美商半導體公司資料工程師
-曾任台灣跨國科技品牌資料科學家

林鼎皓:
-現任數據新創公司技術長
-曾任資策會課程講師
代理商
尚儀數位學習公司
出版年份
2023