資料工程師 Data Engineer            【職務內容】                   負責設計和維護高效且可擴展的雲地混合數據架構                  設計及開發巨量資料 data pipeline,包含結構化資料、半結構化資料及非結構化資料,並建立自動化監控機制                  評估與導入 modern data stack,用以解決以下問題:data governance, data quality, data lineage, MLOps                  制定和實施數據治理策略,並使用元數據管理工具 (例如 DataHub) 來管理數據資源和數據資源血緣關係                  負責維護 Airflow平台,協助資料科學家進行數據處理、分析和建模工作流程管理,並設計部署策略、監控機制,以確保服務穩定性                  我們的技術關鍵字包含: Python, Kafka, PostgreSQL, Airflow, K8s, Ansible, EFK, Prometheus, Grafana, MLflow 等                 【具備條件】                   具備以下任一系統 3 年以上建置與維護相關經驗:Airflow, Kafka, PostgreSQL                  熟悉 Linux、Python 程式開發、Git 版本控制與 SQL 效能調教                  精通開發與維護 ETL、資料管線,並具有處理每日 100GB 以上資料之經驗                  具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳:DataHub, ElasticSearch, Kubernetes                 【加分條件】                   具備 CI/CD Pipeline 基本概念                  具備 Infrastructure as Code(IaC) 基本概念                  具備 Spark 基本概念與使用經驗                  具備 Dat...
COSCUP 2025 - 08/09 ~ 10(To be confirmed) at NTUST, Taiwan 無論您是開放原始碼的開發者、推廣者、使用者、還是想了解軟體的新手,都歡迎您來參加為開放原始碼開發者、使用者和推廣者舉辦的「開源人年會」