資料工程師 Data Engineer 【職務內容】 負責設計和維護高效且可擴展的雲地混合數據架構 設計及開發巨量資料 data pipeline,包含結構化資料、半結構化資料及非結構化資料,並建立自動化監控機制 評估與導入 modern data stack,用以解決以下問題:data governance, data quality, data lineage, MLOps 制定和實施數據治理策略,並使用元數據管理工具 (例如 DataHub) 來管理數據資源和數據資源血緣關係 負責維護 Airflow平台,協助資料科學家進行數據處理、分析和建模工作流程管理,並設計部署策略、監控機制,以確保服務穩定性 我們的技術關鍵字包含: Python, Kafka, PostgreSQL, Airflow, K8s, Ansible, EFK, Prometheus, Grafana, MLflow 等 【具備條件】 具備以下任一系統 3 年以上建置與維護相關經驗:Airflow, Kafka, PostgreSQL 熟悉 Linux、Python 程式開發、Git 版本控制與 SQL 效能調教 精通開發與維護 ETL、資料管線,並具有處理每日 100GB 以上資料之經驗 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳:DataHub, ElasticSearch, Kubernetes 【加分條件】 具備 CI/CD Pipeline 基本概念 具備 Infrastructure as Code(IaC) 基本概念 具備 Spark 基本概念與使用經驗 具備 Dat...
COSCUP 2024 - 08/03 ~ 04 at NTUST, Taiwan 無論您是開放原始碼的開發者、推廣者、使用者、還是想了解軟體的新手,都歡迎您來參加為開放原始碼開發者、使用者和推廣者舉辦的「開源人年會」