資料工程師 Data Engineer
【職務內容】
- 負責設計和維護高效且可擴展的雲地混合數據架構
- 設計及開發巨量資料 data pipeline，包含結構化資料、半結構化資料及非結構化資料，並建立自動化監控機制
- 評估與導入 modern data stack，用以解決以下問題：data governance, data quality, data lineage, MLOps
- 制定和實施數據治理策略，並使用元數據管理工具 (例如 DataHub) 來管理數據資源和數據資源血緣關係
- 負責維護 Airflow平台，協助資料科學家進行數據處理、分析和建模工作流程管理，並設計部署策略、監控機制，以確保服務穩定性
- 我們的技術關鍵字包含: Python, Kafka, PostgreSQL, Airflow, K8s, Ansible, EFK, Prometheus, Grafana, MLflow 等
【具備條件】
- 具備以下任一系統 3 年以上建置與維護相關經驗：Airflow, Kafka, PostgreSQL
- 熟悉 Linux、Python 程式開發、Git 版本控制與 SQL 效能調教
- 精通開發與維護 ETL、資料管線，並具有處理每日 100GB 以上資料之經驗
- 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳：DataHub, ElasticSearch, Kubernetes
【加分條件】
- 具備 CI/CD Pipeline 基本概念
- 具備 Infrastructure as Code(IaC) 基本概念
- 具備 Spark 基本概念與使用經驗
- 具備 Data Streaming 基本概念
- 具備雲端(如GCP, AWS, Azure)開發與維運經驗
機器學習工程師 Machine Learning Engineer
【職務內容】
- 協助業務單位定義問題，將業務所面臨到的困難轉換為機器學習問題。
- 開發機器學習服務優化內部流程，解決金融場景需求。
- 持續維運機器學習服務，以支持各項業務發展運作。
【具備條件】
- 數理統計、數學、電腦科學及電機領域相關學位
- 具備 3 年以上機器學習服務開發經驗
- 熟悉機器學習套件或任一深度學習框架
- 熟悉 Python 資料處理相關套件(e.g., Pandas, Numpy)
- 了解機器學習演算法原理與數學理論
【加分條件】
- NLP/LLM、語音模型、推薦系統、風險偵測、影像辨識等相關研究或服務開發經驗
- 雲端(GCP/AWS/Azure)服務開發或架構規劃經驗
- 操作過下列系統或週邊元件: PostgreSQL, K8s, Kafka, Redis, ElasticSearch, Airflow, Minio, MLflow
留言