跳到主要內容

加入玉山 Data Engineer，打造新世代 AI 平台

加入玉山 Data Engineer，打造新世代 AI 平台

面對來勢洶洶的 AIGC 應用與雲端相關法規的鬆綁等議題，玉山銀行持續追求打造出具備彈性、穩定性且高度自動化的系統平台。我們運用眾多開源專案 (kubernetes、Docker、Helm、FastAPI、Kafka、Airflow、Prometheus、GrafanaDataHub、ElasticSearch、Fluentd、Kibana) 進行應用服務部署與管理、完善整體資料流程並進行系統效能監控與告警，未來結合雲端服務後產生錯綜複雜部署策略將是我們面臨的挑戰。
玉山銀行正朝向透過開源專案推行 MLOps 與 SRE，致力於回饋開源社群。如果你也對此感到熱血沸騰，不要猶豫，趕快加入玉山銀行 Data Engineer 的行列和我們的一起打造新世代 AI 平台！

  • 熱愛寫程式，且具強烈學習慾望，不排斥新工具及新觀念
  • 對程式碼有潔癖，開發過程不寫測試會渾身不對勁
  • 對於分散式系統架構（設計或原理）有強烈好奇心
  • 對於維持系統平台穩定具使命感，並願意說服團隊認同降低故障成本是件值得驕傲的成就
  • 對於重複執行的瑣事會忍不住寫程式自動化

機器學習平台工程師

Job Description

  1. 處理巨量結構化資料、半結構化資料甚至非結構化資料的分析、處理與儲存
  2. 打造機器學習平台及系統軟體框架，將機器學習建構在分散式系統及微服務系統（docker）之上
  3. 參與機器學習 (Machine Learning) 專案開發、資料特徵工程、規劃設計次世代機器學習平台發展與藍圖等任務
  4. 具備金融/金流/支付相關知識和興趣，且有專案管理及良好溝通協作能力
  5. 具備雲端工具使用經驗，熟悉雲地整合架構流程設計與開發

Requirements

  1. 3 年以上系統管理及維護經驗，具備技術架構規劃能力與制定技術規範（大數據傳輸及倉儲等）
  2. 具備 SQL 技術能力，熟悉 Linux、 Python 程式開發、Git 版本控制， 略懂資訊安全及網路傳輸相關基礎知識
  3. 熟悉 Django、uWSGI、Flask、FastAPI 框架開發與應用
  4. 認同 DevOps 文化與 Open Source 理念，願意挑戰高流量 MLOps 相關工作
  5. 具備以下系統建置、調校維護實務經驗之一尤佳，Kubernetes、PostgreSQL、MinIO、Kafka、ElasticSearch、Fluentd、Kibana、Nginx、JupyterHub、Grafana、Prometheus、Redis
  6. 公有雲使用與管理相關經驗

資料工程師 Data Engineer

Job Description

  1. 建置與優化巨量結構化資料、半結構、非結構化資料的資料管線
  2. 建置不同類型的 data infra/pipeline，並設計部署策略、監控機制，以確保服務穩定性
  3. 評估與導入 modern data stack，用以解決以下問題：data governance、data quality、MLOps
  4. 優化開發者體驗，解決資料科學家開發與部署會遇到的問題

Requirements

  1. 熟悉 Linux、Python 程式開發、Git 版本控制
  2. 熟悉軟體開發流程實務，包含但不限於開發滿足可讀性、可維護性、可擴充性之應用程式
  3. 精通開發與維護 ETL、資料管線，並具有處理每日 100GB 以上資料的經驗，熟悉 Airflow 佳
  4. 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳：DataHub、PostgreSQL、ElasticSearch、Kafka
  5. 熟悉 SQL，有效能調校經驗佳
  6. （加分條件）具備 Kubernetes 基本概念
  7. （加分條件）具備 CI/CD pipeline 基本概念
  8. （加分條件）具備 Infrastructure as Code(IaC) 基本概念
  9. （加分條件）具備 Spark 基本概念
  10. （加分條件）具備 Data Streaming 基本概念

後端工程師 Back-end Engineer

Job Description

  1. 內部 API 系統串接整合
  2. 將機器學習產品中的各模組給與打包整合
  3. 開發機器學習人機互動回饋程式

Requirements

  1. Python 後端開發經驗
  2. 至少熟悉一項 Backend Framework (Django、Flask、FastAPI、Golang)
  3. 熟悉 API 開發與設計（RESTful API, 可提供 github 作品尤佳）
  4. 熟悉關聯式資料庫與具備SQL技術能力（PostgreSQL 尤佳）
  5. 熟悉 Linux、Git 版本控制，略懂資訊安全及網路傳輸相關基礎知識
  6. 對程式碼的設計有自我要求，重視個人的開發品質
  7. （加分條件）任何機器學習框架有相關經驗
  8. （加分條件）有使用 MLflow、Docker、Kubernetes、Airflow、Minio 的相關經驗
  9. （加分條件）熟悉 Unit test、TDD 開發流程
  10. （加分條件）有高流量系統架構設計經驗
  11. （加分條件）有 Open Source 相關經驗

SRE 工程師

Job Description

  1. 規劃、建立及推動高效率自動化維運系統機制建立
  2. 確保系統，伺服器，Storage等高效率運行
  3. 負責伺服器配置，維護，監控，效能調校和故障排除
  4. 負責與開發團隊，專案經理以及業務單位共同規劃系統架構
  5. 配合ISMS及金管會金融稽核檢查作業
  6. 確保流程，制度規範及資訊全符合主管機關及內部風險控管標準

Requirements

  1. 熟悉 Linux 相關系統 (如 RHEL, Ubuntu) 及其管理，維運有深入的了解
  2. 熟悉任一種程式語言，如 C, Python or Golang，若具有 REST API 開發經驗尤佳
  3. 熟悉任一種自動化工具，如 Chef, Puppet or Ansible，熟悉 Ansible 特別加分
  4. 熟悉 K8s, 若對企業級平台有經驗者尤佳(RedHat OpenShift or SUSE Rancher)
  5. 軟性良好的溝通能力，積極主動，人際交往和解決問題的能力
  6. （加分條件）具備已工有雲建置大型系統之經驗
  7. （加分條件）熟悉任一大廠 Server, Network, Firewall 等硬體設備規格
  8. （加分條件）熟悉任一種監控與日誌分析工具，如 EFK, Splunk, Grafana
  9. （加分條件）熟悉 DevOps 實踐及 CI/CD pipeline
  10. （加分條件）具事件及故排除、根因分析，事後分析有豐富經驗者，以及故障故事分享等經驗者特別加分

更多職缺資訊，請見玉山銀行網站

  • 機器學習工程師Machine Learning Engineer
  • 資料庫管理工程師
  • 前端工程師 Front-end engineer

留言

張貼留言

這個網誌中的熱門文章

Kronos 如何做到世界級的成績

  由資深華爾街投資人領軍於 2018 年成立，Kronos Research 結合人工智慧、機器學習、高速網路等先進技術，透過進階的資料分析開發出獨家的量化交易預測模型，並使用全自動的交易策略自營，同時作為加密貨幣造市商，提供全球加密貨幣商品的即時報價。至今四年的時間，便擠身全球前五大的加密貨幣量交易團隊，創下 2021 年每日平均交易額 50 億美金，單日最高交易額 230 億美金的記錄。 人才和技術是 Kronos 最重要的兩大要素，團隊採開放式合作、解決問題導向、美式工作風格，Kronos 期許任何職位的夥伴，都能信任彼此、安心發問、共同快速解決問題。主管的管理策略，不同於傳統上對下的管理，而是以幫助者的角色，解決不同的需求，放大每個職位的生產力。我們希望這個產業在台灣能夠茁壯，讓台灣的技術人才知道有這個國際舞台可以發揮。 一窺量化交易技術及團隊 高頻交易跟一般大家熟知的交易最大的差距在於自動化。我們熟知的交易模式多半透過人工，由交易員綜合市場資訊後向交易所下單；高頻交易則是由程式自動判斷市場資訊並且下單。高頻交易多半關注短時間的市場波動，在收到市場報價後，在極短時間透過預先訓練的統計模型做出買賣決策。在高額報酬的背後，結合了不同專業：包括資料科學、統計與機器學習、底層系統優化、以及分散式系統。 高頻交易的流程，從 Market Data Parser 作為源頭持續搜集來自交易所的歷史資料，交由 Alpha Modeling 訓練出可預測未來短時間市場變動的模型。接著交易團隊撰寫策略程式，並依據策略需要套用選擇合適的 Alpha 模型，由極低延遲的交易程式向交易所下單。以下是各模塊的介紹： Market Data Parser（Data Team）：高頻交易是一個資料驅動的行業，全面且高正確率的資料對於後續訓練很重要。Kronos Research 在全球十多個機房內有數百台服務器，每天 24 小時不間斷錄製來自交易所的報價單。面對每天 10TB+ 的巨量資料，data team 大量使用雲端分散技術以及自動化技術確保資料流的穩定。 Alpha Modeling（Alpha Team）：在投資市場中，Alpha 代表著高於大盤的超額收益，Alpha Model 則代表預測將來市場的數學模型。Alpha Team 透過統計以及機器學習，以敏銳的邏輯跟觀...
張貼留言
Read more »

實戰 Vibe Coding：利用 Amazon Q Developer CLI 打造經典平台跳躍遊戲

本篇文章將介紹如何透過 Amazon Q Developer CLI 建構一款完整的 2D 平台跳躍遊戲，從初始生成、功能增強，到最終打造出具備多關卡、多樣互動元素的遊戲體驗。特別的是，過程中開發者並未撰寫任何一行程式碼，僅透過自然語言指令與 CLI 對話完成所有工作，實踐「Vibe Coding」( 氛圍編碼 )。 本文作者為 Haowen Huang, AWS Senior Developer Advocate. 擁有 20 年以上電信、互聯網以及雲端運算等行業架構設計、技術及創業管理等豐富經驗，曾任職於 Microsoft、Sun Microsystems 等企業，專注為遊戲、電商、媒體和廣告等企業客戶提供 AI/ML、數據分析和企業數字化轉型等解決方案諮詢服務。 引言 本篇文章 ( English Version ) 將介紹如何使用 Amazon Q Developer CLI ，以 無需撰寫任何程式碼 的方式，打造一款經典的 2D 平台跳躍遊戲。透過「Vibe Coding」( 氛圍編碼 ) 的開發流程，開發者可以藉由簡單的語言提示詞 （prompt），逐步完成從遊戲雛型、功能擴充到完整關卡設計的開發流程。 整體開發流程將分為三個步驟： 1. 生成遊戲雛型 2. 功能擴充強化與畫面調整 3. 導入參考架構建立完整遊戲 環境建置 使用者需先安裝並設定 Amazon Q Developer CLI 。對於 macOS 使用者，可透過下列步驟完成安裝： 下載並安裝 Amazon Q Developer CLI 登入 Builder ID 完成認證 開啟終端機控制與無障礙設定 執行 q doctor 指令檢查 Amazon Q Developer CLI 是否安裝成功： 遊戲開發方面，建議使用 Python 語言與 Pygame 套件，可透過下列指令完成安裝；Pygame 提供以下功能支援： 畫面與動畫渲染 音效播放 鍵盤與搖桿輸入控制 物理模擬與碰撞偵測 多種媒體格式支援（圖片與音效） $ q doctor $ pip install pygame 第一步驟：初步生成遊戲雛型 透過簡單的一句 prompt，Amazon Q Developer CLI 結合 Pyg...
張貼留言
Read more »

Navicat 17：AI 驅動資料管理的未來

在快速變化的資料管理領域，Navicat 始終站在創新與效率的最前沿。作為領先的資料庫管理與開發解決方案提供商，Navicat 再次以其最新版本 Navicat 17.2 展現了其在業界的卓越實力，讓使用者在資料管理中更具競爭優勢。 Navicat 17 推出標誌著資料庫管理技術的一次重要飛躍。該版本引入了一系列人工智慧 (AI) 驅動的功能，旨在進一步簡化操作流程並提升工作效率。這些功能讓使用者能夠輕鬆處理複雜的資料分析，並實現更智能的商業決策。 Navicat Premium 一直以來都是資料庫管理的佼佼者，該工具支援多達九種資料庫，包括 MySQL、PostgreSQL、MongoDB、MariaDB、SQL Server、Oracle、SQLite、Redis，以及 Snowflake。這樣的綜合性設計不僅消除了多平台切換帶來的困擾，還極大化了使用者的工作效率。 為提供更高效的協作工具，Navicat 雲端功能 (Navicat Cloud) 進一步提升了團隊合作的靈活性。使用者可以在雲端實現即時協作，讓團隊成員無論身處何地，都能共同編輯與管理項目，從而實現更高效的工作流程。 自創立以來，Navicat 已累積超過 500 萬次下載，並擁有超過 18 萬名使用者，包括多家知名的 Fortune 500 公司，如 Apple、Google、JP Morgan 等。這些成就不僅體現出 Navicat 的產品實力，更說明其在業界的深厚信譽。 Navicat 始終秉持創新與使用者導向的理念，致力於為資料管理提供最可靠、高效的解決方案。未來，我們將持續推出更多令人興奮的新功能，幫助使用者應對不斷變化的商業需求。 現在就探索 Navicat 17.2，感受 AI 技術帶來的全新資料管理體驗吧！欲了解更多資訊，歡迎造訪我們的官方網站： https://www.navicat.com.tw
張貼留言
Read more »