跳到主要內容

加入玉山 Data Engineer，打造新世代 AI 平台

加入玉山 Data Engineer，打造新世代 AI 平台

面對來勢洶洶的 AIGC 應用與雲端相關法規的鬆綁等議題，玉山銀行持續追求打造出具備彈性、穩定性且高度自動化的系統平台。我們運用眾多開源專案 (kubernetes、Docker、Helm、FastAPI、Kafka、Airflow、Prometheus、GrafanaDataHub、ElasticSearch、Fluentd、Kibana) 進行應用服務部署與管理、完善整體資料流程並進行系統效能監控與告警，未來結合雲端服務後產生錯綜複雜部署策略將是我們面臨的挑戰。
玉山銀行正朝向透過開源專案推行 MLOps 與 SRE，致力於回饋開源社群。如果你也對此感到熱血沸騰，不要猶豫，趕快加入玉山銀行 Data Engineer 的行列和我們的一起打造新世代 AI 平台！

  • 熱愛寫程式，且具強烈學習慾望，不排斥新工具及新觀念
  • 對程式碼有潔癖，開發過程不寫測試會渾身不對勁
  • 對於分散式系統架構（設計或原理）有強烈好奇心
  • 對於維持系統平台穩定具使命感，並願意說服團隊認同降低故障成本是件值得驕傲的成就
  • 對於重複執行的瑣事會忍不住寫程式自動化

機器學習平台工程師

Job Description

  1. 處理巨量結構化資料、半結構化資料甚至非結構化資料的分析、處理與儲存
  2. 打造機器學習平台及系統軟體框架，將機器學習建構在分散式系統及微服務系統（docker）之上
  3. 參與機器學習 (Machine Learning) 專案開發、資料特徵工程、規劃設計次世代機器學習平台發展與藍圖等任務
  4. 具備金融/金流/支付相關知識和興趣，且有專案管理及良好溝通協作能力
  5. 具備雲端工具使用經驗，熟悉雲地整合架構流程設計與開發

Requirements

  1. 3 年以上系統管理及維護經驗，具備技術架構規劃能力與制定技術規範（大數據傳輸及倉儲等）
  2. 具備 SQL 技術能力，熟悉 Linux、 Python 程式開發、Git 版本控制， 略懂資訊安全及網路傳輸相關基礎知識
  3. 熟悉 Django、uWSGI、Flask、FastAPI 框架開發與應用
  4. 認同 DevOps 文化與 Open Source 理念，願意挑戰高流量 MLOps 相關工作
  5. 具備以下系統建置、調校維護實務經驗之一尤佳，Kubernetes、PostgreSQL、MinIO、Kafka、ElasticSearch、Fluentd、Kibana、Nginx、JupyterHub、Grafana、Prometheus、Redis
  6. 公有雲使用與管理相關經驗

資料工程師 Data Engineer

Job Description

  1. 建置與優化巨量結構化資料、半結構、非結構化資料的資料管線
  2. 建置不同類型的 data infra/pipeline，並設計部署策略、監控機制，以確保服務穩定性
  3. 評估與導入 modern data stack，用以解決以下問題：data governance、data quality、MLOps
  4. 優化開發者體驗，解決資料科學家開發與部署會遇到的問題

Requirements

  1. 熟悉 Linux、Python 程式開發、Git 版本控制
  2. 熟悉軟體開發流程實務，包含但不限於開發滿足可讀性、可維護性、可擴充性之應用程式
  3. 精通開發與維護 ETL、資料管線，並具有處理每日 100GB 以上資料的經驗，熟悉 Airflow 佳
  4. 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳：DataHub、PostgreSQL、ElasticSearch、Kafka
  5. 熟悉 SQL，有效能調校經驗佳
  6. （加分條件）具備 Kubernetes 基本概念
  7. （加分條件）具備 CI/CD pipeline 基本概念
  8. （加分條件）具備 Infrastructure as Code(IaC) 基本概念
  9. （加分條件）具備 Spark 基本概念
  10. （加分條件）具備 Data Streaming 基本概念

後端工程師 Back-end Engineer

Job Description

  1. 內部 API 系統串接整合
  2. 將機器學習產品中的各模組給與打包整合
  3. 開發機器學習人機互動回饋程式

Requirements

  1. Python 後端開發經驗
  2. 至少熟悉一項 Backend Framework (Django、Flask、FastAPI、Golang)
  3. 熟悉 API 開發與設計（RESTful API, 可提供 github 作品尤佳）
  4. 熟悉關聯式資料庫與具備SQL技術能力（PostgreSQL 尤佳）
  5. 熟悉 Linux、Git 版本控制，略懂資訊安全及網路傳輸相關基礎知識
  6. 對程式碼的設計有自我要求，重視個人的開發品質
  7. （加分條件）任何機器學習框架有相關經驗
  8. （加分條件）有使用 MLflow、Docker、Kubernetes、Airflow、Minio 的相關經驗
  9. （加分條件）熟悉 Unit test、TDD 開發流程
  10. （加分條件）有高流量系統架構設計經驗
  11. （加分條件）有 Open Source 相關經驗

SRE 工程師

Job Description

  1. 規劃、建立及推動高效率自動化維運系統機制建立
  2. 確保系統，伺服器，Storage等高效率運行
  3. 負責伺服器配置，維護，監控，效能調校和故障排除
  4. 負責與開發團隊，專案經理以及業務單位共同規劃系統架構
  5. 配合ISMS及金管會金融稽核檢查作業
  6. 確保流程，制度規範及資訊全符合主管機關及內部風險控管標準

Requirements

  1. 熟悉 Linux 相關系統 (如 RHEL, Ubuntu) 及其管理，維運有深入的了解
  2. 熟悉任一種程式語言，如 C, Python or Golang，若具有 REST API 開發經驗尤佳
  3. 熟悉任一種自動化工具，如 Chef, Puppet or Ansible，熟悉 Ansible 特別加分
  4. 熟悉 K8s, 若對企業級平台有經驗者尤佳(RedHat OpenShift or SUSE Rancher)
  5. 軟性良好的溝通能力，積極主動，人際交往和解決問題的能力
  6. （加分條件）具備已工有雲建置大型系統之經驗
  7. （加分條件）熟悉任一大廠 Server, Network, Firewall 等硬體設備規格
  8. （加分條件）熟悉任一種監控與日誌分析工具，如 EFK, Splunk, Grafana
  9. （加分條件）熟悉 DevOps 實踐及 CI/CD pipeline
  10. （加分條件）具事件及故排除、根因分析，事後分析有豐富經驗者，以及故障故事分享等經驗者特別加分

更多職缺資訊，請見玉山銀行網站

  • 機器學習工程師Machine Learning Engineer
  • 資料庫管理工程師
  • 前端工程師 Front-end engineer

留言

張貼留言

這個網誌中的熱門文章

鑽石級贊助商 - KKBOX 帶你打造具備 NLP 功能的 Telegram Bot (上)

打造具備 NLP 功能的 Telegram Bot（上） 最近因為一些契機學了 Python 3，用它做了一個 Telegram Bot （ GitHub 連結 ），裡面用到 NLP Service，用上下兩篇文章記錄一下實作過程還有眉角。上篇首先教大家如何做一個最基本的回聲 Chatbot，接下來我們可以透過 NLP 服務，讓 Chatbot 根據使用者不同的訊息做回答，這樣就變成更加人性化的聊天機器人囉！ 使用的工具及服務： Python 3 （for develop） pipenv （for dependency management） OLAMI （for NLP） ngrok （for testing） Step 1. Creating new bot Telegram 很有趣的地方在於，與其他通訊軟體（Line、Messenger）相比，開發者管理 Bot 的方式也是透過官方提供的一位 Bot 在處理的，它叫做 BotFather （眾 Bot 之父 XD）。如果已經有 Telegram 帳號，只要加 BotFather 為好友，就可以開始管理你的 Bot。 加入 BotFather 好友後，它會親切地問候，並告訴你他能為你提供什麼服務。 I can help you create and manage Telegram bots. If you're new to the Bot API, please see the manual ([https://core.telegram.org/bots](https://core.telegram.org/bots)). You can control me by sending these commands: /newbot - create a new bot /mybots - edit your bots [beta] /mygames - edit your games ([https://core.telegram.org/bots/games](https://core.telegram.org/bots/games)) [beta] Edit Bots /setname - change a bot's name /setdescr...
張貼留言
Read more »

機器學習的五大實務問題：對企業的影響與相應的化解方式

Appier 首席機器學習科學家　林守德博士 正如 Jason Jennings 及 Laurence Haughton 在《以快吃慢–如何藉速度在商戰中克敵制勝》一書中指出──未來，不是大公司吃掉小公司，而是速度快的公司吃掉速度慢的公司。 從現在開始，唯有善用適當的資訊快速做出決策的企業，才能成為戰場上的贏家。 機器學習技術驅動了這場變革。無論企業是嘗試向顧客提出建議、改進生產製造流程或應對市場的變動，都能運用機器學習技術處理大量的資料，進而提高自身的競爭優勢。 然而，機器學習雖能創造大好機會，卻也同時帶來了相應的挑戰。機器學習系統需要大量的資料，以及執行複雜的運算能力。顧客期望改變、出乎意料的市場波動等等外部因素，都意味著機器學習模型的運作並不是百分之百的自動，往往仰賴許多外部的資源來作監控及維護。 此外，機器學習也有不少尚待解決的實務問題。以下將深入探討機器學習的五大實務問題，以及這些問題對企業應用會產生的影響。 1. 資料品質 機器學習系統仰賴資料進行訓練，而訓練資料在廣義上可分為「特徵」及「標籤」兩種類別。 「特徵」是輸入機器學習模型的資料，像是來自感測器、顧客問卷、網站 cookie 或歷史資訊等等。 然而這些特徵的品質可能良莠不齊。舉例而言，顧客在填寫問卷時可能會隨便填寫，或對題目略而不答；感測器可能因失靈而回傳錯誤資料；即使使用者的網頁行為明確，網站 cookie 回報的資訊也可能不完整。 此外，資料也可能包含雜訊，當無謂的資訊夾雜其中時，機器學習模型將會受到誤導而做出不正確的預測。 相較於「特徵」，「標籤」的正確性與穩定度更為重要。標籤是機器學習模型最後輸出的結果。所以需要在訓練的時間利用正確的結果教導機器學習模型。標籤的稀疏性也是個問題，這是當系統已掌握大量輸入的資料卻對輸出的結果沒有把握時出現的現象。在這樣的情況下，將難以針對該模型偵測其特徵與標籤之間的關聯性優化，甚至需要耗費額外的人力干預，將標籤與輸入資料關聯起來。 機器學習需仰賴輸入與輸出資料的關聯，才能具備足夠的泛化能力以預測未來行動並提供相關建議。因此，如果輸入資料過於雜亂、殘缺或有所偏差時，將可能難以理解某輸出／標籤的產出原因。近年來機器學習也開發出許多先進的方法如半指導式學習，轉移學習來處理這樣的問題。 2. 複雜性與品質的取捨 建立強大的機器學習模型需要大量的計算資源來處理特徵和...
張貼留言
Read more »

COSCUP 2025 Call for Proposals / 徵稿辦法

COSCUP 常規徵稿已於 2025-05-10 截止，接下來進入加碼徵稿階段。加碼徵稿是為了提升大會的稿件品質，依據投稿狀況（數量、品質）部分徵稿主題可能提前喊停。最遲請於 05 月 24 日(AoE) 前投稿，徵稿主題可參考下方列表。 The regular call for proposals (CFP) for COSCUP closed on May 10, 2025. We are now entering the bonus CFP phase to improve the quality of submissions. Some topics may close earlier than expected, depending on the current status of submissions (in terms of quantity and quality). Please submit by May 24 (AoE) at the latest. You may refer to the topic list below for inspiration. 開始投稿 Submit Your Proposal 提案須知 Things you may need to know 演講形式：預設為現場30分鐘演講包含QA，若有其他需求可於提案系統註明，由各主題主辦單位決定如何安排。 Talk Format : The default format is a 30-minute on-site talk, including Q&A. If you have other requirements, please indicate them while submitting your proposal. The final arrangement will be decided independently by the organizers of each topic. 語言：COSCUP 受眾包含海內外與會者，大會不限制發表語言但鼓勵以英語發表。大會將公布雙語議程表，請提供中英文版議程介紹。 L...
張貼留言
Read more »