跳到主要內容

加入玉山 Data Engineer，打造新世代 AI 平台

加入玉山 Data Engineer，打造新世代 AI 平台

面對來勢洶洶的 AIGC 應用與雲端相關法規的鬆綁等議題，玉山銀行持續追求打造出具備彈性、穩定性且高度自動化的系統平台。我們運用眾多開源專案 (kubernetes、Docker、Helm、FastAPI、Kafka、Airflow、Prometheus、GrafanaDataHub、ElasticSearch、Fluentd、Kibana) 進行應用服務部署與管理、完善整體資料流程並進行系統效能監控與告警，未來結合雲端服務後產生錯綜複雜部署策略將是我們面臨的挑戰。
玉山銀行正朝向透過開源專案推行 MLOps 與 SRE，致力於回饋開源社群。如果你也對此感到熱血沸騰，不要猶豫，趕快加入玉山銀行 Data Engineer 的行列和我們的一起打造新世代 AI 平台！

  • 熱愛寫程式，且具強烈學習慾望，不排斥新工具及新觀念
  • 對程式碼有潔癖，開發過程不寫測試會渾身不對勁
  • 對於分散式系統架構（設計或原理）有強烈好奇心
  • 對於維持系統平台穩定具使命感，並願意說服團隊認同降低故障成本是件值得驕傲的成就
  • 對於重複執行的瑣事會忍不住寫程式自動化

機器學習平台工程師

Job Description

  1. 處理巨量結構化資料、半結構化資料甚至非結構化資料的分析、處理與儲存
  2. 打造機器學習平台及系統軟體框架，將機器學習建構在分散式系統及微服務系統（docker）之上
  3. 參與機器學習 (Machine Learning) 專案開發、資料特徵工程、規劃設計次世代機器學習平台發展與藍圖等任務
  4. 具備金融/金流/支付相關知識和興趣，且有專案管理及良好溝通協作能力
  5. 具備雲端工具使用經驗，熟悉雲地整合架構流程設計與開發

Requirements

  1. 3 年以上系統管理及維護經驗，具備技術架構規劃能力與制定技術規範（大數據傳輸及倉儲等）
  2. 具備 SQL 技術能力，熟悉 Linux、 Python 程式開發、Git 版本控制， 略懂資訊安全及網路傳輸相關基礎知識
  3. 熟悉 Django、uWSGI、Flask、FastAPI 框架開發與應用
  4. 認同 DevOps 文化與 Open Source 理念，願意挑戰高流量 MLOps 相關工作
  5. 具備以下系統建置、調校維護實務經驗之一尤佳，Kubernetes、PostgreSQL、MinIO、Kafka、ElasticSearch、Fluentd、Kibana、Nginx、JupyterHub、Grafana、Prometheus、Redis
  6. 公有雲使用與管理相關經驗

資料工程師 Data Engineer

Job Description

  1. 建置與優化巨量結構化資料、半結構、非結構化資料的資料管線
  2. 建置不同類型的 data infra/pipeline，並設計部署策略、監控機制，以確保服務穩定性
  3. 評估與導入 modern data stack，用以解決以下問題：data governance、data quality、MLOps
  4. 優化開發者體驗，解決資料科學家開發與部署會遇到的問題

Requirements

  1. 熟悉 Linux、Python 程式開發、Git 版本控制
  2. 熟悉軟體開發流程實務，包含但不限於開發滿足可讀性、可維護性、可擴充性之應用程式
  3. 精通開發與維護 ETL、資料管線，並具有處理每日 100GB 以上資料的經驗，熟悉 Airflow 佳
  4. 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳：DataHub、PostgreSQL、ElasticSearch、Kafka
  5. 熟悉 SQL，有效能調校經驗佳
  6. （加分條件）具備 Kubernetes 基本概念
  7. （加分條件）具備 CI/CD pipeline 基本概念
  8. （加分條件）具備 Infrastructure as Code(IaC) 基本概念
  9. （加分條件）具備 Spark 基本概念
  10. （加分條件）具備 Data Streaming 基本概念

後端工程師 Back-end Engineer

Job Description

  1. 內部 API 系統串接整合
  2. 將機器學習產品中的各模組給與打包整合
  3. 開發機器學習人機互動回饋程式

Requirements

  1. Python 後端開發經驗
  2. 至少熟悉一項 Backend Framework (Django、Flask、FastAPI、Golang)
  3. 熟悉 API 開發與設計（RESTful API, 可提供 github 作品尤佳）
  4. 熟悉關聯式資料庫與具備SQL技術能力（PostgreSQL 尤佳）
  5. 熟悉 Linux、Git 版本控制，略懂資訊安全及網路傳輸相關基礎知識
  6. 對程式碼的設計有自我要求，重視個人的開發品質
  7. （加分條件）任何機器學習框架有相關經驗
  8. （加分條件）有使用 MLflow、Docker、Kubernetes、Airflow、Minio 的相關經驗
  9. （加分條件）熟悉 Unit test、TDD 開發流程
  10. （加分條件）有高流量系統架構設計經驗
  11. （加分條件）有 Open Source 相關經驗

SRE 工程師

Job Description

  1. 規劃、建立及推動高效率自動化維運系統機制建立
  2. 確保系統，伺服器，Storage等高效率運行
  3. 負責伺服器配置，維護，監控，效能調校和故障排除
  4. 負責與開發團隊，專案經理以及業務單位共同規劃系統架構
  5. 配合ISMS及金管會金融稽核檢查作業
  6. 確保流程，制度規範及資訊全符合主管機關及內部風險控管標準

Requirements

  1. 熟悉 Linux 相關系統 (如 RHEL, Ubuntu) 及其管理，維運有深入的了解
  2. 熟悉任一種程式語言，如 C, Python or Golang，若具有 REST API 開發經驗尤佳
  3. 熟悉任一種自動化工具，如 Chef, Puppet or Ansible，熟悉 Ansible 特別加分
  4. 熟悉 K8s, 若對企業級平台有經驗者尤佳(RedHat OpenShift or SUSE Rancher)
  5. 軟性良好的溝通能力，積極主動，人際交往和解決問題的能力
  6. （加分條件）具備已工有雲建置大型系統之經驗
  7. （加分條件）熟悉任一大廠 Server, Network, Firewall 等硬體設備規格
  8. （加分條件）熟悉任一種監控與日誌分析工具，如 EFK, Splunk, Grafana
  9. （加分條件）熟悉 DevOps 實踐及 CI/CD pipeline
  10. （加分條件）具事件及故排除、根因分析，事後分析有豐富經驗者，以及故障故事分享等經驗者特別加分

更多職缺資訊，請見玉山銀行網站

  • 機器學習工程師Machine Learning Engineer
  • 資料庫管理工程師
  • 前端工程師 Front-end engineer

留言

張貼留言

這個網誌中的熱門文章

COSCUP 2024 徵稿辦法 / COSCUP 2024 Call for Proposals

COSCUP 2024 Call for Proposals: Until 9th, May Submit Your Proposals HERE! 今年 COSCUP 一如往常，徵求各式各樣不同的 Open Source 相關稿件。請於 05 月 09 日(AoE) 前投稿，徵稿主題可參考本頁下方各議程軌資訊。 請注意，每場議程長度預設為 30 分鐘 ，惟部分議程軌開放其他議程長度，會在報名表單第二頁選填。 為了增添 COSCUP 的國際能見度，今年所有入選稿件希望都可以提供中英文版雙語資訊。徵稿階段，您可先以自己偏好的語言準備演講或撰寫 CfP 稿件。 提醒您，COSCUP 是一個倡導開放的研討會，所有演講將錄影並以創用 YouTube CC 姓名標示-相同方式分享 4.0 釋出。如果您的演講有任何不能錄影或不願以此條款釋出的狀況，請務必於投稿表單上註明。 We are looking for talks in several open-source related areas, please submit your proposal before May 09th, 2024 (AoE, Anywhere on Earth) . The theme for submissions can be referenced from the information on various tracks at the bottom of this page. Please note that the length of each agenda is preset to 30 minutes, only the specific tracks are open to other agenda lengths for selection, which will be filled in on the second page of the registration form. To make it more accessible for international audiences, we kindly request CFP information to be provided in both Chinese and
張貼留言
Read more »

Designers in Tech- Open Source Design Workshop

關於工作坊 今年在COSCUP（Conference for Open Source Coders, Users Promoters）將協同國際團隊 Superbloom（以人為本出發幫助設計更具包容性和開放性的國際非營利組織）舉辦Designers in Tech- Open Source Design Workshop工作坊，此工作坊是專門為希望對社會做出正面貢獻的設計師所設計的，我們將邀起您以設計師的姿態，在科技人為主的世界裡舞擺出專屬於你的開源貢獻。 設計，如果共享後會有怎樣的可能性？開源設計為另一種合作模式，結合「共同協作」，讓人們可以自由地存取、使用、修改和分享設計資源來達到共同設計的目的。這次的工作坊試圖透過一個公開、透明、無國界的網路平台Github，讓設計師有機會參與平日以工程師為主的平台，並在上面做出生平第一次的開源設計貢獻，重新定義開源貢獻與設計的可能。 我們相信藉由設計師的參與可以優化現有以工程師、開發者為重的開源生態。通過設計師將專案納入更多的可及性和包容性。活動主旨在帶領設計師學習Github平台操作，進而可自行為開源專案進行貢獻。我們致力於賦能設計師開源專案貢獻力，摒除藩籬，打破開源僅為程式開發是唯一有價值貢獻的迷思。 我們將以「設計思考」思維出發並結合Superbloom的「使用者研究」個案來帶領工作坊，進一步在GitHub上挑選出3個專案做出貢獻：去中心化的移動網絡瀏覽器( Ceno Browser )、事實查核( Co-Facts )、通訊軟體( Session )。全程手把手引導教學如何以設計師的身份在GitHub上做出貢獻，提供全面的支援。在工作坊結束後，參與者能更加了解開源設計及在開源專案自行進行協作。 誰應該參加這個工作坊？ 我們的工作坊對於UI/UX、平面設計師都相當歡迎 誰將帶領這個工作坊？ Eriol Fox：Eriol擁有10年以上的設計工作經驗，從營利性企業開始，後來轉向非政府組織和開源軟件組織。他們曾參與涉及可持續食品系統、和平建設和危機應對技術的複雜問題。Eriol目前在Simply Secure工作，從事設計、研究、開源和技術項目。 Eriol是紐卡斯爾大學Open Lab的兼職資助博士研究員，他研究設計師如何參與以人道主義和人權為重點的開源軟件項目。
張貼留言
Read more »

什麼是MySQL？

什麼是 MySQL ？ MySQL 是世界上最受歡迎的開源資料庫。根據 DB-Engines 的資料， MySQL 是第二大最受歡迎的資料庫，僅次於 Oracle 資料庫 。 MySQL 為許多使用量最大的應用系統提供支援，包括 Facebook 、 Twitter 、 Netflix 、 Uber 、 Airbnb 、 Shopify 和 Booking.com 。 由於 MySQL 是開源的，因此它包含了超過 25 年來與使用者密切合作開發的許多功能。因此，您最喜歡的應用系統或程式設計語言很可能受到 MySQL 資料庫的支援。 MySQL 的優勢 MySQL 快速、可靠、可擴展且易於使用。它最初是為了快速處理大型資料庫而開發的，並且多年來一直在要求苛刻的生產環境中使用。 儘管 MySQL 在不斷發展中，但它提供了一組豐富而有用的功能。 MySQL 的連接性、速度和安全性使其非常適合使用互聯網上的資料庫。 MySQL 的主要優勢包括 ·        易用性： 開發人員可以在幾分鐘內安裝 MySQL ，並且資料庫易於管理。 ·        可靠性： MySQL 是最成熟和使用最廣泛的資料庫之一。 25 年來，它已經在各種場景中進行了測試，包括世界上許多最大的公司。由於其可靠性，組織依賴 MySQL 來運行關鍵業務應用系統。 ·        可擴展性： MySQL 可以擴展以滿足使用量最大的應用系統的需求。 MySQL 的原生複製架構使 Facebook 等組織能夠擴展應用系統以支援數十億使用者。 ·        性能： MySQL HeatWave   比其他資料庫服務更快、更便宜 ，正如多個標準行業基準測試所證明的那樣，包括 TPC-H 、 TPC-DS 和 CH- benCHmark 。 ·        高可用性： MySQL 提供了一整套原生的、完全集成的複製技術，可實現高可用性和災難恢復。對於業務關鍵型應用系統，為了滿足服務水準協定 (SLA) 承諾，客戶可以實現 RPO = 0 （零資料遺失 ） RTO = 數秒內（自動故障轉移） ·        安全性： 資料 安全 需要保護並遵守行業和政府法規，包括《歐盟通用資料保護條例》、《支付卡行業資料安全標準》、《健康保
張貼留言
Read more »