跳到主要內容

加入玉山 Data Engineer，打造新世代 AI 平台

加入玉山 Data Engineer，打造新世代 AI 平台

面對來勢洶洶的 AIGC 應用與雲端相關法規的鬆綁等議題，玉山銀行持續追求打造出具備彈性、穩定性且高度自動化的系統平台。我們運用眾多開源專案 (kubernetes、Docker、Helm、FastAPI、Kafka、Airflow、Prometheus、GrafanaDataHub、ElasticSearch、Fluentd、Kibana) 進行應用服務部署與管理、完善整體資料流程並進行系統效能監控與告警，未來結合雲端服務後產生錯綜複雜部署策略將是我們面臨的挑戰。
玉山銀行正朝向透過開源專案推行 MLOps 與 SRE，致力於回饋開源社群。如果你也對此感到熱血沸騰，不要猶豫，趕快加入玉山銀行 Data Engineer 的行列和我們的一起打造新世代 AI 平台！

  • 熱愛寫程式，且具強烈學習慾望，不排斥新工具及新觀念
  • 對程式碼有潔癖，開發過程不寫測試會渾身不對勁
  • 對於分散式系統架構（設計或原理）有強烈好奇心
  • 對於維持系統平台穩定具使命感，並願意說服團隊認同降低故障成本是件值得驕傲的成就
  • 對於重複執行的瑣事會忍不住寫程式自動化

機器學習平台工程師

Job Description

  1. 處理巨量結構化資料、半結構化資料甚至非結構化資料的分析、處理與儲存
  2. 打造機器學習平台及系統軟體框架，將機器學習建構在分散式系統及微服務系統（docker）之上
  3. 參與機器學習 (Machine Learning) 專案開發、資料特徵工程、規劃設計次世代機器學習平台發展與藍圖等任務
  4. 具備金融/金流/支付相關知識和興趣，且有專案管理及良好溝通協作能力
  5. 具備雲端工具使用經驗，熟悉雲地整合架構流程設計與開發

Requirements

  1. 3 年以上系統管理及維護經驗，具備技術架構規劃能力與制定技術規範（大數據傳輸及倉儲等）
  2. 具備 SQL 技術能力，熟悉 Linux、 Python 程式開發、Git 版本控制， 略懂資訊安全及網路傳輸相關基礎知識
  3. 熟悉 Django、uWSGI、Flask、FastAPI 框架開發與應用
  4. 認同 DevOps 文化與 Open Source 理念，願意挑戰高流量 MLOps 相關工作
  5. 具備以下系統建置、調校維護實務經驗之一尤佳，Kubernetes、PostgreSQL、MinIO、Kafka、ElasticSearch、Fluentd、Kibana、Nginx、JupyterHub、Grafana、Prometheus、Redis
  6. 公有雲使用與管理相關經驗

資料工程師 Data Engineer

Job Description

  1. 建置與優化巨量結構化資料、半結構、非結構化資料的資料管線
  2. 建置不同類型的 data infra/pipeline，並設計部署策略、監控機制，以確保服務穩定性
  3. 評估與導入 modern data stack，用以解決以下問題：data governance、data quality、MLOps
  4. 優化開發者體驗，解決資料科學家開發與部署會遇到的問題

Requirements

  1. 熟悉 Linux、Python 程式開發、Git 版本控制
  2. 熟悉軟體開發流程實務，包含但不限於開發滿足可讀性、可維護性、可擴充性之應用程式
  3. 精通開發與維護 ETL、資料管線，並具有處理每日 100GB 以上資料的經驗，熟悉 Airflow 佳
  4. 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳：DataHub、PostgreSQL、ElasticSearch、Kafka
  5. 熟悉 SQL，有效能調校經驗佳
  6. （加分條件）具備 Kubernetes 基本概念
  7. （加分條件）具備 CI/CD pipeline 基本概念
  8. （加分條件）具備 Infrastructure as Code(IaC) 基本概念
  9. （加分條件）具備 Spark 基本概念
  10. （加分條件）具備 Data Streaming 基本概念

後端工程師 Back-end Engineer

Job Description

  1. 內部 API 系統串接整合
  2. 將機器學習產品中的各模組給與打包整合
  3. 開發機器學習人機互動回饋程式

Requirements

  1. Python 後端開發經驗
  2. 至少熟悉一項 Backend Framework (Django、Flask、FastAPI、Golang)
  3. 熟悉 API 開發與設計（RESTful API, 可提供 github 作品尤佳）
  4. 熟悉關聯式資料庫與具備SQL技術能力（PostgreSQL 尤佳）
  5. 熟悉 Linux、Git 版本控制，略懂資訊安全及網路傳輸相關基礎知識
  6. 對程式碼的設計有自我要求，重視個人的開發品質
  7. （加分條件）任何機器學習框架有相關經驗
  8. （加分條件）有使用 MLflow、Docker、Kubernetes、Airflow、Minio 的相關經驗
  9. （加分條件）熟悉 Unit test、TDD 開發流程
  10. （加分條件）有高流量系統架構設計經驗
  11. （加分條件）有 Open Source 相關經驗

SRE 工程師

Job Description

  1. 規劃、建立及推動高效率自動化維運系統機制建立
  2. 確保系統，伺服器，Storage等高效率運行
  3. 負責伺服器配置，維護，監控，效能調校和故障排除
  4. 負責與開發團隊，專案經理以及業務單位共同規劃系統架構
  5. 配合ISMS及金管會金融稽核檢查作業
  6. 確保流程，制度規範及資訊全符合主管機關及內部風險控管標準

Requirements

  1. 熟悉 Linux 相關系統 (如 RHEL, Ubuntu) 及其管理，維運有深入的了解
  2. 熟悉任一種程式語言，如 C, Python or Golang，若具有 REST API 開發經驗尤佳
  3. 熟悉任一種自動化工具，如 Chef, Puppet or Ansible，熟悉 Ansible 特別加分
  4. 熟悉 K8s, 若對企業級平台有經驗者尤佳(RedHat OpenShift or SUSE Rancher)
  5. 軟性良好的溝通能力，積極主動，人際交往和解決問題的能力
  6. （加分條件）具備已工有雲建置大型系統之經驗
  7. （加分條件）熟悉任一大廠 Server, Network, Firewall 等硬體設備規格
  8. （加分條件）熟悉任一種監控與日誌分析工具，如 EFK, Splunk, Grafana
  9. （加分條件）熟悉 DevOps 實踐及 CI/CD pipeline
  10. （加分條件）具事件及故排除、根因分析，事後分析有豐富經驗者，以及故障故事分享等經驗者特別加分

更多職缺資訊，請見玉山銀行網站

  • 機器學習工程師Machine Learning Engineer
  • 資料庫管理工程師
  • 前端工程師 Front-end engineer

留言

張貼留言

這個網誌中的熱門文章

COSCUP 啄事今蜚會前快報 第一期

COSCUP 啄事今蜚會前快報 第一期 2014年06月18日發行 距離大會剩下一個月的時間， 精彩的議程內容即將就定位，讓小啄帶大家來看看今年有些什麼精彩的吧！ 從沒有人到超多人: g0v社群經驗 g0v.tw 是一個跨界的開源社群，由一些熟悉軟體開源文化的人開始，從最初期就致力拓展到其他非資訊領域，因此在社群的推動上有各種不同努力。將近兩年來，關注社群人數爆炸性成長，社群因此經歷數次危機。但透過 g0v 與NGO、政府等實體組織互動、加強社群基礎建設、深化參與的文化，社群核心價值與開幹精神至今能量依然不減。此 talk 將以 g0v 為例，分享跨界社群的成長經驗，以及從開源社群拓展到民主深化的初步成果。 State of the unison: g0v 村情咨文 從 2012 底開始的 g0v 運動，成功集結開放源碼社群，並輸出開源文化至各領域，促使公民高效率協作，解決問題。本次演講將回顧 g0v 社群的成果，包括專案、與 gov 合作、國際交流，以及未來展望。 DevRel 的再思考   俺可以来讲讲大陆开源技术社区这12年. 相似演讲: - 幻灯: https://speakerdeck.com/ zoomquiet/140330-ostc-just4fun - 录音: http://zoomq.qiniudn.com/ CPyUG/140330-OSTC/ 140330_ostc_pm1_zoomquiet.MP3 - 录像: http://v.youku.com/v_show/ id_XNjk2OTcyODQ4.html" 更多議程請見 http://coscup.org/2014/zh-tw/program/
Read more »

COSCUP 2023 會後感謝 | Post-COSCUP 2023 Appreciation

👋 [English below] COSCUP 2023 已在 7/29、7/30 舉辦完畢，在此感謝或有來參與活動的您！ COSCUP 2024 目前還未有確切的舉辦時間，但我們會很有默契的知道，它會在七月底或八月初舉辦，地點依舊在臺灣科技大學。 雖然籌備團隊部分已進入冬眠階段，但各組仍然有人維持著最低限度看守著。如果對於 2024 年有任何想要合作的可能，我們都歡迎在此刻與我們繼續保持順暢的對話。 以下是各組的專用信箱或直接寄送到會眾信箱，帶著您的想法或提案與我們分享！ 會眾信箱： attendee@coscup.org 贊助組： sponsorship@coscup.org 行銷組： marketing@coscup.org 議程組： program@coscup.org 或在活動期間有任何違反社群守則事宜，也請寄信到 coc@coscup.org 。 2023 下半年擺攤計畫 擺攤組目前在下半年還有擺攤任務進行，歡迎在參與活動的時候過來攤位逛逛！如有擺攤活動邀約，可以寄信到擺攤組信箱： booth@coscup.org HITCON （08/18, 19） PyCon TW （09/02, 03） MOPCON （11/11, 12） （未確定出攤） 行政組整地期招募 今年行政組無 2023 休耕期，歡迎持續與我們精實的整備再出發。 整地期預計 2023.09.18 開始，將招募行政組員培訓與規劃 2024。整地期間需要大量的腦力運算，招募對象來自於各專長領域均可，如果想要與我們一同辛勤耕耘，歡迎申請加入整地農事！ 詳細的招募說明與申請，請參考： https://volunteer.coscup.org/docs/zh_TW/secretary_team/recruit/#2023-preparation 活動後 大會活動結束後，可以持續參與社群平時辦的小聚活動，我們鼓勵大家回到社群貢獻或是回饋，讓開源領域更佳熱鬧！（可以參考與我們一起合辦的 社群夥伴 喔！） 以下有幾個管道可以持續關注： 訂閱電子報 ：我們會在下一屆啟動時第一時間告知！ 加入志工 ：想要與我們一起籌備 COSCUP 2024 嗎？直接登入志工平台，各組成立開始招募時也將發送通知！
1 則留言
Read more »

改善可觀測的前10個Kubernetes指標和服務

Introduction： Kubernetes是廣泛使用的平台，用於管理規模化的容器化應用程序。隨着Kubernetes中服務數量的增加，有必要了解集群的性能和健康情況。您可以使用正確的指標來識別和解決潛在問題，以避免它們成為重大問題。雖然有許多可用於收集遙測數據的端點，例如cAdvisor、Metric Server、API Server、Node Exporter、Kube State Metric等等，但是考慮哪些指標可能是具有挑戰性的。與其立即關注基礎設施指標，重要的是討論Kubernetes中的常見問題以及為什麼特定指標被認為是前十大指標的一部分。此外，監控依賴服務對於確保最佳的Kubernetes環境和應用程序堆棧性能至關重要。如果我只能提名十個優先項目供觀察，這將是我要監控的前十大Kubernetes指標和服務，以獲得更好的可觀察性能。 Misconfiguration OOOooops! Number 10 - Deployment Success vs Failure 在 Kubernetes 中，配置錯誤是常見問題，往往會導致系統性能和可靠性受到影響。根據與同行的討論、個人經驗和許多事後故事，即使是最有經驗的工程師在推出更新或服務時，也可能會意外地包含錯誤版本、錯過字段或使用無效輸入。 各種工具和工程實踐可用於減輕此類錯誤配置。其中一種實踐是良好的版本控制實踐和強大的部署流水線。您可以在每個部署階段部署煙霧測試來試用新服務，例如LaunchDarkly。這將幫助您在它們引起任何重大問題之前捕獲任何錯誤配置。 此外，利用基礎設施即代碼（IaC）、嚴格的同行評審和採用配置管理工具是確保最佳配置一致性和在出現問題時輕鬆回滾的好方法。例如，像GitLab管道狀態、CNCF生態系統中的ArgoCD和Flux等平台在滾動服務時跟蹤成功和失敗的部署非常有用。這些可以幫助您識別系統中的任何配置錯誤，並在它們產生重大影響之前快速解決它們。 GitLab 中的管道 pipeline details 細節範例： 使用 ArgoCD 同步的管道 pipeline visualization 可視化範例 We need MOOORRREEE! Number 9 - CPU resource usage Number 8 - Memory resourc
張貼留言
Read more »