跳到主要內容

加入玉山 Data Engineer，打造新世代 AI 平台

玉山銀行自 2018 年成立智能金融處，至今已執行超過半百的 AI 專案，建立了 AI 研發雲提供 Data Analyst 訓練模型與開發 AI 服務，並大量使用開源專案打造機器學習即服務平台（Machine Learning as a Service, MLaaS）提供部署 AI 模型與服務。在 2020 年開始啟動了 MLaaS 2.0 升級計劃，將 AI 服務容器化，透過容器叢集管理平臺 K8s 管理，使用了 FaskAPI 作為模型推論 API 的框架，並導入 Apache Airflow 作為特徵工程、模型訓練流程管理框架。

玉山銀行的 Data Engineer 們正朝向透過開源專案推行 MLOps 與 SRE，致力於回饋開源社群，如果你對打造新世代 AI 平台有熱情並有以下特質，歡迎一起加入玉山 Data Engineer 的行列！

  • 對於分散式系統架構（設計或原理）有強烈好奇心
  • 具有強烈學習慾望，不排斥新工具及新觀念
  • 對於系統平台穩定具有捨我其誰的使命感，並願意說服團隊認同降低故障成本是一件值得驕傲的成就
  • 熟悉 Python / golang，具有開發 WebService API（REST）經驗
  • 對程式碼有潔癖，且開發過程一定會搭配測試程式
  • 對於重複執行的瑣事會忍不住寫程式自動化

機器學習平台工程師

Job Description

  1. 巨量結構化資料、半結構化資料甚至非結構化資料的分析、處理與儲存
  2. 打造機器學習平台及系統軟體框架，將機器學習建構在分散式系統及微服務系統（docker）之上
  3. 參與機器學習 (Machine Learning) 專案開發、資料特徵工程、規劃設計次世代機器學習平台發展與藍圖等任務
  4. 具備 SQL 技術能力，熟悉 Linux、 Python 程式開發、Git 版本控制，略懂資訊安全及網路傳輸相關基礎知識
  5. 具備金融/金流/支付相關知識和興趣，且有專案管理及良好溝通協作能力

Requirements

  1. 3 年以上系統管理及維護經驗，具備技術架構規劃能力與制定技術規範（大數據傳輸及倉儲等）
  2. 具備機器學習、深度學習框架（Tensorflow, Keras）經驗
  3. 熟悉 Django / uWSGI / Flask框架開發與應用
  4. 認同 DevOps 文化與 Open Source 理念，願意挑戰高流量 MLOps 相關工作
  5. 具備以下系統建置、調校維護實務經驗之一尤佳，PostgreSQL/ElasticSearch, Fluentd, Kibana/Kafka/Nginx/ Kubernetes/CEPH/ JupyterHub

Developer, Data Engineering

Job Description

  1. 運用分散式儲存與運算技術挑戰巨量結購化資料、半結購、非結購化資料的分析、處理與處存與建立 data pipeline

Requirements

  1. 具備 SQL 技術能力
  2. 熟悉 Linux、Python 程式開發、Git版本控制
  3. 略懂資訊安全及網路傳輸相關基礎知識
  4. 具備以下任一系統建置、調校維護實務經驗尤佳：PostgreSQL, ElasticSearch, Kafka
  5. 具備 Airflow 經驗

後端工程師 Back-end Enginee

Job Description

  1. 內部 API 系統串接整合
  2. 將機器學習產品中的各模組給與打包整合
  3. 開發機器學習人機互動回饋程式

Requirements

  1. Python 後端開發經驗
  2. 至少熟悉一項 Backend Framework (Django、Flask or Fast API)
  3. 熟悉API開發與設計（RESTful API）
  4. 熟悉關聯式資料庫（PostgreSQL 尤佳）
  5. 熟悉 Git 版本控管
  6. 熟悉 Linux 基礎指令
  7. 對程式碼的設計有自我要求，重視個人的開發品質
  8. （加分條件）任何機器學習框架有相關經驗
  9. （加分條件）有使用 Docker or K8s 的經驗
  10. （加分條件）有使用 Airflow 的經驗
  11. （加分條件）熟悉 Unit test、TDD 開發流程
  12. （加分條件）有高流量系統架構設計經驗
  13. （加分條件）有 Open Source 相關經驗
  14. （加分條件）Kaldi 使用經驗

更多職缺資訊，請見玉山銀行網站

  • Developer, ML Service Platform
  • System Administrator, Data Analysis Platform
  • 資料庫管理工程師
  • 前端工程師 Front-end engineer
Labels:

留言

張貼留言

這個網誌中的熱門文章

利用 Jitsi 建立個人化的視訊會議平台

  近期因為疫情的關係，越來越多企業開始實施分流或在家工作，視訊會議的需求也日益增加。 在商用解決方案選擇上，有不少企業會選擇知名品牌的產品，例如  Cisco Webex 、 Google Meet 、 Microsoft Teams 、 Zoom  都是很不錯的方案。 KKBOX 集團在去年便試行及做好充分 work from home 的準備，今年五月也因應疫情升溫，全員 work from home 至今兩個月有餘。 當然，取之 Open Source，也要對社群有些貢獻。在這一屆 COSCUP，我們要來介紹 Open Source 圈中也很知名，效果也很不錯的一套視訊會議平台： Jitsi 。 除了基本的視訊會議功能外，在最後我們也會示範如何透過 Jitsi 畫面輸出到 YouTube/Twitch 或其他支援 RTMP 的平台進行直播。 由於篇幅有限，且 Jitsi 可以調整的細節非常多。今天我們純粹很快速的示範，如何簡單的建置出一個 Jitsi 環境，並提供單場會議內容錄影或直播。 Jitsi 的文件可以在 這裡 找到。 今天透過 AWS Lightsail 的 $10/month instance（1 core CPU + 2GB RAM + 60GB SSD），作業系統則是 Ubuntu 20.04 來示範。當然，使用其他 VPS 亦可，大同小異，這邊直接跳過 VPS 相關的建置過程。 *firewall 相關資料參考 這裡 及 這裡 。 針對系統做必要的更新 基本的 apt repository 更新： $ sudo apt update 因為後面要示範的會議錄影及直播需要使用 ALSA loopback device，如果是 EC2 or Lightsail 則需要額外安裝 generic kernel( 註 )： $ sudo apt install linux-image-generic linux-headers-generic linux-image-extra- virtual 接著做系統套件們的更新： $ sudo apt dist-upgrade $ sudo apt autoremove 如果是 AWS EC2 or Lightsail 則需要另外再將預設的 AWS optimized kernel...
張貼留言
Read more »

實戰 Vibe Coding：利用 Amazon Q Developer CLI 打造經典平台跳躍遊戲

本篇文章將介紹如何透過 Amazon Q Developer CLI 建構一款完整的 2D 平台跳躍遊戲，從初始生成、功能增強，到最終打造出具備多關卡、多樣互動元素的遊戲體驗。特別的是，過程中開發者並未撰寫任何一行程式碼，僅透過自然語言指令與 CLI 對話完成所有工作，實踐「Vibe Coding」( 氛圍編碼 )。 本文作者為 Haowen Huang, AWS Senior Developer Advocate. 擁有 20 年以上電信、互聯網以及雲端運算等行業架構設計、技術及創業管理等豐富經驗，曾任職於 Microsoft、Sun Microsystems 等企業，專注為遊戲、電商、媒體和廣告等企業客戶提供 AI/ML、數據分析和企業數字化轉型等解決方案諮詢服務。 引言 本篇文章 ( English Version ) 將介紹如何使用 Amazon Q Developer CLI ，以 無需撰寫任何程式碼 的方式，打造一款經典的 2D 平台跳躍遊戲。透過「Vibe Coding」( 氛圍編碼 ) 的開發流程，開發者可以藉由簡單的語言提示詞 （prompt），逐步完成從遊戲雛型、功能擴充到完整關卡設計的開發流程。 整體開發流程將分為三個步驟： 1. 生成遊戲雛型 2. 功能擴充強化與畫面調整 3. 導入參考架構建立完整遊戲 環境建置 使用者需先安裝並設定 Amazon Q Developer CLI 。對於 macOS 使用者，可透過下列步驟完成安裝： 下載並安裝 Amazon Q Developer CLI 登入 Builder ID 完成認證 開啟終端機控制與無障礙設定 執行 q doctor 指令檢查 Amazon Q Developer CLI 是否安裝成功： 遊戲開發方面，建議使用 Python 語言與 Pygame 套件，可透過下列指令完成安裝；Pygame 提供以下功能支援： 畫面與動畫渲染 音效播放 鍵盤與搖桿輸入控制 物理模擬與碰撞偵測 多種媒體格式支援（圖片與音效） $ q doctor $ pip install pygame 第一步驟：初步生成遊戲雛型 透過簡單的一句 prompt，Amazon Q Developer CLI 結合 Pyg...
張貼留言
Read more »

你所不知道的 foodpanda

  2020 左右，隨著新冠疫情流行，台灣也逐漸流行起一股懶人旋風。懶懶躺在沙發上，動動手指滑滑螢幕，生鮮或美食就能快速又安全地由可愛的粉紅色熊貓外送員送達您門口。多數人知道 foodpanda 是台灣最大生鮮美食外送平台，也不少人知道 foodpanda 在台灣不斷擴張業務範圍，但 foodpanda 也有許多台灣科技圈所不知道的事。 例如，foodpanda 其實並非台灣本土廠商，也非只專注在亞洲區域。foodpanda 隸屬於德國 Delivery Hero 集團，業務橫跨歐洲、亞洲、美洲及北非，旗下更有十多個生鮮美食外送品牌。除此之外，foodpanda 於 2021 年時也在台灣正式成立全球第三個 Tech Hub。做為四大產品 RD 研發中心之一，台灣與德國柏林、新加坡及土耳其伊斯坦堡的人才緊密地合作，專注於打造 end-to-end 的顧客體驗。諸如月費方案 Panda Pro、外帶自取、餐廳內用 (目前仍未在台灣上市) 等功能。期待能持續吸收優秀人才、與其它三個跨國研發中心合作，打造後疫情時代新的成長引擎。 事實上，台灣的 foodpanda 研發團隊並不僅止於打造台灣本土產品。反之，我們所建立的平台及產品，已成功於近 20 個國家、10 個品牌上市。要在快速的步調下，打造持續進步且符合不同國家文化客戶需求的產品，我們依靠的是 專案團隊成員一條龍組合 從 Product Manager、Engineering Manager、iOS/Android/Web/Backend developer、QA、Product Designer、Product Analyst 全都在同一個 product line squad。讓相同產品的團隊成員能緊密合作、第一手快速了解市場、滿足需求。 國際專業團隊緊密合作 foodpanda 的 iOS/Android/Web/Backend 等專業工程師，都各自設有其跨 squad 的 chapter 組織。讓工程師能在專案團隊以外，有跨國跨團隊專業能力交流的機會。在 chapter 中，相同技術域領的專家們，會一起制定共同的實作標準、分享在專案中遇到類似的挑戰，並且找出可能的應對方案。因此，在 foodpanda 我們不只打產品專案團隊的速度戰、還打整個集團的整合能力團體戰，讓德國、新加坡、台灣、伊斯坦堡的工程師...
張貼留言
Read more »