跳到主要內容

加入玉山 Data Engineer,打造新世代 AI 平台

玉山銀行自 2018 年成立智能金融處,至今已執行超過半百的 AI 專案,建立了 AI 研發雲提供 Data Analyst 訓練模型與開發 AI 服務,並大量使用開源專案打造機器學習即服務平台(Machine Learning as a Service, MLaaS)提供部署 AI 模型與服務。在 2020 年開始啟動了 MLaaS 2.0 升級計劃,將 AI 服務容器化,透過容器叢集管理平臺 K8s 管理,使用了 FaskAPI 作為模型推論 API 的框架,並導入 Apache Airflow 作為特徵工程、模型訓練流程管理框架。

玉山銀行的 Data Engineer 們正朝向透過開源專案推行 MLOps 與 SRE,致力於回饋開源社群,如果你對打造新世代 AI 平台有熱情並有以下特質,歡迎一起加入玉山 Data Engineer 的行列!

  • 對於分散式系統架構(設計或原理)有強烈好奇心
  • 具有強烈學習慾望,不排斥新工具及新觀念
  • 對於系統平台穩定具有捨我其誰的使命感,並願意說服團隊認同降低故障成本是一件值得驕傲的成就
  • 熟悉 Python / golang,具有開發 WebService API(REST)經驗
  • 對程式碼有潔癖,且開發過程一定會搭配測試程式
  • 對於重複執行的瑣事會忍不住寫程式自動化

機器學習平台工程師

Job Description

  1. 巨量結構化資料、半結構化資料甚至非結構化資料的分析、處理與儲存
  2. 打造機器學習平台及系統軟體框架,將機器學習建構在分散式系統及微服務系統(docker)之上
  3. 參與機器學習 (Machine Learning) 專案開發、資料特徵工程、規劃設計次世代機器學習平台發展與藍圖等任務
  4. 具備 SQL 技術能力,熟悉 Linux、 Python 程式開發、Git 版本控制,略懂資訊安全及網路傳輸相關基礎知識
  5. 具備金融/金流/支付相關知識和興趣,且有專案管理及良好溝通協作能力

Requirements

  1. 3 年以上系統管理及維護經驗,具備技術架構規劃能力與制定技術規範(大數據傳輸及倉儲等)
  2. 具備機器學習、深度學習框架(Tensorflow, Keras)經驗
  3. 熟悉 Django / uWSGI / Flask框架開發與應用
  4. 認同 DevOps 文化與 Open Source 理念,願意挑戰高流量 MLOps 相關工作
  5. 具備以下系統建置、調校維護實務經驗之一尤佳,PostgreSQL/ElasticSearch, Fluentd, Kibana/Kafka/Nginx/ Kubernetes/CEPH/ JupyterHub

Developer, Data Engineering

Job Description

  1. 運用分散式儲存與運算技術挑戰巨量結購化資料、半結購、非結購化資料的分析、處理與處存與建立 data pipeline

Requirements

  1. 具備 SQL 技術能力
  2. 熟悉 Linux、Python 程式開發、Git版本控制
  3. 略懂資訊安全及網路傳輸相關基礎知識
  4. 具備以下任一系統建置、調校維護實務經驗尤佳:PostgreSQL, ElasticSearch, Kafka
  5. 具備 Airflow 經驗

後端工程師 Back-end Enginee

Job Description

  1. 內部 API 系統串接整合
  2. 將機器學習產品中的各模組給與打包整合
  3. 開發機器學習人機互動回饋程式

Requirements

  1. Python 後端開發經驗
  2. 至少熟悉一項 Backend Framework (Django、Flask or Fast API)
  3. 熟悉API開發與設計(RESTful API)
  4. 熟悉關聯式資料庫(PostgreSQL 尤佳)
  5. 熟悉 Git 版本控管
  6. 熟悉 Linux 基礎指令
  7. 對程式碼的設計有自我要求,重視個人的開發品質
  8. (加分條件)任何機器學習框架有相關經驗
  9. (加分條件)有使用 Docker or K8s 的經驗
  10. (加分條件)有使用 Airflow 的經驗
  11. (加分條件)熟悉 Unit test、TDD 開發流程
  12. (加分條件)有高流量系統架構設計經驗
  13. (加分條件)有 Open Source 相關經驗
  14. (加分條件)Kaldi 使用經驗

更多職缺資訊,請見玉山銀行網站

  • Developer, ML Service Platform
  • System Administrator, Data Analysis Platform
  • 資料庫管理工程師
  • 前端工程師 Front-end engineer

留言

這個網誌中的熱門文章

【攤位大地遊戲(開源巔峰挑戰賽)】Booth Reward Activity! 2024

/English Below/ 來啊,造訪攤位掃 QRCode,集點數換 2024 年限定贈品啊! 一年只有這一檔,錯過要再等一年! 在找工作嗎?想認識不同的社群嗎?想獲得 COSCUP 2024 專屬的限量贈品嗎? 利用空餘時間去各個攤位聊聊天、看一看,就可以參與大地遊戲拿獎品喲! 大地遊戲怎麼玩:​​ (歡迎順路參與 參與者大調查),填寫表單取得 OPass 票券,並下載與登入 OPass App: 取得 OPass 票券 。 前往 TR 309、312、409-1、515、516 逛各攤位。 在攤位前打開 OPass 的「我的票卷」,秀出 Opass QRcode 讓攤位人員掃描取得點數。 到 TR309 的「大會攤位」兌換贈品,數量有限! 造訪每個攤位掃描後,可獲得 5 點,今年有 28 攤 完成一日志工任務後,可獲得 50 點,至多可解 4 次 擔任講者,可享福利 400 點(請以收到的登入連結進入,每名講者限領取乙次) 今年的紀念品除了可以現金購買,也可以用點數兌換呦! ≡≡≡≡ 集點方法 ≡≡≡≡ 上方每ㄧ個方框,都是ㄧ個攤位或者ㄧ個小任務,每當你造訪完成任務後,即可打開「我的票券」中顯示你的 QRcode 給關主獲取點數,您可以在上方看到您的戰果點數。當您心滿意足準備離開大惠會場前,記得到下述地方將您的點數兌換成滿滿的回憶! ≡≡≡ 點數兌換處 ≡≡≡ 【TR309 外:大會攤位】 1 點即是 1 元,您可以在大會攤位上購置各種精美紀念品,包含滑鼠墊、鍵帽、透卡與紀念 T 恤!。 ≡≡≡ 點數兌換規則 ≡≡≡ 您可以於【紀念品攤位】旁的點數兌換區把點數兌換

COC 通報處理說明公告 - 20240811 通報事件

各位好, COSCUP COC 服務小組於 2024 年 8 月 11 日接獲一件通報,內容涉及在會期干擾議程進行;並於會後持續發送私訊予會中結識的講者;同時,該行為人亦被紀錄於活動當日干擾志工執行勤務。 有關此事件的處理過程,詳如下述: COC 服務小組接到通報後,於 8 月 15 日正式成立專案小組進行討論與檢視相關資料。經查,通報內容與 COC 條款「持續干擾議程或活動的正常進行,無視工作人員或與會者的制止」相符。同一行為人於大會期間,另有兩位會眾通報類似事件,COC 服務小組皆已明確指正其行為並重申 COC 規範和界線。綜合此次會後通報,行為人經提醒仍多次抵觸 COC 條例。 有鑒於上述行徑已明確影響 COSCUP 其他會眾之權益,COC 服務小組將依照 COSCUP COC 之辦法記錄事件處理過程及結果、行為人資料等,於籌備團隊組長群資料夾建立文件,以俾後續籌備團隊審慎思量該名行為人未來的參與形式與程度。 在此,感謝會眾願意信任 COC 和 COSCUP 團隊並且將其所遇到的事件於會後彙整提供予我們。另本次通報中,通報人所提及之部分事項,因非屬 COSCUP 大會參與期間和相關行為,已建議通報人另行循其他正規途徑處理。在此聲明, COSCUP 的 COC 落實並非要拒任何人於門外,而是希冀透過針對行為本身的評估,為無論志工、社群協調人、講者、廠商與所有會眾營造舒適與安全的交流環境。 我們在乎所有人於 COSCUP 大會的各種參與體驗與感受,如果您在大會和籌組期間有相關困擾,籌備團隊志工將會竭力協助釐清,希望一同打造友善的 COSCUP 與會環境。 COSCUP 2024 COC 服務小組

利用 Jitsi 建立個人化的視訊會議平台

  近期因為疫情的關係,越來越多企業開始實施分流或在家工作,視訊會議的需求也日益增加。 在商用解決方案選擇上,有不少企業會選擇知名品牌的產品,例如  Cisco Webex 、 Google Meet 、 Microsoft Teams 、 Zoom  都是很不錯的方案。 KKBOX 集團在去年便試行及做好充分 work from home 的準備,今年五月也因應疫情升溫,全員 work from home 至今兩個月有餘。 當然,取之 Open Source,也要對社群有些貢獻。在這一屆 COSCUP,我們要來介紹 Open Source 圈中也很知名,效果也很不錯的一套視訊會議平台: Jitsi 。 除了基本的視訊會議功能外,在最後我們也會示範如何透過 Jitsi 畫面輸出到 YouTube/Twitch 或其他支援 RTMP 的平台進行直播。 由於篇幅有限,且 Jitsi 可以調整的細節非常多。今天我們純粹很快速的示範,如何簡單的建置出一個 Jitsi 環境,並提供單場會議內容錄影或直播。 Jitsi 的文件可以在 這裡 找到。 今天透過 AWS Lightsail 的 $10/month instance(1 core CPU + 2GB RAM + 60GB SSD),作業系統則是 Ubuntu 20.04 來示範。當然,使用其他 VPS 亦可,大同小異,這邊直接跳過 VPS 相關的建置過程。 *firewall 相關資料參考 這裡 及 這裡 。 針對系統做必要的更新 基本的 apt repository 更新: $ sudo apt update 因為後面要示範的會議錄影及直播需要使用 ALSA loopback device,如果是 EC2 or Lightsail 則需要額外安裝 generic kernel( 註 ): $ sudo apt install linux-image-generic linux-headers-generic linux-image-extra- virtual 接著做系統套件們的更新: $ sudo apt dist-upgrade $ sudo apt autoremove 如果是 AWS EC2 or Lightsail 則需要另外再將預設的 AWS optimized kernel 移除( 註 ): $ su