跳到主要內容

COSCUP 2024 贊助商玉山銀行 徵才文宣

2024贊助案_視覺圖(方形)

資料工程師 Data Engineer

【職務內容】

  1. 負責設計和維護高效且可擴展的雲地混合數據架構
  2. 設計及開發巨量資料 data pipeline,包含結構化資料、半結構化資料及非結構化資料,並建立自動化監控機制
  3. 評估與導入 modern data stack,用以解決以下問題:data governance, data quality, data lineage, MLOps
  4. 制定和實施數據治理策略,並使用元數據管理工具 (例如 DataHub) 來管理數據資源和數據資源血緣關係
  5. 負責維護 Airflow平台,協助資料科學家進行數據處理、分析和建模工作流程管理,並設計部署策略、監控機制,以確保服務穩定性
  6. 我們的技術關鍵字包含: Python, Kafka, PostgreSQL, Airflow, K8s, Ansible, EFK, Prometheus, Grafana, MLflow 等

【具備條件】

  1. 具備以下任一系統 3 年以上建置與維護相關經驗:Airflow, Kafka, PostgreSQL
  2. 熟悉 Linux、Python 程式開發、Git 版本控制與 SQL 效能調教
  3. 精通開發與維護 ETL、資料管線,並具有處理每日 100GB 以上資料之經驗
  4. 具備以下任一系統建置、監控機制、效能調校與維護實務經驗尤佳:DataHub, ElasticSearch, Kubernetes

【加分條件】

  1. 具備 CI/CD Pipeline 基本概念
  2. 具備 Infrastructure as Code(IaC) 基本概念
  3. 具備 Spark 基本概念與使用經驗
  4. 具備 Data Streaming 基本概念
  5. 具備雲端(如GCP, AWS, Azure)開發與維運經驗

機器學習工程師 Machine Learning Engineer

【職務內容】

  1. 協助業務單位定義問題,將業務所面臨到的困難轉換為機器學習問題。
  2. 開發機器學習服務優化內部流程,解決金融場景需求。
  3. 持續維運機器學習服務,以支持各項業務發展運作。

【具備條件】

  1. 數理統計、數學、電腦科學及電機領域相關學位
  2. 具備 3 年以上機器學習服務開發經驗
  3. 熟悉機器學習套件或任一深度學習框架
  4. 熟悉 Python 資料處理相關套件(e.g., Pandas, Numpy)
  5. 了解機器學習演算法原理與數學理論

【加分條件】

  1. NLP/LLM、語音模型、推薦系統、風險偵測、影像辨識等相關研究或服務開發經驗
  2. 雲端(GCP/AWS/Azure)服務開發或架構規劃經驗
  3. 操作過下列系統或週邊元件: PostgreSQL, K8s, Kafka, Redis, ElasticSearch, Airflow, Minio, MLflow

玉山金控菁英甄選

留言

這個網誌中的熱門文章

Kronos 如何做到世界級的成績

  由資深華爾街投資人領軍於 2018 年成立,Kronos Research 結合人工智慧、機器學習、高速網路等先進技術,透過進階的資料分析開發出獨家的量化交易預測模型,並使用全自動的交易策略自營,同時作為加密貨幣造市商,提供全球加密貨幣商品的即時報價。至今四年的時間,便擠身全球前五大的加密貨幣量交易團隊,創下 2021 年每日平均交易額 50 億美金,單日最高交易額 230 億美金的記錄。 人才和技術是 Kronos 最重要的兩大要素,團隊採開放式合作、解決問題導向、美式工作風格,Kronos 期許任何職位的夥伴,都能信任彼此、安心發問、共同快速解決問題。主管的管理策略,不同於傳統上對下的管理,而是以幫助者的角色,解決不同的需求,放大每個職位的生產力。我們希望這個產業在台灣能夠茁壯,讓台灣的技術人才知道有這個國際舞台可以發揮。 一窺量化交易技術及團隊 高頻交易跟一般大家熟知的交易最大的差距在於自動化。我們熟知的交易模式多半透過人工,由交易員綜合市場資訊後向交易所下單;高頻交易則是由程式自動判斷市場資訊並且下單。高頻交易多半關注短時間的市場波動,在收到市場報價後,在極短時間透過預先訓練的統計模型做出買賣決策。在高額報酬的背後,結合了不同專業:包括資料科學、統計與機器學習、底層系統優化、以及分散式系統。 高頻交易的流程,從 Market Data Parser 作為源頭持續搜集來自交易所的歷史資料,交由 Alpha Modeling 訓練出可預測未來短時間市場變動的模型。接著交易團隊撰寫策略程式,並依據策略需要套用選擇合適的 Alpha 模型,由極低延遲的交易程式向交易所下單。以下是各模塊的介紹: Market Data Parser(Data Team):高頻交易是一個資料驅動的行業,全面且高正確率的資料對於後續訓練很重要。Kronos Research 在全球十多個機房內有數百台服務器,每天 24 小時不間斷錄製來自交易所的報價單。面對每天 10TB+ 的巨量資料,data team 大量使用雲端分散技術以及自動化技術確保資料流的穩定。 Alpha Modeling(Alpha Team):在投資市場中,Alpha 代表著高於大盤的超額收益,Alpha Model 則代表預測將來市場的數學模型。Alpha Team 透過統計以及機器學習,以敏銳的邏輯跟觀...

COSCUP 2023 徵稿辦法 / COSCUP 2023 Call for Proposals

今年 COSCUP 一如往常,徵求各式各樣不同的 Open Source 相關稿件。請於 5 月 22 日 (UTC-12) 前投稿,或可參考本頁下方各議程軌資訊。 請注意, 每場議程長度預設為 30 分鐘 , 惟指定議程軌開放其他議程長度進行選擇 ,會在報名表單第二頁進行填寫,報名表單第一頁的提交型態中,請選擇預設值。 為了追求與全球社群更良好地溝通, 今年所有選中的議程都必須提供英文版的資訊 。一旦您的議程入選,我們會請您提供議程資訊的英文版翻譯。您仍可以自己偏好的語言演講或撰寫 CfP 稿件。 提醒您,COSCUP 是一個倡導開放的研討會,所有演講將錄影並以創用 YouTube CC 姓名標示-相同方式分享 4.0 釋出。如果您的演講有任何不能錄影或不願以此條款釋出的狀況,請務必於投稿表單上註明。 We are looking for talks in several open-source related areas, please submit your proposal before May 22th, 2023 UTC-12. After the review process from the coordinators, we will publish the full programme in early June. Please note that the length of each agenda is preset to 30 minutes, only the specific tracks are open to other agenda lengths for selection, which will be filled in on the second page of the registration form. In the submission type on the first page of the submission form, please select the default value (30 mins) . For better communication with the global community, we require En...

實戰 Vibe Coding:利用 Amazon Q Developer CLI 打造經典平台跳躍遊戲

本篇文章將介紹如何透過 Amazon Q Developer CLI 建構一款完整的 2D 平台跳躍遊戲,從初始生成、功能增強,到最終打造出具備多關卡、多樣互動元素的遊戲體驗。特別的是,過程中開發者並未撰寫任何一行程式碼,僅透過自然語言指令與 CLI 對話完成所有工作,實踐「Vibe Coding」( 氛圍編碼 )。 本文作者為 Haowen Huang, AWS Senior Developer Advocate. 擁有 20 年以上電信、互聯網以及雲端運算等行業架構設計、技術及創業管理等豐富經驗,曾任職於 Microsoft、Sun Microsystems 等企業,專注為遊戲、電商、媒體和廣告等企業客戶提供 AI/ML、數據分析和企業數字化轉型等解決方案諮詢服務。 引言 本篇文章 ( English Version ) 將介紹如何使用 Amazon Q Developer CLI ,以 無需撰寫任何程式碼 的方式,打造一款經典的 2D 平台跳躍遊戲。透過「Vibe Coding」( 氛圍編碼 ) 的開發流程,開發者可以藉由簡單的語言提示詞 (prompt),逐步完成從遊戲雛型、功能擴充到完整關卡設計的開發流程。 整體開發流程將分為三個步驟: 1. 生成遊戲雛型 2. 功能擴充強化與畫面調整 3. 導入參考架構建立完整遊戲 環境建置 使用者需先安裝並設定 Amazon Q Developer CLI 。對於 macOS 使用者,可透過下列步驟完成安裝: 下載並安裝 Amazon Q Developer CLI 登入 Builder ID 完成認證 開啟終端機控制與無障礙設定 執行 q doctor 指令檢查 Amazon Q Developer CLI 是否安裝成功: 遊戲開發方面,建議使用 Python 語言與 Pygame 套件,可透過下列指令完成安裝;Pygame 提供以下功能支援: 畫面與動畫渲染 音效播放 鍵盤與搖桿輸入控制 物理模擬與碰撞偵測 多種媒體格式支援(圖片與音效) $ q doctor $ pip install pygame 第一步驟:初步生成遊戲雛型 透過簡單的一句 prompt,Amazon Q Developer CLI 結合 Pyg...