數據平台崗位職責 篇1
職責描述:
1.負責租賃行業大數據平台架構規劃、技術落地、與開發團隊協同實施;
2.負責需求調研、需求分析,編寫需求分析說明書,負責項目全周期管理;
3.組織uat測試方案制定、測試案例準備,負責測試環境搭建、以及對項目進行驗收測試。
任職要求:
1.計算機軟體或信息系統相關專業碩士以上學歷;
2.具有三年及以上大數據系統架構規劃及系統建設相關的工作經驗;
3.精通大數據平台存儲、計算及算法相關技術,精通機器學習相關模型與算法、或nlp或計算機圖像識別等相關理論及技術,熟悉精益(敏捷)項目管理、瀑布式項目管理流程,有項目經驗者優先;
4.有強烈的技術思維及自我突破的欲望,性格外向、善於組織溝通、文字表達能力強。
數據平台崗位職責 篇2
職位描述：
1、基於每日百億級展現數據，搭建大數據處理平台;實現流式事件的實時計算，落地儲存。對於離線數據完成數據倉庫的建立，為數據挖掘提供有效的數據。
2、使用用戶行為數據，廣告投放數據，挖掘數據層次關係，利用機器學習算法，解決媒體、流量、充分競價等對最佳化廣告投放流程，
3、數據分析，挖掘，模型具體的產品化；了解廣告業務能，和pm合作，基於數據驅動持續最佳化數據產品。
任職要求：
1、熟悉c++、java、python中的一種或多種編程技術，編程能力強，熟悉大數據處理技術，善於學習套用業界領先數據架構和技術。
2、熟悉數據挖掘算法，包括數據清洗、統計學習、分類聚類算法，並能夠驗證算法效果，將算法套用在廣告業務中。
3、善於學習，有想要折騰的想法。有廣告調優背景優先，對廣告行業有自己思考的優先。
數據平台崗位職責 篇3
工作職責:
1、負責離線計算平台的開發和維護工作;
2、負責hbase/tidb的開發與維護工作;
3、負責alluxio/arrow等開發與維護工作。
任職要求:
1、5年以上相關領域開發經驗,熟悉java/go/c++的一種;
2、對資料庫系統或分散式系統的原理和架構有較好的了解;
3、優秀的發現和解決問題能力,良好的溝通能力和團隊意識。
加分項:
1、熟悉hadoop生態,參加過開源項目;
2、熟悉hive、spark、hdfs、hbase、tidb中至少一種產品的實現細節;
3、有資料庫/數據治理產品的開發和運維經驗。
數據平台崗位職責 篇4
工作職責:
1.構建分散式大數據服務平台,參與和構建公司包括海量數據存儲、離線/實時計算、實時查詢,大數據系統運維等系統;
2.服務各種業務需求,服務日益增長的業務和數據量;
3.深入源碼核心改進最佳化開源項目,解決各種hadoop、spark、hbase疑難問題。
4.負責管理大數據工程團隊。
任職資格:
1.計算機或相關專業本科以上學歷(5年以上工作經驗);
2.精通c++/java/scala程式開發(至少一種),熟悉linux/unix開發環境;
3.熟悉常用開源分散式系統,精通hadoop/hive/spark/storm/flink/hbase/kafka/flume之一原始碼,解決問題;
4.有大規模分散式系統開發、維護經驗,有故障處理能力,源碼級開發能力;
5.具有良好的溝通協作能力,具有較強的分享精神;
6.對kudu、kylin、impala、elasticsearch,github等系統有深入使用和底層研究者加分。
數據平台崗位職責 篇5
職位描述：
負責騰訊微校數據平台搭建與數據分析工作；
承擔大數據etl、高效計算、即時查詢等數據處理分析工程開發；
bi與大數據產品架構設計與開發。
任職要求：
本科及以上學歷，數學或計算機相關專業背景；
有網際網路公司的從業經驗，三年以上數據平台開發或數據分析工作經驗；
熟練掌握sql語言，了解hadoop、hbase、hive、spark、flink等組件的工作原理；
熟悉機器學習、數據挖掘、數據分析、分散式計算至少一方面，有較深的理論研究和實踐經驗優先；
熟練掌握scala/java/python中的至少一門語言，有其他腳本語言開發經驗的優先；
數據敏感，有良好的邏輯思維能力，較強的溝通能力和團隊合作精神，勇於承擔工作壓力。
數據平台崗位職責 篇6
職位描述：
1、參與小鵬汽車技術中台的大數據云平台產品建設，包括：實時計算處理平台、離線計算處理平台、調用鏈分析監控、日誌處理平台；
2、分析系統瓶頸，處理、協調和解決基礎框架中出現的技術問題；
3、大數據新技術研究和套用，並推動適合技術套用於生產；
任職要求：
1、計算機相關專業，本科或以上學歷，五年以上開發工作經驗，有基礎架構開發經驗優先；
2、熟練java、python服務端編程，有良好的編碼習慣；
3、深入理解mapreduce，熟練使用storm/flink、hadoop、spark，並閱讀部分源碼；
4、熟練使用hadoop、hdfs、hbase、kafka、elasticsearch；
5、具有自然語言處理、信息檢索、機器學習、web挖掘、搜尋引擎、推薦引擎等相關經驗優先；
6、熟悉docker容器及容器化技術，有kubernetes實戰經驗者優先；
7、對新技術有執著追求，熱愛編程。善於抽象、總結、思考，能及時關注和學習業界最新技術；
8、有較強的自學能力和鑽研精神，具有良好的溝通能力和團隊合作能力，綜合能力強。
數據平台崗位職責 篇7
職位描述：
1.負責廣告數據平台實時指標計算、歸因、實驗平台等業務的計算架構設計與開發；
2.負責對實時計算服務的性能進行最佳化；
3.負責指導其他工程師進行業務功能開發。
任職要求：
1.3年以上相關工作經驗，計算機相關專業本科及以上學歷；
2.具備紮實的java語言基礎；
3.熟悉並行計算或者分散式計算原理，熟悉高並發、高穩定性、可線性擴展、海量數據的系統特點和技術方案；
4.有storm/sparkstreaming/flink等數據平台的開發和使用經驗；
5.對性能調優，算法效率和分散式計算的資源管理策略有較深的理解；
6.熟悉zookeeper/kafka/hadoop/hbase/flume/redis等平台者優先；
7.具備較強的業務需求分析能力，問題定位能力良好的溝通能力和自我學習能力。
額外加分項:
github等開源社區貢獻者。
數據平台崗位職責 篇8
職位描述：
1、面向公司的大數據開發套件產品設計與研發，包括大數據任務建設平台，元數據管理系統，數據質量監控平台，任務運維平台等
2、參與需求調研與用戶技術支持
3、追求極致，構建業內領先的數據平台產品
任職要求：
1、精通java/scala語言，包括jvm、類裝載、執行緒、並發、io資源管理、網路
2、紮實的計算機基礎，對技術有熱情，願意不斷嘗試新技術和業務挑戰
3、精通soa架構和微服務架構
4、有ide開發經驗者優先考慮
5、熟悉前端技術的全棧開發工程師優先
6、熟悉hadoop ecosystem常用開源框架者優先，例如hadoop/flink/spark等
數據平台崗位職責 篇9
1、負責騰訊雲數據平台產品中心整體項目管理工作，確保項目團隊各干係人協同工作，達到項目目標；
2、負責騰訊雲數據平台產品中心研發項目管理工作，對項目資源、項目節奏、項目進度、項目質量、項目風險等進行有效管理；通過組織項目需求評審、項目例會、制定並推廣項目流程規範，確保項目有序推進；
3、負責騰訊雲數據平台產品中心團隊氛圍建設管理；
任職要求：
1.本科及以上學歷，計算機、通信或相關專業優先；
2.至少2年以上項目管理經驗，軟體或it相關領域項目管理經驗優先；
3.精通項目過程管理，對敏捷項目管理有實際套用經驗及深刻理解；
4.具有較強的自驅力和執行力，極具正能量和感染力，積極推動項目團隊朝目標前進；
5.具有豐富的與人溝通、交流和組織協調能力，出色的團隊合作精神；
6.具有tob和tog溝通經驗者優先；
數據平台崗位職責 篇10
職位描述：
1、負責公司級別的異構數據源傳輸平台架構設計與核心技術研發
2、參與需求調研與用戶技術支持
3、追求極致，構建業內領先的異構數據源傳輸產品
任職要求：
1、精通java/scala語言，並發編程，jvm
2、精通資料庫技術，rdbms、nosql、大數據至少精通一種
3、精通資料庫日誌抓取解析、message queue、etl等數據處理技術
4、紮實的計算機基礎，對技術有熱情，願意不斷嘗試新技術和業務挑戰
5、有canal運維或開發經驗者優先
6、熟悉hadoop ecosystem常用開源框架者優先，例如hadoop/flink/spark等
數據平台崗位職責 篇11
職位描述：
1、負責大數據開源組件的調研
2、負責大數據平台自研平台系統及功能模組設計與開發
3、配合架構師及測試按時完成開發，保證產品正常發布與疊代
任職要求：
1、本科以上學歷，計算機相關專業
2、2年以上大數據平台開發經驗
3、精通java，熟悉linux系統，深入理解並使用主流技術框架，如springboot、mybatis、mq、redis、zk、spring cloud等技術棧，具備豐富的分散式系統的研發經驗
4、熟悉hadoop生態圈其他系統，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper，strom，flink，並了解其原理
5、熟練掌握各類數據結構與算法，具有較強的編碼能力
6、具有良好的團隊合作精神和表達溝通能力
7、有數據中台，數據服務平台開發經驗，熟悉hadoop生態圈組件者優先
數據平台崗位職責 篇12
職位描述：
1、負責今日頭條的通用數據平台和分析型產品，包括數據開發工具，olap查詢引擎/產品等，服務於全公司的幾十個用戶產品線；
2、面向pb級超大規模數據問題，每天處理千億增量的用戶行為數據；
3、負責上海團隊的梯隊建設和管理，提升團隊技術實力。
任職要求：
1、3年以上大數據架構相關經驗，熟悉以下中的多項，e.g.hadoop，mapreduce，hive，storm，spark，kylin，scribe，kafka，hbase，canal，sqoop etc；
2、強悍的編碼能力，生產環境快速trouble-shooting能力，對新技術有強烈的學習熱情；
3、有良好的產品服務意識，有技術負責人或管理經驗者優先。
數據平台崗位職責 篇13
職責描述：
1.負責華大ilearningx平台大數據分析平台的開發及測試。
崗位要求：
1.本科以上學歷，計算機或相關專業者優先。
2. 3年以上工作經驗，至少精通一門程式語言；
3.具備資料庫系統基本理論知識，精通sql語言；
4.熟悉hadoop/hbase/spark/storm/hive，熟悉數據挖掘策略與算法；
5.善於發現問題、解決問題，具備良好的分析和解決問題的能力，具備一定的鑽研精神和持續學習的意願，對負有挑戰性的工作充滿熱情。
崗位要求：
學歷要求：本科
語言要求：不限
年齡要求：不限
工作年限：3-4年經驗
數據平台崗位職責 篇14
職位描述：
基於海量的微信支付用戶、商戶、交易和行為數據，使用業界開源的主流技術棧以及我們自研的大數據技術相結合，構建金融級的大數據平台，提供金融級數據安全保障和質量保障，為數據開發者提供工業化的數據平台服務，建立元數據管理、血緣關係、計算任務和計算資源的動態管控、全方位的數據安全風險控制，為數據分析、智慧推薦、金融風控等業務提供數據平台支撐；
負責微信支付大數據基礎平台相關開發工作；
負責大數據採集、計算、分析處理相關開發工作；
負責大數據治理相關開發工作，提供一站式的數據平台及工具支持。
任職要求：
本科及以上學歷，計算機相關專業，3年及以上開發經驗；
熟悉java、php、shell、python等至少三種開發語言；
有分散式系統、大數據服務、數據分析方面的開發經驗者優先；
熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平台和組件，有相關項目經驗優先；
良好的.溝通表達能力，執行力力強，對待工作認真嚴謹、高度負責。
數據平台崗位職責 篇15
職位描述：
1.負責數據平台業務需求分析調研；
2.負責設計並構建數據平台，落實底層數據平台、存儲平台和分析平台的設計和搭建工作；
3.負責數據平台運行性能、可用性、擴展性等監控與最佳化調控；
4.負責構建大數據服務體系，提供統一數據產品和工具體系；
5.負責指導數據平台研發成員工作，提升研發能力。
任職資格：
1.本科或以上學歷，計算機相關專業，8年以上相關工作經驗
2.具備多個數據平台開發經驗，熟悉hadoop、spark、storm等平台
3.熟悉常用分散式系統的體系架構、通信機制和最佳化方法，擁有大規模分散式系統建設經驗，
4.了解大數據生態，對行業和技術的發展有自己的見解，具有分散式存儲、計算平台的開發、調優和運維經驗
5.責任心強，具有良好的學習能力、溝通能力和團隊合作精神，有一定的組織協調能力和較好的抗壓能力
數據平台崗位職責 篇16
職位描述：
負責spark、hadoop計算平台的設計和開發工作，構建高效穩定的計算平台，為業務提供大數據分析所需的海量計算服務；
負責數據倉庫、以及機器學習平台的建設。
任職要求：
計算機相關專業，本科及以上學歷，2年以上大數據平台開發、運維經驗；
對spark、hadoop平台計算原理有深刻理解，能夠閱讀spark、hadoop源碼；對社區有源碼貢獻者優先；
熟悉spark流計算框架或其他開源實時計算框架；
有elasticsearch集群運維、開發經驗者優先；
有數據倉庫建設經驗者優先；
數據大數據算法經驗、機器學習平台建設經驗者優先；
精通java、熟練掌握mapreduce原理及數據分析相關的二次開發；
對新技術充滿熱情，具有良好的學習能力、團隊協作能力和溝通能力；
能承受較大的工作壓力。
數據平台崗位職責 篇17
職位描述：
1、負責大數據平台建設，包含數據平台的技術運維維護規範定義和執行落地；
2、定義數據採集規範、數據層級規範（5層經典結構），並執行落地；
3、構建業務指標體系，建立自動化和自助的數據輸出體系，提升數據輸出能力；
4、實現實時數據和離線數據體系；
5、負責團隊梯度建設，人才培養，人才輸出和能力輸出。
任職資格:
1、6年以上數據平台建設工作經驗，3年以上帶領團隊經驗-
2、精通hadoop、hive、spark、sparkstreaming、storm、kafka等技術體系，熟練使用至少一門程式語言（java、python、go、scala）；
3、鑽研大數據行業技術和套用前沿，日tb級數據，構建過實時數據平台系統；
4、對數據敏感，熟悉常用數據挖掘算法，並有一定實踐經驗；
5、強烈的好奇心和求知慾，善於深入一線業務，研究業務；