大數據架構工程師崗位職責 篇1
職位描述：
1.負責大數據平台的架構設計、環境和框架的搭建以及部分核心編碼工作；
2.參與業務需求調研，根據需求及行業特點設計大數據解決方案並跟進具體實施項目；
3.規劃公司級數據平台，架構實時流與離線數據計算平台；
4.對業務需求進行分析建模並持續進行最佳化，包括但不限於推薦、排序、用戶畫像等。
任職要求：
1.本科及以上學歷，5年以上大數據開發經驗；
2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及套用；
3.深刻理解大數據處理實時流計算、分散式計算、分散式檔案系統、分散式存儲等相關技術和實現方法，有架構和設計實踐經驗；
4.精通scala/java語言的一種或多種；
5.有數據倉庫、大數據平台及數據挖掘架構設計經驗
大數據架構工程師崗位職責 篇2
職位描述：
1、打造業界領先的存儲、計算、調度、監控等基礎設施；
2、參與存儲、計算、devinfra、監控當中的一個或多個方向。
任職要求：
1、掌握分散式系統原理，對存儲、計算、調度、監控、訊息佇列、集群管理中的一項或多項有深入的理解和認識；
2、樂於挑戰沒有明顯答案的問題，能快速理解業務場景，從具體問題中抽象出通用的解決方案；
3、存儲方向：對hdfs，rocksdb，ceph，hbase，kafka的一項或多項有經驗者優先；
4、計算方向：對yarn，spark，flink，hive的一項或多項有經驗者優先；
5、devinfra方向：對docker，mesos，kubernetes的一項或多項有經驗者優先；
6、監控方向：對opentsdb，influxdb，prometheus，falcon的一項或多項有經驗者優先。
大數據架構工程師崗位職責 篇3
職位描述：
1、參與計算框架和服務的定製和改進，為公司批處理和流式計算能力提供支撐；
2、深入理解業務場景，解決性能瓶頸，實現業務目標；
3、計算、存儲和網路方面基礎技術的探索和儲備。
任職要求：
1、精通各種性能分析和調試工具，高效進行分析；
2、熟練的c/c++/java開發能力，代碼質量高；
3、熟悉網路、linux、hadoop等系統，能夠靈活解決新問題；
4、較好的團隊協作和溝通能力。
大數據架構工程師崗位職責 篇4
工作職責：
1、打造業界領先的存儲、計算等分散式系統；
2、為海量數據和大規模業務系統提供可靠的基礎設施。
任職要求：
1、掌握分散式系統原理，對存儲、計算、訊息佇列、集群管理中的一項或多項有深入的理解和認識；
2、樂於挑戰沒有明顯答案的.問題，能快速理解業務場景，從具體問題中抽象出通用的解決方案；
3、存儲方向：對hdfs，rocksdb，leveldb，memcache，redis，mysql，hbase，kafka的一項或多項有經驗者優先；
4、計算方向：對spark，mapreduce，storm，hive，presto，impala的一項或多項有經驗者優先；
5、集群管理方向：對yarn，mesos的一項或多項有經驗者優先；
6、向開源社區貢獻過patch者優先，請在簡歷上說明。
大數據架構工程師崗位職責 篇5
崗位職責：
1、參與公司數據開發平台、bi產品等大數據產品的設計和開發；
2、負責數據開發平台、bi產品等大數據產品的部署和維護，保證其穩定和可靠；
3、關注和參與大數據方向開源產品的技術動態與演進，推動產品與技術架構持續更新；
任職要求：
1、計算機相關專業，本科及以上學歷，5年以上軟體開發經驗，3年以上網際網路產品或分散式系統開發設計經驗；
2、精通java，python，scala等一種或幾種程式語言，並熟悉linux作業系統及bash shell編程；
3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用經驗，並熟悉上述常用的分散式系統架構設計和原理；
4、熟悉微服務框架及相關技術，如dubbo，springcloud等；
5、熟悉mysql、redis，並了解或接觸過其他資料庫如oracle，sqlserver，postgresql，mongodb等；
6、了解容器技術，如docker，kubernetes；
7、具有一定的軟體設計能力，熱愛大數據和技術，相信技術改變世界，學習能力強，認同數據價值，有面向業務的思維，較強的自主學習能力和英文技術文檔閱讀能力；
8、良好的溝通能力、團隊精神及服務意識，勇於接受挑戰，能承受較大的工作壓力；
9、有生產環境快速trouble—shooting的經驗和能力者優先；
10、有olap，多維度數據分析經驗優先，有對數據倉庫有較強的理論基礎和理解者優先；
大數據架構工程師崗位職責 篇6
崗位職責：
1、基於公司大數據產品進行數據開發，包括數據的採集，清洗，預處理，存儲，建模，分析挖掘等
2、根據業務用戶需要分析數據，提供數據支持
3、參與公司大數據產品的運維和監控，保障數據質量和服務穩定性
任職要求：
1、具備本科以上學歷，計算機，軟體以及相關專業，5年以上大數據開發經驗
2、熟悉數據倉庫維度建模，並能根據客戶需求進行數據開發，向模型更新數據
3、使用過至少一種以上的etl工具
4、熟練掌握java，對hadoop相關的技術和組件（hdfs，mr，hbase，hive，spark，storm，kafka等）有全面深入了解
5、熟練掌握shell或者python中的一種
6、具備spark開發經驗者優先
7、具備實時計算（kafka+storm/spark streaming）經驗者優先
8、具備數據分析和數據挖掘方面經驗者優先
大數據架構工程師崗位職責 篇7
崗位職責：
1、負責全公司的數據平台數據可視化研發工作
2、獨立完成數據可視化研發工作
任職要求：
1、計算機、電子通信、數學、統計或者相關專業本科及以上學歷
2、熟練掌握java/python中的一種語言
3、熟悉數據可視化開發，熟悉echarts套用開發的優先
4、熟悉web開發，熟悉html，js，css
5、熟悉quick bi的優先
6、具備良好的團隊合作精神，工作有激情
7、對數據敏感，有產品思維的優先
大數據架構工程師崗位職責 篇8
崗位職責：
1、參與大數據開放平台基礎能力建設，承擔系統架構、組件開發、方案驗證等工作；
2、參與構建大數據系列產品，包括但不限於用戶畫像、用戶增長與用戶經營、數據分析挖掘、實時計算、數據分發、機器學習平台、風控反欺詐等產品線；
任職要求：
1、統招本科或以上學歷，5年以上大數據開發工作經驗；
2、紮實的java基礎，能熟練使用java進行軟體功能開發；
3、熟練掌握基於hadoop生態的大數據開發工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有實時系統開發經驗優先；
4、熟悉常用的數據挖掘算法，例如聚類、回歸、決策樹等，有過nlp項目經驗優先；
5、有過網際網路公司數據倉庫、分析系統、用戶畫像、廣告平台等產品開發經驗者優先；
6、工作積極主動，善於合作，敏而好學；