大數據開發工程師崗位的主要職責概述

大數據開發工程師崗位的主要職責概述 篇1

職責：

1. 對數據進行結構化、標準化處理，對處理流程進行自動化搭建

2. 通過ETL/Cube數據建模，構建基於數據倉庫的分析工具;

3. 參與數據與公司軟體產品及第三軟體的API對接;

4. 搭建與最佳化，數據採集、處理、可視化流程中所需的框架與模組開發;

5. 協同內外部力量完成需求的表達與技術攻關。

任職要求：

1. 熟悉資料庫的設計和開發如：Oracle/Mysql/MSSQL/Redis等，有處理大量數據經驗的優先;

3. 熟練使用ETL工具進行數據抽取，清洗，轉換，關聯等操作;

4. 熟練使用Linux作業系統,具備編寫shell的能力;

5. 熟練使用主流的開發框架，掌握以下語言：Java、Python;了解過源碼的優先;

6. 具有2年以上數據倉庫(DW)、商務智慧型(BI)、大數據等方面的軟體或項目開發經驗;

7. 了解可視化及BI工具者優先;

大數據開發工程師崗位的主要職責概述 篇2

職責：

1、參與大數據架構的規劃設計，參與業務建模及數據化運營平台的搭建、運維，對業務流程與大數據的結合提出建議和解決方案;

2、完成基於大數據平台的業務項目的開發、實施和維護工作;

3、負責解決大數據平台建設過程中的技術難點和性能調優工作;

4、參與數據倉庫設計，根據業務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;

5、負責高吞吐高可用數據實時和離線採集，高並發的大數據業務架構設計

6、負責研發技術發展方向，新技術領域的探索，引入並驗證數據平台領域新技術，提供系統效能

7、對大數據技術及開源框架充滿熱情，具有鑽研精神，能自我學習。

任職資格：

1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql資料庫。

2、具有2年以上的大數據開發經驗，熟悉大數據、數據倉庫，分散式架構技術理論，具有大數據整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平台經驗者優先;

3、熟悉大數據組件的開發、搭建、維護以及性能最佳化;

4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大數據生態、關係資料庫和NOSQL資料庫、Linux等相關知識，能夠獨立完成並指導初級開發人員完成大數據相關的技術實現和調優;

5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。

6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，並有實際項目開發經驗。

7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練套用開發，必須熟悉複雜數據查詢性能調優，包括實時查詢和離線批處理查詢，伺服器和生態組件的參數最佳化。

8、精通高級算法並有與業務結合落地優先;

9、紮實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善於從複雜的數據問題中找到關鍵路徑，並且擅於跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;

10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。

大數據開發工程師崗位的主要職責概述 篇3

職責：

1、 規劃及建設大數據平台;

2、 負責大數據存儲系統、分散式計算系統、挖掘算法等設計、研發以及維護、最佳化工作;

3、負責分析、挖掘、對抗各種產品安全層面的惡意行為;

4、 參與項目的系統設計和核心代碼開發，指導和培訓其他工程師;

5、 整理和提交技術文檔，負責核心功能模組的代碼編寫和測試工作。

崗位要求：

1、 計算機、統計學等相關專業本科及以上學歷，具有深厚的數學、統計學和計算機相關知識，精通數據倉庫和數據挖掘的相關技術，3年以上大數據開發相關經驗;

2、具有非常紮實的Java基礎，熟悉Shell、Python、R、Scala等一種以上語言;

3、算法基礎紮實，熟悉常見的數據結構，了解分散式算法和分散式系統的技術原理;

4、精通MapReduce設計方法或Spark計算框架、對NoSQL，Hadoop、Hbase、Spark、Hive等主流雲計算，大數據相關軟體有充分的了解，並且有實踐經驗，能解決套用中的複雜問題;

5、熟悉大數據處理相關技術，包括但不限於Hadoop、Hive、Hbase、Impala、Spark，Kafaka、Flume、Sqoop、Storm、Redis等;

6、研讀過Hadoop、Hbase、Hive原始碼者，能夠在特定業務中進行定製改造者優先;

7、具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先。

大數據開發工程師崗位的主要職責概述 篇4

職責：

1、參與大規模數據快速查詢系統的架構設計和開發;

2、大規模數據挖掘和機器學習算法的實現;

3、線上和離線海量數據分析平台的開發;

4、研究大數據前沿技術，提升系統的運維效率;

5、實現大數據基礎架構平台的自動化運維。

【任職要求】：

1、計算機相關專業,具有3年以上大數據開發經驗，熟悉Java,Linux;

2、熟悉Hadoop大數據處理系統的開發,搭建及部署者優先

3、熟練地處理數據模型、數據ETL以及存儲管理;

4、熟悉HDFS/Hive/MapReduce/Kylin/HBase，能獨自進行Mapreduce程式開發者優先;

5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

6、有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力。

大數據開發工程師崗位的主要職責概述 篇5

職責：

1、 負責大數據平台架構的整體設計，承擔數據抽取、清洗、轉化等數據處理程式開發;

2、 為業務運營提供技術支持，完成套用系統的搭建、最佳化、升級工作，保證平台穩定運行;

3、 編寫系統的需求分析、設計、開發和部署文檔等。

崗位要求：

1、碩士及以上學歷，計算機、自動化、通信等相關專業;

2、熟練掌握Java語言，並熟悉Python語言，熟悉分散式系統架構，有hadoop，spark系統架構經驗;

3、熟悉實時計算框架storm，flink，spark streaming其中之一;

4、熟練使用SQL，熟悉資料庫原理，熟練使用至少一種主流關係型資料庫;

5、熟悉軟體開發流程，能夠根據需求編寫需求、設計、開發手冊等項目過程文檔;

6、具有良好的溝通能力和主動性，抗壓能力強。

大數據開發工程師崗位的主要職責概述 篇6

1、公司線上運行中的系統日常維護，保障公司平台正常運行。

2、參與討論項目功能需求，完善項目功能。

3、按照公司提出的新業務需求，設計和開發項目新功能。

大數據開發工程師崗位的主要職責概述 篇7

職責：

1、公司線上運行中的系統日常維護，保障公司平台正常運行。

2、參與討論項目功能需求，完善項目功能。

3、按照公司提出的新業務需求，設計和開發項目新功能。

任職要求：

1、熟悉thinkPHP或CodeIgniter，會使用git，熟悉PHP數據快取，偽靜態配置，webservice。

至少會一種(memcache或者redis)。

2、了解MySQL資料庫的配置，能配置主從資料庫，熟悉各類存儲引擎，具有MySQL結構最佳化，索引最佳化，查詢最佳化的經驗，根據項目需求完成高性能資料庫設計。

3、熟悉Linux系統，能熟練搭建維護LAMP,LNMP環境及日常Linux管理命令。

4、熟悉TCP/IP及HTTP協定，熟悉網路安全。

5、了解HTML CSS，能熟練使用jQuery進行開發。

6、良好的代碼習慣，結構清晰，命名規範，邏輯性強，注釋完善。

大數據開發工程師崗位的主要職責概述 篇8

1、負責公司核心業務系統的需求分析、設計和開發工作;

2、負責框架開發，編寫與維護公共模組代碼，最佳化系統性能等，解決系統中的關鍵問題和技術難題;

3、負責指導其他工程師核心功能的架構與代碼模板編寫，開發與維護系統公用核心模組;

5、分析系統瓶頸，解決各種疑難雜症，對系統進行性能調優。

高級Java開發工程師崗位職責(五)

1、負責企業官網商城的服務端架構最佳化、核心代碼開發;

2、解決產品研發過程中碰到的各種技術難題，不斷突破性能瓶頸;

3、深度參與業務規劃，討論並提出有建設性的意見。

大數據開發工程師崗位的主要職責概述 篇9

分析解決通用引擎問題，如載入最佳化，記憶體最佳化，性能問題解決等;

負責下一代圖形管線開發工作;

負責遊戲中圖形相關特性的開發，根據需求開發高級渲染效果，增強遊戲表現力;

負責遊戲中性能最佳化相關工作，針對需求定製增改unreal4引擎底層功能;

負責圖形兼容性分析以及疑難問題的分析定位工作。

大數據開發工程師崗位的主要職責概述 篇10

職責：

1、參與APP項目的後端調試，架構設計，架構原型實現及核心模組的開發工作;

2、參與系統需求分析與設計，並負責完成PHP核心代碼，接口規範制定;

3、負責APP相關的後台系統搭建，技術文檔編寫;

4、熟悉前端Html5、javascript，能獨立完成靜態頁面。

任職要求：

1、具備HTML5相關界面開發經驗;

2、熟悉Node Js及Linux開發系統的套用;

3、有Thinkphp框架、CI框架的使用經驗;

4、具備分散式快取使用經驗;

5、計算機基礎紮實，熟悉基本的數據結構、算法、計算機體系結構，熟悉各種設計模和套用場景;

6、熟悉Ajax以及Json，Xml等數據交換格式;

7、紮實的SQL知識，熟練使用MySQL，熟悉Mysql的各種查詢最佳化;

8、較強的團隊協作能力、溝通能力，抗壓力強;

9、有PHP、H5項目經驗者優先

大數據開發工程師崗位的主要職責概述 篇11

職責：

1、負責項目Web前端的設計、開發、維護、擴展前端代碼框架，完成單元測試、完成代碼提交;

2、根據項目需求，分析並給出最優的頁面前端結構解決方案;

3、持續的最佳化前端體驗和頁面回響速度，最佳化代碼並保持良好兼容性，提升頁面的友好度和易用性;

4、關注前端前沿技術研究。

能力：

1、計算機及相關專業本科及以上學歷，三年以上的Web前端開發工作經歷，兩年以上移動Web前端開發經驗;

2、精通HTML/CSS/Javascript/Ajax等，熟悉原生js開發，有基於原型和對象模式開發經驗;

3、熟悉H5/CSS3，ES6，Hybrid等相關技術，至少使用過一種前端框架，如React、Angular2、Backbone、Vue等，了解前端模組化開發, 前端工程化;

4、熟練掌握git，熟悉多人開發流程，有Node.js經驗優先;

5、熟練掌握photoshop等軟體，熟悉頁面架構和布局;

6、有車聯網Web產品經驗優先，深刻理解以用戶為中心的產品設計理念;

7、邏輯分析能力強，善於溝通，較強的學習能力，具備良好的溝通能力和團隊協作精神。

大數據開發工程師崗位的主要職責概述 篇12

職責：

1.根據需求分析文檔完成資料庫及程式設計;

2.根據開發計畫完成開發任務並能夠分析解決軟體開發過程中的問題;

3.負責相關技術文檔撰寫工作;

4.負責解決核心技術問題，對技術方案進行決策;

【技能要求】：

1.全日制本科學歷及以上，2本及以上院校。踏實誠懇、責任心強，能接受較大的工作強度，具備良好的溝通能力和學習能力;

2.JAVA基礎紮實，精通io、多執行緒、集合等基礎框架;

3.熟悉分散式、快取、訊息、搜尋等機制;

4.精通web開發的相關技術，2年使用JAVA進行web開發的經驗;

5.精通Java並有較全的知識面，熟悉Spring、Struts、MyBatis等主流框架;

6.了解常用Web前端技術，例如HTML、JS、Jquery、CSS等;

7.熟悉Linux平台下常用命令操作、環境部署;

8.熟悉資料庫技術(MySQL/Oracle)，資料庫最佳化及SQL最佳化;

9.熟悉快取、訊息、大數據存儲相關技術，例如：redis、memcached、ActiveMQ、mongodb、hbase等;

10.有微信開發、移動端平台開發經驗者優先，有銀行、保險等金融軟體開發經驗者優先;

11.工作認真負責、積極主動，富於探索創新精神，良好的溝通能力與團隊合作意識;

大數據開發工程師崗位的主要職責概述 篇13

職責 ：

1、參與需求評審，根據需求分析報告和需求規格說明書主導技術方案。

2.負責項目的開發與維護，能獨立處理和解決所負責的任務;

3.制定軟體開發階段的工作計畫，協調開發、測試的工作,做好日常代碼審查工作，保證項目的進度和質量。

崗位要求：

1、本科以上學歷，5年及以上java語言開發經驗; 編程基礎紮實，精通JSP、Servlet等開發技術。

2、熟悉前端框架：如Easyui、Bootstrap等。

3、熟悉主流資料庫：Oracle、MySQL等的套用系統的資料庫設計、開發經驗，熟練掌握SQL。

4、熟悉J2EE體系架構，熟悉Spring、Hibernate、MyBatis等主流開發框架。

5、有主流套用伺服器，如Tomcat、WebLogic至少一種的部署配置及性能調試經驗，熟悉使用svn,git版本管理工具;。

6、了解webservice、socketMQ等接口框架。

7、熟悉Linux系統常用命令;

8、能承受壓力，個性成熟穩重，具備良好的溝通協調能力，工作積極主動認真負責，富於團隊精神，具有良好的自學能力和獨立解決問題的能力。

大數據開發工程師崗位的主要職責概述 篇14

職責;

1、大型網站的功能設計、開發和系統架構工作;

2、核心代碼的編寫及後台服務程式的研發和編寫;

3、產品功能模組的升級和維護;

4、最前沿的技術攻堅;

5、底層基礎設施的開發及維護.

任職資格：

1、5年以上php開發經驗，其中3年以上作為團隊主程式;

2、熟悉MVC架構，精通Laravel框架，能開發通用性好的程式組件，有實際上線web系統項目經驗;

3、熟悉MySQL的最佳化和分散式方案，具備資料庫套用系統規劃及設計能力;

4、熟悉大規模系統的負載均衡、快取、網路存儲、資料庫高可用設計及性能評估機制;

5、熟悉Redis、Memcache，至少熟悉一種分散式快取方案;

6、必須擁有良好的代碼習慣，要求結構清晰、命名規範、可讀性強、代碼冗餘率低;

7、良好的團隊協作精神，責任心強，能承受較大的工作壓力。

大數據開發工程師崗位的主要職責概述 篇15

1、協助項目經理開展空調產品結構設計工作;

2、協助跟進項目進度，參與產品開發過程中試模、試產及量產的組織、協調等工作

3、協助空調新產品開發過程中各種相關檔案的編制，確保過程控制檔案符合研發控制流程和相關質量管理標準;

4、協助生產製造部門技術支持等相關工作。

大數據開發工程師崗位的主要職責概述 篇16

職責：

1、負責改進系統的性能、可擴展性、穩定性、安全性;

2、負責分散式套用系統分析、架構設計、開發;

3、負責項目開發過程中的技術攻關及運行中出現的技術問題;

4、定期review項目代碼，並組織代碼評審;

5、負責指導研發工程師的產品開發和技術研究工作，促使研發團隊整體技術水平提升。

任職要求：

1、計算機及其相關專業本科畢業，5年以上java開發經驗，至少3年以上中大型web套用系統架構設計經驗;

2、掌握分散式系統的設計和套用，熟悉分散式、多執行緒、快取、訊息、搜尋、網路編程等高性能架構相關開發技術;

3、掌握Ngix、Weblogic、Tomcat、Jboss等常見套用伺服器的套用，同時需要掌握負載均衡、集群等策略;

4、精通spring、springmvc、mybatis、jQuery、EasyUi、freemarker等web框架;

5、掌握mysql、mongodb、hbase、redis等相關技術及最佳化;

6、具有紮實的算法及數據結構功底;

7、熟悉Linux作業系統，熟悉Shell腳本編程及常用Linux操作命令;

8、有hadoop、storm大數據處理及高性能架構設計經驗優先;

9、具備在架構模式、設計模式、OOAD方面的深入的知識和理解;

10、有豐富的性能調優經驗，能快速定位性能瓶頸並給出解決方案優先;

11、經常關注開源社區、業界經驗，對主流網站常用的技術有所知曉;

12、具有網際網路、網際網路金融相關行業系統開發經驗者優先。

大數據開發工程師崗位的主要職責概述 篇17

職責:

1、 負責公司大數據平台數據處理工具ETL、流處理平台等建設，功能規劃，平台演進，維護調優等;

2、 結合公司業務特徵，負責公司數據倉庫規劃、數據倉庫建設、數倉管理等;

3、 負責大數據處理技術研究及新技術引進，參與超大規模實時/離線數據計算框架，存儲、查詢、可視化解決方案的設計，研發;

4、 負責公司業務數據倉庫模型建設及全業務數據域打通;

5、 負責BI報表和可視化項目，和客戶深度溝通，理解客戶的業務挑戰，提供解決方案，制定開發計畫並執行，支持各單位日常數據需求和任務;

任職資格:

1、 熟練掌握關係型資料庫,例如：Oracle、Mysql、Vertica等;熟悉NoSql資料庫，例如HBase、Redis、MongodDB等;具備豐富的資料庫管理和運維調優經驗;

2、 熟悉數據倉庫領域知識和技能者優先，包括但不局限於：元數據管理、數據開發測試工具與方法、數據質量、主數據管理，數據打通等;

3、 有從事分散式數據存儲與計算平台套用開發經驗，熟悉Hadoop生態相關技術並有相關實踐經驗著優先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通數據預處理、檢驗、清洗、分析方法，精通各種常用統計檢驗方法;熟練掌握一門或多門程式語言，並有大型項目建設經驗者優先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常運維、搭建常見伺服器、定位解決日常問題的能力，具備ETL開發經驗優先;

6、 良好的語言溝通與表達能力，有豐富的數據開發經驗，較強的數據、平台、技術理解能力;

7、 具備數學類、計算機類等相關專業統招本科及以上學歷，具有3年及以上大數據開發工作經驗，有網際網路行業背景優先。

大數據開發工程師崗位的主要職責概述 篇18

1、負責資料庫的性能監控分析與系統最佳化、問題跟蹤與管理，故障處理與災難恢復;

2、配合開發提供資料庫支持，負責SQL上線審核;

3、能夠向開發人員和產品業務人員提供資料庫技術支持，並對程式開發中調用的sql語句進行最佳化;

4、負責設計資料庫的數據備份與恢復，高可用方案的設計、制定與落地;

5、負責構建資料庫相關的監控體系，將性能指標可視化，並推進性能問題的整改;

6、負責制定資料庫使用過程中的規範和流程;

7、負責保障資料庫集群、快取存儲系統穩定、高效和安全地運行;

8、負責系統軟、硬體的部署、監控以及調優;

9、負責資料庫的配置、開發、管理、維護等。

大數據開發工程師崗位的主要職責概述 篇19

職責：

1、參與需求調研，負責開展專項業務分析，數據開發工作;

2、負責數據支撐工作，從事資料庫開發，報表設計和實現;

3、負責相關資料庫設計的編寫等工作;

4、參與項目的實施，負責數據結果提交、測試反饋與最佳化;

5、運營及決策提供業務分析及數據支持;

6、參與建立採集、轉換、整合數據，與展現開發報表分析的數據設計流程，並套用於實際操作中。

任職要求：

1、本科以上學歷，計算機相關專業，掌握SQL語言，至少熟練使用過一種資料庫;

2、熟悉ETL的概念和流程，至少熟練使用過一種ETL工具(odi,informatica,kettle等);

3、系統學習過資料庫原理，對關係模型設計有一定認識更佳;

4、良好的邏輯思維能力，敏銳的數據洞察力，較強的總結歸納能力;

5、持有OCP認證、OCM、資料庫工程師、SPSS、SAS、CDA任意一種證書者優先;

6、具備交通行業數據分析或經營分析相關大數據系統項目優先。

大數據開發工程師崗位的主要職責概述 篇20

職責：

1、協助設計技術方案和系統架構，重構現有不完善的系統;

2、負責對內、對外接口設計、實現，開發互動、性能、安全性良好的APP移動套用;

3、獨立承擔系統中一個整體模組功能的開發工作;

4、編寫系統核心代碼，解決開發中的疑難問題;

5、承擔重要系統模組的維護和監控工作，保證系統服務的穩定可靠;

6、能為團隊引入創新的技術和思維。

崗位要求：

1、3年以上相關JAVA開發經驗;

2、熟悉使用Java語言，理解Java相關設計思想和技術，良好的編碼習慣;

3、熟悉使用Spring mybatis或HIbernate等開源框架，了解其原理和機制;

4、掌握JavaScript，Jquery，CSS3，HTML5等Web界面的設計編程;

5、熟練使用Oracle資料庫，包括編碼、維護、性能調優等，有分散式集群數據處理經驗優先考慮;

6、熟練使用J2EE開發主流框架，能夠獨立承擔前、後端的開發工作;

7、熟悉分散式系統的設計和套用，熟悉分散式、快取信息等機制，使用一項或者以上主流開源項目優先;

8、良好的溝通、團隊協作能力，責任心強，承受較大的工作壓力。

大數據開發工程師崗位的主要職責概述 篇21

職責：

1、負責數據採集、數據存儲、數據查詢、數據計算等基礎平台的設計和開發工作;

2、利用Hadoop、Spark、Flink等技術進行離線和實時數據開發 ;

3、負責大數據平台的規劃升級、平台維護和最佳化 ;

4、和其他部門或團隊溝通、資源協調並落實工作。

任職要求

1、本科及以上學歷;

2、3年以上大型大數據平台建設實施經驗 ;

3、掌握常用大數據組件hadoop、Hive、spark、Flink、hbase、elasticsearch等原理、使用和調優 ;

4、具備較強技術功底，精通Java、Scala、Python等至少一種開發語言，能根據需求給出技術架構 ;

5、有數據倉庫、元數據管理和治理的開發經驗優先 ;

6、善於溝通，思維活躍、責任感強、工作積極主動，有良好的團隊協作意識。

大數據開發工程師崗位的主要職責概述 篇22

職責：

1、根據項目要求，承擔開發任務，按計畫完成任務目標;

2、獨立完成軟體模組的編碼;

3、協助測試人員完成軟體系統及模組測試;

4、編制與項目相關的技術文檔;

5、對已有系統進行系統維護及bug跟蹤修改。

任職要求：

1、計算機或相關專業本科及以上學歷;有意從事信息系統管理軟體的開發維護。

2、熟悉JAVA 編程或從事B/S開發一年以上工作經驗者優先;

3、熟悉MVC設計模式、J2EE架構等java相關技術;

4、有軟體開發相關過程文檔編寫能力;

滿足以下其中條件者待遇從優:

5、深入了解面向對象編程，熟練使用Eclipse、MyEclipse等開發工具;

6、熟悉Oracle資料庫，熟悉基本sql語句;

7、熟悉SSH框架、ExtJS技術;

8、有社會保險相關信息系統軟體開發維護經驗;