大數據開發工程師的主要職責

大數據開發工程師的主要職責 篇1

職責:

1. 負責機票酒店大數據項目的評估、設計及關鍵模組研發;

2. 參與公司大數據平台及在線上分析系統的建設;

3. 機器學習算法討論、評估及算法的最終編碼實現;

4. 數據平台開發規範制定，數據建模及核心框架研發;

任職要求:

1. 本科及以上學歷，計算機或數學相關專業，三年以上相關工作經驗;

2. 掌握Java、Python、Scala等 中的一到兩種語言;

3. 熟悉Mongodb、Hive、Hbase、Redis等NoSQL資料庫開發和調優;

4. 熟悉數據相關開源框架和工具，如ZooKeeper、Spark、Flink、Impala、Kylin 等;

5. 對數據結構和機器學習算法有一定的了解;

6. 具有海量數據處理、數據挖掘、數據分析相關項目的工作經驗者優先;

7. 有機票酒店等旅遊行業數據開發經驗者優先。

大數據開發工程師的主要職責 篇2

職責：

1、 負責基於Hadoop/Spark平台架構的開發、設計和布局 ;

2、 完成系統框架的設計和核心代碼的編寫;

3、 針對海量的用戶行為數據進行統計、分析與挖掘，不斷提高系統運行效率;

4、 負責對數據進行分析，為項目組提供大數據技術指導及分析手段支撐;

5、 負責大數據平台的性能監控和持續最佳化;針對需求提供大數據分析技術解決方案 ;

6、 大數據平台的運維工作，持續完善大數據平台，保證穩定性、安全性;

7、 熟練使用大數據ETL數據抽取工具;

8、領導安排的其他工作。

任職資格：

1、 3年網際網路行業開發經驗，計算機或相關專業本科以上學歷;

2、 精通Hadoop大數據平台架構，具有紮實的Java/Python等開發語言;並可以開發高效可靠的代碼;

3、 具有較強的數據分析、數據挖掘的能力;

4、 熟悉spark、Hive、storm等計算框架者優先，對分散式存儲和計算原理有較深的理解;

5、 嚴密的數學思維、突出的分析和歸納能力、優秀的溝通表達能;

6、 個性開朗，對技術鑽研好學、邏輯思維能力強，溝通能力優秀，有團隊合作精神。

大數據開發工程師的主要職責 篇3

職責：

1、負責公司大數據平台建設;

2、根據業務需求，制定數據倉庫和數據分析平台的實施和持續更新;

3、攻克技術難關，保證大數據系統的穩定運行;

4、完成大數據產品的開發。

職位要求：

1、計算機相關專業全日制專科及以上學歷，大數據相關經驗;

2、熟悉Java或Scala語言，熟悉Spark，Hadoop，Kafka，Hive，HBase，ZooKeeper等大數據相關技術;

3、精通SQL語句並對Redis，Mongodb等NoSQL資料庫有一定經驗;

4、對於高並發、高穩定可用性、性能、大數據處理有過實際項目產品經驗者優先;

5、責任心強，工作踏實，有團隊協作精神，溝通能力強者優先。

大數據開發工程師的主要職責 篇4

職責：

1、負責公司項目套用監測數據，分析軟體大數據平台的代碼開發;

2、負責大數據體系架構設計和套用產品的研究;

3、負責大數據平台及套用場景的構建、部署、測試;

4、編寫軟體研發相關技術文檔;

5、編寫產品研發相關任務單計畫，階段性代碼、技術方案和軟體產品及時提交至配置管理理庫;

6、Spark程式的研發，sqoop腳本開發和商家用戶行為等離線分析數據;

7、kudu，kylin等技術調研，編寫軟體研發相關技術文檔;

8、SUNMI數倉設計架構以及ETL流程開發;

9、建立多維度，多體系的用戶標籤體系以及用戶行為資料庫。

崗位要求 ：

1、本科以上學歷，4年以上?工作經驗，2年以上Hadoop平台的相關研發經驗，具有良好的需求分析，方案設計，架構設計，程式編寫、測試能力;

2、熟悉J2EE或Python平台開發，有良好的Java或Python語言功底;

3、了解Linux/Unix作業系統，了解腳本編程(Shell/Python其中一種);

4、具備數據中心資源管理(YARN)、監控(ClouderaManage)、調度(Azkaban)等系統研發經驗者優先，具備分散式系統研發經驗者優先;

5、熟悉hadoop以及其?生態圈系統上的hive、hbase、sqoop、spark、spark-streaming等技

術，懂hadoop源碼者優先;

6、熟悉Kylin有OLAP平台設計和開發經驗優先;

7、具有套用大數據技術處理TB級以上數據的項目開發經驗者優先;

8、有較清晰的代碼編寫規範，邏輯性強，工作態度認真，良好溝通能力和團隊合作精神。

大數據開發工程師的主要職責 篇5

職責：

1.負責公司環保大數據平台的架構與搭建;

2.負責需求分析，根據客戶套用需求規劃大數據平台架構;

3.負責將大數據平台部署至私有伺服器群、私有雲或公有雲;

4.負責在企業內部進行數據平台原型開發與數據實時互動、存儲性能測試;

5.負責與數據挖掘算法互動的架構設計與開發。

任職要求：

1.計算機相關專業，全日制本科以上學歷;

2.具有3年以上大數據相關套用開發經驗，有Java開發經驗更佳;

3.至少熟悉一種流行的大數據編程框架，如Spark，Storm，Flink等;

4.熟悉大數據生態圈常用技術如RocketMQ，Kafka，Flume，Zookeeper等;

5.熟悉Hadoop安裝、調試、發布配置套用，熟悉Linux作業系統更佳;

6.至少熟悉TIDB，MySQL，SQLServer其中一種資料庫;

7.學習能力強，對技術有熱情，關注技術發展方向;

8.具有工業物聯網、智慧型環保項目背景者優先。

大數據開發工程師的主要職責 篇6

職責：

1、負責公司核心繫統日常運維以及公共組件的設計、開發和維護;

2、負責開發、完善運維內部系統及輔助系統，提升運維質量及效率;

3、與開發團隊合作，收集與理解需求，提供解決方案，改善DevOps流程;

4、負責公司業務系統的部署架構最佳化、業務監控、持續交付、應急回響、容量規劃等。

【工作要求】

1、計算機相關專業，本科及以上學歷;

2、熟悉Kubernetes, Docker, RabbitMQ, Zookeeper, Mysql, PostgreSql, Git, Elasticsearch等開源組件的架構及實現;

3、熟練掌握PHP、Python、Go、Shell語言中任意一種;

4、熟悉典型網際網路架構、微服務維護實踐，和常見的分散式系統架構;

5、熟悉 Linux 作業系統原理、TCP/IP、網路編程以及常用RPC協定;

大數據開發工程師的主要職責 篇7

職責：

1、具有項目質量管理意識，在項目中主動貫徹執行質量管理規定，熟練使用Git/Junit/Arquillian/Maven(或者其他)進行測試 代碼的編寫和版本控制，把控項目整體進度，管理JAVA小組日常工作協調。

2、參與系統詳細設計與實現、完整主體功能及相關文檔的編寫;

3、負責核心業務的restful、web service等接口的開發，解決開發過程中遇到的技術問題，完成相應的業務功能文檔、接口使用文檔並及時更新;

4、維護和部署程式到運行環境;

5、參與項目的資料庫設計實現，對資料庫整體架構提出建議;

6、負責對應用程式進行審查，監控和最佳化系統的性能。

7、完成公司上級領導安排的其它工作內容。

職位要求：

1、3年以上JAVA網際網路項目管理工作經驗，抗壓能力強。

2、了解分散式系統的設計和架構，了解負載均衡策略實現;

2、精通Java語言開發，JAVA基礎紮實，精通io、多執行緒、集合等基礎框架，熟悉分散式、快取、訊息、搜尋等機制，熟練各種常用開源框架及搭建;(有分散式事務處理相關工作經驗者優先)

3、精通sql語句熟悉mysql以及 mysql 集群;熟悉Linux下的常用命令;

4、有maven、cas、dubbo、restful相關工作經驗者優先考慮;

大數據開發工程師的主要職責 篇8

職責：

1、利用HTML5相關技術實現移動WEB端功能研發，實現邏輯功能和體驗最佳化;

2、根據需求，參與底層通信、數據載入、基礎流程框架、UI組件的開發;

3、依據服務端制定的通信、數據和檔案結構等技術開發對應模組;

4、完成程式性能的最佳化。

任職要求：

1、計算機、軟體等相關專業，2年或以上HTML5開發經驗，有百度、谷歌等引擎開發使用經驗;

2、熟悉Javascript、HTML/HTML5/XML、CSS3、Ajax、JQuery、VUE 等;

3、有良好的邏輯思維，積極主動，有強烈的責任心;

4、有網際網路金融開發經驗優先;

5、具備較好的溝通表達能力和團隊合作意識。

大數據開發工程師的主要職責 篇9

1、負責數據倉庫和大數據處理模組的架構設計和開發;

2、負責實現基於Spark框架的分散式計算框架的設計和開發工作;

3、負責Spark技術研究和通用數據平台的性能調優;

4、負責大數據項目中，基於kafka、flume、spark streaming、Spark SQL等相關技術的海量數據的處理、分析、統計、挖掘工作。

5、熟悉Scala/Java語言，對Scala/Java原理、底層技術有深入研究者優先;

6、有過海量數據系統開發經驗者優先;

7、熟悉Hadoop/Spark生態系統組件的使用，至少有2年以上的Spark開發經驗;

8、寫過推薦系統的優先考慮

大數據開發工程師的主要職責 篇10

職責：

1、項目中資料庫系統的架構設計、開發、最佳化、安全;

2、根據項目需求設計資料庫表與資料庫結構。

3、資料庫性能最佳化：表、欄位、位元組規範設計，分庫分表，數據遷移;

4、資料庫規範化文檔編寫及管理;

5、服務端的搭建，資料庫存儲和讀取數據接口的編寫。

任職要求：

1、本科以上學歷，計算機或數學相關專業，有紮實的資料庫基礎知識;

2、兩年以上資料庫開發經驗、熟練使用MySQL、SQLServer、Oracle等關係型資料庫;

3、 熟悉LINUX、UNIX作業系統，熟悉java、C#或其他開發語言;

4、精通資料庫基本理論及概念;

5、有大數據開發經驗優先考慮;

6、能承受工作壓力、有良好的團隊合作精神。

大數據開發工程師的主要職責 篇11

職責：

1、協助產品線負責人搭建資料庫，及數據分析、資料庫管理;

2、協助負責後台系統需求分析和任務模組開發;

3、協助客戶端接口開發測試;

4、接口文檔，技術文檔以及測試用例文檔的編寫。

任職資格：

1、23-28周歲，本科及以上學歷，計算機相關專業;

2、3年或以上同崗位相關工作經驗，有數據中心，數據倉庫建設經驗;

3、3年或以上J2EE開發經驗,有紮實的java基礎;

4、熟悉關係型資料庫(DB2、ORACLE、MYSQL、SQl Server)，了解NoSQL、快取技術;

5、熟練掌握Spring、SpringMVC、iBatis等開源框架，熟練運用設計模式;

6、對技術有熱情，執行力責任心強且在醫療行業同崗位的優先。

大數據開發工程師的主要職責 篇12

職責：

1、負責PC網站、移動端網站後台開發;

2、參與相關頁面的Web前後台架構設計、核心代碼的編寫;

3、協助測試和發布系統，準備相關的技術文檔，協助解決各種技術問題;

4、進行詳細設計、代碼開發,配合測試,高質量完成項目;

5、按照項目計畫，按時提交高質量代碼，完成開發任務。

任職資格：

1.大專以上學歷。參與公司PHP相關產品或項目需求的分析、架構設計與實現。

2.有3年以上PHP實際開發經驗，紮實的php開發功底。

3.精通PHP，至少熟悉Yii，YAF、CI、Thinkphp，Laravel其中一個主流開發框架，深入理解MVC與OOP。

4.精通MySQL資料庫，熟練掌握MySQL性能最佳化、語句最佳化 、主從複製、讀寫分離、防SQL注入等技術，具備PHP快取技術、靜態化設計方面的經驗。

5.熟練使用Nosql、例如Redis、MongoDB、等非關係型資料庫。

6.熟悉Linux環境下的項目開發和部署，熟悉Shell腳本編程。

7.熟練掌握Jquery、HTML、XML、Javascript、AJAX等技術。

8.熟練使用SVN、Git等常見版本控制工具。

9.有項目規劃能力者、有辦公系統(OA)、信息管理系統、CRM系統等大型軟體套用系統方面開發經驗者優先。

10.有已經上線的項目;熟悉微信開發者優先，有服務化架構開發經驗者優先，在github有開源項目維護者優先。

大數據開發工程師的主要職責 篇13

職責：

1、負責數據中心和大數據處理平台的搭建

2、線上和離線海量數據分析平台的開發;

3、研究大數據前沿技術，提升系統的運維效率;

4、參與大數據的採集、存儲、處理，分析等開發

5、參與數據挖掘算法的設計、對海量數據進行挖掘分析和發掘數據價值及算法學習及實現

【任職要求】：

1、計算機或相關專業本科學歷及以上，2年工作經驗以上

2、熟悉Java/Scala等至少一門語言，能對分散式常用技術進行合理套用，解決實際架構問題

3、熟練使用hadoop，hive，HBase，YARN，kafka，spark，Storm,Flume等大數據開發組件

4、熟悉整個大數據的完整處理流程，包括數據的採集、清洗、存儲、分析和可視化及報表開發;

5、熟悉分散式系統概念、架構，有大規模分散式系統設計、實現、部署等經驗;

6. 具有優秀的學習能力、獨立分析和解決問題能力，良好的團隊合作精神。

7. 有BI開發經驗的最佳化考慮。

大數據開發工程師的主要職責 篇14

職責：

1、負責開放平台套用系統/模組的程式編碼及單元測試;

2、配合系統整合測試、用戶驗收測試等測試過程;

3、協助進行需求分析文檔的整理、協助進行產品歸檔管理等。

任職要求：

1、大學本科及以上學歷(統招、學信網可查)，計算機或相關專業，4年及以上java開發經驗，有銀行項目經驗優先;

2、精通Java語法，熟悉J2EE架構，並能熟悉使用開發框架 (如struts、spring、springMVC、hibernate/ibatis/mybatis);

3、了解html、xml、css，了解Javascript, Ajax，webservice技術;

4、熟悉運用各種IDE開發工具(eclipse / Jbuilder，dream weaver);

5、了解套用伺服器的發布與配置(Websphere，Tomcat)

6、對資料庫基礎知識及相關資料庫產品有一定的了解(db2，oracle)，能熟練使用SQL語法;

7、熟悉UNIX/LIUNX常用命令;

8、具有良好的溝通能力與團隊合作精神。

大數據開發工程師的主要職責 篇15

職責：

1、 負責參與系統框架的設計和不斷最佳化，參與系統設計;

2、 根據用戶的需求,分析並給出最優的技術解決方案;

3、 根據開發規範與流程獨立完成模組的設計、編碼以及相關文檔;

4、具有獨立分析和解決問題的能力。

任職要求：

1、全日制本科學歷，計算機相關專業。

2、有1年及以上J2EE開發經驗，充分掌握面向對象編程思想並有較好的設計模式基礎，熟悉常用算法和數據結構;

2、熟悉Spring、Hiberate、jQuery等開發框架、了解其原理和實現機制;

3、熟悉MYSQL等關係型資料庫，掌握PL/SQL、存儲過程、觸發器、視圖的編寫;

4、熟悉Apache，Tomcat等主流Web套用伺服器;

5、精通HTML+CSS+JS編程，熟悉HTTP 協定以及瀏覽器原理;

6、熟悉主流前端框架，包括但不限於Bootstrap、Vue、Anglajs等;

7、有WebGIS開發經驗者優先;

8、具有大型網站開發經驗者優先。

大數據開發工程師的主要職責 篇16

1，協助開發RFID 套用系統;包含RFID標籤和RFID設備的配合設計;

2，根據國外客戶的要求，開發新的套用軟體;整理和協調客戶的需求，提出RFID針對不同客戶需要的方案

3，對行業機構提出的套用技術需求做調研和開發，做產品技術儲備

大數據開發工程師的主要職責 篇17

職責：

1、負責公司產品前端頁面的開發;

2、負責相關HTML5遊戲的開發工作;

3、維護現有HTML5程式，處理用戶反饋的問題;

4、根據美工設計圖開發前端代碼，解決瀏覽器及終端平台的各種兼容性問題;

職位要求：

1、計算機相關專業，大專以上學歷，有1年以上的相關工作經驗;

2、熟練掌握html5、css3、JavaScript、Ajax、jQuery等Web開發技術;

3、熟練掌握常用JS框架的使用，如Bootstrap、Vue、CreateJS、白鷺Egret、LayUI等;

4、熟悉頁面性能的最佳化，熟悉開發調試、版本控制等基本研發技能;

5、擁有良好的編碼習慣，邏輯清晰、結構清晰、命名規範、代碼冗餘率低;

6、工作認真負責，具有較強的發現問題並解決問題的能力;

7、有Construct2開發經驗者優先考慮;

8、具有良好的溝通能力及團隊合作精神，責任心強。

大數據開發工程師的主要職責 篇18

職責：

1、較強的邏輯思維及自學能力，做事有條理，具備較強的項目分析和解決問題的能力。

2、熟練使用PHP語言和開發技巧，精通面向對象編程，具有良好的編程風格、習慣，熟悉各種主流的MVC開發框架的使用及其原理，並有在MVC模式下進行中大型web開發的經驗.

3、熟練掌握mysql等資料庫套用、熟悉基本的sql語句，能最佳化表、最佳化sql語句，能為慢查詢建立相關索引。

5、有後端API開發經驗、熟悉API加密方式，有linux 操作經驗者且熟悉LNMP優先。

6、熟練redis，memcached等快取機制。

7、大專以上學歷，計算機相關專業畢業，3年以上工作經驗。

職位描述：

1、負責APP後端PHP_API接口開發工作。

2、負責MySQL資料庫維護，最佳化工作。

3、根據需求不斷修改完善項目功能

大數據開發工程師的主要職責 篇19

職責

1、負責公司自有項目的伺服器後端程式的技術研發工作，包括技術架構設計、重構、最佳化，根據產品規劃及技術規劃制定套用架構方案;

2、負責公司項目核心功能、數據匯流排解決方案及第三方接口的開發，主導技術難題攻關，持續提升核心繫統在高並發、海量請求數下的高處理性能，編寫程式，單元測試，bug修復工作等;;

3、負責設計、編碼和調試研發平台後端技術框架，最佳化及提高后端代碼的性能，審核和評估相關方案與設計，以確保其符合架構規劃，滿足業務需求;

4、分析系統瓶頸，解決各種疑難雜症，對系統進行性能調優，指導程式設計師編寫程式，落實技術規範，與產品經理、測試工程師、其他成員溝通合作，保證產品研發工作的質量和進度;

崗位要求

1、軟體工程或計算機相關專業大專以上學歷，3年以上商業項目的實際開發經驗，有電商或短視頻項目的實際開發經驗;

2、精通ThinkPHP、Laravel、Yii等流行框架，熟練掌握LAMP，熟悉TP/SMARTY;

3、精通MySQL、NOSQL、MongoDB等資料庫，能夠編寫和最佳化複雜的SQL程式;

4、擅長訊息佇列、任務調度、負載均衡、並發控制，極具面向對象思維，懂得低耦合高復用封裝，擁有一絲不苟的代碼編寫規範習慣;

5、熟悉Unix/Linux作業系統，熟練掌握shell、Python、Perl其中一種腳本語言;

大數據開發工程師的主要職責 篇20

職責：

1、負責公司業務平台功能模組的代碼開發工作;

2、熟悉PHP開發，掌握主流框架，並擁有良好的面向對象編碼思想和注釋風格，;

3、參與需求分析、系統分析與架構設計方案，負責處理開發過程中的技術問題;

4、思維前瞻性，積極配合完成運維部門工作需求，完成上級要求各項任務;

任職要求：

1、能獨立完成一個項目的開發;

2、精通PHP編程，熟練運用MVC框架，thinkphp框架、larver框架;

3、熟練Mysql資料庫,具有MySQl索引最佳化、查詢最佳化和存儲最佳化經驗。

5、熟悉 div+css+js(jquery)等前端技術;

6、熟悉UNIX/LINUX作業系統的基本配置和命令，了解作業系統的體系結構,熟悉TCP/IP網路協定;

7、具備良好學習心態及團隊精神，抗壓能力強，並富有工作激情、創造力和責任感;

大數據開發工程師的主要職責 篇21

職責：

1、根據產品需求完成高質量高性能後端開發;

2、參與各產品的需求分析、規劃、系統設計;

3、負責各套用模組的編碼工作和文檔編寫工作;

4、負責公司相關產品開發和維護工作。

職位要求

1、本科以上學歷;

2、3年以上PHP網站開發經驗;

3、精通Phalcon或其他PHP框架;

4、熟悉MYSQL資料庫，並對SQL最佳化有一定的經驗，能結合業務對複雜慢SQL進行最佳化;

5、熟練使用NoSQL、熟悉網際網路系統的性能最佳化、cache技術;

6、有良好的代碼習慣，要求結構清晰，命名規範，邏輯性強;

7、關注新技術，較強的學習能力，具備良好的溝通、團隊合作能力

大數據開發工程師的主要職責 篇22

職責：

1、負責運維系統、平台的構建與開發工作

2、負責運維自動化、規範化解決方案的開發工作

3、深入理解系統，為其持續最佳化提供建設性意見

4、完成領導交代的其他臨時性工作。

崗位要求

1、具有5年以上開發經驗

2、本科及以上學歷，計算機相關專業優先

3、主動、正直、有責任心和團隊協作意識

4、精通Java語言、網路及多執行緒編程，掌握Spring、SpringCloud等常用框架技術

5、熟悉常見的開源技術，如HBase、Redis、KafKa、Dubbo、ZooKeeper等，並具備一定的經驗

6、良好的伺服器端編程能力和編程習慣，對設計模式深入理解

7、了解網際網路產品運維、監控，具有大型運維系統、監控系統、工作流系統開發工作經驗者優先