大數據開發工程師的崗位職責

大數據開發工程師的崗位職責 篇1

職責：

1、依據客戶需求完成大數據項目的數據分析及建模;

2、進行大數據核心算法的編寫;

3、參與項目的需求分析、系統設計、編碼工作;

4、參與開發過程中相關新技術的研究和驗證。

5.協助承擔架構性的體系設計和改造工作，配合制定技術實施方案，按照總體設計組織子系統的設計和開發。

任職要求：

1、精通數據建模、數據體系建設，具備數據倉庫架構設計、模型設計和處理性能調優等相關經驗;

2、具有豐富的基於hadoop體系的數據平台、數據倉庫建設經驗，精通基於hadoop源碼的開發、最佳化改造及成功套用案例;

3、精通hadoop生態體系各項技術，如kafka、flume、hive、impala、hbase、spark等，具有100+節點hadoop集群的開發、運維經驗;

4、具有對大型hadoop集群的硬體規劃能力;

大數據開發工程師的崗位職責 篇2

職責：

1、從事Hadoop、Spark、Hbase、hive等分散式大數據產品的設計和開發;

2、針對部門大數據業務進行大數據分析、挖掘等產品套用的開發;

3、大數據平台各類數據業務抽象及模型化;

4、參與大數據管理平台的開發及維護;

5、負責大數據平台數據及相關的套用開發，調優及維護;

6、為項目相關開發人員提供大數據技術指導及解決大數據平台套用中遇到的技術難題;

7、良好的團隊合作與溝通能力。

任職要求：

1、本科及以上學歷，2年以上大數據套用開發經驗;

2、具備Java、Python、Scala其中兩種語言的開發經驗;

3、了解泛Hadoop大數據生態圈，熟悉HDFS/Hive/Flink/Hbase/Spark/Kafka其中兩種以上技術，並有實際的項目開發經驗，有相關源碼研究者優先;

4、具備ETL開發與運維能力，有Flume、kettle經驗優先;

5、熟悉大數據平台的搭建過程，熟悉數據處理流程，有TB級以上數據處理經驗優先，有實時數據處理經驗者優先;

6、熟悉離線和實時數據處理流程，熟練使用Spark，Flink處理TB級數據優先;

7、熟悉Linux系統環境，有shell等腳本編寫經驗，熟悉Mysql、PostgreSql、Oracle等常用關係資料庫，熟練編寫SQL語句;

8、熟悉Yarn,Kubernetes,Azkaban等資源調度框架者優先;

9、熟悉Datax的二次開發，並有實際開發經驗優先。

大數據開發工程師的崗位職責 篇3

職責

1、負責基於hadoop/spark生態系統、億級別數據的全文檢索，搜尋引擎的產品研發;

2、基於海量用戶行為數據和其他數據，分析和研究數據與實際業務的關聯關係，並與實際業務套用相結合開發;

3、負責大數據分析需求設計和開發，承擔數據抽取、清洗、轉化等數據處理程式開發。

任職要求：

1、熟悉Hadoop/HBase/Spark/Storm/Redis/Kafka/ES/Flume技術及其生態圈，具備相關項目開發經驗，有數據實時計算項目經驗優先;

2、有搜尋引擎全文檢索開發經驗 ，如：elasticsearch、solr;

3、熟悉python、R任意一門開發語言;

4、有SAAS，PAAS企業級套用平台或者網際網路，金融等大型套用平台開發經驗優先考慮;

5、 本科及以上學歷，計算機/軟體工程/統計學/數學等相關專業，網際網路/金融等行業3年以上工作經驗;

6、擁有良好的代碼習慣，要求結構清晰、命名規範、邏輯性強、代碼冗餘率低，代碼注釋清晰;

7、熟悉使用svn，禪道等項目管理工具，有良好的團隊協作開發經驗.

大數據開發工程師的崗位職責 篇4

職責：

1、負責數據分析、加工、清理，相關處理腳本和程式的開發;

2、負責開發大數據工具，如報表平台、多維度分析工具、ETL平台、調度平台的研發;

3、負責分散式大數據平台套用開發(Hadoop/Spark/Hive/HBase等);

4、負責大數據相關平台的維護、最佳化。

任職要求：

1、本科及以上學歷，計算機相關專業，具有5年及以上的大數據ETL或數據開發經驗，熟悉大數據組件的維護以及調優;

2、熟練掌握Java或Python程式語言，熟悉大數據架構體系，熟悉Hadoop、HDFS、Hive、HBase、Spark、Kafka等技術中的一個或者多個，熟悉Sqoop、DataX等數據導入工具;

3、能熟練使用Hive、HBase、Spark等加工和處理數據，有海量數據處理經驗;

4、有數據倉庫開發經驗/BI系統開發經驗優先;

5、有電商行業數據處理與分析平台開發經驗者優先。

大數據開發工程師的崗位職責 篇5

職責:

1、負責所分管團隊的團隊建設和日常管理工作;

2、負責核心技術問題攻關和性能最佳化，持續維護和引進最新的大數據技術到城市大數據平台中，支撐城市級大數據平台業務;

3、承擔城市數據標準編制和數據模型的設計;

4、承擔項目中數據相關方案設計及數據團隊管理;

5、參與城市大數據項目中數據採集、加工過程、分析挖掘模型算法的實施工作。

任職資格:

1、1年以上數據開發工作經驗，熟練使用SQL查詢引擎;

2、熟悉Hadoop、Mpp、Oracle等至少一種數據倉庫工具

3、具備良好的程式語言基礎如：java/python/scala/c++/shell等

4、二本以上學歷，計算機相關專業或者有相關培訓經歷者優先

5、 個人素質要求：目光長遠、態度誠懇、崗位有穩定性，能夠長期培養、具備很強的自學能力、承壓能力強、接受出差支援項目等工作。對數據工作具備濃厚的興趣並有明確職業規劃，優秀的學習能力和團隊溝通協作能力，對新技術有濃厚興趣並有鑽研精神。

大數據開發工程師的崗位職責 篇6

職責：

1、參與公司網際網路產品的需求分析、概要設計、編碼等工作;

2、指導初級程式設計師和中級成員進行產品開發;

3、負責關鍵模組和核心代碼的編寫， 性能最佳化;

4、解決關鍵問題和技術難題;

5、指導開發文檔的編寫。

任職要求：

1、大專以上學歷，至少有五年以上工作經驗，其中有2年的團隊管理經驗;

2、有獨立設計、開發、維護系統的經驗和能力;

3、了解SQL最佳化;能指導初級工程師進行開發工作;

大數據開發工程師的崗位職責 篇7

1、 負責PHP團隊任務管理及項目管理工作;

2、 與需求部門溝通，了解業務部門需求，完成需求確認設計工作;

3、 負責核心繫統的功能代碼與資料庫的設計及開發;

4、 負責提供項目過程遇到的技術解決方案;

5、 參與制定設計及實現規範，系統架構分析設計;

6、 與產品經理配合，完成產品的快速疊代、持續創新;

7、 與產品實施配合，不斷提升後台功能、服務系統的性能及易用性;

8、 帶領研發組其他成員一起，不斷提升共同進步。

大數據開發工程師的崗位職責 篇8

職責：

1、負責遊戲後台管理工具和分析工具的開發;

2、參與對項目的開發需求進行評審，制定項目的設計文檔、開發計畫文檔等;

3、對新產品進行開發並對現有產品進行最佳化;

4、參與制定開發規範，根據開發規範控制開發產品質量;

任職要求：

1、本科及以上學歷，計算機相關專業;

2、3年以上PHP開發經驗，有大型網站的成功開發經驗優先;

3、熟練掌握PHP語言，理解面向對象編程，具備一定的前端開發經驗;

4、熟悉關係資料庫基本原理和內部實現機制，熟練使用Mysql資料庫;

5、對代碼質量有追求，執行力強，善於積極進行溝通、分享。

大數據開發工程師的崗位職責 篇9

職責：

1、負責大數據統計平台建設與最佳化;

2、負責廣告效果分析，反作弊平台建設;

3、負責移動廣告平台相關係統的設計研發及持續最佳化。

職位要求：

1、計算機或相關專業本科學歷及以上，2年工作經驗;

2、精通大數據採集、處理、存儲、查詢相關技術;

3、熟悉Hadoop/Hbase/Hive/Spark/Storm/Kafka相關技術;

4、至少熟練掌握 Java/Scala/Python 中一門語言;

5、有做過大數據量查詢最佳化的優先;

6、有大數據服務運維、性能調優者優先;

7、熟悉常用的設計模式，對MVC框架有了解;

8、強烈的責任心，對技術充滿熱情，高效率，良好的溝通能力。

大數據開發工程師的崗位職責 篇10

職責：

1、負責相關業務模組的分析、設計、開發;

2、獨立完成公司產品的功能開發;

3、具備良好的交流溝通能力，邏輯清晰;

4、快速定位及解決開發、運行過程中的技術問題。

任職要求：

1、全日制大學本科以上學歷;

2、2年以上PHP開發經驗;

3、熟練使用php框架 如：laravel,tp,yii,zend等主流框架;

4、熟練掌握mysql及其最佳化，對NoSql技術有一定了解，熟悉git、redis ;

5、熟練使用js,vue等流行前端框架;

6、熟悉linux基礎命令，熟悉lnmp搭建;

7、熟悉微信公眾號、小程式開發。

大數據開發工程師的崗位職責 篇11

職責：

1、負責基於Hadoop框架的海量數據平台建設

2、參與大數據平台的數據架構設計，完成從業務模型到數據模型的設計

3、基於海量數據的數據倉庫，為業務搭建通用的查詢和分析解決方案

4、管理並最佳化存儲&計算資源利用效率、監控並維護例行ETL任務

5、梳理整體業務指標，可視化報表開發

應聘要求：

1、計算機本科及以上學歷，5年以上大型數據倉庫架構設計、模型設計、ETL設計相關經驗

2、熟悉Hadoop生態，熟悉Oracle、SQL資料庫中的一個或多個，有一定的性能最佳化經驗

3、熟練掌握Java語言，MapReduce編程，Python/Shell等腳本語言，Linux作業系統

4、具備大數據云平台、計算存儲平台、可視化開發平台經驗

5、業務理解力強，對數據敏感，有網際網路行業產品數據分析經驗者優先

大數據開發工程師的崗位職責 篇12

1、負責洗碗機新產品開發結構的設計 ;

2、負責零部件的研發工作，制定新部件的測試評價標準;

3、負責新產品試製、試產過程中的所有問題的解決;

4、負責與客戶的日常技術檔案的處理。

大數據開發工程師的崗位職責 篇13

職責：

1、 負責遊戲UI和相應邏輯的開發

2、 和後端工程師配合完成功能的數據聯調

3、 能根據工作安排獨立完成已上線項目的前端修改和調試開發工作

任職資格：

1、 大專及以上學歷

2、 有flash頁游或者H5遊戲開發經驗

3、 能熟練使用AS或者TS語言進行功能開發

4、 具有良好的分析解決問題能力，主動，好學

5、 責任心強，具備良好的團隊精神和合作精神

大數據開發工程師的崗位職責 篇14

職責：

1.微信H5展示、遊戲頁面及公司官網頁面設計;

2.有效平衡頁面的互動性和美觀性;

3.互動動態效果實現，設計視覺元素;

4.有一定手繪基礎;

5.與項目團隊進行溝通協調，完善項目

基本條件：

有一定通信知識背景;

具有很強的學習和溝通能力;

邏輯思維清晰，工作認真踏實;

具有良好的工作責任心和團隊精神

大數據開發工程師的崗位職責 篇15

職責：

1. 負責設計和實現手機衛士大數據BI平台;

2. 不斷完善數據產品的架構設計，套用開發和新技術疊代;

3. 配合業務，產品，根據不同的業務需求，靈活快速地完成具有挑戰性的項目，為業務提供有價值的數據分析和預測。

任職要求

1. 計算機軟體相關專業本科及以上學歷，至少3年以上工作經驗;

2. 認可技術與平台在BI的價值，能夠深入業務領域，通過使用數據分析和挖據技術，讓業務生成的海量數據產生更大價值。

3. 熟練掌握大數據技術：包括Hadoop，Spark，Storm，Hive，Presto，Parquet，Flink，Druid，OLAP, Elastic Search等等。

4. 具備良好的編程能力和代碼風格，熟練掌握Java， Python等語言，熟練使用SQL，並具有較強的最佳化能力。

5. 需要有很強的開發和架構設計能力，特別是在大數據的分散式和實時處理領域，對存儲引擎和查詢引擎的原理和最佳化都具備比較深入的理解。

6. 有一定的數據挖掘和機器學習算法能力，包括推薦系統，深度學習等技術領域 。

7. 擁有正直、積極、寬容的品質，學習能力強，並且善於溝通合作。

大數據開發工程師的崗位職責 篇16

職責：

1、負責公司產品、項目的後端開發工作;

2、具備根據不同項目進行進行技術需求調研分析的能力;

3、對已有的項目能夠進行最佳化與改進，具備持續最佳化的觀念和能力;

4、負責產品上線，驗收調試等相關事宜，能夠撰寫符合標準的功能和使用文檔;

5、領導交辦的其他工作。

任職資格：

1.學歷不限，3年以上PHP開發經驗，對OOP有理解;

2. 熟悉至少一種PHP框架並有研究，如yii、laverel、thinkphp，掌握常用設計模式;

3. 具有資料庫(含MySQL)索引最佳化、查詢最佳化和存儲最佳化經驗，具備一定的調優技巧;

4.邏輯清楚，思維清晰，代碼規範，溝通良好，具備良好的分析、理解、解決問題的能力;

大數據開發工程師的崗位職責 篇17

職責：

1.各業務模組前端代碼開發，參與多種平台的套用開發，包括Web與APP等產品，負責前端互動的實現;

2.負責JavaScript程式模組的開發，通用類庫、框架的編寫;

3.設計及實現前後端的數據互動，對代碼質量及進度負責;

4.最佳化代碼並保持在各瀏覽器下的良好兼容性;

5.與後端開發人員配合，高質量完成網站前端開發工作。

任職要求：

1、計算機及相關專業本科以上學歷，3年以上前端開發工作經驗;

2、精通HTML5、CSS、JavaScript等前端開發技術;

3、掌握react、vue、jquery等流行的前端開發工具和框架及原理，有一定的了解和實作經驗;

4、熟練使用一種前端自動化構建腳本工具，如webpack、gulp等，了解nodejs;

5、熟悉各種瀏覽器平台(PC、Mobile)的特性，能夠很好地解決兼容問題;

6、良好的溝通與表達能力、思維邏輯清晰，較強的動手能力;

7、有較為良好的團隊管理經驗。

8、良好的代碼編寫習慣，有進取心、求知慾強烈、對工作充滿熱情。

大數據開發工程師的崗位職責 篇18

職責：

1、參與大數據架構的規劃設計，參與業務建模及數據化運營平台的搭建、運維，對業務流程與大數據的結合提出建議和解決方案;

2、完成基於大數據平台的業務項目的開發、實施和維護工作;

3、負責解決大數據平台建設過程中的技術難點和性能調優工作;

4、參與數據倉庫設計，根據業務需求實現高效率高靈活性的查詢，數據分析，數據挖掘;

5、負責高吞吐高可用數據實時和離線採集，高並發的大數據業務架構設計

6、負責研發技術發展方向，新技術領域的探索，引入並驗證數據平台領域新技術，提供系統效能

7、對大數據技術及開源框架充滿熱情，具有鑽研精神，能自我學習。

任職資格：

1、具有5年Java開發經驗，熟悉Spring生態，掌握Hibernate、Mybatis任意一種ORM框架，掌握Oracle、Mysql資料庫。

2、具有2年以上的大數據開發經驗，熟悉大數據、數據倉庫，分散式架構技術理論，具有大數據整體系統架構設計和實戰經驗，熟悉CDH、HDP、TDH至少一款大數據產品，有從無到有建設大數據平台經驗者優先;

3、熟悉大數據組件的開發、搭建、維護以及性能最佳化;

4、較強的開發能力，必須熟練使用相關開發語言(Java/Python/Scala/Shell等)，熟悉大數據生態、關係資料庫和NOSQL資料庫、Linux等相關知識，能夠獨立完成並指導初級開發人員完成大數據相關的技術實現和調優;

5、熟悉Hadoop、Hbase、Hdfs、MapReduce、Yarn、Zookeeper、Hive、Impala、Spark、Flink、Kafka、Flume、Kylin、Phoenix等組件或技術，能閱讀源碼跟蹤問題。

6、熟練掌握Spark、flink任意一種計算框架，掌握MapReduce計算框架原理，並有實際項目開發經驗。

7、熟練掌握HDFS、HBase、Kafka、Redis、Hive、Sqoop、Shell等技術和組件，熟練套用開發，必須熟悉複雜數據查詢性能調優，包括實時查詢和離線批處理查詢，伺服器和生態組件的參數最佳化。

8、精通高級算法並有與業務結合落地優先;

9、紮實的獨立分析問題、解決問題的能力，具備良好的需求理解能力、溝通協調能力和團隊合作精神;有很強的數據設計抽象能力，善於從複雜的數據問題中找到關鍵路徑，並且擅於跟業務團隊就業務問題進行良好的溝通，能推動業務的指標化、量化;

10、有較好的學習能力、團隊協作精神，認真細心，有強烈的責任心，愛崗敬業，有較高抗壓能力，有較好的工作穩定性。

大數據開發工程師的崗位職責 篇19

職責：

1)根據需求報告進行需求反講、代碼編寫。

2)完成系統中業務邏輯相對簡單的功能開發。

3)完成客戶功能、數標相關的功能最佳化。

4)完成開發經理安排的其他開發工作任務。

具備要求：

1)計算機、軟體類等相關專業，本科及以上畢業，1-2年工作經驗。

2)有3個以上項目經驗.

3)有紮實的java基礎知識，對編程有興趣愛好。

4)使用過spring、Mybatis等開源框架;

5)熟練使用sql語句的增、刪、改、查。

6)熟練掌握eclipse、pl/sql或svn。

7)使用過tomcat，熟悉tomcat基本操作。

8)有良好的學習、理解能力、溝通能力、邏輯思維能力。能夠虛心學習，上進心強。

9)，年齡在28歲以下。

大數據開發工程師的崗位職責 篇20

職責：

1、負責H5遊戲客戶端開發;

2、負責遊戲開發設計，保證模組的可行性、遊戲性和穩定性;

3、負責移動瀏覽器及微信上的性能調優;

4、規劃遊戲開發流程，協同並跟進開發工作。

【任職資格】

1、2年以上遊戲開發經驗;

2、精通js語言，並有良好的編程習慣，熟練掌握面向對象編程思想;

3、熟悉html5引擎，如cocos，白鷺egret，能獨立開發;

4、了解H5遊戲性能最佳化，有完整的H5遊戲開發經驗;

5、願意學習和接受新知識，新事物，對攻關疑難問題具有深厚興趣;

6、具備良好的敬業精神和團隊精神。

大數據開發工程師的崗位職責 篇21

1.採用Go語言(Golang)開發穩健可擴展的網路服務;

2.與團隊一起構建高並發、高可用的分散式平台;

3. 為各類項目需求設計架構，開發後端功能服務，同團隊成員合作並積極提出建議和反饋;

大數據開發工程師的崗位職責 篇22

1. 精通PHP語言，能夠獨立開發中型項目，能夠協作開發大型項目

2. 精通MySql資料庫，能夠獨立搭建中型項目所需資料庫，能夠協作搭建大型項目 所需資料庫

3. 熟悉Linux系統，能夠進行簡單的伺服器配置，能夠獨立部署項目

4. 熟練使用svn等版本管理及團隊合作工具

5. 了解JavaScript，能夠編寫簡單的JavaScript代碼

6. 了解CSS，能夠進行簡單的頁面布局調整

7. 使用過多個PHP框架，了解Yii 2.0框架

大數據開發工程師的崗位職責 篇23

職責：

1.開發和維護基於Oracle關係型資料庫的系統。

2.能根據業務需求，獨立完成開發設計。

3.能獨立完成基於單個業務功能模組的開發工作，並對複雜的業務模型進行準確、高效的程式設計開發工作。

4.建立測試環境，進行相關開發的程式測試工作。

5.完成相關的開發及測試文檔。

任職要求：

1.計算機或相關專業全日制本科或以上學歷 。

2.五年以上基於Oracle資料庫的套用系統開發經驗。

3.熟悉SQL，能熟練地運用PLSQL開發工具。

4.學習和理解能力強，具有一定的系統分析能力，及獨立解決問題的能力。

5.具備良好的團隊合作精神和承受壓力的能力。

6.有物流、ERP、醫療等系統開發經驗者更佳。

大數據開發工程師的崗位職責 篇24

職責：

1、主要負責JavaWeb以及APP項目的前後端服務代碼編寫，參與產品的開發與設計

2、根據項目具體要求，承擔開發任務，按計畫完成任務目標;

3、配合系統分析人員完成軟體系統及功能模組的需求調研與需求分析;

4、配合系統分析人員完成軟體系統及功能模組的設計;

崗位要求：

1、大專及以上學歷，計算機相關專業畢業。

2、熟悉Java SSM、開源框架，擁有2年以上經驗;

3、熟練使用Java,Jsp,CSS,JavaScript等開發語言;

4、熟練掌握Weblogic、Tomcat、BOSS等套用伺服器以及系統集群的配置經驗;

5、熟悉ORACLE,MYSQL

6、有較好的團隊合作意識和溝通能力。

大數據開發工程師的崗位職責 篇25

職責：

1、負責完成業務和產品的對接，支持業務需求研發;

2、負責完成產品的疊代升級以及底層架構的升級研發;

3、完成團隊安排的其他相關日常工作任職要求;

4、負責產品的實時業務和離線業務的研發;

5、支持開源大數據技術在數據系統中的使用，修復、最佳化增強大數據技術;

崗位要求：

1、具有分散式系統架構開發能力，熟練使用storm、spark hbase者優先。

2、能夠使用實時計算平台，進行實時業務數據的研發。

3、能夠基於已有平台進行離線業務的開發。

4、有大數據套用產品研發經驗，具有數據決策產品研發經驗者優先。

大數據開發工程師的崗位職責 篇26

1.Java後端開發

2.熟悉springboot+mybatis框架

3.熟悉資料庫原理，熟練sql語句，有mySql資料庫的經驗為佳

4.有前後端分離開發，有分散式的開發經驗為佳

5.熟悉linux伺服器的日常操作

大數據開發工程師的崗位職責 篇27

1、協助java項目經理對各信息系統項目的立項、開發、實施、運維、升級等管理工作；

2、對公司系統進行實施與維護；

3、解決Java軟體開發過程中的問題；

4、完成Java項目經理安排的其他事務。

大數據開發工程師的崗位職責 篇28

職責：

1、完成軟體系統代碼的實現，編寫代碼注釋和開發文檔;

2、根據設計文檔或需求說明完成代碼編寫，調試，測試和維護;

3、分析並解決軟體開發過程中的問題;

4、能配合完成相關任務目標;

5、喜歡手機網路遊戲，對遊戲編程充滿興趣。

崗位要求：

1、精通Java，熟練使用一種主流的Javascript技術，熟練使用至少一種資料庫(Oracle ,SqlServer, Mysql)，精通SQL並掌握常見的最佳化方法;

2、熟悉Tomcat，熟練使用Eclipse開發工具;

3、有良好的編程基礎，熟悉相關開發工具;

4、在校期間有過實際開發經驗，無論是自學還是參加社會實踐均可。

大數據開發工程師的崗位職責 篇29

職責

1、根據新產品開發進度和任務分配，開發相應的軟體模組;

2、根據公司技術文檔規範編寫相應的技術文檔;

3、根據需要不斷修改完善軟體;

4、完成程式測試;

5、研究項目技術細節，編寫相應的說明書。

任職要求：

1、熟悉perl、php、javascipt等其中一技術體系;

2、 精通正則表達式

3、熟練掌握SQL語法, 熟練使用Sybase、Oracle、SQL Server、MYSQL等主流資料庫、相關技術及工具。

4、精通編程工具;

5、熟悉Web開發技術;

6、具備編碼和撰寫文檔的能力;

7、熟悉軟體開發流程、設計模式、體系結構;

8、獨立解決技術問題，有較強的創新意識;

9、熟悉版本管理，熟悉SVN版本管理工具

10、有良好的英語讀寫水平。

11、公司系統需要使用perl語言，如若對該語言有了解或感興趣學習也可以加入航旅天空