大數據開發工程師的具體職責

大數據開發工程師的具體職責 篇1

職責:

1、 負責公司大數據平台數據處理工具ETL、流處理平台等建設，功能規劃，平台演進，維護調優等;

2、 結合公司業務特徵，負責公司數據倉庫規劃、數據倉庫建設、數倉管理等;

3、 負責大數據處理技術研究及新技術引進，參與超大規模實時/離線數據計算框架，存儲、查詢、可視化解決方案的設計，研發;

4、 負責公司業務數據倉庫模型建設及全業務數據域打通;

5、 負責BI報表和可視化項目，和客戶深度溝通，理解客戶的業務挑戰，提供解決方案，制定開發計畫並執行，支持各單位日常數據需求和任務;

任職資格:

1、 熟練掌握關係型資料庫,例如：Oracle、Mysql、Vertica等;熟悉NoSql資料庫，例如HBase、Redis、MongodDB等;具備豐富的資料庫管理和運維調優經驗;

2、 熟悉數據倉庫領域知識和技能者優先，包括但不局限於：元數據管理、數據開發測試工具與方法、數據質量、主數據管理，數據打通等;

3、 有從事分散式數據存儲與計算平台套用開發經驗，熟悉Hadoop生態相關技術並有相關實踐經驗著優先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通數據預處理、檢驗、清洗、分析方法，精通各種常用統計檢驗方法;熟練掌握一門或多門程式語言，並有大型項目建設經驗者優先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常運維、搭建常見伺服器、定位解決日常問題的能力，具備ETL開發經驗優先;

6、 良好的語言溝通與表達能力，有豐富的數據開發經驗，較強的數據、平台、技術理解能力;

7、 具備數學類、計算機類等相關專業統招本科及以上學歷，具有3年及以上大數據開發工作經驗，有網際網路行業背景優先。

大數據開發工程師的具體職責 篇2

職責

1. 負責大數據分析需求設計和開發工作，包括數據存儲、預處理、查詢、統計、實時分析、數據最佳化及配置等功能;

2. 對大數據分析系統存在的問題進行跟蹤和定位並及時解決;

3. 負責上級交辦的其他相關工作。

崗位要求：

1. 本科以上學歷，2年以上工作經驗;

2. Java基礎紮實，熟練使用Java IDE 進行代碼編寫和調試，熟悉JUnit單元測試框架;

3. 熟悉Linux作業系統，能在Linux上完成開發、調試工作;

4. 熟悉網路IO、多執行緒並發編程、集合等基礎框架，精通數據結構和數據算法;

5. 參與過分散式高性能服務的設計開發過程，有大規模分散式系統的實踐經驗;

6. 熟悉資料庫操作和使用的基本技能，熟練一種關係型資料庫的使用;

7. 能獨立編寫詳細設計文檔;

8. 有大數據分析工具Hadoop、spark使用開發經驗優先;

9. 具有團隊精神與敬業精神，學習鑽研能力強，具有良好的協調溝通能力。

大數據開發工程師的具體職責 篇3

職責：

1、本崗位培養方向為證券基金行業數據架構師;

2、輔助大數據架構師制定項目開發流程、規範，輔助數據模型設計人員進行模型設計;

3、輔助技術架構師進行大數據平台調優(業務邏輯角度);

4、負責大數據平台開發，包括數據抽取、轉換和載入;

5、負責控制數據需求、管理項目開發進度，配合QA完成項目質量管理;

職位要求：

1、2年以上證券或者基金行業數據中心、大數據平台建設經驗;

2、具備較強的學習能力，對數據模型和大數據技術有濃厚的興趣;

3、熟練掌握基於ORACLE或MPP資料庫或Hadoop等開發技術;

4、至少掌握一種ETL開發工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的團隊合作精神、公司提供優厚待遇。

大數據開發工程師的具體職責 篇4

職責：

1、在hadoop平台進行hive/hbase/spark開發;

2、處理公司大數據平台產品的技術工作，包括存儲、處理、分析、挖掘、架構設計、研發工作;

3、熟悉設計、構建和最佳化基於hadoop/Hbase的存儲平台架構;

4、熟悉整體提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴展特性;

5、部門相關工作。

崗位要求：

1、計算機等相關專業大專及以上學歷;

2、3年以上軟體開發經驗，精通Java開發，至少2年以上Hadoop相關開發經驗;

3、熟悉分散式系統、分散式計算系統的工作機制，具有大規模數據平台，高並發大型系統，大數據等架構設計和開發經驗;

4、熟悉sqoop、Hive、hbase、spark等大數據生態組件;

5、精通linux shell和sql腳本;

6、有java web開發經驗者優先;

7、良好的團隊精神和溝通能力，很強的邏輯思維能力和學習能力。

大數據開發工程師的具體職責 篇5

職責：

1、大數據的分散式採集與環境搭建和測試;

2、大數據存儲、處理和分析工作;

3、大數據相關產品線的改進和相關核心開發工作;

4、其他大數據相關工作。

任職要求：

1、本科及以上學歷，計算機相關專業;

2、2年以上Java開發及大數據相關開發經驗，java基礎紮實，熟練掌握多執行緒、集合、快取、序列化、nio等技術;

3、熟悉Linux環境，熟悉Linux shell/python/perl任一腳本;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大數據處理架構，並有1年以上Hadoop相關的實際開發、架構及調優經驗;

5、使用過阿里雲;

6、熟悉架構;

7、具有較好的學習能力、溝通表達能力及團隊合作能力。

大數據開發工程師的具體職責 篇6

職責：

1.有獨立工作能力，工作踏實認真，以及較強的團隊協作精神。

2.負責日誌大數據平台的搭建和規劃;

3.在總體架構設計下，完成日誌大數據產品的設計、搭建、維護和調優，技術文檔的編寫與維護;

4.參與業務日誌的大數據分析;

5.及時反饋開發中遇到的難點問題，溝通並尋求解決方案，按階段有計畫地完成開發任務

任職資格:

1、計算機等相關專業本科以上學歷，2年以上開發經驗;

2、熟悉 linux 作業系統，熟悉 shell 腳本語言，精通 Java，有較強的開發能力;

2、熟練使用SQL，熟悉Mysql、MongoDB、Hive等資料庫技術的基本操作及原理;

3、熟悉Hadoop/Spark生態系統組件的使用，至少有1年的Spark(Core/Streaming/SQL)開發經驗;

4、熟悉Elastic產品線(如 Elasticsearch、Kafka、Kibana、Logstash)的使用方法，了解常見最佳化方案，熟悉Elasticsearch部署、監控及性能調優;

5、熟悉數據挖掘、機器學習、網路數據分析等技術優先;

大數據開發工程師的具體職責 篇7

職責

1、系統需求分析、設計、實現;

2、高可用、高並發服務端系統、接口設計和開發;

3、根據客戶端業務設計和實現可擴展的服務端系統;

4、與團隊共同協作解決技術難題;

5、為產品設計提供技術評估;

任職資格

1、專科及以上學歷，計算機相關專業;

2、4年以上網際網路項目Java開發經驗，編程基礎紮實，熟悉多執行緒、網路編程;

3、熟悉主流的Java開源框架，如spring、mybatis等;

4、熟悉分散式系統開發, 高性能高並發編程，有實際開發經驗;

5、熟悉常用的快取系統，如redis、memcached;

6、熟悉mysql等主流資料庫的設計和開發，有一定的sql最佳化經驗;

7、熟悉常用的開發工具，如Eclipse、maven、svn;

8、熟悉常用的設計模式，並能夠靈活運用到實際項目中;

大數據開發工程師的具體職責 篇8

職責：

1. 對基於HTML5的移動App進行需求功能分析，架構設計以及整體App開發的實施管理;做過uni-app的優先!

2. 利用HTML5相關技術開發移動平台的Web前端頁面及UI互動部分前端頁面;

3. 基於HTML5標準進行頁面製作，編寫可復用的用戶界面組件;

4. 持續的最佳化前端體驗和頁面回響速度，並保證兼容性和執行效率;

5. 配合後端工程師一起研討技術實現方案，進行套用及系統整合。

任職要求：

1. 大專以上學歷，本科優先，計算機相關專業;

2. 兩年以上網際網路前端開發項目經驗;

3. 熟悉HTML5/CSS3標準，精通Javascript,了解es5,es6,規範前端開發,兩年以上的Web套用開發經驗，熟悉vue,react,Angular,jQuery等常見js開發框架中的一種，能快速高效實現各種互動效果;

4. 熟悉各瀏覽器的差異，DOM 原理，MVVM/MVP 設計等，精通XHTML/XML/CSS、JavaScript、AJAX等，精通W3C標準， 熟悉對象化Javascript編程;

5. 熟悉針對主流瀏覽器的代碼兼容及最佳化，對Android與iOS不同平台的html5頁面適配有較好的了解

大數據開發工程師的具體職責 篇9

職責：

1、負責CRM的設計和開發;

2、理解需求，根據需求文檔編寫設計文檔;

3、根據開發規範與流程能獨立完成功能模組開發，並保證開發的功能模組通過測試，平穩上線，保障系統的正常運營;

4、參與軟體產品及系統的分析和設計;

5、分析並解決軟體開發過程中的問題;

6、配合項目經理完成相關任務目標。

任職要求：

1、正規院校本科(含)以上學歷，3年以上工作經驗;

2、精通Java開發語言，熟練使用mybatis、Spring等框架進行Java程式的開發;

3、熟悉資料庫相關知識，掌握MySQL、Oracle等資料庫，有Redis、Hbase等開發經驗者優先;

4、熟悉常用html、css、js、xml、jQuery、ajax、Json等相關技術;

5、精通基於JAVA的WEB開發，有豐富的WEB開發經驗;

6、了解svn、git等版本控制工具的使用;

7、熟練使用Tomcat、Linux等軟體;

8、熟悉企業CRM業務流程者優先;

9、具有較強的學習、溝通和表達能力，以及規範的文檔寫作能力;

10、工作積極主動、責任心強、吃苦耐勞，能承受較大的工作壓力;

11、面試時，請攜帶筆記本電腦，演示個人開發設計的套用系統。

大數據開發工程師的具體職責 篇10

職責：

1、參與覽博網電商項目系統設計與代碼開發工作

2、維護和升級現有軟體產品，快速定位並修復現有軟體缺陷

3、協助完成項目的系統集成測試、版本交付等工作

職位要求：

1、兩年以上Java等相關工作經驗, 熟悉Java 語言, 了解JVM基礎知識;

2、熟練運用Spring Boot、Mybatis/Hibernate、Spring Cloud等Java主流框架進行開發;

3、Java基礎紮實，對多執行緒同步和網路編程有較深刻的了解;

4、邏輯思維清晰、富有團隊精神、熱愛技術、學習能力強;

5、熟悉常用設計模式，及面向對象編程思想;

6、有電商系統開發經驗者優先

大數據開發工程師的具體職責 篇11

職責:

1. 負責產品研發Java後台設計與開發工作、客戶現場相關項目的Java後台設計與開發工作;

2. 對自行編制的功能代碼進行功能與性能最佳化，可協助H5、APP端、第三方進行接口聯調，及時修改測試、提出BUG，確保代碼質量;

3. 撰寫相關的技術文檔，主要包括設計文檔、接口文檔、部署文檔、使用手冊等;

4. 參與項目整個過程的實施工作，並具備獨立安裝部署和後期實施運維能力;

5. 參與到項目售前技術支持工作，能出差實施項目。

任職資格:

1. 計算機相關專業畢業，有3年以上Java工作經驗，至少有1年以上移動套用開發開發經驗;

2. 熟練使用SQL語句與SQL最佳化，熟悉主流資料庫MySql、Oracle等;

3. 熟練J2EE主流技術框架：Spring MVC、 Spring Boot、Spring Cloud、Spring JPA、Mybatis、Hibernate等;

4. 精通HTTP通信協定、RESTfull API、HttpClient等接口規範與套用;

5. 熟練Java相關邊沿技術與工具：Eclipse、Maven、SVN、Git、JavaScript、Poi、Log4j、freemarker、Quartz、Rabbit MQ等

6. 熟練使用Linux常用命令，可以完成Java服務運行環境的安裝、部署、監控等工作;

7. 具有良好的理解能力與溝通能力，能正確理解產品或項目目標與需求，有問題可以積極溝通確認，能做到及時準確的上報下達;

8. 具有良好的職業素質與團隊合作精神，可以嚴格遵守公司與項目組相關規定，有強烈的集體團隊意識;

9. 對工作態度主動積極、認真負責、且具有一定的抗壓能力。

大數據開發工程師的具體職責 篇12

職責：

1、 根據工作安排高效、高質地完成代碼編寫，確保符合規範的前端代碼規範;

2 、負責公司現有項目和新項目的前端修改調試和開發工作，以及其他前端開發工作;

3、 與後台工程師以及UI共同研討技術實現方案，進行套用及模組整合，推進平台系統的持續改進;

4、 移動端主流瀏覽器的適配、自適應研發，前沿技術研究和新技術調研;

5、 微信公眾號、小程式和基於ES5\6標準的html5前端頁面開發;

任職要求：

1、全日制本科以上學歷，至少2年的PC端HTML、CSS、JavaScript實際套用開發經驗的開發人員;

2、精通原生JS，了解基礎對象類型及其差異，原型鏈，作用域，閉包等概念;

3、熟練掌握HTML5, CSS3，並熟悉主流瀏覽器之間的差異性;

4、熟練使用JavaScript語言，能根據要求撰寫高性能的JavaScript代碼，熟悉ajax技術原理，熟練使用各種JavaScript調試工具;

5、熟練掌握AJAX相關技術,並有實際套用開發經驗，了解前端MVC設計模式與MVVM設計模式的區別，至少掌握React,Vue, Angularjs等主流的前端開發框架中的一種，精通vue優先;

6、熟悉前後端聯調模式並能很好的使用各種前端開發工具及其環境配置，會使版本控制工具比如git;

7、至少熟悉VueJS、AngularJS、ReactJS中的一種開發技術，熟悉 Electron， Nodejs，Webpack，有過webGIS相關開發經驗優先。

大數據開發工程師的具體職責 篇13

職責：

負責後端的業務邏輯實現，數據持久化等的設計與開發;

根據需求開發指定的功能模組，獨立地進行設計、編碼和調試，保證整個系統的安全、穩定、高性能;

負責代碼設計最佳化，提高開發效率，保證開發質量;

與其他團隊成員保持良好的溝通和協作。

任職要求：

計算機相關專業本科以上學歷，5年以上PHP開發經驗，計算機專業優先;

精通PHP，具備OOP編程思想，熟悉設計模式和算法，深入了解PHP的性能最最佳化和安全化;

有高並發，高負載項目經驗，具有分散式架構的代碼開發能力;

具有微服務架構設計和實施經驗;

精通MySQL資料庫和SQL，具有優秀的資料庫設計最佳化能力;

熟練使用redis 、memcached、MongoDB等非關係資料庫，並了解其優缺點與套用場景;

了解常用開源框架或技術的原理與套用方式。如負載均衡、服務治理、異步訊息等;

學習能力強，有較好的溝通能力，能迅速融入團隊，較強的邏輯、抽象思維能力，具有較強產品意識者優先;

大數據開發工程師的具體職責 篇14

職責：

1.利用 Layabox、Flash等HTML5相關技術實現各類移動端平台遊戲研發;

2.根據產品需求，分析並給出合理的頁面前端結構解決方案

3.最佳化產品功能、遊戲邏輯和用戶體驗;

4.接入各類平台API，例如微信、Facebook等。

崗位要求：

1.兩年以上HTML5遊戲開發經驗，至少參與過一款款遊戲的完整開發;

2.至少使用LayaAir開發過一款完整的遊戲。

3..精通AS3或TypeScript，需有AS3開發經驗;

4.熟悉各種瀏覽器的兼容性調試;

5.熟悉基礎網路通訊協定原理和機制，對socket套用有實際開發經驗;

6.對設計模式有一定研究，對代碼邏輯要求嚴謹，聚合度高

大數據開發工程師的具體職責 篇15

職責：

1、負責公司伺服器的日常維護，包括IDC機房伺服器和雲伺服器;

2、系統日常調整和故障處理，保證網站的高並發和高可用性，遇到故障及時定位並找出解決辦法;

3、負責日常監控系統的搭建和完善;

4、對運營系統的運行狀況進行性能分析，提出可行性的最佳化和改進方案;

5、編寫相關技術文檔及操作說明;

6、負責運維平台的開發，推進自動化運維體系建設。

任職要求 ：

1、本科及以上學歷，1-3年Linux運維相關經驗;

2、熟悉python開發，能夠進行自動化運維工具及頁面的開發;

3、熟練使用shell，perl等腳本語言並具備較強的開發能力。

4、熟悉資料庫常用的sql命令，有一定的sql最佳化能力;

5、熟悉Nginx/Apache/Tomcat等Web套用伺服器部署、最佳化;

6、熟練使用SaltStack，Zabbix或openfalcon;

7、熟練使用相關工具進行網路故障診斷，熟悉iptables，vpn等網路工具。

8、具有kvm虛擬化環境、公有雲平台使用經驗，有docker套用經驗優先;

9、有較好的學習能力和溝通能力，有強烈的責任感，對新技術充滿好奇，樂於分享。

大數據開發工程師的具體職責 篇16

職責：

1、負責需求分析、模組設計、核心代碼編寫等工作;

2、負責研究業界最新軟體技術，並將研究結果落地產品，並解決在項目開發過程遇到的關鍵問題。

3、能夠理解產品需求，進行代碼開發，對團隊的代碼質量、產品的可靠性和性能負責;

4、參與企業級技術架構設計工作、接口設計、實現及文檔編寫;

5、按時保質的完成工作，配合測試組完成項目測試工作、系統交付工作

6、對項目實施提供支持;

任職要求：

1、3年以上Java開發工作經驗，2年以上系統分析、架構設計經驗;

2、有紮實Java語言開發技能，理解io、多執行緒、TCP、UDP;

3、掌握 J2EE 體系結構;

4、熟練使用Spring、SpringMVC、Spring Boot、MyBatis等開源框架(框架提供的特性及其實現原理);

5、熟練使用分散式框架Dubbo、ZooKeeper、SpringCloud開發;

6、熟練掌握redis開源資料庫;

7、深刻理解OOD，OOP相關理念;

8、熟練資料庫MySql使用，設計，SQL調優等;

9、熟悉常用的項目構建工具及版本管理工具，如Maven、jenkins、Git、SVN等;

10、掌握多執行緒及高性能的設計與編碼及性能調優，有高並發套用開發經驗;

大數據開發工程師的具體職責 篇17

職責：

1.參與產品需求分析及評審，設計產品解決方案;

2.負責系統架構、資料庫、接口設計等工作;

3.負責系統核心代碼開發;

4.參與日常開發和測試工作，解決開發中的技術問題;

5.解決日常和線上系統問題，及時處理系統問題;

崗位要求：

1.計算機或相關專業本科及以上學歷，1年以上工作經驗;

2.熟練掌握Java語言，有伺服器端開發經驗者優先;

3.熟悉 SSH 開發框架，具備maven實際項目使用經歷，具備接口編程思想，有大型套用開發經驗者優先;

4.熟練套用HIBERNATE持久層技術以及JPA、Spring、SpringMVC,Mybatis等;

5.熟悉MySql,Oracle,具備一定的資料庫設計最佳化能力;

6.有dubbo框架使用經驗優先，有分散式開發、高並發性能調優經驗者優先

7.具備紮實的數據結構及算法基礎;

8.優秀的學習能力、分析和解決問題的能力及強烈的進取心;

9.誠懇、踏實，對技術與工作充滿熱情，具備良好的溝通能力和團隊合作精神.

大數據開發工程師的具體職責 篇18

1，協助開發RFID 套用系統;包含RFID標籤和RFID設備的配合設計;

2，根據國外客戶的要求，開發新的套用軟體;整理和協調客戶的需求，提出RFID針對不同客戶需要的方案

3，對行業機構提出的套用技術需求做調研和開發，做產品技術儲備

大數據開發工程師的具體職責 篇19

職責：

1、負責和參與公司PHP系統的研發;

2、負責和參與關鍵技術的創新與實現;

3、在技術經理的指導下完成任務系統分析、架構設計、文檔編寫、程式開發等整個過程;

4、制定項目開發計畫，估算項目開發時間。

任職要求：

1.熟悉PHP7，最好掌握Yii2並了解其原理;

2.Mysql掌握基本調優技能，進行合理表設計;

3.熟悉es6，小程式開發，了解react，vue等前端技術。(加分項，非必須);

4.熟悉常用Linux操作命令，使用過docker;

5.使用過快取,如redis和memcached;

6.了解swoole，swoft框架，熟悉常用網路協定，最好有常駐記憶體套用開發經驗;

7.有良好文檔編寫能力和編程風格，熟悉開發文檔的編寫，優秀的邏輯能力;

8.有良好的用戶體驗開發意識,團隊協作意識.有責任心，執行力，能承擔較大工作壓力。