大數據開發工程師的基本職責

大數據開發工程師的基本職責 篇1

職責：

1、負責數據分析、加工、清理、處理程式的開發;

2、負責數據相關平台的搭建、維護和最佳化;

3、負責基於Hadoop/Spark/Hive/kafka等分散式計算平台實現離線分析、實時分析的計算框架的開發;

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

4、使用Spark Streaming和Spark SQL進行數據處理, 並具有SPARK SQL最佳化經驗;

5、需要有至少2年開發經驗,有flink開發經驗優先;

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責 篇2

職責:

1、負責大數據平台的基礎環境搭建與性能最佳化，完成平台的構建與維護、實時流計算平台、分散式調度、可視化報表等平台的架構與研發;

2、對各種開源框架進行深入的代碼剖析和最佳化;

3、參與大數據技術方案評審;

4、指導國中級大數據工程師工作;

崗位要求:

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分散式計算平台研發工作經驗;

2. 對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架;

3. 具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗;

4. 對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先;

5. 工作有計畫性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

大數據開發工程師的基本職責 篇3

職責：

1、大數據日誌分析系統的設計，選型和開發;

2、配合各業務給予數據支持，對產品和運營數據總結和最佳化;

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果;

4、發現並指出數據異常情況，分析數據合理性;

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性;

6、大數據基礎架構平台的監控、資源管理、數據流管理;

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗;

2、3年以上網際網路行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力;

3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調試;

4、熟悉大數據周邊相關的資料庫系統，關係型資料庫和 NoSQL。

5、掌握 Linux 作業系統的配置，管理及最佳化，能夠獨立排查及解決作業系統層的各類問題;

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責 篇4

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的策略測試計畫，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有紮實的算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗;

4、對數字貨幣領域感興趣，結果導向;

5、有網頁抓取和爬蟲程式編寫經驗者優先。

大數據開發工程師的基本職責 篇5

職責：

1.參與大數據平台搭建以及項目技術架構。

2.數據分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎紮實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟體，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大數據開發工程師的基本職責 篇6

1、負責系統功能定義，程式架構、接口等的設計、研發、及測試工作;

2、分析用戶需求和軟體設計的可行性，協助部門經理確定研發的時間和成本;

3、負責或協助制定技術解決方案，承擔核心功能、公共核心模組的設計編寫，對項目中遇到的技術問題進行技術攻關;

4、主導並協調項目過程中的相關文檔編制及代碼質量控制;

5、通過對新零售業務的理解，對現有產品和系統進行改進和最佳化;

6、配合部門經理完成相關任務目標;

大數據開發工程師的基本職責 篇7

1、負責雲通信系統下核心業務模組維護、最佳化，新增功能開發、性能最佳化和穩定性保障。

2、負責對業務模組疑難問題進行排查和處理。

3、負責對業務模組的架構設計及最佳化工作，確保平台各模組達成高可用、穩定性、性能等各方面的指標。

4、負責業務模組的技術文檔（如詳細設計、接口文檔）的撰寫。

大數據開發工程師的基本職責 篇8

1、設計、開發、測試、部署以及維護並改進各子系統;

2、管理項目優先權並按時交付;

根據能力和團隊需求，您將有可能被分配到以下一個或多個項目：

a.用戶套用產品：主流客戶端開發，運營前後台;

b.商品索引系統：億級SKU的庫存價格實時跟蹤同步，並對商品進行智慧型分類、本地化、圖片處理和去重;

c.國際化商務交易系統：跨境、跨語言商品交付及物流調配;

d.商業智慧型套用系統：商機挖掘、精準搜尋推薦、市場程式化管理。

大數據開發工程師的基本職責 篇9

職責：

1、協助完成項目需求調研,制定開發計畫;

2、負責軟體的程式設計與代碼實現;

3、能按時、獨立、高質量地完成工作，對自己的代碼要求嚴格;

4、組織代碼走讀、單元調測以及配置管理工作;

5、負責有關技術方案、文檔的編寫;

6、配合部門領導完成其他相關工作;

任職要求：

1、大學本科以上學歷，1年及以上JAVA開發經驗;

2、熟悉WEB開發，熟悉JSP/Servlet等WEB開發技術，熟悉Spring，Struts和Hibernate等主流的開發框架，並有java執行緒編程經驗;

3、熟悉Oracle的設計和開發(oracle存儲過程、SQLServer存儲過程、熟練掌握SQL);

4、熟悉Web前端技術，如XHTML/XML/Ajax/CSS/Javascript/jQuery等;

5、以下技術應掌握其中的3項或更多，並了解其中的半數或更多：tcp、xml格式、虛擬化理論、HTML/XHTML、apahce、nginx、軟、硬集群技術、linux系統、socket、多執行緒各種並發、json技術。

6、具有規範化的軟體開發過程經驗者、或具有單元測試編程習慣者優先。

7、有跨系統互動開發經驗者優先;

大數據開發工程師的基本職責 篇10

1. 對接券商接口，參與因子開發等C++任務;

2. 輔助高頻策略因子開發;

3. 輔助基金交易和基金運營，包括分倉任務的維護和開發等Python任務;

4. 研究和運營數據管理;

5. 其他投研交易相關的開發任務。

大數據開發工程師的基本職責 篇11

職責：

1. 按質、按量、按時的完成代碼開發任務。

2. 根據項目需要，撰寫及修改相應的文檔。

3. 完成在各個測試階段BUG的修改

4. 按照編碼規範編程，並編制貫穿整個軟體開發周期的文檔資料

任職條件

1. 大專以上學歷，年齡不超過35歲，熱愛編程開發，計算機，軟體相關專業的應屆生也可培養。

2. 會PHP/MySQL開發, 熟悉基於PHP的面向對象編程思想,

3. 熟悉WEB套用框架(Codelgniter、Zend Framework、Symfony、ThinkPhp或其它);

4. 熟悉MySQL資料庫套用開發，熟悉MySQL日常維護、性能最佳化等基本操作技能;對SQL Server， Oracal等有一定認識了解

5. 謙虛好學，積極上進。

大數據開發工程師的基本職責 篇12

1.負責企業信息化系統的建設及開發

2.完成上級指派的開發任務

3.系統各模組、常規接口開發與維護

4.負責程式與資料庫的最佳化

5.充分理解產品原型與邏輯，並遵照原型圖、邏輯圖展開開發工作;

6.與公司前端同事協同完成、完善產品的開發

7.根據需求，按時完成產品開發和更新

8.評估方案與設計，以確保功能規劃滿足業務需求;

9.合理安排工作時間，在規劃的時間內，完成開發團隊工作;

大數據開發工程師的基本職責 篇13

職責：

1.負責與客戶之間的溝通協調，了解客戶需求，撰寫方案

2.支持元數據的管理、清洗和數據模型開發實現

3.基於客戶需求，形成總結經驗文檔，完善公司數據報表平台功能

4.與客戶業務部門溝通協調，沉澱行業知識，總結行業案例

5.協調與客戶定期交流和溝通

技能要求：

1.了解主流報表工具，了解ETL概念，套用過ETL相關開發工具;

2.具備基本SQL技能，掌握MYSQL、Oracle資料庫基礎知識;

3.較強的溝通能力、學習能力、邏輯思維、獨立解決問題能力;

4.能根據客戶所處行業，進行行業知識、樣板案例的分析和總結;

5.具備良好的抗壓能力，能適應因工作所需的出差。

大數據開發工程師的基本職責 篇14

職責：

1、負責改進系統的性能、可擴展性、穩定性、安全性;

2、負責分散式套用系統分析、架構設計、開發;

3、負責項目開發過程中的技術攻關及運行中出現的技術問題;

4、定期review項目代碼，並組織代碼評審;

5、負責指導研發工程師的產品開發和技術研究工作，促使研發團隊整體技術水平提升。

任職要求：

1、計算機及其相關專業本科畢業，5年以上java開發經驗，至少3年以上中大型web套用系統架構設計經驗;

2、掌握分散式系統的設計和套用，熟悉分散式、多執行緒、快取、訊息、搜尋、網路編程等高性能架構相關開發技術;

3、掌握Ngix、Weblogic、Tomcat、Jboss等常見套用伺服器的套用，同時需要掌握負載均衡、集群等策略;

4、精通spring、springmvc、mybatis、jQuery、EasyUi、freemarker等web框架;

5、掌握mysql、mongodb、hbase、redis等相關技術及最佳化;

6、具有紮實的算法及數據結構功底;

7、熟悉Linux作業系統，熟悉Shell腳本編程及常用Linux操作命令;

8、有hadoop、storm大數據處理及高性能架構設計經驗優先;

9、具備在架構模式、設計模式、OOAD方面的深入的知識和理解;

10、有豐富的性能調優經驗，能快速定位性能瓶頸並給出解決方案優先;

11、經常關注開源社區、業界經驗，對主流網站常用的技術有所知曉;

12、具有網際網路、網際網路金融相關行業系統開發經驗者優先。

大數據開發工程師的基本職責 篇15

職責：

1、參與項目整體設計開發實施

2、獨立完成功能模組的開發，並負責各個功能及模組的接口設計工作

3、編寫核心代碼與組件

4、負責系統的性能最佳化和技術難點攻關

5、研究與項目有關的新技術，並能套用到項目開發中

6、熟悉ThinkPHP等框架，了解Vue、bootstrap等前端框架，對高並發有實戰經驗

7、掌握Linux/Windows等作業系統

8、熟練掌握使用資料庫MYSQL，熟練使用Redis

9、具備較強的程式部署、調試及程式故障分析能力

崗位要求：

1、良好的溝通能力，強烈的責任心，有獨立開發和解決為的能力，有團隊合作精神

2、獨立完成策劃提出的需求

3、能吃苦，有極強的抗壓能力

大數據開發工程師的基本職責 篇16

職責：

1、負責公司後端的研發，保障系統的穩定性和質量

2、與業務需求部門及項目經理溝通，理解需求，進行架構設計;

3、搭建開發框架、負責核心代碼的編寫，解決技術難點;

4、界定、分析和解決系統中存在的問題和缺陷;

5、對系統進行持續改進，提升系統的性能、可擴展性、可維護性;

6、持續改進系統架構、核心算法或者核心技術等，保證系統高性能、高可用性和高可擴展性-新技術預研，完成項目的選型和設計，難點攻關

任職資格：

1.本科及以上學歷，3年以上開發經驗;

2.良好的代碼習慣，要求結構清晰、命名規範、邏輯性強、代碼冗餘率低;

3.熟悉Mysql，有較為熟練地掌握mysql語言及編寫存儲過程、觸發器等資料庫開發的能力;

4.精通PHP語言，精通CGI標準和HTTP等網際網路協定;

5.熟練掌握javascript、div+css等web前端布局及多瀏覽器兼容相關技術;

6.熟練使用Linux系統，熟悉在Linux下配置php+mysql的運行環境;

7.有良好的溝通、協調能力和學習能力，具備良好的團隊合作精神，對工作積極嚴謹踏實，能承受較大的工作壓力。

大數據開發工程師的基本職責 篇17

職責：

1、負責網際網路產品生產環境的保障，確保穩定的提供服務

2、持續完善監控系統與容災備份方案

3、負責系統架構的設計與最佳化

4、與研發團隊協作，保障產品高效疊代的支持

5、完善運維規範與推進執行

任職要求：

1、本科以上計算機專業，4年以上運維工作經驗，具有優秀的學習能力、團隊協作能力

2、熟悉Python、PHP、Shell等腳本語言，具有大規模運維的經驗，精於容量規劃、架構設計、性能最佳化;

3、精通Linux作業系統，熟悉常用Linux命令和腳本編寫工具，有實際生產使用經驗加分;

4、精通計算機網路，熟悉常用網路協定如HTTP、FTP等

5、熟悉資料庫理論，熟練掌握常用關係型資料庫使用和最佳化，如MySQL

6、掌握常用自動化運維理論和工具，如Jenkins、Ansible/Puppet/Saltstack等

7、對Docker容器，鏡像，網路，存儲，持久化，監控，安全有深入的理解;有生產環境k8s/kubernetes等容器編排工具運維經驗者優先

8、有大型網際網路公司運維經驗優先

9、對運維技術敏感度高且細緻有責任心，善於思考，樂於發現，對解決具有挑戰性問題充滿激情

大數據開發工程師的基本職責 篇18

1、負責胸腹腔微創手術機器人的培訓仿真系統研發，側重於手術器械與器髒的變形、切割、分離、縫合、吻合等的後續操作仿真;

2、負責手術器械對器髒的接觸、移動、切割、縫合、止血、燒結等等手術操作仿真;

3、配合力覺檢測技術實現動態實時受力顯示。

大數據開發工程師的基本職責 篇19

職責：

1、負責公司開發平台日常維護、二次開發修改及升級工作;

2、使用後台資料庫等工具進行數據分析、整理工作;

3、採用系統維護方案保障系統的穩定運行;

4、使用相關測試工具對系統進行測試並撰寫測試報告;

5、為客戶提供售前技術諮詢講解答疑並提供專業的軟體安裝、實施、培訓及顧問工作;

6、起草項目實施方案，編制特定用戶的系統使用說明手冊。

【任職要求】

1、專科及以上學歷計算機相關專業;

2、必須熟練掌握SQL Server 或 MY SQL 兩者中的其中一種(此點不適者勿擾);

3、了解軟體架構體系，熟悉Microsoft SQL等資料庫系統的安裝、配置和最佳化設定，熟練運算元據庫備份和恢復;

4、能夠理解軟體設計中的表間關聯關係，對常規程式進行的資料庫操作有一定認識;

5、有較強的責任心以及團隊意識、能夠承受一定的工作壓力。

大數據開發工程師的基本職責 篇20

1、 家電產品內部結構及裝配設計，有智慧型家電開發經驗者優先;

2、 負責參與新產品整體結構設計方案設計，確定產品的結構設計方案和項目計畫，完成樣機試製，確定零部件的詳細設計;

3、 能夠結合工業設計、市場反饋、用戶體驗、產品品質綜合確定產品的結構設計方向;

4、 負責樣品分析，參與試產、對產品可靠性、工藝性、合理性負責。

大數據開發工程師的基本職責 篇21

職責

1、負責客戶端套用邏輯的編寫，與項目組美術、策劃人員深入溝通，準確實現開發需求，完成所負責模組系統的設計、開發和編程;

2.持續最佳化產品性能，提高用戶體驗;

3.負責遊戲的上線發布和維護。

任職資格

1、本科及以上學歷，至少有參與過一款H5項目的研發;

2、熟悉TypeScript/JavaScript/ActionScript,熟悉MVC，有良好的OOP思想;

3、熟悉WebSocket網路編程，了解ProtoBuf序列化方式，能獨立開發業務邏輯;

4、需有1年或以上使用Egret/Laya 開發項目經驗;

5、踏實上進，善於鑽研技術，具備良好的編程習慣和代碼規範;有較強的獨立解決問題能力，富於團隊精神，喜歡遊戲行業。

大數據開發工程師的基本職責 篇22

職責：

1、基於公司的網站與系統產品設計需求，負責 php程式的設計、開發工作;

2、模考新項目開發工作，使用Yii框架開發php模考應用程式，配合前端完成數據互動;

3、完成php產品的設計、實現、測試及維護功能。

4、參與日常的功能快速疊代

任職資格：

1、三年PHP開發經驗，精通熟練PHP框架，熟悉Laravel、Symfony、Yii等主流框架其中至少一種;

2、熟練使用MySQL或其他大型資料庫，對索引、鎖和事務有較深入的了解，有並發處理經驗，有相關的調優經驗;

3、熟練使用Redis、Memcache等常見非關係型數據機制;

4、熟練HTML、CSS、Javascript、Jquery等前端技術;

大數據開發工程師的基本職責 篇23

職責：

1、根據產品需求完成產品前端展示效果和互動功能等開發;

2、完成公司核心套用級產品的研製和開發;

3、部分項目文檔編寫。

任職要求：

1、碩士及以上學歷，3年及以上相關工作經驗，優秀者可適當放寬條件;

2、熟悉HTML、JavaScript、Ajax、CSS等Web開發技術，對Web標準和兼容性有良好認識，能夠高保真還原設計稿，具備良好的代碼風格以及接口、架構設計能力;

3、熟悉主流的JavaScript框架(JQuery、Bootstrap、MVVM模式等);

4、熟悉HTTP的基本工作原理以及常用WEB開發調試工具;

5、具有良好的溝通能力和客戶服務意識。

大數據開發工程師的基本職責 篇24

職責：

1、負責企業網站產品的開發及技術設計;

2、從事php項目開發，能獨立開發、製作整站或獨立完成局部程式;

3、熟練使用PHP/MySQL開發;熟悉Sql語法，包括資料庫設計，速度最佳化;

4、熟悉Yii框架

5、熟悉php、Html5、JavaScript、div+CSS。

任職要求：

1、熟練使用PHP+MySQL，有紮實的php語言基礎知識，能獨立設計網站架構，完成前後台代碼編寫工作;

2、專科及以上學歷,做過PHP網站程式開發2年工作經驗以上，能獨立完成一般性網站的開發，有大中型項目開發經驗優先;

3、熟練掌握thnkphp框架，熟悉smarty， 具有PHP開發經驗和MVC實際開發經驗;

4、熟悉各種WEB技術，並有實際的項目經驗;

5、良好的編程習慣、閱讀能力、理解能力、學習能力，思路清晰，工作規範。

大數據開發工程師的基本職責 篇25

1. 負責AGV調度軟體的開發;具備靜態/動態路徑規劃,交通管制,任務調度,監控及報警,調度仿真等功能.

2. 調度系統功能擴展、算法模型最佳化、調度性能最佳化，提升調度系統運行效率;

3. 完成調度系統編碼、單元測試、集成測試、仿真測試等工作;

4. 進行調度軟體與其它系統(如ERP、MES、WMS、SPS等系統)的數據接口開發;

5. 按照項目計畫，提交高質量的代碼，按時完成開發任務;

6. 完成軟體系統框架設計,概要設計，詳細設計,模組設計，軟體測試需求，軟體測試與驗證檔案，軟體功能說明書，軟體集成測試檔案歸檔。

大數據開發工程師的基本職責 篇26

職責：

1. 根據開發進度要求和任務分配，完成相應模組軟體的 開發、測試 任務;

2. 配合項目經理進行框架搭建、調試以及相關技術的技術可行性驗證工作;

3. 承擔功能模組的 概要設計編寫 與 代碼開發工作;

4. 參與問題、技術方案的討論，設計與代碼評審;

任職要求：

1. 具有3年以上軟體設計、開發工作經驗;曾獨立承擔模組級以上的軟體開發工作，具備系統軟體分析設計能力及很強獨立解決問題的能力;

3. 熟悉Jquery、html、easyui、layui等前端技術.對於瀏覽器兼容性(IE8)能夠很好的處理優先;

4. 精通開源技術框架(spring mvc,spring,mybatis,spirngboot,redis,shiro,sso)，熟悉各種常用設計模式，熟悉J2EE規範，並對面向對象設計、分層體系有深入了解;

5. 熟悉Tomcat、maven、svn、eclipse、idea;

6. 熟悉 Oracle，Mongodb等主流資料庫相關技術及工具;

7. 熟悉Linux作業系統，掌握Linux基本命令;

8. 熟悉設計文檔編寫(優先)

9. 具有良好的溝通能力和團隊合作精神、對工作認真負責，踏實，責任心強，善於學習總結。

大數據開發工程師的基本職責 篇27

職責：

1、參與產品項目規劃工作，設計架構相關技術方案，制定具體項目實施規則。

2、根據開發進度和任務分配，完成相應軟體模組的設計、開發、單元測試和文檔編寫。

3、調整、部署系統平台的搭建，調優等。

4、參與並負責現有產品的維護與改進。

崗位要求：

1、計算機及相關專業本科或以上學歷，3年以上java web項目開發經驗，基礎紮實 ，代碼規範嚴謹。有豐富的相關工作經驗者可放寬學歷限制。

2、熟練J2EE，Java WEB編程技術，對各種開源的框架如Spring、SpringMVC,MyBatis等有深入的套用和最佳化經驗。

3、熟悉資料庫基本理論，熟練ORACLE、Mysql、SQLServer中的一種或者幾種的使用、設計、SQL調優等;了解MangoDB、redis。

4、熟悉Dubbo、ZooKeeper等開源框架，了解docker、nginx等主流架構，對SOA、服務化、模組化有較好的實際套用經驗。

5、熟練Linux系統及常用shell命令和腳本編寫。

6、優秀的分析問題，解決問題能力，樂於解決具有挑戰性的問題。

7、有線上高並發、大數據量處理經驗，對java多執行緒編程有較深的理解，並有實戰經驗者優先。

8、有相關企業級大數據方面經驗優先。