大數據開發工程師的基本職責

大數據開發工程師的基本職責 篇1

職責：

1、負責數據分析、加工、清理、處理程式的開發;

2、負責數據相關平台的搭建、維護和最佳化;

3、負責基於Hadoop/Spark/Hive/kafka等分散式計算平台實現離線分析、實時分析的計算框架的開發;

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

4、使用Spark Streaming和Spark SQL進行數據處理, 並具有SPARK SQL最佳化經驗;

5、需要有至少2年開發經驗,有flink開發經驗優先;

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的基本職責 篇2

職責:

1、負責大數據平台的基礎環境搭建與性能最佳化，完成平台的構建與維護、實時流計算平台、分散式調度、可視化報表等平台的架構與研發;

2、對各種開源框架進行深入的代碼剖析和最佳化;

3、參與大數據技術方案評審;

4、指導國中級大數據工程師工作;

崗位要求:

1、計算機相關專業全日制專科及以上學歷，具有3年或以上的分散式計算平台研發工作經驗;

2. 對大數據相關組件：Hadoop、Spark、Hbase、Hive、Flink、Kafka、Flume等架構與底層實現有深入理解，具備相應的定製和研發能力，尤其需要精通Flink框架;

3. 具備構建穩定的大數據基礎平台的能力，具備數據收集、數據清洗、數據倉庫建設、實時流計算等系統研發經驗;

4. 對技術有熱情，有不錯的數據思維和敏感度，有一定的數據分析能力優先，對深度學習、機器學習有一定的了解優先;

5. 工作有計畫性，責任心和執行能力強，具備高度的責任心、誠信的工作作風、優秀溝通能力及團隊精神。

大數據開發工程師的基本職責 篇3

職責：

1、大數據日誌分析系統的設計，選型和開發;

2、配合各業務給予數據支持，對產品和運營數據總結和最佳化;

3、處理用戶海量數據，提取、分析、歸納用戶屬性，行為等信息，完成分析結果;

4、發現並指出數據異常情況，分析數據合理性;

5、公司大數據基礎架構平台的運維，保障數據平台服務的穩定性和可用性;

6、大數據基礎架構平台的監控、資源管理、數據流管理;

7、基於數據分析的可預測的雲平台彈性擴展解決方案。

任職要求：

1、日誌分析數據系統實際經驗;

2、3年以上網際網路行業研發經驗，有使用Hadoop/hive/spark分析海量數據的能力;

3、掌握 Hadoop、Flume，Kafka、Zookeeper、HBase、Spark 的安裝與調試;

4、熟悉大數據周邊相關的資料庫系統，關係型資料庫和 NoSQL。

5、掌握 Linux 作業系統的配置，管理及最佳化，能夠獨立排查及解決作業系統層的各類問題;

6、有良好的溝通能力，具備出色的規劃、執行力，強烈的責任感，以及優秀的學習能力。

大數據開發工程師的基本職責 篇4

職責：

1、數字貨幣領域數據統計分析，負責數字貨幣量化投資策略的設計、管理以及實際投資運作

2、與交易員對接，制定切實可行的的策略測試計畫，開展新策略模型的開發和驗證

3、協助交易員進行交易、風險管理，並對實際交易結果進行量化的績效分析，推動交易自動化

4、上級交辦的其他工作

任職要求：

1、數學/計算機/金融專業畢業，有紮實的算法和機器學習的理論基礎

2、有量化實盤交易經驗，具備豐富的數學建模經驗及較強的數據處理能力優先

3、對金融市場的價格波動有獨特理解和深入的量化分析，具備一定對沖策略研究經驗;

4、對數字貨幣領域感興趣，結果導向;

5、有網頁抓取和爬蟲程式編寫經驗者優先。

大數據開發工程師的基本職責 篇5

職責：

1.參與大數據平台搭建以及項目技術架構。

2.數據分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎紮實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟體，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大數據開發工程師的基本職責 篇6

1.根據產品需求開發IOS客戶端產品;

2.驗證和修正測試中發現的問題 ;

3.學習和研究新技術以滿足產品的需求;

4.根據開發過程中的體驗對產品提出改進建議。

大數據開發工程師的基本職責 篇7

職責:

1、根據產品需求和設計完成兼容性良好的前端頁面製作，與後台工程師協作;

2、完成數據互動、動態信息展現，實現數據可視化;

3、擁有良好的設計審美;

4、基於Html5的webapp界面開發;

5、保持代碼的高可靠性和可維護性。

任職資格:

1、熟練使用Html5、Html、CSS,CSS3等頁面結構和布局;

2、熟練使用回響式頁面開發，螢幕自適應;

3、熟練使用Jquery、javaScript，能獨立開發;

4、精通WEB標準頁面開發，能實現兼容主流界面(IE8及以上、FF、Chrome等主流瀏覽器);

5、熟悉前端頁面代碼結構、前端互動性能，頁面結構和頁面布局，對語義化、結構與內容分離、用戶體驗有一定的理解;

6、至少有Angular、Vue之一開發經驗。

大數據開發工程師的基本職責 篇8

職責：

1、負責產品的設計和開發工作;

2、參與項目的系統、功能分析和評審;

3、根據需求文檔完成相應的模組設計、開發、最佳化、單元測試、集成和發布;

4、根據項目要求及上級分配的任務，承擔系統功能開發，並按計畫完成任務目標;

5、編寫所負責的模組的接口文檔，製作負責模組的系統架構圖，梳理業務流程，並編寫相關文檔，編制與項目相關的技術文檔;

6、獨立完成軟體系統及模組的編碼;

7、協助測試人員完成軟體系統及模組的測試;

任職要求：

1、JAVA基礎紮實，了解JVM原理，熟悉網路、多執行緒編程

2、熟悉Java Web等後端開發技術，比如Spring MVC、 MyBatis等，掌握Spring及周邊,MyBatis,Maven等開發技術,熟悉或參與過SpringCloud微服務項目優先;

3、了解分散式系統相關技術，如分散式快取、訊息佇列等中間件

4、有高並發、高可用、微服務等開發經驗者優先

5、熟悉資料庫基本原理，熟練使用MySQL、NoSQL(如MongoDB,Redis)等常用的資料庫系統，有較強的資料庫設計能力;

6、可以承擔較高強度的開發工作;

7、有傳統中國小教育行業工作經驗優先考慮。

大數據開發工程師的基本職責 篇9

負責資料庫系統架構的設計和實施，參與項目中的資料庫邏輯結構設計，參與大數據平台的架構設計;

基於產品需求說明書，設計審核並創建資料庫存儲結構、資料庫對象;

根據業務需求批量更新數據;開發和維護資料庫定時任務;使用spark SQl等技術，開發數據分析功能;

監控並及時發現TOP SQL，通過最佳化索引結構提高性能或給研發人員提出最佳化建議;

為企業信息化和其他內部相關業務提供相關技術支持。

大數據開發工程師的基本職責 篇10

職責：

1)參與項目需求分析和設計;

2)完成軟體系統代碼的實現，編寫代碼注釋和開發文檔;

3)完成功能模組代碼的實現及單元測試，確保系統性能、質量和安全;

4)向初級組員提供引導、支持並管理日常活動。

5)負責撰寫所負責模組的相關文檔等。

崗位要求：

1)計算機相關專業，熟悉JAVA常用框架，有3-5年JAVA開發經驗;

2)參加過3-5個JAVA項目，獨立承擔過JAVA項目開發或JAVA項目核心模組開發.

3)熟悉主流資料庫ORACLE、SQLSERVER、MYSQL，熟悉資料庫結構及設計;

4)有一定的編寫需求分析說明書、概要設計、詳細設計的能力，能夠進行原型設計。有工業信息化項目背景優先，比如MES、ERP、WMS、LIMS，設備數據採集、物料等

5)具有很強的學習和獨立分析能力、工作責任心、良好的溝通能力和團體合作精神。

大數據開發工程師的基本職責 篇11

職責：

1、有較強的需求理解能力，根據需求編寫代碼和單元測試;

2、遵循編碼規範，及時完成項目管理組分配的開發任務，保證項目開發進度;

3、配合測試對所開發項目進行集成測試、缺陷修復等項目品質保證的相關工作;

4、對所負責項目進行代碼最佳化、功能維護、性能維護、需求變更和協助系統部進行系統維護、系統最佳化以及相關的項目維護工作。

任職資格：

1、大學本科及以上學歷，3—5年工作經驗;

2、紮實的java基礎，熟悉J2EE、servlet、JSP、Spring MVC、Spring、mybatis、js、CSS等技術;

3、熟悉ORACLE、Mysql資料庫管理、開發;

4、熟悉套用伺服器和開發工具，如Tomcat等，能對目標系統進行最佳化配置;

5、有網際網路、供應鏈開發經驗者優先;

6、良好的文字表達能力;

7、有強烈的求知慾、優秀的自我學習能力、熟悉流行的開源項目;

8、工作積極主動，具有強烈的責任心、事業心，具有良好的溝通能力、團隊配合精神。

大數據開發工程師的基本職責 篇12

職責：

1、負責公司伺服器的日常維護，包括IDC機房伺服器和雲伺服器;

2、系統日常調整和故障處理，保證網站的高並發和高可用性，遇到故障及時定位並找出解決辦法;

3、負責日常監控系統的搭建和完善;

4、對運營系統的運行狀況進行性能分析，提出可行性的最佳化和改進方案;

5、編寫相關技術文檔及操作說明;

6、負責運維平台的開發，推進自動化運維體系建設。

任職要求 ：

1、本科及以上學歷，1-3年Linux運維相關經驗;

2、熟悉python開發，能夠進行自動化運維工具及頁面的開發;

3、熟練使用shell，perl等腳本語言並具備較強的開發能力。

4、熟悉資料庫常用的sql命令，有一定的sql最佳化能力;

5、熟悉Nginx/Apache/Tomcat等Web套用伺服器部署、最佳化;

6、熟練使用SaltStack，Zabbix或openfalcon;

7、熟練使用相關工具進行網路故障診斷，熟悉iptables，vpn等網路工具。

8、具有kvm虛擬化環境、公有雲平台使用經驗，有docker套用經驗優先;

9、有較好的學習能力和溝通能力，有強烈的責任感，對新技術充滿好奇，樂於分享。

大數據開發工程師的基本職責 篇13

職責：

1、負責公司項目的二次開發和維護工作;

2、參與軟體需求分析，進行模組設計、代碼編寫、單元測試等工作，對軟體質量負責;

3、參與APP、網站架構、性能、安全、擴展等最佳化的設計和實現。

崗位要求：

1、三年以上php後端開發經驗，原生或框架開發都可適應;

2、熟悉js前端開發，有豐富客戶端開發經驗;

3、熟悉Mysql資料庫，及各種sql語句操作，能獨立設計合理高效的表結構，;

4、熟悉微信開發接口，有微信公眾號、開放平台、小程式等項目開發經驗;

5、熟悉微信支付支付寶支付等線上支付接口，具有商城或團購開發經驗;

6、具有優良的編程風格和習慣，技術輸出結構清晰、命名規範、邏輯性強、代碼冗餘率低;

7、了解linux相關操作命令。

大數據開發工程師的基本職責 篇14

1、參與軟體產品項目規劃工作;制定具體實施方案;

2、整合併最佳化項目開發所需各種資源;

3、參與軟體系統的設計和分析;

4、對現有的系統進行最佳化、維護和升級

5、負責軟體開發技術和規範及標準流程的改進;

6、根據開發進度和任務分配，完成相應模組軟體的設計、開發、編程任務;

7、參與方案討論和技術調研，負責方案升級，更新及後期技術支持

8、熟悉SSH等開源技術框架下的web開發，熟悉springMvc技術的基本使用。

9、熟練使用javascript、extjs等前端技術。

10、精通Oracle、Mysql資料庫，精通SQL語句套用，熟練掌握資料庫基本性能最佳化。

大數據開發工程師的基本職責 篇15

職責：

1.參與基於LNMP的網站架構設計與開發;

2.參與網站伺服器性能最佳化工作，如資料庫最佳化，快取最佳化，分散式集群等;

3.參與日常網站業務開發工作，包括後台與前端。

任職要求：

1.統招計算機相關專業本科學歷以上;

2.紮實的編程基礎(c/c++,數據結構，算法)，3年以上網站開發經驗;

3.精通PHP+MYSQL編程以及主流的PHP框架(Yii2，Zend)，熟悉面向對象編程及MVC模式;

4.熟練掌握XHTML、CSS、DIV、Javascript、jquery等前端頁面技術;

5.學習能力強，熱愛技術，寬廣的技術視野;

6.強烈的責任感和良好的團隊合作精神;

7.有資料庫最佳化、高並發網際網路套用開發經驗優先;

8.掌握多門語言,雙端開發者優先。

大數據開發工程師的基本職責 篇16

職責：

1、開發和移植遊戲到網頁平台

2、和遊戲設計師緊密合作，實現遊戲設計師的設計。

3、最佳化遊戲代碼，保證遊戲質量。

4、預估工作時間，安排工作計畫，配合團隊的計畫和管理

崗位要求：

1、2年或以上H5遊戲開發經驗;

2、熟悉至少一款H5引擎(Egret、Cocos2dX-JS、layabox等),了解各引擎特點，相關工具和環境，至少使用某款H5引擎開發過一款遊戲;

3、熟悉面對對象編程的概念，有JavaScript、ActionScript或TypeScript開發經驗;

4、熟悉 WebSocket 和 HTTP 等網路協定，熟悉 JSON丶ProtoBuf 等數據協定;

5、有最佳化包體大小、遊戲運行效率、遊戲體驗的經驗;

6、熟悉休閒競技遊戲的開發模式和最佳化原理，確保遊戲在表現效果上和性能上有突出表現;

7、與策劃、美術等合作團隊進行溝通協調，滿足開發需求

8、熟悉WebGL和計算機圖形的相關知識。

大數據開發工程師的基本職責 篇17

職責：

1. 根據公司業務需求，進行數據開發及報表製作;

2. 參與BI、大數據平台體系建設;

3. 文檔整理，包括ER圖、原型設計、數據字典整理等;

崗位要求：

1. 本科或以上學歷，計算機相關專業，2年及以上工作經驗;

2. 熟練使用主流資料庫(如ORACLE/PostgreSQL/MYSQL等)，掌握SQL查詢最佳化方法;

3. 熟悉HADOOP生態，能夠熟練使用HIVE/HBASE/SPARK進行數據開發;

4. 掌握JAVA或PYTHON，會TABLEAU/KYLIN/帆軟等BI工具者優先;

大數據開發工程師的基本職責 篇18

職責：

1. 從事數據中心、遊戲運營後台等相關功能與系統的研發;

2. 根據公司產品發展方向，研發新系統;

3. 參與後端基礎服務的開發、實現;

職位要求：

1. 兩年以上相關工作經驗，有遊戲從業經驗經驗者則優先考慮

2. 熟悉php的面向對象編程，了解Linux作業系統;

3. 熟悉關係型資料庫mysql，擁有優秀的資料庫設計與最佳化能力

4. 熟悉memcache、redis等快取系統，對伺服器端程式的部署、架構、調優有一定的了解;

5. 熟悉常用開發框架thinkphp、laravel;

6. 熟悉HTML/CSS/JS，了解HTML5/CSS3/Bootstrap;

7. 了解python，具備web自動化設計思維(加分項)

8. 擁有良好的代碼習慣，結構清晰、命名規範、邏輯性強、代碼冗餘率低，有撰寫詳細的編碼注釋的習慣;

大數據開發工程師的基本職責 篇19

1、負責開發、文檔以及維護；

2、能獨立完成公司產品研發工作；

3、善於學習新的技術，並將技術運用到工作中去；

4、與產品、測試配合共同完成目標。

大數據開發工程師的基本職責 篇20

職責：

1、負責建行公有雲定製化產品的管理平台和自動化集成平台開發

2、負責雲基礎產品建行定製特性功能開發

3、能夠了解客戶業務需求，提供解決方案及技術建議方案;

4、就公司產品能在技術層面向客戶進行講解和培訓;

5、撰寫技術支持文檔或功能使用文檔，配合新產品測試，提供測試反饋;

6、開發工具，對接平台接口，參與平台工具腳本的編寫。

崗位要求:

1. 本科以上學歷，計算機相關專業，3年以上後台開發經驗

2. 熟悉Linux系統管理維護，熟悉HTTP協定、TCP/IP網路協定;

3. 熟練使用shell腳本語言，以及Python開發語言及mysql

4. 具備良好的合作精神和快速學習能力;

5. 熟悉uwsgi + flask 服務框架，熟悉Nginx，mysql等中間件

6. 有雲平台運維經驗者優先(阿里雲、AWS 等)、有持續集成及持續部署經驗者優先、有日誌管理經驗者優先、熟悉 openstack技術者優先、有ansible開發經驗者優先

7. 有網際網路運維開發經驗者優先

大數據開發工程師的基本職責 篇21

職責：

1、 負責公司雲計算業務相關係統的開發、升級、最佳化工作。

2、 參與相關業務邏輯後台架構設計、系統建模、資料庫設計、核心代碼的編寫及後台服務程式的研發和編寫。

3、 獨立完成完整功能測試和發布，準備相關的技術文檔，協助解決各種技術問題。

4、 進行詳細設計、代碼開發，配合測試，高質量完成項目。

5、 按照項目計畫，按時提交高質量代碼，完成開發任務。

任職資格：

1、 2年以上PHP開發經驗;精通PHP + MySQL，熟悉OOP編程思想和MVC框架，有整體項目開發經驗。

2、 熟練使用JavaScript，jQuery熟悉AJAX、JSON數據互動，對Mysql資料庫有豐富的經驗及熟悉最佳化。

3、 熟悉PHP快取技術、了解高並發、負載均衡處理技術。

4、 有移動開發經驗，能完成主流套用工具接口的二次開發，能為業務提供接口支持者優先。

5、 有良好的編碼習慣，具有高度的責任心、良好的溝通能力和團隊協作精神。

大數據開發工程師的基本職責 篇22

職責：

1、負責Linux下高性能、高可用方案的集群化部署，如LVS+Keepalived、快取Varnish、Nginx，Memcached，雙機熱備等;

2、負責公司大規模伺服器部署的策略制定和系統最佳化工作等;

3、負責線上系統層面穩定性保障，系統監控，核心升級，安全事件處理等;

4、負責各類套用軟體(Nginx、Apache、Tomcat、Squid等)的安裝和維護;

任職要求：

1、2年以上運維或開發經驗;

2、有LVS集群、Nginx、Redis等中間件安裝和部署經驗優先;

3、熟悉tcp/ip/http等通信協定，熟悉常用抓包工具且會分析報文的優先;

4、熟悉GoLang/Python/Java等任意一門程式語言;

5、熟悉自動化工具Puppet、Ansible、Saltstack等的部署和使用優先考慮;

大數據開發工程師的基本職責 篇23

1、負責行業技術攻關，完成行業資料收集、系統評估、系統設計、系統開發與調試等工作

2、負責客戶拜訪，完成客戶需求整理與需求評估，並根據客戶需求提供最優解決方案

3、負責完成項目開發、調試、維護等工作

4、負責項目資料收集與整理，完成相關報告和說明書編寫與匯報工作

大數據開發工程師的基本職責 篇24

職責：

1、負責平台系統的開發工作;

2、參與系統設計以及核心代碼的編寫;

3、處理日常發現的問題，配合各部門需求完成系統流程最佳化工作;

4、 參與重大項目的技術方案設計及技術評審，把握複雜系統的設計，確保系統的架構質量;

5、 為團隊引入創新的技術、創新的解決方案，用創新的思路解決問題。

任職要求：

1、大專及以上學歷，計算機相關專業，具有5年以上Web/PHP開發經驗;

2、熟練掌握 HTML/CSS 和 JavaScript 等 WEB 開發技術，熟練掌握 PHP語言，熟悉資料庫Mysql，擁有優秀的資料庫設計能力， 熟悉php安全開發規範;

3、有線上教育類項目開發經驗優先，能處理高並發;

4、熟悉設計模式和算法，深入了解PHP的性能最最佳化和安全最大化;

5、為人誠實正直，工作主動，有強烈的責任感和事業心。