大數據開發工程師的具體職責

大數據開發工程師的具體職責 篇1

職責：

1、本崗位培養方向為證券基金行業數據架構師;

2、輔助大數據架構師制定項目開發流程、規範，輔助數據模型設計人員進行模型設計;

3、輔助技術架構師進行大數據平台調優(業務邏輯角度);

4、負責大數據平台開發，包括數據抽取、轉換和載入;

5、負責控制數據需求、管理項目開發進度，配合QA完成項目質量管理;

職位要求：

1、2年以上證券或者基金行業數據中心、大數據平台建設經驗;

2、具備較強的學習能力，對數據模型和大數據技術有濃厚的興趣;

3、熟練掌握基於ORACLE或MPP資料庫或Hadoop等開發技術;

4、至少掌握一種ETL開發工具。如：Informatica、DataStage、SSIS、Kettle等;

5、良好的團隊合作精神、公司提供優厚待遇。

大數據開發工程師的具體職責 篇2

職責：

1、在hadoop平台進行hive/hbase/spark開發;

2、處理公司大數據平台產品的技術工作，包括存儲、處理、分析、挖掘、架構設計、研發工作;

3、熟悉設計、構建和最佳化基於hadoop/Hbase的存儲平台架構;

4、熟悉整體提升hadoop/Hbase/Storm/Spark集群的高可用性、高性能、高擴展特性;

5、部門相關工作。

崗位要求：

1、計算機等相關專業大專及以上學歷;

2、3年以上軟體開發經驗，精通Java開發，至少2年以上Hadoop相關開發經驗;

3、熟悉分散式系統、分散式計算系統的工作機制，具有大規模數據平台，高並發大型系統，大數據等架構設計和開發經驗;

4、熟悉sqoop、Hive、hbase、spark等大數據生態組件;

5、精通linux shell和sql腳本;

6、有java web開發經驗者優先;

7、良好的團隊精神和溝通能力，很強的邏輯思維能力和學習能力。

大數據開發工程師的具體職責 篇3

職責：

1、大數據的分散式採集與環境搭建和測試;

2、大數據存儲、處理和分析工作;

3、大數據相關產品線的改進和相關核心開發工作;

4、其他大數據相關工作。

任職要求：

1、本科及以上學歷，計算機相關專業;

2、2年以上Java開發及大數據相關開發經驗，java基礎紮實，熟練掌握多執行緒、集合、快取、序列化、nio等技術;

3、熟悉Linux環境，熟悉Linux shell/python/perl任一腳本;

4、熟悉Hadoop、Spark、ZooKeeper等主流的大數據處理架構，並有1年以上Hadoop相關的實際開發、架構及調優經驗;

5、使用過阿里雲;

6、熟悉架構;

7、具有較好的學習能力、溝通表達能力及團隊合作能力。

大數據開發工程師的具體職責 篇4

職責

1. 負責大數據分析需求設計和開發工作，包括數據存儲、預處理、查詢、統計、實時分析、數據最佳化及配置等功能;

2. 對大數據分析系統存在的問題進行跟蹤和定位並及時解決;

3. 負責上級交辦的其他相關工作。

崗位要求：

1. 本科以上學歷，2年以上工作經驗;

2. Java基礎紮實，熟練使用Java IDE 進行代碼編寫和調試，熟悉JUnit單元測試框架;

3. 熟悉Linux作業系統，能在Linux上完成開發、調試工作;

4. 熟悉網路IO、多執行緒並發編程、集合等基礎框架，精通數據結構和數據算法;

5. 參與過分散式高性能服務的設計開發過程，有大規模分散式系統的實踐經驗;

6. 熟悉資料庫操作和使用的基本技能，熟練一種關係型資料庫的使用;

7. 能獨立編寫詳細設計文檔;

8. 有大數據分析工具Hadoop、spark使用開發經驗優先;

9. 具有團隊精神與敬業精神，學習鑽研能力強，具有良好的協調溝通能力。

大數據開發工程師的具體職責 篇5

職責:

1、 負責公司大數據平台數據處理工具ETL、流處理平台等建設，功能規劃，平台演進，維護調優等;

2、 結合公司業務特徵，負責公司數據倉庫規劃、數據倉庫建設、數倉管理等;

3、 負責大數據處理技術研究及新技術引進，參與超大規模實時/離線數據計算框架，存儲、查詢、可視化解決方案的設計，研發;

4、 負責公司業務數據倉庫模型建設及全業務數據域打通;

5、 負責BI報表和可視化項目，和客戶深度溝通，理解客戶的業務挑戰，提供解決方案，制定開發計畫並執行，支持各單位日常數據需求和任務;

任職資格:

1、 熟練掌握關係型資料庫,例如：Oracle、Mysql、Vertica等;熟悉NoSql資料庫，例如HBase、Redis、MongodDB等;具備豐富的資料庫管理和運維調優經驗;

2、 熟悉數據倉庫領域知識和技能者優先，包括但不局限於：元數據管理、數據開發測試工具與方法、數據質量、主數據管理，數據打通等;

3、 有從事分散式數據存儲與計算平台套用開發經驗，熟悉Hadoop生態相關技術並有相關實踐經驗著優先，如Hdfs、Mapreduce、Hive、Hbase、Spark、Storm;

4、 精通數據預處理、檢驗、清洗、分析方法，精通各種常用統計檢驗方法;熟練掌握一門或多門程式語言，並有大型項目建設經驗者優先，如Java、Python、Shell和scala等;

5、精通Linux，熟悉日常運維、搭建常見伺服器、定位解決日常問題的能力，具備ETL開發經驗優先;

6、 良好的語言溝通與表達能力，有豐富的數據開發經驗，較強的數據、平台、技術理解能力;

7、 具備數學類、計算機類等相關專業統招本科及以上學歷，具有3年及以上大數據開發工作經驗，有網際網路行業背景優先。

大數據開發工程師的具體職責 篇6

職責：

1、負責提供產品或項目技術支持，理解產品經理的需求和問題，就產品方向提出自己的見解

2、伺服器部署及性能最佳化

3、工作中能夠幫助國中級程式設計師解決遇到的問題

4、能夠編寫項目的技術知識百科以供備註和學習。

5、協同產品人員和測試人員完成產品測試。

6、維護線上產品的正常運行、配合Leader完成工作。

專業素質要求：

1、豐富的面向對象分析、設計和開發經驗，良好的文檔編寫習慣。

2、熟悉伺服器端主流技術或框架，熟悉 Spring(Boot) 或 netty 等框架;

3、熟悉Spring-boot、dubbo套用開發，熟悉其主要生態圈

4、熟悉 MySQL 資料庫, 對常見的佇列、快取等技術有一定研究認識, 有高並發服務開發, 調優經驗者優先;

5、有較強的責任心、有較強的學習能力，對技術方案和代碼質量有追求;

6、具有良好的溝通、團隊協作及一定的抗壓能力，做事精益求精

大數據開發工程師的具體職責 篇7

職責：

1、負責PHP項目的分析設計、開發、測試及維護

2、負責完成項目的設計與編寫，參與程式模組的編寫

3、負責撰寫開發文檔，包括架構設計文檔、資料庫設計文檔、接口設計文檔、概要設計文檔、詳細設計文檔

4、負責大型線上考試系統的開發、實施部署。

5、參與軟體項目實施，負責遠程或現場的技術支持工作

崗位要求：

1、大專學歷以上,兩年以上PHP相關經驗。

2、精通PHP/MySQL開發，Smarty模板技術;精通JavaScript,html,css,能處理瀏覽器兼容性問題。

3、能夠熟練完成Linux系統下的Apache+ php環境搭建。

4、有良好的學習、溝通、協調能力，具備良好的團隊合作精神，對工作積極嚴謹;

大數據開發工程師的具體職責 篇8

1、協助項目經理開展空調產品結構設計工作;

2、協助跟進項目進度，參與產品開發過程中試模、試產及量產的組織、協調等工作

3、協助空調新產品開發過程中各種相關檔案的編制，確保過程控制檔案符合研發控制流程和相關質量管理標準;

4、協助生產製造部門技術支持等相關工作。

大數據開發工程師的具體職責 篇9

1.硬體設計：系統編程及驗證平台設計，包括下位機軟體設計和硬體電路設計;

2.系統驗證：編寫腳本配合驗證平台有針對性進行功能驗證、參數測量。

大數據開發工程師的具體職責 篇10

職責：

1、根據公司信息化發展需要和業務流程要求，對ERP系統和OA平台進行定製化二次開發和功能擴展，制定二次開發方案、計畫並實施，分析並解決開發過程中的問題;

2、或能自主開發滿足公司管理需要的軟體系統，負責軟體產品的架構設計、功能模組設計、資料庫結構設計及核心代碼開發;

3、對ERP系統、OA平台或自主開發軟體系統進行維護，保障軟體系統的穩定運行;

4、負責其他系統與ERP接口的技術支持;

5、完成上級臨時交辦的其他工作。

任職資格：

1、計算機、電子信息工程相關專業，大專以上學歷;

2、對ERP系統和OA平台的功能和使用比較熟悉;

3、熟悉軟體系統開發過程，有編寫代碼、編寫腳本的經驗，熟悉至少兩種開發語言;

4、有二次開發經驗，熟悉ERP二次開發和實施經驗者優先;

5、具有資料庫及高級應用程式開發經驗;

6、具有通信協定接口開發經驗;

7、熟悉SQL Server、Oracle等資料庫開發。

大數據開發工程師的具體職責 篇11

職責：

1、負責數據分析、加工、清理、處理程式的開發;

2、負責數據相關平台的搭建、維護和最佳化;

3、負責基於Hadoop/Spark/Hive/kafka等分散式計算平台實現離線分析、實時分析的計算框架的開發;

崗位要求：

1、本科學歷須211院校以上，碩士及以上學歷不限院校，計算機軟體及相關專業

2、熟悉Java和Scala語言、熟悉常用設計模式、具有代碼重構意識;

3、熟練使用hadoop、hbase、Kafka、hive、spark、presto,熟悉底層框架和實現原理;

4、使用Spark Streaming和Spark SQL進行數據處理, 並具有SPARK SQL最佳化經驗;

5、需要有至少2年開發經驗,有flink開發經驗優先;

6、學習能力強，喜歡研究新技術，有團隊觀念，具備獨立解決問題的能力。

大數據開發工程師的具體職責 篇12

職責：

1、基於公司的網站與系統產品設計需求，負責php程式的設計、開發工作;

2、負責公司系統資料庫、程式模組的設計與開發;

3、負責協助產品經理進行技術評測，bug處理，代碼開發;

4、定期與其他部門溝通，獲取反饋信息並進行相應的處理;

5、系統開發文檔的編寫。

任職要求：

1、能獨立開發完整項目，熟悉MVC模式開發，熟悉LNMP(Linux+Nginx+Mysql+PHP)運行架構;

2、熟悉php語言，並了解開源PHP開發框架，熟練掌握laravel框架;

3、有移動端和pc端的開發經驗;

4、熟練掌握相關web技術，具有ajax/javascript/jquery/css/html/xml/json等網頁技術;

5、熟悉MySQL等資料庫,能對需求進行分析，並設計良好的資料庫結構;

6、具備良好的代碼編程習慣，態度積極樂觀，溝通能力良好。

大數據開發工程師的具體職責 篇13

職責：

1、負責公司項目的二次開發和維護工作;

2、參與軟體需求分析，進行模組設計、代碼編寫、單元測試等工作，對軟體質量負責;

3、參與APP、網站架構、性能、安全、擴展等最佳化的設計和實現。

崗位要求：

1、三年以上php後端開發經驗，原生或框架開發都可適應;

2、熟悉js前端開發，有豐富客戶端開發經驗;

3、熟悉Mysql資料庫，及各種sql語句操作，能獨立設計合理高效的表結構，;

4、熟悉微信開發接口，有微信公眾號、開放平台、小程式等項目開發經驗;

5、熟悉微信支付支付寶支付等線上支付接口，具有商城或團購開發經驗;

6、具有優良的編程風格和習慣，技術輸出結構清晰、命名規範、邏輯性強、代碼冗餘率低;

7、了解linux相關操作命令。

大數據開發工程師的具體職責 篇14

1、負責網際網路平台的架構分析、設計和代碼的編寫；

2、負責項目框架搭建、關鍵技術選型、技術難題攻關；

3、按照產品需求進行開發工作並保證開發質量；

4、針對Java技術方向進行技術積累和分享。

大數據開發工程師的具體職責 篇15

職責：

1、 與UI設計師、互動設計師、產品經理協作，分析並給出較優的移動界面前端結構解決方案和效果實現;

2、 與後台開發工程師協作，完成各種數據互動、動態信息展現和用戶的互動;

3、 維護及最佳化移動端前端頁面執行性能和載入性能，最佳化前端代碼規範;

4、 負責解決產品在不同移動設備端及不同版本下的兼容問題;

5、 根據產品開發需要，配合相關人員完成產品各部分設計的更新和修改;

任職要求

1、 熟悉微信小程式開發，有實際項目經驗的優先;

2、 熟悉微信H5開發，了解微信jssdk;

2、 熟練運用HTML5、CSS3、Javascript/Jquery/zepto構建高性能的Web應用程式;

3、 熟練使用CSS3動畫，並有一定的項目經驗;

4、 熟悉前端相關標準，對前端語義化、瀏覽器兼容性問題有深入理解;

5、 良好的代碼習慣，結構清晰。命名規範，邏輯性強;

6、 良好的人際溝通與團隊創作能力，能夠按時完成安排的任務。

大數據開發工程師的具體職責 篇16

職責：

1.負責網宿雲各個產品線日常運維運營工作和自動化運維工具開發;

2.負責網宿雲各個產品線自動化運維方案，疑難問題分析，告警最佳化;

3.具備良好的溝通能力，能全鏈路推動產品質量，為產品線質量負責;

4.其他和以上工作相關的專項事務。

任職要求：

1.熟悉Linux作業系統，熟練套用常用命令(awk，sed，grep等)，能分析並定位出系統常見的性能問題;

2.精通shell/python編程，或熟悉java編程，有項目開發經驗者優先;

3.熟悉TCP/IP協定，能抓包做基本協定分析;

4.具備良好的分析和研究能力，熱愛技術，有研發經驗優先;

5.本科及以上學歷，計算機相關專業，1年以上工作經驗。

大數據開發工程師的具體職責 篇17

職責：

1.利用HTML/CSS/JavaScript/HTML5各種相關技術進行開發。

2.製作標準、最佳化的前端代碼，並實現與後端(及中間件)的互動與整合。

3.解決各種技術難題(如瀏覽器或移動終端的兼容性問題)。

4.設計及實現前後端的數據互動，實現WebApp中的互動效果。

任職要求：

1.計算機大學本科及以上學歷，具有3年以上相關開發工作經驗。

2.精通HTML5頁面在終端的自適應與與兼容。

3.精通HTML5、CSS3、Javascript、JQuery,AJAX。

4.熟悉常用UI控制項、動畫效果及 其在移動設備上的實現。

5.熟悉頁面架構及布局,能熟練運用DIV+CSS來製作符合W3C規範的靜態頁面。

6.精通Angular2(必須)、JQuery、bootstrap、JQmobile、等框架的使用。

7.熟悉springboot等微服務框架。

大數據開發工程師的具體職責 篇18

1、負責產品嵌入式系統設計、調試及維護工作;

2、負責產品硬體底層驅動類軟體設計、調試及維護工作;

3、負責部分產品硬體設計，包括數字/模擬電路原理設計、PCB Layout、制板與測試;

4、負責開發及使用文檔的編寫及維護;

5、深入了解用戶需求，提出合理解決方案;

6、能獨立處理處理和解決所負責的各項開發任務;

7、完成領導交辦的其他工作;

大數據開發工程師的具體職責 篇19

職責：

1.參與大數據平台搭建以及項目技術架構。

2.數據分析，挖掘，模型具體的產品化;

3.根據產品需求，分析編寫和制定大數據相關解決方案

崗位要求：

1、計算機相關專業本科以上學歷，編程基礎紮實，有2年以上大數據開發經驗

2、熟悉Hadoop生態和體系架構，熟悉Flink、Spark，Hive等常用開源工具

3、熟悉Flume，kakfa，scribe等日誌收集體系

4、熟悉主流資料庫(Oracle、postgresql、Mysql、Sql Server)中的1種及以上，有較好的SQL性能調優經驗

5、有數據倉庫ETL經驗者優先

6、有用戶行為日誌採集、海量數據處理、數據建模方面經驗者優先

7、有持續學習的能力;喜歡開源軟體，樂於知識分享;對工作認真負責;可以獨立承擔較大工作壓力

大數據開發工程師的具體職責 篇20

職責：

1、維護現有學歷平台的穩定;

2、針對需求進行定製開發;

3、針對現有資料庫和平台進行相關最佳化;

4、按時完成自己的開發工作，並做好單元測試;

5、及時修改測試人員反饋的bug;

6、撰寫相關的開發文檔。

任職資格：

1、3年以上c# ，Asp.net,webform，mvc編程經驗。熟悉.net運行機制;

2、熟悉面向對象編程，精通c# 對象 、接口、委託等基礎概念及套用;

3、3年以上sqlserver資料庫使用經驗，熟悉編寫存儲過程，能對sql語句進行性能最佳化;

4、掌握html、js、css客戶端技術，熟練使用ajax、jquery;

5、熟練掌握Sql Server 20xx/20xx資料庫開發，能夠使用索引、視圖、查詢最佳化、存儲過程、資料庫作業等技術;

6、具有SQL語句調優和資料庫調優工作經驗。

大數據開發工程師的具體職責 篇21

職責：

1、負責遊戲後台管理工具和分析工具的開發;

2、參與對項目的開發需求進行評審，制定項目的設計文檔、開發計畫文檔等;

3、對新產品進行開發並對現有產品進行最佳化;

4、參與制定開發規範，根據開發規範控制開發產品質量;

任職要求：

1、本科及以上學歷，計算機相關專業;

2、3年以上PHP開發經驗，有大型網站的成功開發經驗優先;

3、熟練掌握PHP語言，理解面向對象編程，具備一定的前端開發經驗;

4、熟悉關係資料庫基本原理和內部實現機制，熟練使用Mysql資料庫;

5、對代碼質量有追求，執行力強，善於積極進行溝通、分享。

大數據開發工程師的具體職責 篇22

職責：

1.配合高級開發人員在公司的研發平台上完成適當的開發工作。

2.依據公司產品需求，進行相關套用產品的系統功能設計、開發及測試等工作。

3.依據公司產品運行情況，對既有產品進行系統升級、最佳化及實施、運維等工作。

4.根據公司項目的執行情況，可以對項目的上線、實施、運維給予技術支持。

崗位要求：

1.熟悉J2EE、html、css、jsp、xml、ajax、jquery等相關技術，能夠勝任一些基本的開發任務。

2.1年以上相關工作經驗，計算機相關專業優先。

3.使用j2EE實現基本的增刪查改工作，以及簡單的前台頁面修改，如相關jsp、js、jquery。

4.熟悉sqlserver，mysql，oracle資料庫，會基本的資料庫操作，會使用相關工具。

5.熟悉linux操作，熟悉常用的操作命令。

大數據開發工程師的具體職責 篇23

1、 負責新產品結構的創新與結構設計工作，保證新產品結構的合理性、可靠性、新穎性

2、 負責新產品開發中各個階段的評審、試模、試產及量產的組織、協調和跟進工作，並解決過程出現的技術問題

3、 負責樣機試製，改模，並按照確定的改模方案出改模資料，保證改模效果的達成

5、 負責編寫新品開發過程中的各種技術檔案，確保過程控制檔案符合研發控制流程和相關質量管理標準

大數據開發工程師的具體職責 篇24

職責：

1、根據開發進度和任務分配，完成相應模組的開發、編程任務;

2、參與維護並不斷發現和改進存在的問題、不斷提升系統性能;

3、積極參與產品、功能與技術架構的改進、參與技術規範的實施。

任職要求：

1.、1-3年以上PHP開發經驗，熱愛軟體開發工作;

2、精通PHP語言，熟悉常用主流框架Laravel、thinkphp等;

3、熟悉MVC開發模式，深入了解php的性能和安全，能獨立完成模組設計和開發;

4、精通MySQL資料庫，熟悉資料庫設計和性能最佳化;

5、熟練使用linux系統，熟悉nginx等web伺服器的配置和最佳化。

6、熟悉並開發過微信公眾平台的優先

大數據開發工程師的具體職責 篇25

職責：

1.負責與客戶之間的溝通協調，了解客戶需求，撰寫方案

2.支持元數據的管理、清洗和數據模型開發實現

3.基於客戶需求，形成總結經驗文檔，完善公司數據報表平台功能

4.與客戶業務部門溝通協調，沉澱行業知識，總結行業案例

5.協調與客戶定期交流和溝通

技能要求：

1.了解主流報表工具，了解ETL概念，套用過ETL相關開發工具;

2.具備基本SQL技能，掌握MYSQL、Oracle資料庫基礎知識;

3.較強的溝通能力、學習能力、邏輯思維、獨立解決問題能力;

4.能根據客戶所處行業，進行行業知識、樣板案例的分析和總結;

5.具備良好的抗壓能力，能適應因工作所需的出差。

大數據開發工程師的具體職責 篇26

1. 與各個技術方向通力合作，參與無人車系統一個或多個模組的開發，包括但不限於車載作業系統、仿真平台、數據平台、深度學習的平台等，需要較高的代碼質量;

2. 設計離線計算及仿真系統，用於無人車模組的開發調試，虛擬場景模擬;

3. 設計性能分析和監控工具，最佳化系統計算資源分配和整體性能。

大數據開發工程師的具體職責 篇27

1. 負責天下女人研習社相關後台服務的開發

2. 負責線上伺服器的安全穩定

3. 負責生產環境的部署

4. 參與產品的設計並提供技術可行性建議