數據處理工程師崗位職責

數據處理工程師崗位職責 篇1

數據處理工程師崗位職責

數據處理工程師1）直接面對客戶，參與項目運作中數據處理，了解客戶軟硬體要求；

2）參與、協助數據收集和模型建構；

3）安裝、調試公司軟體在客戶端上線；

4）開發常用數據處理功能，幫助業務團隊提高工作效率；

5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支持。·計算機或軟體相關專業，本科及以上學歷；

·掌握兩門以及常見資料庫設計開發技術，mysql、oracle、sqlserver、hive等；

·具有參加過etl開發項目，處理過（大）數據經驗優先；

·工作細心、認真負責且善於溝通，能快速理解業務，對數據敏感，並能主導項目的進度，保證團隊產出。1）直接面對客戶，參與項目運作中數據處理，了解客戶軟硬體要求；

2）參與、協助數據收集和模型建構；

3）安裝、調試公司軟體在客戶端上線；

4）開發常用數據處理功能，幫助業務團隊提高工作效率；

5）與香港、新加坡和紐約團隊合作，為亞太地區技術服務提供支持。

數據處理工程師崗位職責 篇2

職責描述：

1、負責文本數據處理，如格式轉換、分詞處理、實體抽取、專業詞典整理等；

2、自然語言處理相關工具開發；

3、協助訓練nlp模型。

任職要求：

1、計算機相關專業（本科2年以上）；

2、精通c/c++或java，熟悉python、bash？shell等腳本語言；

3、熟悉正則表達式，了解常用分類、聚類算法及相應工具；

4、熟悉使用基本分類、聚類算法及相應工具；

5、具備nlp相關工作（特別是數據處理與分析）經驗，了解nlp基本知識；

6、其他：耐心、細緻；較強的邏輯思維能力；性格踏實穩定，抗壓能力強。

數據處理工程師崗位職責 篇3

職責描述：

1、負責poi數據的屬性分析、處理和關係挖掘，構建地圖領域的知識圖譜。

2、負責nlp、數據挖掘、深度學習等方向的前沿算法研發，並結合地圖場景最佳化。

任職要求：

1、計算機、數學或相關專業，三年以上工作經驗。

2、熟悉數據結構和算法設計，熟練使用c++、python。

3、熟悉nlp、機器學習、數據挖掘領域的常用算法與工具，對前沿技術保持熱情。

4、良好的.分析和解決問題能力，能獨立承擔研發工作。

5、有地圖數據最佳化工作背景優先。

團隊介紹

主要支持北京崗位

對地圖（無人駕駛）、廣告（廣點通）、快報感興趣的歡迎勾搭

數據處理工程師崗位職責 篇4

1、3年以上etl開發經驗，熟悉etl開發規範和流程；

2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

3、熟練編寫存儲過程，擅長sql最佳化；

4、熟悉oracle、sqlserver等常用資料庫中的`一個或多個；

5、熟悉perl、shell腳本，linux作業系統；

6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

7、熟練使用erwin或powerdesigner等進行數據建模；

8、以下經驗優先考慮：流式處理、日誌處理、數據倉庫全日制本科以上學歷（985/211），計算機科學與技術/軟體工程/數據相關專業

1、3年以上etl開發經驗，熟悉etl開發規範和流程；

2、熟練使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一個或多個，有開發、維護經驗；

3、熟練編寫存儲過程，擅長sql最佳化；

4、熟悉oracle、sqlserver等常用資料庫中的一個或多個；

5、熟悉perl、shell腳本，linux作業系統；

6、有大型數據倉庫、bi相關項目的開發經驗，精通架構、建模者優先；

7、熟練使用erwin或powerdesigner等進行數據建模；

8、以下經驗優先考慮：流式處理、日誌處理、數據倉庫

數據處理工程師崗位職責 篇5

數據處理工程師（大數據項目）全成通信上海全成通信技術有限公司，全成通信，全成崗位職責：

1、負責大數據平台的日常維護和監控

2、負責大數據項目日報發布工作

3、負責日報數據的統計

4、負責大數據項目日常數據的計算、分析和維護

任職要求：

1、一年以上相關工作經驗，有電信行業經驗者優先

2、熟悉linux和excel，熟練使用perl或者其他的'腳本語言

3、具有oracledll/dml技術的使用經驗

4、具有良好的團隊合作精神，有較強的學習能力、適應能力、溝通能力

數據處理工程師崗位職責 篇6

崗位職責:

1.從事數學建模及數據挖掘套用方法研究;

2.與開發部門配合實現相應的數據分析模組的開發;

3.制定公司數據可管理體系,建產研究用數據平台。

任職要求:

1.套用數學、統計學、計算機等專業碩士以上學歷;

2.具備常用機器學習、數據挖掘相關知識,會spark;

3.具備一種或多種開發語言(如scalapython java等)的.程式和算法開發能力,掌握常用數據結構和算法;

4.有視頻、地圖、文本、社交等大數據分析能力;

5.有工業數據分析工作經驗者優先。

數據處理工程師崗位職責 篇7

1、負責產品資料庫研發，參與系統整體架構設計；

2、根據產品目標負責相關業務的數據分析、建模、設計評審，跟進產品過程中資料庫設計；

3、負責產品模組的數據層分析、設計、編碼、測試；

4、能夠獨立完成產品數據層開發任務，負責各類數據接口開發；

5、負責各類型數據操作處理和兼容問題；資料庫複雜SQL開發和調優。

數據處理工程師崗位職責 篇8

1.針對用戶行為預測業務，負責用戶畫像、訂單特徵體系建設，包括離線數據產出以及服務化;

2.針對用戶端上行為產出的實時數據流，挖掘實時特徵並服務化;

3.針對客服場景，挖掘實時用戶行為異常以及進線異常;

4.針對智慧型客服場景用戶標籤挖掘，人群挖掘等工作，支持智慧型運營方向的業務;

5.負責開發並維護智慧型客服業務的特徵服務系統。

數據處理工程師崗位職責 篇9

•識別，分析和解決計畫支持問題。

•與BU利益相關者合作，確定並優先考慮數據和統計要求，包括要收集的特定數據元素。

•協助開發和實施資料庫，數據收集系統/工具，數據分析以及其他最佳化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。

•分析大量數據集，提出有見地的業務建議。

•通過查看報告和績效指標來確定和糾正數據收集問題，從而確保數據的準確性和完整性。

•識別，分析，解釋和建模數據湖中數據的趨勢或模式。

•為各種客群設計和生成準確有效的統計數據可視化產品和報告。

•通過促進技術和非技術利益相關者之間的溝通，確保技術團隊了解計畫和業務工作的短期和長期目標

•準時交付優質，易懂，明確的產品。

•參與構建機器學習策略平台。

•對數據驅動業務，關鍵思想家，問題解決者和自我啟動者的熱情

•促進技術和非技術利益相關者之間交流的能力

•出色的書面和口頭交流能力。

數據處理工程師崗位職責 篇10

1.高質量地完成集團內外各類數據生產集成、數據分析套用建設工作，涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;

2.需求及源系統數據分析，完成數據倉庫/EDM等系統數據模型及套用模型設計、數據Mapping規則文檔撰寫、開發、自測及上線部署;

3. 數據質量稽核、問題分析及處理,最佳化數據處理程式;

4. 洞察數據、滿足業務場景需求。

數據處理工程師崗位職責 篇11

1、負責每日的數據倉庫運維工作，保障數據的穩定性、一致性等;

2、參與數據倉庫的最佳化設計，如元數據、數據許可權、調度最佳化;

3、負責數據質量和數據標準化的設計與開發;

4、負責滿足業務部門的日常業務提數與報表需求的開發。

數據處理工程師崗位職責 篇12

1、基於大數據平台的海量數據，負責業務相關的數據挖掘研發，及定向相關技術研發;

2、負責大數據可視化研究及平台構建及最佳化工作;

3、負責數據挖掘分析體系的建設，並建立和規範數據挖掘模型標準;

4、協助項目團隊做好數據和套用的對接，完成項目的執行及交付;

5、配合架構師進行技術攻關和核心挖掘算法改善。

數據處理工程師崗位職責 篇13

任職要求：

1、軟體、計算機、通訊等理工科相關專業本科及以上學歷；

2、具有3年配置管理或產品數據管理經驗；

3、熟悉計算機與網路管理；

4、熟悉配置管理與產品數據管理知識，熟練掌握svn、plm等數據管理平台的`操作與管理；

5、熟悉系統與信息安全知識；

6、具有較強的邏輯思維能力及良好的溝通能力，良好的主動學習能力及執行力。

數據處理工程師崗位職責 篇14

1、針對具體的業務場景需求、定義數據分析及挖掘問題;

2、使用統計學分析方法、挖掘算法、構建有效且通用的數據分析模型，對數據挖掘方案進行驗證、開發、改進和最佳化，實現數據挖掘的功能套用;

3、搭建高擴展高性能的數據分析模型庫，作為數據分析團隊的基礎工具;

4、完成領導安排的其他工作。

數據處理工程師崗位職責 篇15

1、負責公司與阿里巴巴在新行業方向(新金融、新零售、國內外運營商)的產品研發;

2、負責分析挖掘客戶/行業對大數據產品的需求(套用場景)，利用數據分析結論提升客戶業務能力。例如：文本挖掘，潛在客戶挖掘，用戶畫像，個性化推薦，用能預測等;

3、進行大數據場景下的數據統計、數據挖掘、機器學習、深度學習，包括數據整理、模型建立、模型套用、評估最佳化等;

4、將客戶需求準確轉化為可執行的數學模型，針對不同的套用場景，負責編寫數據挖掘算法及對其的最佳化;

5、基於需求分析/運營支持/商業報告等成果，抽取典型用戶/客戶/行業/產品分析模型並與開發團隊溝通實施方案及構建產品原型。

崗位要求：

1、本科以上學歷，紮實的`機器學習、數據挖掘、統計學理論基礎;有統計、套用數學、金融等相關專業背景優先;

2、精通常見機器學習算法(如邏輯回歸、SVM、神經網路、決策樹、貝葉斯等)，有實際建模經驗，掌握深度學習算法優先;

3、具有紮實的計算機作業系統、數據結構等編程基礎，精通至少一門程式語言例如JAVA/python/R等;

4、熟悉Map-Reduce模型，對Hadoop、Spark、Storm等大規模數據存儲與運算平台有實踐經驗優先。

數據處理工程師崗位職責 篇16

崗位職責：

1、負責構建公司數據分析與數據挖掘業務分析體系,整體架構設計、規劃,充分發揮數據的價值,提高數據質量,促進公司業務更好的發展;

2、通過建立業務的數據分析模型來指導業務的發展,對資料庫信息進行深度挖掘和有效利用,充分實現數據的商業價值,構建公司核心競爭力;

3、跟蹤並分析用戶行為,為公司廣告業務的發展及產品的設計進行海量數據支持;

4、負責數據管理中心團隊的建設、發展、激勵、培訓等管理工作,有效領導數據分析與挖掘團隊支持和推動業務發展。

任職要求：

1、熱愛數據,對數據及邏輯關係敏感,並對數據體系有深入的認識;

2、本科以上學歷、計算機/統計學/經濟學等相關專業，有一定工作經驗，;

3、具備數據建模(機器學習,數據挖掘,信息檢索背景)和分析理論知識和經驗;

4、熟悉Linux平台的海量數據分散式存儲、分散式計算;

5、熟悉常用的數據分析工具，有基於Hadoop的雲計算平台，HBase及類似的NoSQL存儲, MySQL,和BI系統等實踐經驗;

6、熟悉網際網路並且對於網際網路常見的業務形態與商業模式有深入的理解,對業務變化有敏銳的洞察力;

7、有較強的對業務理解與分析能力，了解業務規劃與策劃能力以及相應經驗;

8、具備較強的問題定位、分解、解決能力及計畫和組織能力;

9、善於創新、思維敏捷、精力充沛，溝通能力強，能夠承受較大工作壓力;

10、有電子商務或網際網路數據倉庫或商業智慧型架構設計、開發實施經驗者優先。

數據處理工程師崗位職責 篇17

(1)分析需求，完成相關數據抽取、數據清洗、數據探索、數據建模分析等工作;

(2)按要求完成數據分析報告、建模報告、數據報表等;

(3)對數據進行深度挖掘和建模，做運營和用戶等各方面分析，深度挖掘運營最佳化和用戶行為特徵等，推動分析問題的解決，為業務決策提供日常支持;

(4)與業務部門和技術部門對接，完成設計，編寫，維護和完善公司業務相關的.算法。

(5)參與項目成果彙編，對相關結果進行解讀和匯報。

任職要求：

(1)大專以上學歷，統計、數學、計算機、軟體專業優先;

(2)熟練使用Python，Mysql語言，具有一定的工程能力，完善的文檔和注釋習慣。熟悉JupyterLab遠程代碼編寫環境，Linux常用命令。會使用R，Java，Scala等語言更佳。

(3)熟悉數據分析過程，能夠完成數據抽取、數據處理、數據建模、數據分析報告等任務;

(4)一定的數據挖掘/機器學習理論和技術基礎，了解常用的數據挖掘算法如：聚類模型、線性回歸、邏輯回歸、分類模型、決策樹模型等。

數據處理工程師崗位職責 篇18

1、熟悉掌握業務系統功能，靈活制定不同業務的推廣策略，通過活動運營、內容運營等方式策劃並落地項目推廣方案，拓展系統用戶量及影響力。

2、熟悉公文寫作，配合完成工作匯報材料的撰寫及分析報告。

3、與企業及海關關係的協調和維護，強化合作關係，維護好項目參與方的'關係。

4、面向進出口企業開展調研，主動挖掘系統需求，進行需求分析，形成調研報告或業務需求報告。

5、項目管理相關工作，包括組織業務需求論證、項目立項、進度管理等根據項目管理規範開展相關工作。

6、完成領導交辦的其他工作事項。

數據處理工程師崗位職責 篇19

崗位職責：

深入研究業內領先的技術思路，輸出具有創新價值的預研項目可行性分析報告以及相關實驗數據;

負責產品、銷售、供應鏈、電商等公司數據的海量挖掘，並建立和最佳化用戶標籤、特徵模型、產品精準匹配、異常預警等;

負責大數據下傳統機器學習算法的並行化實現及套用，並提出改進方法和思路;

參與公司大數據架構，負責BI實施中的數據挖掘模組算法研究、模型建立和最佳化，幫助實現數據挖掘和分析平台的建設;

負責相關數據挖掘項目的需求收集、項目建立、項目設計開發和結果輸出質量把控，通過數據挖掘結果驅動業務執行;

配合技術進行數據挖掘模型開發和模型封裝，例如決策規則模型、預警模型、流失模型、效果標桿模型、客戶生命周期管理模型等;

任職要求：

大學本科及以上學歷，統計學、計算機、信息技術、數學相關專業;

兩年以上數據建模經驗;

數據主流資料庫，mysql、oracle、DB2等傳統結構化數據倉庫，熟悉HBase、MongoDB等非結構化資料庫;

熟悉常用的聚類、分類、回歸、關聯、時間序列等監督式和非監督式學習算法;

熟悉R、Python、MLlib等數據挖掘工具中至少一種。

熟悉spark、storm等大數據計算框架者優先。

數據處理工程師崗位職責 篇20

1、空間數據採集、內業處理;

2、電子地圖製作、配圖以及地圖服務發布;

3、編制空間數據建庫工作文檔;

4、對成果數據的分類整理、歸檔;

5、領導安排的其他工作任務。