大數據運維工程師的具體職責描述

大數據運維工程師的具體職責描述 篇1

職責：

1、負責大數據集群的日常維護、監控、異常處理等工作，保障集群穩定運行;

2、負責大數據批處理管理以及運維;

3、負責大數據集群的用戶管理、許可權管理、資源管理、性能最佳化等;

4、深入理解數據平台架構，發現並解決重大故障及性能瓶頸，打造一流的數據平台;

5、跟進大數據前沿技術，不斷最佳化數據集群;

6、有華為大數據平台運維經驗優先;

崗位要求：

1、1年以上大數據運維或開發經驗;

2、有良好的計算機和網路基礎，熟悉linux檔案系統、核心、性能調優，TCP/IP、HTTP等協定;

3、熟悉大數據生態，有相關(HDFS、Hive、Hbase、Sqoop、Spark、Flume、Zookeeper、ES、Kafka)的運維及開發經驗;

4、熟練使用shell、python等腳本語言開發相關運維管理工具;

5、良好的文檔撰寫習慣;

大數據運維工程師的具體職責描述 篇2

職責：

1、負責分散式大數據平台產品的運維和運維開發，保證其高可用和穩定性;

2、負責大數據系統架構的可運維性設計、容量規劃、服務監控，持續最佳化服務架構、集群性能;

3、通過技術手段控制和最佳化成本，通過自動化工具及流程提升大數據平台運維效率;

4、為項目開發人員提供大數據技術指導及解決大數據平台套用中遇到的技術難題;

任職資格：

1、三年以上大數據運維相關工作經驗，有大型網際網路公司工作經驗者優先，全日制本科及以上學歷;

2、熟練掌握至少一門開發語言，有Java或Python語言開發經驗優先;

3、精通Hadoop生態及高性能快取相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Presto、Kafka、Spark、Yarn、Flink、Logstash、Flume、ClickHouse等;

4、熟悉Mysql等常用關係資料庫，熟練編寫SQL語句，有分散式nosql資料庫套用、性能調優經驗優先;

5、熟悉Linux環境，能夠熟悉使用shell腳本;

6、對大數據技術有強烈興趣，有志於往大數據方向深層次發展;

7、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

8、具備較好的溝通能力、主動性及責任感。

大數據運維工程師的具體職責描述 篇3

職責：

1、負責公司內部及項目中大數據集群的構建，任務調度、監控預警，持續完善大數據平台，保證穩定性、安全性;

2、負責集群容量規劃、擴容、集群性能最佳化及日常巡檢和應急值守，參與大數據基礎環境的架構設計與改進;

3、深入研究大數據業務相關運維技術，探索新的運維技術及發展方向。

任職要求：

1、熟悉Linux基礎命令操作，能夠獨立編寫Shell腳本開展日常伺服器的運維;

2、熟悉Hadoop生態圈Hadoop、Kafka、Zookeeper、Hbase、Spark的安裝與調優;

3、熟悉軟硬體設備，網路原理，有豐富的大數據平台部署，性能最佳化和運維經驗;

4、工作認真負責，有較強的學習能力，動手能力和分析解決問題的能力;

5、能夠利用各種開源監控工具、運維工具，HA、負載均衡軟體完成工作任務;

6、熟悉JVM虛擬機調優;

8、1年及以上相關崗位經驗，要有良好的安全和責任意識。

大數據運維工程師的具體職責描述 篇4

職責

1. 負責大數據ETL系統，運維及保障服務穩定可用;

2. 負責數據採集交換方案以及聯調測試;

3. 負責採集交換任務的評審和上線;

4. 負責及時排除ETL流程故障，形成知識庫，完善運維文檔;

5. 負責監控和最佳化ETL的性能,持續性地提出改進自動化運維平台建議

技能要求

1. 計算機科學或相關專業本科及以上學歷;

2. 熟悉Linux系統,熟練編寫shell/perl/python一種或多種腳本語言;

3. 熟悉Hive、Hadoop、MapReduce集群原理，有hadoop大數據平台運維經驗者優先;

4. 熟悉資料庫的性能最佳化、SQL調優，有相應經驗;

5. 抗壓能力強，有強烈的責任心，良好的溝通能力、學習能力及團隊合作能力。

大數據運維工程師的具體職責描述 篇5

職責：

1、負責數據平台的運維管理工作(部署、監控、最佳化、故障處理);

2、負責Hadoop/Spark/Flink/Elasticsearch/Kafka等系統的架構審核、容量規劃、成本最佳化;

3、負責大數據平台的用戶管理、許可權分配、資源分配;

4、參與數據挖掘、機器學習平台的設計、並給出可執行的運維方案;

5、參與數據平台的相關工具開發(包括自動化部署、監控、ETL等);

6、深入理解數據平台架構，發現並解決故障隱患及性能瓶頸;

7、ETL工具、調度工具、關係型資料庫的運維。

任職資格：

1、本科以上學歷，計算機軟體相關專業;

2、1年以上大數據相關組件運維經驗(hadoop/yarn/hbase/hive/spark/kafka等)，1年以上的CDH或HDP維護經驗，3年以上系統運維相關經驗;

3、深入理解Linux系統，能獨立部署開源軟體，熟練掌握一門以上腳本語言(shell/perl/python等)，熟悉python開發語言優先;

4、邏輯思維能力強，做事有條理，責任心強，工作積極主動，執行力強，有良好的團隊協作意識。

大數據運維工程師的具體職責描述 篇6

職責：

1、負責伺服器部署，最佳化整個大規模套用架構的設計、實施、後期疑難問題解決;

2、熟悉分散式系統運維，為大數據和雲服務提供可靠的運維保障;

3、協助搭建完善高可用集群環境，負責MySQL、redis、Kakka等集群運維，以及負載均衡系統運維;

4、負責網路、伺服器、交換機、路由器、防火牆等軟硬體的安裝、配置、調試維護和管理;

5、協助完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知;

6、及時處理伺服器宕機、病毒感染、黑客入侵等異常突發事件。

職位要求：

1、3年以上運維經驗，精通Linux作業系統以及伺服器群的網路搭建、設定和維護;

2、熟悉網路安全監控、系統性能管理和調試、網路性能管理;

3、精通MySQL資料庫管理、監控和備份，集群搭建配置等，熟悉MongoDB、Cassandra等一種以上NoSQL資料庫;

4、熟悉伺服器、存儲系統、路由器、交換機、負載均衡等網路設備的搭建、配置、監控維護，具有網路維護、排障和系統化解決問題能力;

5、有自動化運維平台構建經驗，熟悉Ansible、Puppet、Saltstack、Zabbix、Ganglia、Cacti等開源工具的使用，並能夠根據需求擴展;

6、負責系統運維監控體系建設，有大規模主機監控經驗者優先;

7、有Hadoop、Spark、Docker等經驗者優先考慮。

大數據運維工程師的具體職責描述 篇7

職責：

1、審核、最佳化公司IT系統以及各套用系統的體系架構;

2、全面負責公司運維項目的系統升級、擴容需求與資源落實，配合開發需求，測試、調整運維平台;

3、負責網路以及伺服器的網路設定、維護和最佳化、網路的安全監控、系統性能管理和最佳化、網路性能管理和最佳化;

4、建立面向各部門的服務流程和服務標準;日常網路及各子系統管理維護;運行報告

5、負責IT運維相關流程的規劃、設計、推行、實施和持續改進;

6、負責相關故障、疑難問題排查處理，編制匯總故障、問題，定期提交匯總報告;

7、負責網路監控和應急反應，以確保網路系統有24小時的持續運作能力;

8、負責日常系統維護，及監控，提供IT軟硬體方面的服務和支持，保證系統的穩定。

任職要求：

1、大專以上學歷、精通Linux及Windows系統管理和套用;(Send Mail/Exchange, Postfix, Bind, Proxy, Firewall, Apache/IIS, AD Architecture)，願意承擔桌面支持工作;

2、掌握在Perl, shell環境下的編程;

3、具有網路方面的基本知識。

4、計算機科學及相關專業畢業優先;

5、工作經驗上，要求具有3-5年從事系統管理/工程技術方面的經歷經驗優先。

大數據運維工程師的具體職責描述 篇8

職責：

1、負責網路及其設備的維護、管理、故障排除等日常工作，確保公司網路日常的正常運作;

2、負責公司辦公環境的軟硬體和桌面系統的日常維護;

3、安裝和維護公司計算機、伺服器系統軟體和套用軟體，同時為其他部門提供軟硬體技術支持;

4、解決排除各種軟硬體故障，做好記錄，定期製作系統運行報告;

5、有學校運維經驗者優先考慮。

任職資格：

1、通信、電子工程、自動化、計算機等相關專業，大專或以上學歷，1年以上格線系統與IT系統維護工作經驗;

2、熟悉和掌握各種計算機軟硬體，可獨立進行安裝、調試及故障排除;

3、熟悉區域網路的維護及網路安全知識，可進行區域網路的搭建和網路設備的基本維護和故障處理;

4、熟練運用WINDOWS、server20xx20xx等對伺服器進行維護與管理;

5、具備良好的溝通技巧、工作主動性強，耐心細緻，有責任心，具備團隊合作精神。

大數據運維工程師的具體職責描述 篇9

職責：

1.支持倉庫管理系統WMS和物流中心的日常作業，維護WMS相關作業設備

2.負責用戶、內部人員及外部人員的溝通，及時解決WMS系統出現的問題

3.培訓用戶如何使用WMS系統，收集、整理WMS新需求

4.維護倉庫網路和電腦設備正常運行，對突髮狀況及時回響處理和修復

5.數據備份和日常安全維護

任職要求：

1.大專及以上學歷，計算機或相關相關物流管理專業

2.2年以上倉儲物流行業系統運維經驗，有WMS系統經驗者優先

3.熟悉Windows作業系統和Oracle資料庫，精通SQL語句

4.有責任心，具備良好的溝通表達能力和嚴謹的邏輯分析推理能力

大數據運維工程師的具體職責描述 篇10

職責：

1、按照上線計畫及變更申請，參與業務需求評估，協助技術負責人完成相關業務條線的技術分析及方案設計;

2、負責linux雲平台基礎設施監控及運維工作，確保系統性能、質量和安全;

3、參與業務需求分析及建設討論;

4、負責相關項目文檔編寫;

5、負責基礎設施事件、性能監控的最佳化、後續系統維護;

6、負責解決運維過程中遇到的關鍵技術問題;

7、參與技術討論與方案，完善基礎設施監控。

任職要求：

1、本科及以上學歷，計算機、數學及相關專業;4年以上工作經驗;

2、熟悉Redhat,CentOS,ubuntu,debian,windows 等作業系統的日常管理，熟悉網路或系統的基本原理，並熟悉相關平台的基本操作;

3、熟悉MySQL資料庫的日常管理，熟悉資料庫的基本原理，具有基本操作運維能力;

4、熟悉zabbix、nagios、ELK等開源監控產品，puppet、ansible等開源配置管理工具;

5、了解shell、python、ruby、Expect等腳本編程，熟悉shell、Perl等腳本編程方法，具有相關的腳步的開發能力;

6、熟悉TCP/IP、SNMP、HTTP、ICMP等網路協定。

大數據運維工程師的具體職責描述 篇11

職責：

1.伺服器設備的上、下架安裝 ，kvm ip 基本配置 ， BIOS 更新， Raid 配置，網路配置等

2.負責伺服器系統安裝和維護，如Windows Server/Linux作業系統的安裝和維護等;

3.處理各品牌伺服器的軟硬體故障。

任職要求：

1.大專或本科以上學歷,1年以上相關工作經驗;

2.計算機軟體、電子、計算機、通信、自動化等相關專業，

3.較強的學習能力;高度的責任心和上進心;有較強的團隊精神;

4. 熟悉磁碟陣列的配置使用;熟悉相關的硬體HBA卡等各類相關配

5.掌握Windows Server 體系結構，能獨立安裝、配置、監控、維護伺服器，對群集環境有一定的了解和實踐。

6.熟練掌握AD、SCCM、SCOM、IIS、DNS、DHCP、Exchange、System Center等，有一定的排錯能力。

7.能熟練操作 Linux AIX/HP unix 作業系統配置及最佳化。

8. 熟悉VMware或Hyper-V虛擬化技術，有在虛擬化環境下的運維經驗。

大數據運維工程師的具體職責描述 篇12

1. 負責MES系統調研、分析、整理、提煉用戶的產品需求，完成需求分析和設計

2. 負責整體MES系統的開發工作，交付客戶高質量的開發成果;

3. 負責MES系統的日常運維管理、用戶技術支持、功能變更需求、系統調優等，保障所負責系統的平穩、高效運行

4. 負責為客戶提供相關的技術培訓。

5. 根據現有業務流程推動MES系統的功能套用和驗證，提出解決方案並協助業務部門予以解決業務問題。

大數據運維工程師的具體職責描述 篇13

職責：

1. 負責阿里雲平台的ECS伺服器與RDS資料庫的安全和維護工作;

2. 從網路安全、主機安全和數據安全、電子交易等安全層面進行網路拓撲設計;

3. 對現有運行網站的系統制定安全審計、維護制度，並監督執行;

4. 配合技術總監，共同組建完整的網際網路安全防護措施;

5. 負責公司員工電腦的技術支持(如解決網路、信箱配置、病毒查殺、辦公軟體排錯等)

6. 負責公司各類終端機、印表機、掃瞄器等外設的維護。

任職要求：

1.滬籍，男，大專以上學歷，計算機套用技術、計算機網路技術及其相關專業，5年以上工作經驗;

2.計算機基礎知識紮實，對各種電腦軟體、硬體的安裝和維護有良好的經驗;

3.熟悉主流伺服器、雲伺服器配置及網站部署中間件(IIS/Apache/Nginx)，熟悉Windows Server、Linux系統，路由器等網路設備，並了解網路設備調試使用;

4.熟悉TCP/IP協定和網路安全體系，對於企業區域網路搭建有一定的經驗;

5.熟悉SQL Server/Oracle基本語法，對網際網路程式語言有一定的了解。

大數據運維工程師的具體職責描述 篇14

職責：

1、負責系統故障的應急回響和問題處理;維護linux、windows伺服器，監控伺服器性能;

2、負責Linux作業系統的安裝、配置，系統監控和維護，問題處理，以及軟體升級，安全最佳化，保證其穩定、高效運行;

3、負責公司平台及套用系統實施及維護工作;

4、負責Linux 平台下的系統維護，提高系統的可用性及可維護性;

5、負責Linux系統及應用程式進行性能分析，最佳化，問題跟蹤;

6、負責Windows Server 20xx、20xx的運維技術支持;

7、負責Windows AD域搭建維護。

任職資格:

1、三年以上主流作業系統安裝、配置、管理、維護經驗。

2、精通Linux系統、精通Oracle、MySQL、FTP、DNS、Squid等常用服務的安裝、配置和維護;

3、熟悉linux負載均衡技術;能熟練利用各種工具進行系統狀態監控(cacti、Nagios，bigsister等); 4、熟悉Linux下不同資料庫的安裝和調試及簡單最佳化;

5、熟悉AD域控;

6、有阿里雲、華為雲、七牛雲、亞馬遜等雲伺服器運維經驗優先;

7、熟悉VMware vSphere虛擬化操作平台;