大數據運維工程師的崗位職責

大數據運維工程師的崗位職責 篇1

職責：

1. 負責公司核心集群的運維工作,保證其高可用和穩定性。

2. 負責集群容量規劃、擴容及集群性能最佳化。

3. 深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的Hadoop運維技術及發展方向。

4. 設計實現分散式集群的運維、監控和管理平台。

職位要求：

1.2年以上中等規模集群環境下的Hadoop/Impala/Hive/Spark集群相關運維經驗。

2.對各種HDFS/Yarn/Hive/Impala/Spark/Hbase等相關參數調優, 性能最佳化等有實際經驗。

3.有實際踩坑經歷, 對於相關組件的版本跟進, 補丁跟蹤, bug追蹤等有相關經驗。

4.實際處理過各種集群線上版本升級, 數據遷移, 集群擴容, 穩定性監控等工作。

4.熟悉Kerberos安全認證系統，實施過集群許可權管理, 資源隔離方面的方案規劃或二次開發工作。

5.有Cloudera的CM使用經驗尤佳。

大數據運維工程師的崗位職責 篇2

職責：

1.負責公司大數據業務集群的運維工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/Storm/Kafka/Elasticsearch/Flume等)確保高可用;

2.負責大數據平台的日常部署、升級、擴容、遷移;

3.設計實現大規模分散式集群的運維、監控和管理平台;

4.參與業務架構設計，在設計階段給出可運維性改進建議;

5.深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的大數據運維技及發展方向;

6.兼顧套用系統的運維工作。

任職要求：

1.要求掌握java、shell語言，有Spring Cloud微服務架構開發經驗的優先;

2.了解Docker，可以做簡單套用;

3.熟悉Hadoop/Hbase/Hive/Storm/Spark/Kafka/Elasticsearch/Flume等開源項目優先;

4.熟悉Linux作業系統的配置、管理及最佳化，能夠獨立排查及解決作業系統層面的問題;

5.掌握puppet、kerberos套用的優先;

6.良好的客戶服務意識，強烈的責任心和使命感，執行力強，富有團隊合作精神;

7.對大數據方向運維有很高的熱情和興趣，能主動學習了解相關知識;

大數據運維工程師的崗位職責 篇3

職責：

1、負責公司大數據平台的部署、管理、最佳化、監控報警，保障平台服務7*24穩定可靠高效運行;

2、深入理解公司大數據平台架構，發現並解決性能瓶頸，支撐業務和數據量的快速增長;

3、開發大數據自動化運維、監控報警、故障處理相關腳本和工具;

4、負責Hadoop/spark/Mysql等集群服務、業務監控、持續交付、應急回響、容量規劃等。

任職要求：

1、3年以上網際網路運維相關工作經驗，2年以上大數據平台運維相關工作經驗;

2、具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協定;

3、熟悉Hadoop大數據生態圈，包括但不限於CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各組件的原理和實現，有實際部署維護、管理( 包括元數據管理)及最佳化經驗。並擁有持續調優能力，運維管理過大規模數據平台;

5、熟悉 Kubernetes(K8s) 集群 Docker 在大數據環境場景的使用;

6、熟悉Linux(redhat/centos)軟硬體環境、系統管理和最佳化，熟練部署、最佳化各種常用服務

7、有Java開發經驗和閱讀源碼能力者優先。

大數據運維工程師的崗位職責 篇4

職責：

1、負責公司伺服器日常的維護，包括巡檢、故障排除、數據備份等業務，保證伺服器高質量、高效率運行狀態;

2、負責公司大數據產品的現場實施，制定可靠的實施方案;

3、負責公司大數據環境(hadoop生態)集群環境安裝、維護、部署、最佳化;

【任職資格】

1、至少2年伺服器、大數據集群運維經驗;

2、精通linux運維命令，熟悉Linux的維護和管理，熟悉Shell腳本開發，能看懂Python/Scala優先;

3、熟悉大數據項目實施：包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態的平台搭建，監控，運維，調優、生產環境;

4、熟悉docker技術優先;

5、熟練使用git版本控制，jenkins持續集成工具優先;

6、具備強烈的進取心、自我學習能力,良好的溝通能力和團隊合作意識。

大數據運維工程師的崗位職責 篇5

職責：

負責公司大數據業務集群的運維工作、集群容量規劃、擴容及性能最佳化;

設計實現大規模分散式集群的運維、監控和管理平台;

參與業務架構設計，在設計階段給出可運維性改進建議;

深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的大數據運維技及發展方向;

負責公司大數據平台的套用監控、容量管理，應急回響等;

領導安排的其他工作。

任職要求：

1、本科及以上學歷，軟體工程、計算機等相關專業;

2、熟悉計算機原理、網路原理等知識;至少2年以上運維或開發工作經驗;

3、搭建，管理及調優Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源項目優先;

4、至少掌握java/python/go中的一種語言;

5、熟悉HBase/Flink/mysql/redis運維優先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很強的分析和解決問題的能力;

8、具有攻克難題的強烈興趣，以及提升技術能力的意願;

9、善於主動學習，責任心強，能夠承受較大的工作壓力。

大數據運維工程師的崗位職責 篇6

1、協助完成部門的文檔編制工作，能獨立完成系統的數據統計工作;

2、協助處理公司、分公司、各園區等網路日常維護、故障排除等工作，保證網路運行通暢、穩定;

3、協助處理辦公設備、網路及相關設備、電話系統、計算機軟硬體的管理維護、故障診斷與排除，在需要時可以進行基本的維修，負責病毒的查殺，維護網路系統安全;

4、負責公司會議、培訓、活動等支持工作，對各部門提供IT技術支持，並積極主動配合各部門快速解決相關問題;

5、完成領導交辦的其他事項。

大數據運維工程師的崗位職責 篇7

職責：

1.負責IT日常桌面運維工作,處理電腦及印表機、投影儀等辦公設備各種軟硬體故障,以及軟體系統的安裝配置等;

2.負責辦公網路(包括有線網路、無線網路)的維護與支持;

3.配合進行IT資產管理，機房日常檢查等工作 。

任職要求：

1、大專及以上學歷，計算機相關專業;

2、具備優秀的計算機軟、硬體知識，熟練掌握Windows、Mac及常用辦公軟體的安裝配置和維護管理;

3、能獨立分析處理常見的故障;

4、 具備網路基礎知識，熟悉路由交換技術，並能對Cisco、華為、H3C等廠商設備安裝與調試，了解弱電工程及綜合布線。

大數據運維工程師的崗位職責 篇8

1。網路推廣、網站SEO最佳化、網路行銷策劃、網站編輯、網頁設計、php後台程式修改、網站流量提升及後期廣告投放獲取收入等。

2、熟悉網路聯盟的廣告投放、效果跟蹤、分析，以及新聞媒體如搜狐、鳳凰網的新聞稿投放，品牌和企業宣傳，網路危機公關等。3、 熟悉網店的維護管理。負責產品的上下架，會員管理，活動促銷等。

4、SNS行銷：新浪微博和微信公眾號的行銷、加粉、軟文寫作、推廣。

5、網站的軟文、新聞稿，網站的內容seo最佳化及維護更新。

6、擁有豐富的網際網路工作經驗，熟悉網際網路和網站的運營及盈利模式，以及移動網際網路行銷推廣等。

7、網路線上諮詢，訪客來源分析、產品銷售。

8、計算機維護、區域網路管理、網路信息安全防範、網站和伺服器漏洞修補、數據備份與恢復等。

大數據運維工程師的崗位職責 篇9

職責：

實現基於服務，套用的自動化部署;

建立和完善面向伺服器，套用的監控和報警技術和機制;

實現可靠的公司運維服務，保證平台7*24小時的穩定運行;

針對公司面向各個地區的核心業務設計並實現彈性的運維保障。

崗位要求

理解運維體系結構，精於容量規劃、架構設計、性能最佳化;

熟悉服務管理、單元部署、自動擴容等運維系統建設;

熟悉故障、監控、預案、擴容工作原理;

理解Linux、apache,tomcat,nginx系統原理，具備問題分析和快速處理能力;

熟悉SHELL,PYTHON,PERL等腳本類編程工具，並有使用提升效率案例;

對運維工作保持自我驅動的熱情，可以回響和處理各種線上運維問題;

具備很強的分析和解決問題的能力，擅長使用工具實現自動化，對於重複問題“0”容忍;

具備系統化排查問題思路，愛折騰，愛分享，優秀的團隊協作及溝通能力。

大數據運維工程師的崗位職責 篇10

職責：

1、負責伺服器部署，最佳化整個大規模套用架構的設計、實施、後期疑難問題解決;

2、熟悉分散式系統運維，為大數據和雲服務提供可靠的運維保障;

3、協助搭建完善高可用集群環境，負責MySQL、redis、Kakka等集群運維，以及負載均衡系統運維;

4、負責網路、伺服器、交換機、路由器、防火牆等軟硬體的安裝、配置、調試維護和管理;

5、協助完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知;

6、及時處理伺服器宕機、病毒感染、黑客入侵等異常突發事件。

職位要求：

1、3年以上運維經驗，精通Linux作業系統以及伺服器群的網路搭建、設定和維護;

2、熟悉網路安全監控、系統性能管理和調試、網路性能管理;

3、精通MySQL資料庫管理、監控和備份，集群搭建配置等，熟悉MongoDB、Cassandra等一種以上NoSQL資料庫;

4、熟悉伺服器、存儲系統、路由器、交換機、負載均衡等網路設備的搭建、配置、監控維護，具有網路維護、排障和系統化解決問題能力;

5、有自動化運維平台構建經驗，熟悉Ansible、Puppet、Saltstack、Zabbix、Ganglia、Cacti等開源工具的使用，並能夠根據需求擴展;

6、負責系統運維監控體系建設，有大規模主機監控經驗者優先;

7、有Hadoop、Spark、Docker等經驗者優先考慮。

大數據運維工程師的崗位職責 篇11

職責：

1、 負責公司網路運維產品的技術支持服務，包括售前支持服務和技術服務;

2、 協助銷售經理進行售前技術支持服務，深入挖掘客戶技術需求，為客戶提供相應解決方案，提供產品測試技術支持;

3、 負責網路運維產品的解決方案、實施方案、投標書等文檔編寫工作。

4、 協助市場部的技術類相關工作。

任職要求：

1、 大學本科及以上學歷，計算機相關專業(優先)。

2、 兩年以上技術支持經驗，精通計算機網路技術，對網路運維管理有一定的認知。

3、 熟悉TCP/IP協定原理，有網路管理軟體技術支持工作經驗者優先。

4、 良好的溝通能力和客戶服務意識;

5、 優秀的文檔組織和編寫能力

大數據運維工程師的崗位職責 篇12

職責：

1.負責軟體系統日常維護工作，確保系統安全運行;套用環境的各類服務軟體的搭建和維護工作;

2.負責參與軟體的培訓與實施上線工作;

3.負責系統運維，日常軟體故障排除、系統最佳化、安全最佳化、網路故障診斷及排除等各類技術故障處理;

4.負責對客戶線上支持、軟體運行過程中問題解答、應急現場支持等;

5.對已有的運維項目進行維護、更新及管理;

任職要求：

1.計算機相關專業，大專及以上學歷;1-3年相關經驗

2.了解計算機網路、硬體及常用軟體的相關知識;熟悉資料庫的基礎知識;

3.具備較強的溝通、合作能力;有強烈的責任心，工作踏實認真、積極主動;善於思考，學習能力強，能夠快速掌握專業知識;

4.熟練操作oracle或者Mysql者優先。

5.熟悉一門開發語言者優先，如java等。