大數據運維工程師崗位的基本職責描述

大數據運維工程師需要定期對所有服務問題進行分析，並對服務效率有影響的問題提供反饋意見，提升服務支撐團隊專業度。以下是小編整理的大數據運維工程師崗位的基本職責描述。

大數據運維工程師崗位的基本職責描述1

職責：

1、負責維護伺服器的運行，包括巡檢、故障排除、數據備份等業務，保證伺服器高質量、高效率運行狀態;

2、負責伺服器漏洞整改及補丁升級;

3、負責hadoop運維相關工作;

4、負責大數據平台的日常部署、升級、擴容、遷移;

5、負責高並發，大存儲和實時流的Hadoop/spark大數據平台規劃，運維，監控和最佳化工作。

任職資格

1、2年左右伺服器運維經驗;

2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優先考慮;

3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發，能看懂Python/Scala優先;

4、做過大規模hadoop集群優先;

5、大數據項目：包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態的平台搭建，監控，運維，調優、生產環境hadoop集群trouble shooting 、hadoop版本升級管理及最佳化支持。

大數據運維工程師崗位的基本職責描述2

職責：

1、負責雲平台等基礎環境規劃及建設，虛擬化等技術實施;

2、負責機房物理設備的日常巡檢，對雲平台及大數據運行環境的日常維護，保證運行環境的安全和穩定，對突發事件進行快速處理和恢復;

3、負責Hadoop集群的部署及日常維護，熟悉Hadoop生態圈組件的配置與調優;

4、負責硬體設備和系統軟體購買採購數的擬定，以及運維相關技術文檔的整理和維護。

任職要求：

1、***優先，30歲以下，計算機相關專業，統招本科及以上學歷，3年以上中、大型雲平台伺服器運維經驗。

2、具備基本的機房建設及管理能力，能對機房內伺服器、交換機、路由器等物理設備巡檢維護數據備份及恢復。

3、熟悉TCP/IP協定，熟練掌握CISCO路由器、防火牆、交換機配置，具備一定的網路規劃和組網技術能力，負責VLan及子網劃分，提供內外網及VPN連線等網路接入方式;

4、熟悉KVM/Docker等虛擬化技術，及基於VMWare/OpenStack雲平台的搭建及運維;

5、有豐富的Hadoop生態系統運維經驗，了解Hadoop、STorm、Spark、Kafka、zookeeper這些組件的原理，具備部署、實施、維護hadoop集群及相關組件的能力。

6、熟悉Zabbix、Nagios等開源運維監控系統，熟悉通過LVS/Keepalived/Hearbeat技術實現負載均衡，了解CDN技術。

7、有中大型雲平台數據中心容災建設方案(一城兩中心、兩地三中心)實施經驗者優先;有思科認證(CCNA/CCNP/CCIE)證書者優先。

8、為人正直，有責任感，工作認真細心。

大數據運維工程師崗位的基本職責描述3

職責：

1.負責大數據業務集群的運維工作(Hadoop/Hbase/Hive/ Yarn/ Spark/ Storm/ ES等大數據生態圈組件)確保高可用性。

2.負責集群容量規劃、擴容及性能最佳化;

3.參入建設大規模分散式集群的運維、監控和管理平台;

4.參與業務架構設計，在設計階段給出可運維性改進建議;

5.深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的大數據運維技及發展方向。

任職要求：

1.三年及以上大數據運維工作經驗，熟悉hadoop、hbase、hive、Solr、ES等分散式相關技術，熟悉源碼尤佳，至少掌握java/python/shell中的一種語言。

2.了解大數據平台套用架構，具備常見問題的基本分析和解決能力。

3.熟悉Linux作業系統的配置、管理及最佳化，能夠獨立排查及解決作業系統層面的問題;

4.熟悉nginx、tomcat等web套用及中間件的使用和配置

5.強烈的責任心和使命感，執行力強，富有團隊合作精神;

6.對大數據方向運維有很高的熱情和興趣，能主動學習了解相關知識;

大數據運維工程師崗位的基本職責描述4

職責

1、維護基於Linux的系統和相應的組件;

2、維護Hadoop集群，包括hdfs、hive、sqoop、kafka等核心生態系統，確保集群運行平穩;

3、基於***實踐，根據業務需求設計和最佳化Hadoop生態系統;

4、設計和維護Hadoop相關基礎設施的監控;

5、維護技術檔案;

6、根據業務需求設計和安裝新的生態系統或技術組件，並制定最終解決方案。

任職資格

1、本科及以上，信息技術或相關專業;

2、2年以上企業Linux系統和Hadoop經驗;

3、Hadoop生態系統的經驗和知識(必須具備：HDFS, Yarn, Hive, HUE;傾向具備：MapReduce、Spark、Kafka、Logstash、Flume);

3、較強的事故分析和故障排除能力，較強的shell腳本編寫能力;

4、了解HA機制者優先;有ITIL知識者優先;

5、有跨國工作經驗者優先;

6、願意學習新事物，解決問題。

大數據運維工程師崗位的基本職責描述5

職責：

1、負責大數據基礎架構平台(Hadoop/Spark/MPP DB)的自動部署;

2、負責線上數據平台的運維，保障服務的穩定性和可用性;

3、參與超大規模數據快速查詢系統的架構設計和開發;

4、研究大數據前沿技術，改進現有系統的服務和運維架構，提升系統的運維效率。

任職要求：

1. 熟悉linux shell及SQL語言

2. 了解Hadoop等分散式技術，數據倉庫技術;

3. 熟悉數據倉庫數據流監控、故障自動化定位及運維;

4. 強烈的責任心與求知慾，願意學習新技術並能快速套用;

5. 有較強的書面與口頭溝通表達能力，獨立分析、解決問題的能力;

6、做事認真負責，自學能力較強。