大數據運維工程師的基本職責

大數據運維工程師的基本職責 篇1

職責：

1.負責Hadoop、spark、hbase、oozie、hive等平台運營和最佳化工作，保障平台服務運行穩定、高效。

2.負責大數據方案架構及方案落地;

3.開發Hadoop大數據管理平台與監控建設;

3.負責hadoop平台部署、維護;生產問題、告警、故障處理及伺服器維護、日常值班;

4.負責集群網路架構、機器管理等。

任職資格：

1. 全日制本科以上學歷，三年以上後台系統運營工作經驗;

2. 熟悉hadoop原理，具有Hadoop平台套用及管理經驗，熟悉hadoop、hive、spark、hbase、oozie、druid、kylin、flink等開源項目及部署、維護、調優;

3. 熟悉linux作業系統及調優;熟悉sql編程，熟悉Shell/Python/Java/Perl語言的一種或多種，有開發經驗優先， 熟悉nagios,cacti,ganglia,zabbix,zenoss優先;

4. 對大數據和自動化運維開發有濃厚興趣，有大規模hadoop運維經驗者優先;有hadoop/hbase/spark/hive 開發經驗者優先。

大數據運維工程師的基本職責 篇2

職責:

1、負責Hadoop平台搭建，運維，管理，故障處理。

2、負責保障大數據平台的高效運轉、提升系統穩定性和安全性。

3、對平台的Hadoop，Hbase，Kafka，Hive等進行最佳化。

4、建立Hadoop集群管理和維護規範，包括版本管理和變更記錄等。

崗位要求:

1、有豐富的Hadoop生態系統的運維經驗，了解Hadoop、Storm、Spark、Kafka這些組件的原理，具備部署、實施、維護hadoop 及相關組件的能力;

2、至少精通 Perl/Python/Shell腳本語言中的一種;

3、掌握Linux作業系統的配置，管理、最佳化以及各種常用命令，能夠獨立排查及解決作業系統層的各類問題;

4、分析問題能力優秀，善於從各種系統、套用日誌中尋找出問題的原因。

5、有獨立分析問題和解決問題的能力，能出差。

大數據運維工程師的基本職責 篇3

職責:

1、技術保障各底層支撐系統的可靠性與穩定性;

2、負責車輛網平台的運行監控的解決方案編制、實施與二次功能開發;

3、負責技術文檔手冊編寫，更新，經驗總結沉澱，培訓分享;

4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率

任職資格:

1、熟悉常見的套用服務部署和調優(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規劃與搭建;

2、熟練使用Linux、TCP/IP網路協定棧，了解常用的Troubleshooting手段和常見性能指標

3、具有車聯網平台運維的經驗，精於容量規劃、架構設計、性能最佳化;

4、熟悉主流PaaS雲產品的使用，具有運維平台開發經驗者、參與過開源產品的開發者優先;

5、優秀的溝通能力，出色的學習與鑽研能力，良好的問題分析與解決能力;

6、對行業技術敏感度高且細緻，善於思考，樂於發現，對解決具有挑戰性問題充滿激情。

大數據運維工程師的基本職責 篇4

職責：

1、負責維護伺服器的運行，包括巡檢、故障排除、數據備份等業務，保證伺服器高質量、高效率運行狀態;

2、負責伺服器漏洞整改及補丁升級;

3、負責hadoop運維相關工作;

4、負責大數據平台的日常部署、升級、擴容、遷移;

5、負責高並發，大存儲和實時流的Hadoop/spark大數據平台規劃，運維，監控和最佳化工作。

任職資格：

1、2年左右伺服器運維經驗;

2、對linux基礎運維命令熟悉，shell,python至少精通一種，如會scala語言可優先考慮;

3、熟悉Linux的維護和管理，熟悉bat及Shell腳本開發，能看懂Python/Scala優先;

4、做過大規模hadoop集群優先;

5、大數據項目：包括不限於hadoop、hive、kafka、hbase、spark、Kudu、Impala等大數據生態的平台搭建，監控，運維，調優、生產環境hadoop集群trouble shooting 、hadoop版本升級管理及最佳化支持。

大數據運維工程師的基本職責 篇5

職責：

1. 負責大數據平台的穩定性和性能最佳化;

2. 負責大數據項目的運維工作;

3. 針對業務需求制定統一的運維解決方案;

4. 完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知;

任職要求：

1、熟練掌握hadoop平台搭建、維護，有平台最佳化經驗;

2、熟悉HDFS、Hive、Spark、HBbase、Kafka、Flume等組件的原理，有閱讀源碼能力者優先;

3、熟悉騰訊雲產品，有騰訊雲EMR使用經驗者優先考慮;

4、熟練掌握java、python語言，熟練使用SQL，並有一定的最佳化能力

大數據運維工程師的基本職責 篇6

職責：

1、 總部、分公司計算機、伺服器、筆記本電腦、硬軟體、計算機網路運營管理;

2、 公司整體硬體及網路信息化管理規劃及相關制度、流程建設並組織實施;

3、 公司郵件、網站伺服器管理、日常維護;

4、 與硬體及網路供應商保持良好的合作關係，以確保系統問題得到快速的支援;

5、 新員工入職信箱、系統等許可權開通;

6、 領導交代的其他相關事宜。

任職資格：

1、大專以上學歷，計算機等相關專業畢業，接受優秀應屆畢業生;

2、了解或者熟悉HELPDESK;熟悉基本網路維護作業，知悉基本布線規則;

3、紮實的計算機軟硬體基礎知識;

4、服務意識強、辦事效率高、有責任心;

5、做事積極主動、有一定溝通能力、較強的工作熱情、組織管理能力。

大數據運維工程師的基本職責 篇7

職責：

1.基礎套用服務日常維護工作，保障業務穩定可靠;

2.配合業務團隊完成套用部署，協助研發進行故障排查;

3.對業務提供穩定、安全、性能合格的運行環境和專業技術支持;

4.自動化運維組件的規劃、設計和開發，提升運維質量和效率;

5.負責公司產品的版本控制、構建和發布管理。

任職資格:

1.熟悉Linux系統管理，熟練掌握各公開雲平台管理技術，兩年以上網際網路行業實際工作經驗;

2.精通Python和Shell等程式語言,熟練使用sed、awk、sort、uniq、grep等命令;

3.精通WEB及負載均衡相關技術，如Apache/Nginx/LVS/haproxy等套用服務的安裝/配置和維護，具備對套用系統的故障定位和處理能力;

4.精通各類資料庫相關技術，如Mysql/Pgsql/Redis/Mongodb/Oracle/Ldap等服務的安裝配置及災備維護，有DBA相關經驗者優先;

5.熟悉各類中間件的安裝配置及維護;具備故障快速定位排查分析能力;

6.熟悉TCP/IP協定，路由交換的基本概念，能夠掌握網路檢查工具的使用;

7.必須精通Git維護及操作;熟悉發布系統構建部署如Jenkins(Hudson)，Gerrit，Ansible等;

8.熟練掌握常見監控軟體zabbix、Nagios等監控軟體的使用;

9.有運維自動化、監控系統、發布系統、運營支撐系統等開發經驗者優先;

10.具備良好的網路安全意識，熟悉各類軟硬體防火牆的配置及使用;有網際網路安全行業相關經驗者優先。

大數據運維工程師的基本職責 篇8

1、作業系統的安裝、配置與日常管理;

2、資料庫安裝、配置與日常管理;

3、Web伺服器安裝、配置與日常管理;

4、套用系統的日常管理。

大數據運維工程師的基本職責 篇9

1、對伺服器進行日常維護，確保各項服務連續正常運行，無重大事故;

2、負責伺服器存儲網路等基礎平台的技術維護和問題處理 ;

3、負責執行大客戶服務項目的定製化服務配置和硬體安裝等處理工作;

4、了解作業系統安裝與配置;

5、具備一定的網路相關故障解決能力;

6、熟悉主流廠商PC伺服器硬體安裝與配置;

7、Windows、Linux、VMware等日常管理、維護;

8、負責伺服器異常或故障的受理、跟蹤、解決以及統計分析;

大數據運維工程師的基本職責 篇10

職責：

1、負責和參與公司大數據基礎架構平台規劃，運維，監控和最佳化工作，保障數據平台服務的穩定性和可用性;

2、研究大數據前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

3、負責和參與自動化運維系統及平台的建設;

4、負責最佳化部門運維流程提升運維效率。

任職要求：

1、統招本科及以上學歷，計算機相關專業，2年以上網際網路運維工作經驗;

2、熟悉Linux作業系統及常見開源軟體(Nginx,Tomcat,Zabbix等)的配置，管理及最佳化，能夠獨立排查及解決作業系統層的各類問題;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;

4、精通Python,shell,了解JAVA;有良好的系統性能最佳化及故障排除能力;

5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

6、具備較好的溝通能力、主動性和團隊合作精神。

大數據運維工程師的基本職責 篇11

1、負責數據中心日常巡檢工作，並根據要求形成相關統計報告。

2、每周按照要求製作機房運行參數等的統計分析。

3、能夠部署相關的作業系統(windows、linux)以及一些基本服務，例如AD、DNS、DHCP、AAA、IIS、檔案系統等。

4、能夠配置交換機的基礎配置(MSTP、RSTP、主從VLAN、動態VLAN等基礎配置)

5、路由協定(靜態、RIP、ospf路由)。

6、了解防火牆的工作原理，能夠進行簡單的策略下發。

大數據運維工程師的基本職責 篇12

職責：

1、負責公司現有阿里雲平台的管理，包括：ECS\RDS\Redis等 ;

2、負責公司機房伺服器的管理，維護;

3、制定和改進系統的監控、備份方案，應急回響，故障排查，確保系統運行穩定;

4、完成上級安排的其他工作。

任職要求：

1、本科以上學歷，一年以上工作經驗;

2、熟悉CentOS和Ubuntu安裝配置最佳化，熟悉shell腳本 ;

3、熟悉Linux系統常用伺服器的部署，如tomcat、redis、nginx、LVS，haproxy ，mysql的安裝、配置、調優，熟悉常用監控軟體;

4、熟悉SVN ,Git;

5、熟悉計算機軟體、硬體及周邊設備的維護，能解決工作中出現的網路問題及突發情況，懂得相關網路設備配置規劃;

6、熟悉使用阿里雲相關雲產品;;

7、工作認真負責，積極主動，善於思考，善於發現並解決問題;

大數據運維工程師的基本職責 篇13

職責:

1、負責公司伺服器維護保證業務穩定.

2、負責日誌分析、健康檢查、性能監控等.

3、負責公司開發相關賬號的許可權控制以及維護.

4、配合業務運維、開發、測試以及其他相關團隊完成運維相關工作.

技能要求：

1、熟悉自動化運維工具

2、熟悉Linux命令

3、熟悉阿里雲常用產品的維護與最佳化.

4、熟悉Docker原理並有使用經驗

5、有打造DevOps平台的想法(將CI、CD、日常運維、監控告警、智慧型運維打造一體化DevOps平台)

6、熟悉keepalived、nginx、php、java、redis等生產環境的部署套用及調優

7、有pc電腦以及企業網路(交換機,路由器,無線AP)維護經驗優先

8、熟悉k8s,istio優先

大數據運維工程師的基本職責 篇14

1、負責計算機、區域網路、以及機房設備維護工作;

2、負責辦公設備的日常維護及管理工作;

3、負責病毒的查殺，維護網路系統安全;

4、負責設備資產及配置信息登記與更新;

任職資格：

1、大專及以上學歷，計算機相關專業;

2、具有運維管理、伺服器網管工作經驗;

3、具有較好的網路基礎知識，熟悉網路搭建及常用設備的使用;

4、熟練使用主流電腦作業系統，能夠處理常見的軟體問題;

5、通過國家軟考初、中級優先。