大數據運維工程師的工作職責

大數據運維工程師的工作職責 篇1

職責：

1. 完成大數據平台日常運維工作(上線/日常監控/問題定位/腳本開發)，涉及HDP/Hadoop/Spark/Tensorflow/Flink/Storm/Presto/Kudu/Alluxio等開源組件;

2. 完成大數據自研平台工具運營，比如報表平台、調度平台和性能監控平台;

3. 提升系統可靠性，完善監控策略，最佳化運維流程，提升部門運維效率，保證7*24服務;

4. 參與開源社區建設，提升公司開源影響力;

任職條件：

1. 熟悉Hadoop工作原理，熟悉Hadoop、Hive、Storm、Presto、Flink、 Alluixo、Kudu等開源組件的搭建、維護以及問題定位;

2. 熟悉Linux作業系統，熟練掌握Linux常用命令,了解ansible/puppet;

3. 熟練掌握shell/python/java;

4. 熟悉hive/spark sql工作原理，熟悉SQL語法，掌握資料庫的維護工作;

5. 對自動化運維有一定見解，使用過各種開源工具完成日常運維工作;

6. 有大數據平台維護經驗優先;

7. 掌握dockerfile，了解大數據與k8s結合者優先;

8. 參與開源社區，有代碼貢獻或者高質量部落格文章者優先;

大數據運維工程師的工作職責 篇2

職責：

1、負責和參與公司大數據基礎架構平台規劃，運維，監控和最佳化工作，保障數據平台服務的穩定性和可用性;

2、研究大數據前沿技術，改進現有系統的服務和運維架構，提升系統可靠性和可運維性;

3、負責和參與自動化運維系統及平台的建設;

4、負責最佳化部門運維流程提升運維效率。

任職要求：

1、統招本科及以上學歷，計算機相關專業，2年以上網際網路運維工作經驗;

2、熟悉Linux作業系統及常見開源軟體(Nginx,Tomcat,Zabbix等)的配置，管理及最佳化，能夠獨立排查及解決作業系統層的各類問題;

3、熟悉Hadoop/Kafka/Hbase/Spark/Elasticsearch/Hive的組件原理及運維方式;

4、精通Python,shell,了解JAVA;有良好的系統性能最佳化及故障排除能力;

5、具有很強的責任心、執行力、服務意識、學習能力和抗壓能力;

6、具備較好的溝通能力、主動性和團隊合作精神。

大數據運維工程師的工作職責 篇3

職責：

1、負責大數據平台架構的規劃、設計、搭建;

2、負責大數據平台的運維保障工作;

3、負責運維相關數據分析，以及報表產出;

4、為線上服務高效穩定運行負責，支撐業務和數據量的快速擴張;

5、深入理解大數據平台架構，發現並解決重大故障及性能瓶頸;

6、研究跟進大數據架構領域新技術並分享。

工作要求：

1、熟悉大數據產品生態圈，包括但不限於HDFS、YARN、Hive、HBase、Spark等;

2、精通Linux/Unix系統;

3、有數據分析經驗優先，精通一門以上腳本語言(shell/perl/python等)，熟悉java/C/C++/Golang等開發語言一種及以上;

4、有2年以上大數據平台相關運維開發經驗，了解分散式平台運行的原理，並有實際部署維護經驗;

5、學習能力和主動性強，具有鑽研精神，充滿激情，樂於接受挑戰;

6、良好的服務意識，善於團隊協作，項目管理，主動思考，自我驅動力強。

大數據運維工程師的工作職責 篇4

職責：

1、負責Hadoop、HBase、Hive、Spark等大數據平台 規劃、部署、監控、系統最佳化等，確保高可用;

2、負責公司大數據平台的運維管理工作，集群容量規劃、擴容及性能最佳化;

3、處理公司大數據平台各類異常和故障，確保系統平台的穩定運行;

4、設計實現大規模分散式集群的運維、監控和管理平台;

5、深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的大數據運維技及發展方向;

6、為數據倉庫、數據挖掘建模等數據套用項目提供運行環境支持。

崗位要求：

1、掌握Linux作業系統的配置，管理及最佳化，能夠獨立排查及解決作業系統層的各類問題;

2、熟練掌握Python, shell中的至少一門語言，有Python運維工具開發經驗優先;

3、熟悉 Hadoop生態及高性能快取相關的各種工具並有實戰經驗，包括但不限於Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、oozie、yarn、Scribe、Flume、Storm等;

4、具有集群運維經驗，以及大負載下的容量評估、問題定位、架構最佳化等能力優先;有分散式系統(計算/存儲)開發經驗優先;

5、熟悉zabbix/ganglia/Prometheus/grafana系統的組合構件及使用;

6、精通ELK系統，有過大規模ELK配置管理、調優經驗，有過ElasticSearch搜尋和分析引擎開發經驗者優先;

大數據運維工程師的工作職責 篇5

1.負責公司大數據業務集群的運維工作(Hadoop/Hbase/Hive/Yarn/Spark/impala/kudu等)確保集群環境的穩定可用;

2.負責集群容量規劃、擴容及性能最佳化;

3.負責大數據集群性能監控與最佳化，故障處理，數據備份及容災恢復，集群出現異常時，能快速定位問題，並及時給出解決方案;

4.設計實現大規模分散式集群的運維、監控和管理平台;

5.參與/主導業務架構設計，在設計階段給出可運維性改進建議;

6.深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的大數據運維技術及發展方向;

7.參與例如伺服器維護、項目維護、監控維護等常見運維事務

大數據運維工程師的工作職責 篇6

職責：

1.日常監控報警處理、故障現場處理以及系統關聯的業務服務需求處理;

2.系統變更處理，如系統最佳化、漏洞修復、業務增加功能、系統漏洞修復等;

3.相關係統的項目前期測試、調研、以及實施和後期維護;

4.系統各類程式參數最佳化設定，以及套用系統版本升級，系統架構調整等;

5.系統故障報告編寫，以及系統維護相關文檔整理。

任職要求：

1、本科及以上學歷或同等學力，2年以上IT相關工作經驗;

2、熟悉linux或UNIX系統集成和運維管理，具有系統集成或項目實施經驗;

3、至少掌握一門腳本語言，不限於shell、python、perl;

4、性格開朗，吃苦耐勞，積極主動、樂觀向上，富有團隊精神，具有良好協調溝通能力，能承受較大工作壓力和工作強度，具有良好的工作態度與職業精神。

大數據運維工程師的工作職責 篇7

職責：

1.負責項目系統部署實施的過程執行;

2.負責日常系統維護、產品上線實施和故障處理;

3.負責收集系統維護過程中的系統缺陷和軟體缺陷，提出合理化改進建議和意見;

4.為目標客戶提供系統技術培訓和技術支持，完善系統維護知識庫建設。

任職要求：

1.具備專科及以上學歷，計算機、軟體等相關專業畢業，5年以上相關工作經驗;

2.具備千萬級用戶量/設備的大型網際網路/物聯網系統建設運維經驗及項目管理經驗，熟悉網際網路/物聯網系統主流架構;

3.熟悉Tomcat、Nginx、IIS、Redis、MQTT和Apache等主流中間件及Docker等容器技術;

4.熟悉windows server、Linux等主流作業系統的使用;

5.掌握Postgresql(主要)、Oracle、Mysql等主流資料庫的使用，包括存儲過程開發，能編寫高效SQL。

6.熟悉Zabbix、Telegraf+InfluxDB+Grafana等監控工具使用及Python腳本最佳化;

7.掌握SVN/Git/Puppet/jenkins等自動化運維工具，具備套用服務安裝配置、管理維護、故障分析和系統性能分析最佳化經驗。

大數據運維工程師的工作職責 篇8

職責：

1、負責業務系統基礎設施維護，保障伺服器與資料庫安全，檢查並消除安全漏洞;數據備份、數據監控、應急回響、故障排除、編寫數據分析報告等。

2、負責Linux伺服器的配置，維護，監控，調優，故障排除，網路最佳化等;大用戶量下高性能伺服器系統部署方案的制定及實施;

任職要求(任意三條):

1、擁有對業務流向的邏輯理解能力，對軟體相關流量中的安全性有所考慮，對安全設備、網路設備有了解。

2、熟悉centos/redhat系列linux系統，有2年以上linux系統工作經驗;

3、熟悉常見的分布並發及負載均衡實現方案並有實際實施經驗，有負載壓力及並發量控制經驗;

4、熟練掌握Linux系統及常見服務的安裝配置，能靈活運用shell等相關腳本語言，熟悉mysql、Oracle等資料庫的部署、配置、數據備份機制等;

5、熟悉apache，nginx，php，squid，lvs，haproxy，mysql，redis，java等服務的安裝配置，有實際運維經驗者優先;

6、負責Linux伺服器的配置，維護，監控，調優，故障排除，網路最佳化等;大用戶量下高性能伺服器系統部署方案的制定及實施;

大數據運維工程師的工作職責 篇9

1、系統運維、服務監控分析、故障排查，以及緊急情況下的應急處理;

2、遵循發布、變更流程，負責系統建設和運維工作，保證其高效、穩定工作;

3、研究服務架構，發現潛在問題，制定系統調整和最佳化方案，提高系統的健壯性和效率;

4、參與系統架構設計，建設和管理;

5、參與公司基礎網路安全架構的建設，根據業務需求制定安全解決方案;

6、解決日常安全問題，在出現網路攻擊或安全事件時進行緊急回響、恢復系統及調查取證。

大數據運維工程師的工作職責 篇10

職責：

1. 負責日常網路及各子系統管理維護;

2. 負責設計並部署相關套用平台，並提出平台的實施、運行報告;

3. 負責配合開發搭建測試平台，協助開發設計、推行、實施和持續改進;

4. 負責相關故障、疑難問題排查處理，編制匯總故障、問題，定期提交匯總報告;

5. 負責網路監控和應急反應，以確保網路系統有7*24小時的持續運作能力;

6. 負責日常系統維護及監控，提供IT軟硬體方面的服務和支持，保證系統的穩定。

素質要求及任職資格：

1.學歷： 專科以上。

2.專業： 計算機相關專業。

3.經驗： 一年以上相關工作經歷優先。

4.核心能力及業務技術要求：

A.熟悉Unix/linux和Windows系統，有IT系統維護經驗; 對作業系統、網路、計算機安全有一定的深刻理解;

B.熟悉主流的交換機、路由器、防火牆等網路設備及其技術套用;

C.熟悉主流web配置，包括IIS、apache、tomcat、nginx等;

D.熟悉負載均衡技術，lvs+keepalive+Heartbeat等集群技術;

E.精通或掌握SQLServer/Oracle/mysql等大型資料庫管理系統(之一)的安裝/配置和管理;

F.熟練掌握Linux監控軟體，如nagios等，監控系統安全控制及技術防範;

G.具備良好的分析和解決問題的能力，對於攻關疑難問題具有強烈的興趣;

H.性格開朗外向、善於學習,具備較強的服務意識、溝通協調能力、團隊協作能力;

I.良好的文檔編寫能力，較強的客戶服務意識，積極主動，吃苦耐勞, 高度的責任心及應急能力;

5.其它：身體狀態良好。

大數據運維工程師的工作職責 篇11

職責：

1. 負責公司伺服器的運維工作，主要包括升級部署、備份恢復、日常巡檢、性能最佳化、配置操作等;

2. 搭建平台監控工具、自動化運維工具;

3. 編寫運維手冊，制定運維計畫、操作規範、應急手冊等;

4. 及時回響問題，快速定位排查故障，最佳化網路結構，提升用戶體驗;

5. 負責監控檢查系統軟體、服務運行狀態和操作記錄，並進行詳細的數據化記錄，定期匯總並上報給負責人;

任職要求：

1.本科及以上學歷，計算機通信相關專業，3年以上相關工作經驗;

2.熟練操作LINUX/WINDOWS作業系統的安裝、配置 及命令。

3.熟練操作ORACLE，編寫SQL語句，對用戶、表空間，數據檔案有理解，並能擴大相關係統的表空間。

4.熟悉WEBLOGIC安裝及調優，定期對JAVA應用程式的發布和更新;

5.具備故障診斷和處理能力及套用系統和資料庫備份的運維經驗;

6.有較強的溝通協調能力及高度責任心

大數據運維工程師的工作職責 篇12

1、設計網路設備、伺服器及安全系統的拓撲結構

2、開展對公司各平台伺服器硬體的巡檢;桌面計算機軟硬體(計算機、顯示器、電話、網路設施和其他附屬硬體設施，如印表機、掃瞄器)安裝、配置、升級、運行維護與管理，保障桌面系統正常運行，滿足日常工作的需要;對網路設備、伺服器及安全系統等運行監控與管理，負責對公司綜合布線系統的維護與管理;撰寫運維技術文檔。

3、根據運維、巡檢報告等統計整理運維數據定期評估平台的硬體、軟體的服務能力，出具評估報告。

4、完成領導交辦的其他工作。

大數據運維工程師的工作職責 篇13

職責:

1、 負責企業機房日常維護和巡檢工作

2、 負責機房內伺服器、存儲等硬體設備的維護管理, 自動化運維系統的部署和管理，以及常見軟硬體故障的處理

3、 負責企業核心心套用資料庫的日常維護，數據備份、數據恢復以及資料庫的最佳化等工作

4、 負責各類伺服器作業系統的維護和管理，包含Windows、Linux以及Unix伺服器系統的日常維護

5、 負責雲平台系統的日常維護管理，虛擬機創建，資源分配、回收以及系統資源的日常監控和管理

任職資格:

1、 本科或以上學歷，計算機相關專業

2、 至少兩年以上 windows、linux 伺服器運維管理經驗

3、 熟練掌握windows server、 liunx作業系統的安裝配置、系統管理以及系統最佳化

4、 熟練掌握oracle/mysql/sybase主流資料庫的配置與最佳化，數據備份與恢復，數據安全，數據遷移與歸檔，資料庫日常監控與管理

5、 具有豐富的系統軟體及其硬體的故障排除經驗，具備較強的分析及解決問題的能力，並善於主動總結和分享自己的工作經驗;

6、具有良好的服務意識，端正的服務態度，敢於吃苦，服從安排

大數據運維工程師的工作職責 篇14

職責：

1、 負責Windows，Linux伺服器作業系統的安全加固，包括防病毒，套用防護等。

2、 負責安全滲透、安全加固及安全事件的應急回響，協助漏洞驗證等。

3、 負責定期對伺服器進行漏洞掃描、連線埠掃描、弱密碼掃描，並整理報告。

4、 負責定期對運維人員，研發人員及測試人員進行安全培訓，提高整體的安全意識。

5、 負責對各類安全事件主導跟進，包括系統漏洞處理、防薅羊毛、DDOS防禦及其他安全加固措施實施。

6、 負責等保三級的相關工作;

7、處理領導交辦的其他工作 。

崗位要求：

1、 計算機、通信相關專業大專以上學歷

2、 熟悉主流伺服器作業系統(Windows、LINUX)、資料庫(sql、mysql)等基本操作和安全配置;

3、 具備一定的信息安全基礎知識，熟悉網路設備和安全設備的操作，熟悉防火牆、入侵檢測、VPN等網路安全技術;

4、 良好的溝通能力、富有團隊精神，能夠承擔較大工作壓力;

5、 了解信息安全等級保護、27001信息安全體系、ITIL等相關安全標準優先;

6、 持有等級保護測評師認證、HCNP或同等級證書者優先;

7、 熟悉國產作業系統(如中標麒麟、中科方德等)、國產資料庫(神通、達夢、南大通用)優先;

8、 有政府類項目實施維護經驗優先。