Hadoop運維工程師崗位職責

Hadoop運維工程師崗位職責 篇1

1、負責移動大數據中心的建設與維護;

2、負責安徽移動hadoop集群的故障排查、解決;

3、其他省份hadoop項目建設提供技術支持。

Hadoop運維工程師崗位職責 篇2

1.負責Hadoop相關項目日常運行維護、故障排查工作;

2.負責Hadoop集群的監控和配置調優工作;

3.負責Hadoop平台的用戶管理、許可權分配、資源分配;

4.負責集群伺服器軟體的安裝、維護、部署、更新;

Hadoop運維工程師崗位職責 篇3

1. 負責Hadoop及相關組件的部署和維護，保證其穩定運行;

2. 開發和使用Hadoop大數據自動化運維與監控工具;

3. 基於大數據套用需求，不斷調整和最佳化Hadoop框架及組件的配置，提升性能;

4. 為數據倉庫、數據挖掘建模等數據套用項目提供運行環境支持;

Hadoop運維工程師崗位職責 篇4

1.hadoop集群運維、監控、開發;

2.hadoop生態圈框架部署、故障處理、異常排查等基本工作;

3.對有助於提升集群處理能力、高可用性、擴展性的各種解決方案進行跟蹤和落地;

4.解決海量數據不斷增長面臨的挑戰，解決業務需求;

5、 對Hadoop集群進行日常管理，保障系統正常運行;

Hadoop運維工程師崗位職責 篇5

1.負責高並發，大存儲和實時流的Hadoop/spark大數據平台規劃，運維，監控和最佳化工作;

2.保證Hadoop/spark平台各核心服務運行的穩定、高效;

3.對Hadoop/spark平台運維不斷最佳化，提升數據產品的質量和回響速度;

4.開發各種Hadoop大數據自動化運維與監控工具;

5.平台大數據環境的部署維護和技術支持;

6.套用故障的處理跟蹤及統計匯總分析;

7.套用安全，數據的日常備份和應急恢復。

Hadoop運維工程師崗位職責 篇6

職責：

1.監控並分析系統的運行狀況，監控結果並定期報告，提出系統的最佳化方案與建設建議。

2.系統事件回響與系統維護：進行系統事件的回響，分析，進行系統故障的判斷並與供應商商討合理解決方案，並提供定期報告。

3.系統變更(含上線前測試與上線)：完成公司信息系統的系統變更/升級，進行套用系統軟體相關廠商進行審核，上線前測試等，確保服務質量。

4.系統非功能測試(性能與容量)與維護。參與集中交易類系統非功能的測試與調優。

5.容災維護與演練：參與數據備份、容災方案的維護與演練。

崗位要求：

1.大專或以上學歷，至少1年以上券商工作經驗;優秀的應屆本科畢業生也可以考慮;

2.有良好的協調溝通能力，負責與系統供應商之間進行溝通

3.熟悉“工作系統”所列舉的部分相關係統;

4.熟悉LINUX系統基本操作;

5.熟悉TOMCAT套用及部署

6.熟悉ORACLE、SQLSERVER資料庫基本操作。

7.學習能力強，有較強的責任心、團隊合作意識及敬業精神;

Hadoop運維工程師崗位職責 篇7

職責：

1、負責Windows、Linux系統平台下的各服務套用部署，日常維護分析解決;

2、改進業務監控方式，輔助完成持續實現7*24全鏈路監控;

3、針對伺服器出現緊急故障或時間，需及時回響並處理解決;

4、負責數據中心套用系統搭建、最佳化和日常維護，以及伺服器作業系統、套用系統、資料庫系統的維護和最佳化;

5、有進行過自動化，容器方面的獨立操作;docker，k8s，jenkins的部署和操作經驗豐富

6、按規範流程執行，並周期完善;

【崗位要求】

1、大專以上學歷，計算機網路相關專業，二年以上相關工作經驗;

2、具有良好的溝通能力、文檔編寫和文字表達能力、學習鑽研能力、問題分析與解決能力;

3、熟悉Shell編程，熟練掌握其他Python 或 Perl其中一個;

4、熟悉訊息佇列、Zabbix、Jenkins、Redis、Docker、k8s、git等軟體的配置管理及套用;

5、熟悉MySQL，Sqlserver 資料庫安裝、配置;

6、有運維自動化平台相關經驗者優先;

7、細心、負責任、上進心、分享、協作，良好自我提升學習驅動意識態度。

Hadoop運維工程師崗位職責 篇8

職責：

1、負責線上線下伺服器部署，最佳化整個大規模套用架構的設計、實施、後期疑難問題解決。

2、熟悉分散式存儲運維，為大數據和雲服務提供可靠的運維保障。

3、完善自動監控報警系統，對業務層面關鍵指標進行監控與報警通知。

4、負責系統運維的執行、設計及流程最佳化及運維相關的文檔、手冊、流程編寫整理。

5、負責實施項目的伺服器部署、系統環境搭建、數據備份、日誌分配、系統監控、性能最佳化、故障排除、系統巡檢、生產問題排查等，並配合各相關部門完成運維工作。

6、為開發、測試、產品等相關人員提供各類研發環境的支持性工作，如：基礎資源準備、系統環境搭建及日常維護、網路資源協助等工作。

7、發現現有業務架構中存在的性能問題，並進行全方位的性能最佳化

任職要求：

1、5年以上網際網路或相關行業工作經驗。

2、熟悉Linux作業系統、體系結構，熟練掌握Python/Shell/Perl等一至兩種語言。

3、熟悉常見套用配置及最佳化，如LVS/HAProxy/Apache/Tomcat/Nginx/DNS/Redis等。

4、熟悉常用的日誌及監控系統，如 Zabbix、Grafana、ELK等。

5、熟悉Vmware、KVM等各種技術化技術，有生產環境Docker管理和運維經驗者優先。

6、熟悉主流雲平台(AWS、阿里、華為雲等)產品及技術特性，軟體定義網路技術(Openstack Neutron、SDN)或虛擬計算技術(KVM、CloudStack、Container)，對IaaS 平台構架有深層次的了解。

7、精通MySQL資料庫管理、監控和備份，主從搭建配置等，熟悉Nosql資料庫。

8、具有較強的Troubleshooting能力、且能夠推動業務問題改善和解決。

9、具備良好的團隊協作精神，較強的學習能力和溝通能力。

Hadoop運維工程師崗位職責 篇9

職責：

1.伺服器及套用的安裝、部署、維護、更新、監控等;

2.伺服器相關資產管理;

3.負責處理平伺服器台各類故障，問題快速定位和解決;

4.伺服器日常運維，套用等自動化、標準化、平台化;

5.領導安排的其他相關工作。

職位要求：

1.本科及以上學歷，，具有2年以上Linux運維經驗，計算機、通信、信息技術等相關專業。

2.熟悉主流硬體，伺服器DELL、HP、IBM等。對UNIX/Linux等作業系統有一定了解;

3.有安裝調試伺服器的經驗，包括機架式伺服器上架，做硬體raid，安裝作業系統等;

4.至少熟悉一種自動化運維工具，Ansible、 Puppet、SaltStack，無人值守Kickstart等;

5.至少熟悉一種虛擬化雲平台技術，vmware，kvm，citrix，xen，openstack等;

6.良好的溝通能力、學習能力、團隊意識、積極的工作態度;

Hadoop運維工程師崗位職責 篇10

職責：

1. 負責阿里雲平台的ECS伺服器與RDS資料庫的安全和維護工作;

2. 從網路安全、主機安全和數據安全、電子交易等安全層面進行網路拓撲設計;

3. 對現有運行網站的系統制定安全審計、維護制度，並監督執行;

4. 配合技術總監，共同組建完整的網際網路安全防護措施;

5. 負責公司員工電腦的技術支持(如解決網路、信箱配置、病毒查殺、辦公軟體排錯等)

6. 負責公司各類終端機、印表機、掃瞄器等外設的維護。

任職要求：

1.滬籍，男，大專以上學歷，計算機套用技術、計算機網路技術及其相關專業，5年以上工作經驗;

2.計算機基礎知識紮實，對各種電腦軟體、硬體的安裝和維護有良好的經驗;

3.熟悉主流伺服器、雲伺服器配置及網站部署中間件(IIS/Apache/Nginx)，熟悉Windows Server、Linux系統，路由器等網路設備，並了解網路設備調試使用;

4.熟悉TCP/IP協定和網路安全體系，對於企業區域網路搭建有一定的經驗;

5.熟悉SQL Server/Oracle基本語法，對網際網路程式語言有一定的了解。

Hadoop運維工程師崗位職責 篇11

職責：

1、協助實施運維部經理組織實施運維技術團隊的管理、部門工作分配;

2、組織實施運維部人員履行項目內容，完整把控整個項目及實施各階段，並調動組員積極能動性，對其工作進行監督檢查;

3、做好與公司其它部門的協調工作;

4、組織安排部門工作所需的技能培訓，提高團隊的知識水平。

任職要求：

1、大學本科及以上學歷;

2、高度的責任感和事業心，服從公司領導，堅決貫徹執行上級領導指示;

3、具有計算機SM系統運維技術經驗，具有運維團隊的管理經驗;

4、有堅實的專業技術功底，具備解決技術難題的能力;

5、具備優秀的團隊組織、協調溝通和綜合管理能力;

6、具備良好的語言溝通、文字表達和獨立處理問題能力;

7、具備良好的抗壓能力;

Hadoop運維工程師崗位職責 篇12

職責：

1、負責公司大數據平台的部署、管理、最佳化、監控報警，保障平台服務7*24穩定可靠高效運行;

2、深入理解公司大數據平台架構，發現並解決性能瓶頸，支撐業務和數據量的快速增長;

3、開發大數據自動化運維、監控報警、故障處理相關腳本和工具;

4、負責Hadoop/spark/Mysql等集群服務、業務監控、持續交付、應急回響、容量規劃等。

任職要求：

1、3年以上網際網路運維相關工作經驗，2年以上大數據平台運維相關工作經驗;

2、具備一定的故障排查能力，有良好的技術敏感度和風險識別能力，精通一門以上腳本語言(shell/python等)，熟悉Http/Https、TCP/IP、SMTP等協定;

3、熟悉Hadoop大數據生態圈，包括但不限於CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;

4、熟悉Hadoop各組件的原理和實現，有實際部署維護、管理( 包括元數據管理)及最佳化經驗。並擁有持續調優能力，運維管理過大規模數據平台;

5、熟悉 Kubernetes(K8s) 集群 Docker 在大數據環境場景的使用;

6、熟悉Linux(redhat/centos)軟硬體環境、系統管理和最佳化，熟練部署、最佳化各種常用服務

7、有Java開發經驗和閱讀源碼能力者優先。

Hadoop運維工程師崗位職責 篇13

職責：

1、負責伺服器維護、最佳化、調試;

2、負責遊戲業務部署、新版本發布、服務端變更;

3、負責監控遊戲業務的運行狀況，及時處理遊戲運行中出現的故障，保障遊戲服務正常;

4、負責與遊戲項目組及研發溝通，對業務運營環境中存在的問題進行定期反饋和推動改善;

崗位要求

1、1年以上網際網路產品的系統運維經驗，大專及以上學歷;

2、熟悉Linux作業系統日常維護、最佳化;

3、熟練掌握Linux下套用服務的維護,包括Apache/Nginx/Mysql/Redis/PHP/DNS等;

4、熟悉掌握主流監控套用(Zabbix/Nagios)，並有一定的自定腳本開發功能;

5、了解熟悉主流自動化運維配置工具(puppet/saltstack/ansible);

6、熟悉至少一種腳本程式語言(Shell/Pythen/PHP等腳本語言)，能編寫完成日常工作使用的自動化工具;

7、精通Mysql資料庫，有大數據、高並發資料庫開發維護經驗;

8、具備良好的溝通能力和團隊合作精神，高度的責任心;

Hadoop運維工程師崗位職責 篇14

職責：

(1)參與規劃設計、性能最佳化建議及實施方案編制。

(2)負責行業重點客戶的核心高端設備的高級保障，提供運維保障最佳化數據依據及對應建議、參與方案制定;負責日常運維的質量、進度保障;

(3)提供重難點技術問題的高級技術支持。對重點客戶提供相關網路知識、我司運維體系、保障體系以及網路優勢等內容專項培訓及交流工作;

(4)編制交付客戶的運維相關報告及例行匯報、會議溝通;

(5)負責為行業客戶提供在特殊時期或場景(如會議、銀行系統升級等)的保障服務方案落地及高級技術保障服務，事後總結分析等，確保保障順利完成。

(6)負責客戶重點問題的落地及匯報;

(7)項目所需的其它技術類支撐工作。

中級任職資格：

(1)技術要求：具有ICT項目、集客業務、數通產品維護、傳輸專線等業務維護工作經驗;

(2)有解決方案編寫能力，熟悉WORD，EXCEL，VISIO，POWERPOINT等文檔編輯工具;

(3)具備業務管理能力，熟悉集客業務，具備故障協調、支撐流程最佳化等各項工作能力與經驗;

(4)學歷要求：大學專科及以上學歷，具有良好的溝通和協調能力，具有很強的執行力;擁有中級項目經理證書、CCNP思科認證網路高級工程師、系統集成項目管理工程師任意一本證書優先考慮;

(5)具備一定項目管理經驗、運營商溝通經驗者優先。

Hadoop運維工程師崗位職責 篇15

職責：

遊戲伺服器的部署，更新和維護

遊戲伺服器的性能調優

後台數據統計分析

GM工具開發和維護

任職要求：

一年以上linux運維經驗，遊戲行業優先

熟悉Nginx伺服器配置及性能最佳化(負載均衡、反向代理、SSL等)

熟悉memcache、mongo資料庫部署，最佳化及常規查詢操作

熟悉kafka配置及調優

能夠接受python開發

熟悉linux系統下常規服務的配置、最佳化、維護工作

Hadoop運維工程師崗位職責 篇16

1. 遵循發布、變更流程，負責系統建設和運維工作，保證其高效、穩定工作

2. 負責服務系統的網路架構與安全規劃，部署實施、線上系統日常的運維變更;

3. 搭建和維護業務系統的運行環境，伺服器架設、網路及安全配置、系統軟體安裝配置及最佳化、災備方案實施等;

4. 持續完善監控告警、故障排查。對業務系統做好監控報警，及時發現業務系統異常，並快速止損恢復，保障系統服務7x24穩定運行。

5. 最佳化和完善現有運維流程及規範;

6. 基於高效的原則，進行必要的自動化系統和工具的建設。

7. 根據業務發展和運行情況，對業務系統的部署進行架構調整和最佳化

8. 針對業務特點設計出能夠支撐大規模服務集群的運維體系，最佳化運維成本和效率

9. 定期評估和審核計算機系統有關資料庫的安全狀況，關注網路安全動態，堵塞網路安全漏洞，消除網路安全隱患，確保數據訪問的暢通運行

10. 負責網路安全相關應急回響工作，跟進外界最新 DDOS/CC 攻擊趨勢，調優公司相應的防禦水平

Hadoop運維工程師崗位職責 篇17

職責：

1. 負責App、公眾號服務平台的伺服器日常運維，包括：App產品後台、套用系統、資料庫、作業系統的部署、遷移，及運行異常狀況排除;

2. 新產品/服務、功能模組的部署上線，日常運維狀況監控、最佳化工作;

3. 執行伺服器系統的例行檢查測試，並分析運行數據，提供系統使用、維護的建議;

4. 配合產品研發部門，參與整體系統的架構規劃、性能最佳化。

任職說明：

計算機相關專業大學本科以上學歷，具有紮實的計算機基礎理論知識;

熟練使用Linux/windows等常見作業系統，熟悉zabbix、nagios、cacti等開源監控工具，熟練使用shell、python其中一種腳本語言，熟悉虛擬化技術xen、kvm;

熟悉JAVA環境及nginx、tomcat、jboss、redis、memcached等常見常見套用服務，熟悉MySql及Oracle資料庫的安裝、配置、災備等;

熟悉各種雲架構服務(例如阿里雲、騰訊雲、AWS等雲部署環境)

Hadoop運維工程師崗位職責 篇18

職責:

1、技術保障各底層支撐系統的可靠性與穩定性;

2、負責車輛網平台的運行監控的解決方案編制、實施與二次功能開發;

3、負責技術文檔手冊編寫，更新，經驗總結沉澱，培訓分享;

4、負責對新技術和方案進行調研，評估和引進，用技術去提升運維生產效率

任職資格:

1、熟悉常見的套用服務部署和調優(Nginx、MySQL、Redis、MongoDB、ELK，Hadoop等)，熟悉高可用集群、負載均衡集群的規劃與搭建;

2、熟練使用Linux、TCP/IP網路協定棧，了解常用的Troubleshooting手段和常見性能指標

3、具有車聯網平台運維的經驗，精於容量規劃、架構設計、性能最佳化;

4、熟悉主流PaaS雲產品的使用，具有運維平台開發經驗者、參與過開源產品的開發者優先;

5、優秀的溝通能力，出色的學習與鑽研能力，良好的問題分析與解決能力;

6、對行業技術敏感度高且細緻，善於思考，樂於發現，對解決具有挑戰性問題充滿激情。

Hadoop運維工程師崗位職責 篇19

職責：

1、負責所在區域一卡通系統售後維護、存續業務、系統巡檢、產品諮詢、產品知識庫的建立、故障判斷與解決的服務工作。

2、負責協助制定一卡通系統實施方案，參與協助項目技術談判。

3、負責協助所在區域一卡通系統項目的實施、培訓、驗收及回款工作。

4、與售前工程師緊密合作，與客戶交流，提供技術顧問服務，充分理解客戶需求，編寫項目計畫。

5、完成上級領導交代的其他工作

崗位要求：

1、計算機、通訊工程、電子相關專業，大專及以上學歷，具有良好的計算機技術基礎。

2、責任心強,良好的溝通能力，團隊協作精神強，服從組織和領導對工作的安排和要求。

3、具備良好的團隊合作意識;吃苦耐勞,勤奮刻苦,主觀能動性強，能夠適應長期出差。

4、熟練掌握windows作業系統和sql server資料庫，熟練使用各類資料庫操作命令。

5、熟練掌握unix、linux等作業系統和oracle大型資料庫。

6、熟練掌握project、visio等項目管理工具。

7、具有較強的文檔編寫能力。

Hadoop運維工程師崗位職責 篇20

職責:

1、負責套用系統的審核、部署、發布、監控、維護和最佳化;

2、參與自動化運維平台的探索、設計;

3、負責突發事件管理，問題跟蹤與管理，保障系統247穩定運行;

4、負責日常運維文檔的撰寫整理工作;

5、負責運維技術難點的攻關;

任職資格:

1、全日制大專及以上學歷，3年以上基礎架構、系統運維、網際網路業務運維相關工作經驗;

2、深入掌握unix/linux系統的使用，熟悉TCP/IP協定相關知識;

3、深入了解運維體系結構設計、系統性能最佳化、CI/CD方案設計落地;

4、熟練使用linux下tomcat、LVS、nginx、kafka、ELK、jenkins、git、rabbitmq、zabbix等常用軟體。

Hadoop運維工程師崗位職責 篇21

職責：

1、負責伺服器硬體維護及作業系統安裝、配置、調優;

2、負責公司內部蘋果系統、Mac/Windows存儲系統的安裝、配置及維護;

3、負責公司Exchange郵件系統的維護;

4、合理規劃伺服器負載、有效管理存儲設備;

5、日常維護伺服器已有套用，排查故障;

6、合理分配各員工許可權，並做好監督管理工作;

6、根據公司需求，搭建新的套用;

7、完成上級交辦的其他事宜。

崗位要求：

1、至少3年以上IT運維支持經驗;

2、熟悉Windows Server / Linux / Mac等作業系統及伺服器群的設定、維護;

3、熟悉Zabbix的運維監控;

4、熟練掌握VM虛擬化;

5、熟悉AD、Exchange、NTP、WebLogic、Nginx、Apache等套用環境的配置、調優;

6、熟悉SAN / Xsan、NAS存儲系統，系統配置、故障判定及調優;

7、熟悉使用Shell和一種語言腳本(php/python/perl)為佳;

8、熟悉CDN推送流程及維護。

Hadoop運維工程師崗位職責 篇22

職責：

負責公司大數據業務集群的運維工作、集群容量規劃、擴容及性能最佳化;

設計實現大規模分散式集群的運維、監控和管理平台;

參與業務架構設計，在設計階段給出可運維性改進建議;

深入研究大數據業務相關運維技術，持續最佳化集群服務架構，探索新的大數據運維技及發展方向;

負責公司大數據平台的套用監控、容量管理，應急回響等;

領導安排的其他工作。

任職要求：

1、本科及以上學歷，軟體工程、計算機等相關專業;

2、熟悉計算機原理、網路原理等知識;至少2年以上運維或開發工作經驗;

3、搭建，管理及調優Hadoop/HBase/Hive/Flink/Spark/Kafka/Elasticsearch/Flume等開源項目優先;

4、至少掌握java/python/go中的一種語言;

5、熟悉HBase/Flink/mysql/redis運維優先;

6、熟悉zabbix/graphit/grafana加分;

7、具有很強的分析和解決問題的能力;

8、具有攻克難題的強烈興趣，以及提升技術能力的意願;

9、善於主動學習，責任心強，能夠承受較大的工作壓力。

Hadoop運維工程師崗位職責 篇23

職責：

1、協助公司完成現場桌面終端問題的接單回響，問題處理閉環工作，常見桌面問題支持主要是耗材、電腦、設備、套用服務軟體管理等各類問題;

2、在客戶現場辦公，協助上級與客戶保持良好的溝通，跟進客戶反饋問題的各個環節，確保桌面運維工作順利實施;

3、問題需要團隊協作，能完成工單派發，及業務數據統計;

4、公司知識庫及問題庫的錄入及持續完善工作。

5、協助上級開展的其他工作。

崗位要求：

1.計算機、電力電氣、管理類、工程類、自動化類相關專業，大專及以上學歷，3年以上運維服務相關工作經驗，具有網路工程師、信息安全工程師等職業資格證書優先;

2.了解IT服務管理系統及呼叫系統;

3. 熟悉桌面終端運維，運維資源處理，日常軟硬體運維，以及故障消缺、提供技術支持等，具備較強的分析和解決問題能力。