爬蟲工程師崗位職責

爬蟲工程師崗位職責 篇1

崗位職責：

1、參與app爬蟲項目的架構設計、研發工作，改進和提升爬蟲效率；

2、攻破各種反爬策略；

3、解決各類技術疑難問題，包括網路問題、app分析、反編譯等；

4、與大數據工程師對接，完成實時數據與離線數據的爬取與對接；

任職資格：

1、計算機及相關專業本科及以上學歷，兩年以上相關工作經驗；

2、精通至少一種開發語言，如python、java；

3、熟練掌握一種開源爬蟲框架，如scrapy、webmagic，有研發爬蟲框架經驗者優先；

4、熟悉appium、selenium等技術；

5、善於獨立分析並解決核心問題，如javascript反爬、爬蟲策略、防禁止規則、app爬取、驗證碼識別技術等；

6、熟悉mysql，？mongodb，？redis，？elasticsearch等資料庫；

7、對爬蟲有濃厚的興趣，責任感強，有較好的交流溝通能力和團隊合作能力；

8、有app安全、逆向等領域經驗的優先；

爬蟲工程師崗位職責 篇2

職位描述：

1、負責設計和開發分散式網路爬蟲系統，進行多平台信息的抓取和分析工作；

2、負責網頁信息和app數據抽取、清洗、消重等工作，提昇平台的抓取效率；

3、參與爬蟲核心算法和策略最佳化，熟悉採集系統的調度策略；

4、實時監控爬蟲的進度和警報反饋。

任職要求：

1、有紮實的算法和數據結構能力；

2、熟悉爬蟲原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開發經驗者優先；

3、掌握http協定，熟悉html、dom、xpath等常見的數據抽取技術；

4、有大規模數據處理、數據挖掘、信息提取等經驗者優先。

爬蟲工程師崗位職責 篇3

職責描述：

1、負責網路爬蟲系統的設計與開發

2、對爬取的網頁信息進行數據抽取，清洗和去重等工作

任職要求：

1、2年及以上網路爬蟲開發經驗，本科及大專學歷，計算機相關專業，

2、積極、溝通順暢，工作認真負責

3、紮實的編程能力，熟悉常用算法和數據結構等基礎知識

4、熟練掌握開發語言java或c/c++，熟悉腳本語言和正則表達式

爬蟲工程師崗位職責 篇4

職位描述：

1、開發網頁自動化腳本。

2、負責商品信息結構化，編寫自動化腳本解析網頁信息。

3、商品索引系統：億級sku的庫存價格實時跟蹤同步，並對商品進行智慧型分類、本地化、圖片處理和去重。

4、設計、開發、測試、部署以及維護並改進各子系統；

5、管理項目優先權並按時交付。

職位要求：

1、全日制統招本科、碩士畢業，1年以上軟體開發工作經驗；

2、熟悉至少一門通用靜態編譯程式語言，c/c++/java/c#/go；

3、熟悉web端基礎標準，包括html、css、javascript、json等；

4、熟悉python或其他腳本語言，有興趣和能力根據需求學習其他程式語言；

5、熟悉unix/linux環境，memcache/redis/mongodb等存儲系統，能獨立設計開發包括前後端互動的業務子系統；

6、熟悉常見的設計模式、單元測試、持續開發集成、code review，並能在日常工作踐行；

7、了解搜尋引擎、電子商務、社交類套用的系統基本架構，能對已有的子系統進行最佳化調整的優先；

8、活躍的開源項目貢獻者優先。

爬蟲工程師崗位職責 篇5

崗位職責

1、熟悉執行緒池、並發機制、鎖機制、執行緒安全原理；

2、java體系知識：網路io、設計模式、linux、jvm、java類載入機制、java記憶體模型；

3、爬蟲經驗：webmagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpclient、分詞、分散式爬蟲調度、數據質量監控、代理ip調度算法、配置化爬蟲、授權爬蟲、輿情、套用市場、反爬；

4、熟悉http/http、tcp/ip、socket等通訊協定；

5、6年以上軟體開發經驗，至少2年爬蟲開發經驗。

任職要求

1、採集、清洗、監控、配置化、調度、反爬、數據爬取、分詞、檢索等數據採集研發；

2、較強的邏輯思維和發散思維；

3、計算機或相關專業本科及以上學歷。

爬蟲工程師崗位職責 篇6

工作內容：

1、基礎系統架構、模組、庫和組件的研發；

2、分散式海量數據存儲和分析系統的研發和調優；

3、統計分析、報表、saas業務等系統研發；

4、crm、財務結算、工作流等內部管理系統的研發。

能力要求：

1、至少使用php/java/python等一門以上語言，開發過不算太小的項目；

2、熟悉數據結構、db、os、web開發等相關知識，對linux相關的各類技術情有獨鍾；

3、有大規模、高性能網際網路網站系統相關的設計和開發經驗者優先；

4、具備良好的學習能力和成長潛力，渴望和團隊一起快速成長。

爬蟲工程師崗位職責 篇7

職位描述：

負責設計和開發分散式網路爬蟲系統

套用多種技術對各平台進行數據採集

設計數據採集策略，提升數據採集效率及質量

與各行業分析師溝通，分析項目的可行性和討論抓取方案。

兩年以上爬蟲開發相關經驗，本科及以上學歷，計算機相關專業為佳

熟練掌握c#或java開發語言為佳

了解tcp/ip，http及相關網路協定

熟悉js / html / xpath / json /正則表達式等網頁相關技術

熟悉分散式、多執行緒、快取、訊息佇列等網際網路技術

熟悉手機套用的數據抓取，手機app開發經驗，加/脫殼經驗為佳

良好的溝通技能，注重細節，抗壓性強

良好的英語溝通技能為佳

爬蟲工程師崗位職責 篇8

職位要求

1、計算機相關專業，本科及以上學歷，3年以上爬蟲相關工作經驗；

2、對爬蟲編程有強烈愛好，熟練精通掌握至少1種語言java、python，在需要的情況下能快速上手新語言切換；

3、深入理解tpc/ip、http、以及web登錄認證的機制，有成功破解複雜驗證碼的經驗；

4、有通用分散式爬蟲系統架構和開發經驗，能快速部署新的爬蟲套用；

5、已有2年以上網路爬蟲或搜尋引擎工作經驗，參與過大規模數據爬蟲優先考慮；

6、有app安全、逆向等領域的經驗；

7、具有良好的溝通、團隊協作、計畫能力，有過1—2人的團隊管理經驗。

崗位職責

1、建設完善分散式爬蟲系統；

2、建立通用的爬蟲框架，能夠快速適應新的爬蟲需求；

3、快速完成對目標資源的數據抓取、處理。

爬蟲工程師崗位職責 篇9

職位描述：

1、負責廣告素材線索和垂直類產品爬蟲系統的設計、開發

2、抓取數據的清洗、落地、分析

3、抓取策略算法的更新維護，以及確保數據抽取準確、高效

任職要求：

1、具備強悍的編碼能力、紮實的數據結構和算法功底

2、熟悉tcp，http協定原理；熟悉ajax工作原理；精通python編程，熟悉一種開源爬蟲框架和源碼；

3、有爬蟲、信息抽取、文本分類、大數據處理相關經驗優先

4、有自然語言處理、機器學習經驗優先

爬蟲工程師崗位職責 篇10

職責描述：

1、負責公司產品的爬蟲架構設計與開發，以及爬蟲策略最佳化等工作；

2、根據數據產品需求，負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作；

任職要求：

1、計算機、數學或統計等相關專業本科及以上學歷，1年以上爬蟲相關工作經驗；

2、熟悉linux平台，熟練掌握python或java爬蟲開發工作；

3、熟悉靜態、動態網頁等大規模文本數據的高效信息抽取、清洗、存儲等技術；

4、有反爬相關問題處理經驗，精通常用的爬蟲技術及架構設計，並能快速開發實現；

5、具備良好的編程習慣和算法基礎；

6、善於學習，熱愛技術開發，善於團隊協作，能積極主動地參與公司產品研發等相關工作。職責描述：

1、負責公司產品的爬蟲架構設計與開發，以及爬蟲策略最佳化等工作；

2、根據數據產品需求，負責對網頁等大規模文本數據抓取、清洗、存儲等設計開發工作；

爬蟲工程師崗位職責 篇11

崗位職責：

1、負責網路爬蟲的架構設計、開發與最佳化；

2、負責抓取數據的清洗、落地、分析；

3、抓取策略算法的更新維護，以及確保數據抽取準確、高效。

任職要求：

1、兩年及以上網際網路或軟體行業工作經驗；

2、理解http協定，熟悉html、dom、xpath；

3、熟悉linux開發環境，至少熟悉python/go/java/node、js中的一種程式語言；

4、有爬蟲、信息抽取、文本分類、大數據處理相關經驗優先；

5、有自然語言處理、機器學習經驗優先；

6、熟悉瀏覽器核心、渲染機制優先；

7、工作認真，細心，有條理，積極性高；良好的溝通能力及團隊合作精神。

爬蟲工程師崗位職責 篇12

職位描述：

1、參與爬蟲系統的架構設計與開發；

2、負責執行和開發分散式網路爬蟲系統，進行多平台信息的抓取和分析；

3、負責網頁信息和app數據抽取、清洗、消重等工作，提昇平台的抓取效率；

4、參與爬蟲核心算法和策略最佳化，熟悉採集系統的`調度策略；

5、實時監控爬蟲的進度和警報反饋。

任職要求：

1、本科以上學歷，3年以上爬蟲開發相關經驗，熟練使用python或java進行開發；

2、熟練使用正則表達式、css path、xpath等，能夠從結構化的和非結構化的數據中獲取信息；

3、熟練使用mysql資料庫，掌握redis、mongodb、hive等常用nosql技術並具有實戰經驗；

4、熟悉各種抓取技術，包括代理、phantomjs/selenium、驗證碼處理；

5、熟悉整個爬蟲的設計及實現流程，有從事網路爬蟲、網頁信息抽取開發經驗，熟悉反爬蟲技術，有分散式爬蟲架構經驗；

6、具有數據挖掘、自然語言處理、信息檢索、機器學習背景者優先；

7、快速學習能力，工作積極主動，有創業熱情和良好的團隊協助能力；

8、需要有大量數據爬取以及高難度反爬經驗，沒有相關經驗的勿擾。

爬蟲工程師崗位職責 篇13

職責:

1、負責海量科技數據(含文本數據)的挖掘工作;

2、負責科技數據挖掘算法模型的構建、套用、評測、報告;

3、主持或參與海量科技數據的入庫工作，科技數據知識圖譜的構建;

4、負責或參與數據挖掘成果論文、專利、標準的撰寫;

5、負責或參與制定數據加工清洗的方案，並形成操作手冊;

6、為指定的課題提出解決方案，並主持或參與方案實施;

7、完成安排的各項工作，與其他部門合作。

崗位要求：

1、數學、統計、金融、科技管理、計算機等相關專業，博士學歷優先;

2、具有2年及以上海量數據挖掘經驗，有文本挖掘、非結構化文本處理經驗者優先;

3、精通Matlab/Python/R/Scala之一，熟悉Java/C/C++等程式語言，熟練掌握Linux各項操作指令;

4、熟練掌握Hadoop/Spark/Storm/Kafka中的一項或幾項，有MPI經驗者尚佳;

5、掌握機器學習的基本算法框架，有自然語言處理和豐富的特徵工程(特徵選擇/特徵抽取)經驗者優先;

6、掌握關係型資料庫的基本操作，有圖形資料庫、其他非關係型資料庫經驗者尚佳;

7、在醫療信息化從事產品開發工作者優先，有頂會paper或人工智慧領域國際比賽中獲獎者優先;

8、有比較強的組織協調能力，可同時處理好多個任務，具備一定的管理能力;

9、性格開朗，具有團隊精神;較強的溝通能力，能與相關業務和開發人員討論並快速理解需求。

爬蟲工程師崗位職責 篇14

1.研究雷射加工工藝及方法,特別是精密加工及雷射微加工方面;根據雷射套用方向進行面向產業化的雷射工藝製程研究,並形成相應的技術文檔。

2.在雷射加工工藝方面,輔助新產品開發及產品升級;

3.研究各種材料的雷射加工方法;

4.新產品開發後的雷射工藝技術培訓工作;

5.負責客戶樣品的打樣,並提供解決方案,為售前和售後提供技術支持。

爬蟲工程師崗位職責 篇15

崗位職責

1、大學本科及以上學歷，優秀者可放寬

2、 5年以上電纜或線束產品開發經驗，其中至少2年以上工業電纜或線束產品開發經驗。

3、熟悉工業電纜或線束常用塑膠材料供應商及牌號。

4、熟悉電纜或線束加工工藝，對tpu、lsnh、tpe擠出有較深入研究。

5、熟悉電纜或線束加工設備及參數，特別是螺桿、擠出模具。

6、能獨立開展新產品研發工作(從規格制定、材料選用、工藝路徑、標準認證、測試驗證到標準化。)

7、能夠獨立完成樣品製作並形成標準化檔案，教導員工正確工作方法。

8、能夠獨立開展技術支持及技術培訓工作。

9、熟練使用autocad及office軟體。

10、能夠閱讀英文技術資料及工業標準。

11、有良好的.語言表達及溝通能力，具團隊合作精神。

12、有責任心、進取心、持之以恆專研精神。

爬蟲工程師崗位職責 篇16

1、完成日常發機前的檢機任務，確保設備功能正常

2、發機後協助支援售服熟悉設備功能及定製軟體的使用

3、處理髮機後的軟硬體上的疑難問題

4、對接各產品中心的技術支持，嚴格按客戶需求和流程檢驗設備

5、完成上級領導臨時交辦的其他相關工作

爬蟲工程師崗位職責 篇17

崗位職責:

1、貫徹執行公司智慧財產權戰略和規劃;

2、專利挖掘撰寫、專利分析部署;

3、專利侵權分析與評估;

4、專利體系推動 。

任職要求:

1、本科以上學歷,機械相關專業,三年以上專利工作經驗;

2、熟悉國家智慧財產權法律法規;掌握專利及家電產品研發知識;

3、具有較強的責任感和事業心,具有行業競爭狀況分析能力;

4、有家電行業工作經驗或專利代理人資格優先。

福利待遇:

1、5天8小時製作息時間,有競爭力的薪資報酬,公司重要崗位。

2、按法律規定購買五險一金,依法享有法定休假,帶薪休假,按公司制度享受“六必訪”關愛關護。

3、為員工提供良好的'宿舍環境及配套設施,空調、熱水器、網線等一應俱全。

4、為員工提供開往杭州市各個方向的免費班車。

5、根據職務發放通訊補貼、餐補、節假日購物卡等福利等。

6、為員工提供每年一度的全方位的健康體檢。

7、健全的培訓體制,保障全員知識技能的提升,保持優勢競爭力!

8、公平公正的內部招聘制度,為員工提供展現自我,快速晉升的通道。

9、為員工提供豐富的文化生活,設有員工娛樂活動室,十大俱樂部,不定期的舉辦文體活動以及團隊活動、旅遊。

爬蟲工程師崗位職責 篇18

1、 熟悉電信領域技術與售前支持工作，熟悉電子簽名領域軟體技術與售前支持工作;熟悉運營商體系;

2、 負責與合作客戶進行合作交流，分析客戶需求、結合公司產品編寫方案設計報告、實施方案報告和其他技術方案;

3、 參與起草項目規格說明書，國家/行業標準以及其他相關材料;

4、 對ICT行業內新技術新產品和新項目進行跟進研究;

5、 配合其它部門做好客戶溝通、資料共享、技術協調等工作;

爬蟲工程師崗位職責 篇19

崗位職責

1、負責後台與不同電商平台及商城的系統對接,使用各種api及網路爬蟲技巧,抓取、分析、調度、存儲,為公司業務提供正確穩定的'數據;

2、負責電商平台及商城的相關外掛程式開發,在github開源及維護負責對接系統之sla ,代碼維護、秩代更新,保證任務質量和交付及時性;

3、負責編寫相關的技術文檔;

4、負責編制單元測試、集成測試,提高測試覆蓋率,敢於對產品質量負責;

5、參與制定技術標準及研究新技術,有效地提高工作效率;

6、參與系統關鍵模組的技術攻關,協助解決項目中的難題。

崗位要求

1、統招本科或以上學歷,計算機相關專業(985/211院校優先);

2、一年或以上php開發工作經驗;

3、熟悉git / github,通信協定tcp/http及restful標準;

4、熟悉主流測試方法、工具,並不斷結合前沿技術提升整體測試效率和研發質量;

5、有shopify、magento、opencart或amazon等相關平台模組開發經驗;

6、有docker、kubernetes、aws、阿里雲或gcp雲計算經驗者優先;

7、有ci / cd自動化持續集成和持續交付經驗者優先;

8、具備英語聽讀寫能力,cet4或以上。

爬蟲工程師崗位職責 篇20

崗位職責:

1.支持變頻的產品技術工作，對技術問題進行解答;

2.低壓變頻器、伺服產品的現場套用調試，解決問題;

3.提供行業變頻、伺服解決方案，套用開發。

任職要求:

1.專科以上學歷電氣工程及其自動化、機電工程相關專業2-3年以上變頻器套用經驗，有行業套用專長，精通朝鮮語優先;

2.對變頻器原理、結構、調試等精通;

3.具備分析變頻器故障原因及提出改善意見的`能力。

爬蟲工程師崗位職責 篇21

職責描述:

1、負責開閉件產品及相關部件技術方案制訂、設計檔案的制定和圖紙的設計;

2、負責開閉件零部件的設計/選型;

3、解決試製過程中存在的各種技術問題;

4、負責開閉件產品及零部件的驗證;

5、根據客戶要求對開閉件產品進行最佳化改進;

6、新技術、新材料、新工藝的'研發/套用。

任職要求:

1、機械專業基礎紮實;

2、熟悉注塑、衝壓工藝、裝配工藝;

3、熟練使用cad、catia等設計軟體;

4、具有良好的溝通能力。