崗位職責：
1.主導和參與爬蟲系統的架構設計、開(kāi)發(fā)與優化；
2.研究優化爬蟲算法，提升爬蟲系統的穩定性、可擴展性；
3.設計爬蟲策略和防屏蔽規則，提升網頁抓取的效率和質量；會拿
4.能(néng)獨立解決實際開(kāi)發(fā)過(gu化內ò)程中碰到的各類問題；
5.負責大數據産品所需網站的信息抓取、解析、清洗冷什等研發(fā)與優化工作。
任職要求：
1.熟悉爬蟲基本原理，熟悉常見的反爬蟲技術，有爬蟲相關項目開(kāi)發(f少用ā)經(jīng)驗者優先；
2.熟悉http協議，熟悉html、xpath等常見的數據抽取技術；
3.精通HTML/DOM ；
4.熟悉JavaScript或ActionScript3；
5.熟悉TCP/IP、HTTP、WebSoc車做ket協議 ；
6.有較強的代碼閱讀能(néng)力；
7.兩(liǎng)年以上破解/逆向(xiàng)和熱分析經(jīng)驗；
8.Python語言 ；
9.熟悉Scrapy采集框架；
10.參與過(guò)多人協作項目，擁有大批量分布式多線程人線抓取經(jīng)驗者優先 。
