崗位職責(zé)：
1. 負(fù)責(zé)移動(dòng)客戶端數(shù)據(jù)采集、識(shí)別與正確解析。
2. 負(fù)責(zé)移動(dòng)端爬蟲(chóng)架構(gòu)設(shè)計(jì)（包括基礎(chǔ)資源，如移動(dòng)設(shè)備群集技術(shù)、代理池技術(shù)、反反爬技術(shù)、移動(dòng)設(shè)備群控技術(shù)等等）與核心技術(shù)研發(fā)。
3. 負(fù)責(zé)移動(dòng)端數(shù)據(jù)的特征挖掘，主要對(duì)移動(dòng)設(shè)備數(shù)據(jù)請(qǐng)求協(xié)議、移動(dòng)端交互數(shù)據(jù)、資源變化趨勢(shì)等進(jìn)行數(shù)據(jù)抓取、分析和特征建模。
4. 設(shè)計(jì)策略和算法，提升數(shù)據(jù)抓取的效率和質(zhì)量，進(jìn)一步解決系統(tǒng)的網(wǎng)頁(yè)排重、垃圾控制、資源劃分等問(wèn)題 。
5. 分析爬蟲(chóng)系統(tǒng)的技術(shù)缺陷，對(duì)策略架構(gòu)做出合理地調(diào)整和改進(jìn)。
任職要求：
1. 精通Java/C++/Python語(yǔ)言編程，熟悉linux平臺(tái)開(kāi)發(fā)與部署。
2. 熟悉HTTP、XML、JSON、SOAP、tcp/ip、網(wǎng)絡(luò)代理等網(wǎng)絡(luò)協(xié)議。
3. 熟悉APK反編譯、IDA、Android Studio等常用客戶端逆向分析工具，熟悉客戶端動(dòng)態(tài)調(diào)試技術(shù)。
4. 熟悉常見(jiàn)的移動(dòng)端反爬機(jī)制及對(duì)應(yīng)的應(yīng)對(duì)措施，如ua、cookie識(shí)別。
5. 精通隊(duì)列通信、分布式、多線程開(kāi)發(fā)技術(shù)。
6. 有較強(qiáng)的數(shù)據(jù)分析與建模能力。
7. 有開(kāi)源網(wǎng)頁(yè)爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
