公司名稱：某知名互聯(lián)網(wǎng)公司
工作地點：北京
職位描述：
分布式爬蟲開發(fā)
負責爬蟲算法/反爬策略/代理IP優(yōu)化研究及落地實施，提高爬取實時性、成功率
對抓取后的數(shù)據(jù)進行清洗、存儲等，并持續(xù)優(yōu)化平臺
負責爬蟲自動化平臺的開發(fā)和持續(xù)優(yōu)化
任職資格：
熟悉常用的爬蟲技術(shù)及架構(gòu)，具有一定的反爬分析對抗能力，2年及以上爬蟲經(jīng)驗 有大型電商/直播/社媒/本地生活平臺爬取經(jīng)驗，Android/iOS14逆向破解經(jīng)驗者優(yōu)先
熟練使用Scrapy、Redis、MongoDB、Mysql、Git
熟悉Linux開發(fā)環(huán)境，熟悉Python
熟悉Selenium、Pyppeteer
