Python開發(fā)工程師26-34萬
發(fā)布人:
高邦獵頭 發(fā)布時間:2020-11-09
公司名稱:上海某知名游戲公司
工作地點:上海
崗位職責(zé):
1、負(fù)責(zé)相關(guān)網(wǎng)站、論壇的爬蟲設(shè)計和開發(fā),以及策略持續(xù)優(yōu)化;
2、分析結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),并對數(shù)據(jù)抓取、信息提取、去重、清洗;
3、解決反爬疑難問題,設(shè)計及優(yōu)化爬蟲系統(tǒng)等。
任職要求:
1、本科及以上學(xué)歷,計算機(jī)軟件或相關(guān)專業(yè),三年及以上python開發(fā)經(jīng)驗;
2、掌握網(wǎng)絡(luò)爬蟲開發(fā)原理,熟悉互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式;
3、掌握HTML,JS,精通JS逆向,精通常見的反爬蟲技術(shù)如文本混淆反爬蟲、驗證碼等;
4、精通一種爬蟲框架,對分布式爬蟲、海量數(shù)據(jù)采集有深刻的理解;
5、熟練掌握正則表達(dá)式、XPath等信息抽取技術(shù);
6、有通用網(wǎng)站和論壇爬取及解析的經(jīng)驗如Readability、Newspaper等。