Python開發(fā)工程師23-30萬
發(fā)布人:
高邦獵頭 發(fā)布時間:2020-11-03
公司名稱:南京某游戲公司
工作地點:南京
崗位職責:
1、負責相關網(wǎng)站、論壇的爬蟲設計和開發(fā),以及策略持續(xù)優(yōu)化;
2、分析結構化和非結構化數(shù)據(jù),并對數(shù)據(jù)抓取、信息提取、去重、清洗;
3、解決反爬疑難問題,設計及優(yōu)化爬蟲系統(tǒng)等。
任職要求:
1、本科及以上學歷,計算機軟件或相關專業(yè),三年及以上python開發(fā)經(jīng)驗;
2、掌握網(wǎng)絡爬蟲開發(fā)原理,熟悉互聯(lián)網(wǎng)各種類型數(shù)據(jù)交互模式;
3、掌握HTML,JS,精通JS逆向,精通常見的反爬蟲技術如文本混淆反爬蟲、驗證碼等;
4、精通一種爬蟲框架,對分布式爬蟲、海量數(shù)據(jù)采集有深刻的理解;
5、熟練掌握正則表達式、XPath等信息抽取技術;
6、有通用網(wǎng)站和論壇爬取及解析的經(jīng)驗如Readability、Newspaper等。