職責(zé)描述:
1、負(fù)責(zé)數(shù)據(jù)采集系統(tǒng)的技術(shù)架構(gòu)設(shè)計(jì)與核心功能開(kāi)發(fā);產(chǎn)品開(kāi)發(fā)和技術(shù)研究工作,解決各類技術(shù)疑難問(wèn)題;
2、負(fù)責(zé)核心算法的策略優(yōu)化研究,充分利用資源,避免限制;
3、有良好的成本意識(shí),對(duì)產(chǎn)品性能有比較高的追求,好的大局觀,有良好的學(xué)習(xí)能力。
任職要求:
1、有3年以上爬蟲(chóng)工作經(jīng)驗(yàn)并有高并發(fā)大量采集項(xiàng)目經(jīng)驗(yàn)優(yōu)先考慮;
2、有較強(qiáng)的責(zé)任心、溝通協(xié)調(diào)能力,工作主動(dòng)積極;
3、熟練Python編程語(yǔ)言,掌握反爬技術(shù),圖片識(shí)別碼,滑動(dòng)塊識(shí)驗(yàn)碼等技術(shù)優(yōu)先考慮;
4、熟悉Scrapy,Django,F(xiàn)lask, Tornado等至少一種框架;
5、熟悉關(guān)系型數(shù)據(jù)庫(kù)(MySQL/PostgreSQL/Oracle),緩存數(shù)據(jù)庫(kù)(Redis/Memcached)優(yōu)先考慮;
6、精通一種開(kāi)源爬蟲(chóng)框架,如scrapy等,有開(kāi)發(fā)爬蟲(chóng)框架、構(gòu)建過(guò)分布式爬蟲(chóng)系統(tǒng)者優(yōu)先;
7、有獨(dú)立項(xiàng)目(前后臺(tái))開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先;
8、能力突出可以帶Python團(tuán)隊(duì)。