南京雨花臺(tái)區(qū)急招爬蟲工程師

崗位職責(zé)：

1、參與爬蟲系統(tǒng)核心技術(shù)架構(gòu)設(shè)計(jì)及開發(fā);

2、負(fù)責(zé)設(shè)計(jì)爬取、調(diào)度和分布式高可用的實(shí)現(xiàn)；

3、負(fù)責(zé)網(wǎng)頁(yè)信息和數(shù)據(jù)抽取、清洗、消重等工作，提升平臺(tái)的抓取效率;

4、編寫維護(hù)產(chǎn)品中用到一些自動(dòng)化腳本(自動(dòng)化部署、自動(dòng)化測(cè)試等);

5、完成其他相關(guān)工作任務(wù)。

任職資格：

1、計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，3年以上的Python開發(fā)經(jīng)驗(yàn)；

2、熟練掌握Python語(yǔ)言，掌握scrapy、selenium、puppeteer等數(shù)據(jù)抓取方面常用的python庫(kù)；

3、有海量數(shù)據(jù)爬取經(jīng)驗(yàn)者優(yōu)先，有大數(shù)據(jù)量、大并發(fā)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先，有互聯(lián)網(wǎng)、電商平臺(tái)、移動(dòng)端數(shù)據(jù)爬取技術(shù)經(jīng)驗(yàn)者優(yōu)先；

4、有良好的代碼習(xí)慣，結(jié)構(gòu)清晰，熟悉Git版本管理；

5、優(yōu)秀的跨部門溝通和團(tuán)隊(duì)協(xié)作能力，關(guān)注細(xì)節(jié)，執(zhí)行能力強(qiáng)，工作態(tài)度嚴(yán)謹(jǐn)。