（崗位職責(zé)） 1、設(shè)計、開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進行多平臺信息的抓取和分析工作； 2、優(yōu)化數(shù)據(jù)庫結(jié)構(gòu)，確保數(shù)據(jù)的有效性、嚴謹性、高性能； 3、參與爬蟲核心算法和策略優(yōu)化，熟悉采集系統(tǒng)的調(diào)度策略；提升平臺的抓取效率； 4、實時監(jiān)控爬蟲的進度和警報反饋，并處理爬蟲異常； 5、分析爬蟲系統(tǒng)瓶頸設(shè)計實現(xiàn)相應(yīng)策略和算法，提升爬蟲的抓取效率和質(zhì)量。持續(xù)進行算法和策略優(yōu)化，提升爬蟲的抓取效率和質(zhì)量； 6、參與業(yè)務(wù)藍圖設(shè)計、業(yè)務(wù)需求、系統(tǒng)設(shè)計、代碼規(guī)范等評審工作； 崗位要求： 1、精通API接口對接、高效對接相關(guān)業(yè)務(wù)系統(tǒng)；有數(shù)據(jù)清洗、數(shù)據(jù)加工工作經(jīng)驗； 2、有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗；對數(shù)據(jù)敏感，精通數(shù)據(jù)抓取原理及技術(shù)，有數(shù)據(jù)爬取及防爬實戰(zhàn)經(jīng)驗； 3、熟練Linux系統(tǒng)及Shell；熟練Python、Java開發(fā)語言；熟悉Hadoop、Spark技術(shù)； 4、 熟悉Mysql、SQLserver、PostgreSql數(shù)據(jù)庫，熟練搭建數(shù)據(jù)庫服務(wù)器及集群服務(wù)；熟悉Redis、Memcache、MongoDB等NoSQL緩存技術(shù)