职位描述
该职位还未进行加V认证,请仔细了解后再进行投递!
1.负责分布式网络爬虫系统的设计与开发;
2.负责爬取互联网上允许搜索爬虫采集的公开数据的爬取、清洗、解析、入库;
3.针对需要的数据,寻找网站或app内可用的接口;
4.研究主流网站和app反爬机制,寻找应对方案;
5.不断的学习研究行业新技术,提升业务能力,并作团队分享;
6.js、Android、IOS应用的逆向,能正向还原关键算法;
任职资格:
1.大专及以上学历,计算机相关专业,3年以上相关工作经验;
2.熟悉linux开发环境,熟练掌握java或python编程语言,熟悉js语言;
3.掌握web/app 常见的反爬机制,精通各种反爬破解,包括但不限于:hook、Js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能;
4.熟练掌握http协议,xpath、csspath、正则表达式,有使用webmagic经验优先;
5.有mysql、redis、kafka、clickhouse使用经验;
6.熟悉selenium或Puppeteer,appium或airtest,AutoJS;
7.熟悉常用反爬手段及其对应方法、技巧;
8.有良好的责任心、沟通能力、学习能力、团队协作精神;
9.熟悉常用js防护手段及其对应的分析、调试技巧优先;