Software Engineer Data Crawler数据采集爬虫方向

13-26万

上海-黄浦区

|

2年以上经验

|

本科及以上

职位诱惑:年底双薪,股票期权,绩效奖金,带薪年假,弹性工作,扁平管理,岗位晋升,五险一金

信励

广告/公关/市场推广/会展  | 1-49人

山东中路311号查看地图

职位描述

Job Description:
1. 负责制定网络数据抓取规则,数据的提取、清洗、入库以及汇总的开发工作;
2. 负责传统网页、电商网站、社会化媒体网站等互联网数据的高效采集与正确解析;
3. 负责搜索爬虫的核心技术研究与开发,搜索前沿爬虫技术并实践;
4. 大规模分布式互联网爬虫系统的开发和维护,提升网页抓取效率和质量。

Requirements (任职要求):
1. 本科或以上学历,计算机及相关专业,2年以上开发经验, 熟悉HTTP传输协议;
2. 熟悉搜索引擎和网络爬虫相关技术,有网页采集、Hbase等相关开发经验者优先,从结构化的和非结构化的数据中获取信息;
3. 熟悉Hadoop/Lucene/Nutch/Solr等开源工具者优先;
4. 熟悉倒排索引、全文检索、分词、排序等相关技术者优先;
5. 具有数据敏感度及钻研精神;
6. 有强烈的求知欲,关注行业内不断涌现的新技术,能够积极主动沟通,有很强的团队合作能力。

岗位要求

  • 25-35
  • 英语 + 普通话
  • 技术部
  • 0人

职位发布人

可能感兴趣的职位

 换一换
如在投递及面试过程中遇到招聘方的收费行为,则存在诈骗风险,请您提高警惕。 举报