王杰个人简历

我曾在某云计算公司担任数据采集工程师，负责海量数据的采集、清洗和处理。主要职责包括： 1. 使用Python编写爬虫程序，定时采集各大网站的数据，并进行清洗和存储； 2. 利用Hadoop、Spark等大数据处理技术，对采集到的数据进行分析和挖掘； 3. 与数据分析师、数据科学家紧密合作，为业务部门提供数据支持和决策建议。

项目职责

我参与了某大数据公司的某项目，负责数据采集和清洗。该项目旨在收集用户在社交网络上的行为数据，用于用户画像和推荐算法。具体工作包括： 1. 设计并实现了数据采集和清洗流程，使用Python编写了爬虫程序，从各大社交网络上采集用户数据； 2. 对采集到的数据进行清洗和预处理，剔除无效数据和异常数据，保证数据质量； 3. 利用Spark等大数据处理技术，对清洗后的数据进行分析和挖掘，提取用户特征和行为规律； 4. 与数据分析师和算法工程师紧密合作，为用户画像和推荐算法提供数据支持。