您当前的位置:博兴首页 >> 分类信息首页 >> 招聘求职首页 >> 求职简历 >> 简历信息
                    头像
                    刘艳征
                    |
                    期望职位:python开发 软件开发测试运维数据采集
                    查看联系方式

                    更新时间:2019/6/3 12:44:02  信息关注度:265人次

                    刘艳征

                    刘艳征

                    23岁 | | 大专 | 1-3年 工作经验
                    查看联系方式

                    求职意向

                    • 期望职位: python开发 软件开发测试运维数据采集
                    • 职位类别: 程序/网管
                    • 期望月薪: 面议

                    自我描述

                    熟练运用Python语言,熟悉Python标准库和流行的第三方库 熟悉常见的爬虫反爬虫机制及应对策略 熟悉scrapy爬虫框架 掌握网页抓取原理及技术,了解基于Cookie的登录原理 熟悉HTML5、CSS、JavaScript、jQuery、Bootstrap等前端的一些知识 熟悉request、urllib库 能够基于正则表达式、XPath等网页信息抽取技术 能够使用MySQL、Postgresql、Redis、MongoDB等常用数据库的使用 熟悉Linux系统以及常用指令 能够运用Django、Flask等主流web框架 上家公司的主要工作为: 1) 对指定网站进行数据抓取、清洗、汇总以及数据处理; 2) 参与开发和后期维护爬虫采集系统; 3) 负责设计开发数据采集策略和防屏蔽规则,提升数据采集的效率和质量; 4) 负责软件的二次开发,功能的迭代更新和软件的优化; 5) 对所开发的功能进行维护,并建立和完善开发文档; 6) 参与产品需求分析、系统设计等开发流程及上线项目的功能拓展、迭代开发的部分任务; 项目名称:线上爬虫采集平台 开发环境:scrapy、MySQL、Django 项目描述:本采集系统方案主要目的意在设计出一套比较成熟稳定且高效可靠的通用采集系统,简化操作流程,达到功能完善,系统分为两部分,即爬虫主体系统和爬虫管理系统。 平台采集网站含有:物流中国、中国物流与采购网、中国物流与采购、物流时代、中国物流产业网、国家统计局数据、智联招聘、猎聘、百度贴吧、知乎等;采集的方向主要为新闻,数据资讯以及物流招聘信息; 责任描述:1)物流相关信息网页展示数据的采集(正确率应在95%以上); 2)应具有扩展功能以支持其他行业采集; 3)爬虫管理及监测功能,即admin管理后台; 4)爬虫报错信息查询; 5)爬虫采集数据监测情况; 6)每天定时抓取,保持数据更新。 技术要点:1)scrapy爬虫主体程序结构组; 2)使用MySQL数据库对数据进行定期存储; 3)使用Django框架进行爬虫管理系统开发; 4)对抓取的数据进行抽取、清洗、去重; 项目名称:数据挖掘平台软件开发 开发环境:python、windows、Postgresql 项目描述: 数据挖掘平台LogisPMT是为数据挖掘爱好者以及专家提供的一个机器学习、数据可视化的工具,具有充满乐趣的交互式数据分析工作流和一个巨大的工具箱。主要对软件的迭代更新、新功能的添加以及更改软件部件使用过程中的不足,增加用户的体验感。 责任描述: 1) 软件与数据库相关联,开发数据库链接小部件; 2) 增加用户权限功能(VIP用户可以使用全部数据); 3) 解决两个用户同时登陆,解决软件非正常退出情况而导致用户没有退出,而影响以后登录问题; 4) 新功能的设计与迭代更新; 5) 软件打包上线。 技术要点: 1)使用python开发软件的功能与优化; 2)实现软件与Postgresql数据库之间的数据传输; 3)禁止数据通过软件导出到本地造成数据被偷??; 4)在软件中增加心跳包,检测软件是否正在登录。 项目名称:拼多多手机APP商品拼团信息爬取 开发环境:Python、MySQL、window 项目描述:使用python的requests??槎云炊喽嗌唐返呐廊?,并进行进一步的解析处理,将有效数据存储到MySQL中。 责任描述:1)爬取拼多多商品的拼团情况,主要爬取商品名称、拼团成功人数与商品的价格; 2)数据的初步清洗、截取以及分类; 2)将数据存储到MySQL数据库中提供给数据挖掘软件使用; 技术要点:1)Fiddler抓包获取商品数据; 2)针对反爬虫机制编写随机User-Agent,代理池等反反爬虫功能; 3)使用json进行数据的提取 项目名称:对微信公众号的数据抓取 开发环境:window、Scrapy、MySQL 项目描述:通过微信公众平台对微信公众号的内容进行爬取,对抓取的内容进行清洗,存成文本供产品部门使用。 责任描述:1)页面结构分析; 2)编写程序完成网页爬取,负责网页信息抽取、数据清洗工作; 3)对抓取的数据进行抽取、清洗、去重,并做存储; 技术要点:1)使用scrapy框架进行爬取网页,使用xpath进行数据的提??; 2)运用第三方Ip代理池防治反爬虫技术; 3)携带cookie和User-Agent绕过二维码的扫描登录 4)对抓取的数据进行抽取、清洗、去重;

                    工作经历

                    • 南山集团(2016.7-2017.9)
                    • 职位名称:python开发
                    • 北京络捷斯特科技发展股份有限公司(2017.10-2019.5)
                    • 职位名称:软件开发,数据采集

                    您的同行查看了以下简历 海量优质简历戳这里>>

                    x

                    一经采纳:

                    1、我们将会对该简历进行删除或更正

                    2、返还招聘推广金作为补偿(招聘推广金可用于支付简历,置顶,刷新等招聘服务)

                    3、我们将会在站内信和服务号通知您处理意见;扫描服务号二维码,接收反馈通知

                    城市通服务助手
                    微信
                    ;
                    电话:0543-2166169 邮箱:boxingzaixian@163.com
                    地址:山东省博兴县胜利一路409号 邮编:256500
                    Copyright ? 2004-2019  版权所有  技术支持:城市中国
                    鲁ICP备09023384号  电信与信息服务业务经营许可证090779号 电信业务审批[2009]字第548号函
                    分类小帮手
                    本站客服帮助
                    广东福彩好彩1是什么_中国体育彩票客户端下载-黑龙江快乐十分哪个好 哔哩哔哩| 哪吒涉嫌抄袭起诉| 六部门约谈网约车| 普京日历日本脱销| 烈火英雄抄袭被诉| 强冷空气将到货| 东航平安备降南昌| 六部门约谈网约车| 玻利维亚总统辞职| 2020年高考报名|