21天通关Python：爬虫作业 1 爬取时光网电影TOP100电影信息 （爬取数据包含：名字、导演、评分） 爬虫地址：http://www.mtime.com/top/movie/top100/ 学员：李子坚（阿坚） 2019年6月10日
21天通关Python：爬虫作业 1 爬取时光网电影TOP100电影信息 （爬取数据包含：名字、导演、评分） 爬虫地址：http://www.mtime.com/top/movie/top100/ 学员：李子坚（阿坚） 2019年6月10日
项目介绍 Python全栈开发第十六周作业。 作业内容： 一、在 jupyter notebook 中，实现 KNN 算法和 Decision Trees 算法，要求有完整的注释。 二、手写数字识别 样本中包含1797个手写数字灰度图像，每个图像大小为8*8。使用留出法拆分训练集与测试集，留出10%作为测试集。训练KNN模型，搜索最佳超参数k和p的取值，提升识别准确度。 班级：Python五期 学员：李子坚
Python_week15_homework_project 项目介绍 Python全栈开发第十五周作业。 作业内容： 一、服务器日志数据分析 log.txt文件记录了某个项目中某个api的调用情况，采样时间为每分钟一次，包括调用次数、响应时间等信息，大约18万条数据，请进行探索性数据分析。 二、图书分析 班级：Python五期 学员：李子坚
Python_week14_homework_project 项目介绍 Python全栈开发第十四周作业。 作业内容： (一)、安装numpy和pandas，并整理笔记。 (二)、使用pandas分别从Text、CSV、Excel、Html、MySQL、MongoDB中加载数据。 (三)、复习矩阵相关操作，并完成下题：每天菜价不同，但采购数量相等。(1)使用循环的方式计算每天的采购总金额，(2)使用矩阵点乘来计算每天的采购总金额，(3)测试两种⽅方式的性能。 (四)、阅读下面的代码：此时X中的数据如下，请将X处理为一个3列的矩阵，如下。请将X处理为一个3列的矩阵，如下。假设这是10条样本数据，前两列是样本的两个特征，第3列是样本的分类标记，请分离出样本的特征和分类标记，分别存放在两个变量中，用 X_train 存放样本特征(红色部份), y_train 存放分类标记(绿色部份)。请用numpy的比较运算，通过 y_train 中的数据，分离出 X_train 中的3个分类，如下图。 班级：Python五期 学员：李子坚
Python_week13_homework_project 项目介绍 Python全栈开发第十三周作业。 作业内容： 一、实现监控中心基础功能：实现主机远程登录功能；主机登录成功后，可以添加主机，并获取主机信息；点击一条主机，可以查看到主机当前CPU、内存、硬盘等资源占用情况；点击编辑功能，可以修改主机信息，如ip、标签等。 二、使用Docker搭建分布式爬虫：通过Docker运行分布式爬虫，使用scrapy-redis分布式爬取CSDN学院平台中所有课程信息。 班级：Python五期 学员：李子坚
Python_week12_homework_project 项目介绍： Python全栈开发第十二周作业。 作业内容： 1）准备linux 服务器,阿里云、腾讯云、虚拟机或其他方式。操作系统必须是ubuntu 版 本是16.04 2）熟练掌握linux 命令，练习3-5遍 3）练习过程整理笔记（运行重要步骤和结果要截图），要求用word粘贴 4）会部署django 项目，把之前django做的商城项目部署到服务器，可以成功访问，要有截图，要求word文档 5）了解负载均衡，rabbitmq 班级：Python五期 学员：李子坚
Python_week11_homework_project 项目介绍： Python全栈开发第十一周作业。 作业内容： 1）完成一个完整的《豆瓣图书网信息爬取项目》。将豆瓣读书网站上的所有图书信息爬取下来，并存储到MySQL数据库中。 爬取信息字段要求：[ID号、书名、作者、出版社、原作名、译者、出版年、页数、定价、装帧、丛书、ISBN、评分、评论人数] 班级：Python五期 学员：李子坚
Python_week10_homework_project 项目介绍 Python全栈开发第十周作业。 作业内容： 1）使用Scrapy框架和Selenium配合爬取京东网站商品列表信息（>=50页）：网址：https://list.jd.com/list.html?cat=670,671,672 2）使用scrapy-redis分布式爬取CSDN学院平台中所有课程信息。如：https://edu.csdn.net/courses/k 爬取所有课程详情url地址。然后再通过队列url中对应的每个课程详情信息，使用分布式爬取。如：https://edu.csdn.net/course/detail/5466。 要求内容：课程标题，课时、讲师、适合人群、学习人数、价格、课程大纲。 班级：Python五期 学员：李子坚
Python_week9_homework_project 项目介绍 Python全栈开发第九周作业。 作业内容： 1）使用Scrapy爬虫框架爬取新浪网的分类导航信息。网址：http://news.sina.com.cn/guide/ 2）使用scrapy模拟完成人人网登陆的登陆操作。网址：http://www.renren.com/ 3）爬取当当图书网站中所有关于python关键字的图书信息。要求：将图书图片下载存储指定的目录中，而图书信息写入到数据库中。参考URL：http://search.dangdang.com/?key=python&act=input 班级：Python五期 学员：李子坚
Python_week8_homework_project 项目介绍 Python全栈开发第八周作业。 作业内容： 1）分页爬取豆瓣网图书Top250信息，并分别使用三种网页信息解析库（Xpath，BeautifulSoup，PyQuery），并将信息写入文件中。 2）访问京东商城网址，选择多个商品放入购物车后查看自己的购物车。使用Python爬取京东商城网址购物车中的所有商品信息，并将信息写入文件中。 3）使用python程序爬取百度图片网站按关键词搜索的图片，并存储到指定目录下。 班级：Python五期 学员：李子坚
项目介绍 Python全栈开发第七周作业。 作业内容： 1）分别使用urllib和requests爬取有道翻译的信息，输入英文后获取对应的中文翻译信息 2）分页爬取58同城的租房信息，信息内容要求有：【标题、图片、户型、价格】，并且获取指定页的所有租房信息 3）爬取猫眼电影中榜单栏目中TOP100榜的所有电影信息（10页信息全部爬取），字段要求【序号、图片、电影名称、主演、时间、评分】，并将信息写入文件中 班级：Python五期 学员：李子坚
Python_week6_homework_project 项目介绍 Python全栈开发第六周作业。 作业内容：使用Django框架完成了商城项目的前台开发。具体任务有：前台会员注册、会员中心的个人信息浏览、编辑和重置密码、网站首页部分商品的输出。共计四个功能。关于商城首页的商品展示，按照点击率排序获取最高的5条，数码和服装类别的商品可以获取最新的4条信息，加载到前台输出即可。 班级：Python五期 学员：李子坚
项目介绍 Python全栈开发第五周作业。 作业内容：使用Django框架完成了商城项目的后台管理开发。具体任务有：重置会员密码、为会员信息浏览添加搜索&分页效果、商品信息删除和商品信息修改。共计四个功能。 班级：Python五期 学员：李子坚
项目介绍 Python全栈开发第四周作业。 作业内容：通过本周学习使用Django框架完成一个《在线相册信息管理》，要求实现在线相册信息的增、删、改、查等操作，要求使用到的技术有：Django框架、MySQL数据存储、文件上传、图片缩放、数据分页。 班级：Python五期 学员：李子坚
项目介绍 Python全栈开发第三周作业。 班级：Python五期 学员：李子坚 作业：Web前台界面，通过本周学习完成一套商城前台静态界面项目，要求内有商城首页（模仿努比亚nubia手机商城首页）。
