# Python_week10_homework_project

**Repository Path**: clonetiger/Python_week10_homework_project

## Basic Information

- **Project Name**: Python_week10_homework_project
- **Description**: Python_week10_homework_project

项目介绍
Python全栈开发第十周作业。 

作业内容：
1）使用Scrapy框架和Selenium配合爬取京东网站商品列表信息（>=50页）：网址：https://list.jd.com/list.html?cat=670,671,672

2）使用scrapy-redis分布式爬取CSDN学院平台中所有课程信息。如：https://edu.csdn.net/courses/k 爬取所有课程详情url地址。然后再通过队列url中对应的每个课程详情信息，使用分布式爬取。如：https://edu.csdn.net/course/detail/5466。
要求内容：课程标题，课时、讲师、适合人群、学习人数、价格、课程大纲。

班级：Python五期 

学员：李子坚
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2018-07-20
- **Last Updated**: 2020-12-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

Python_week10_homework_project

项目介绍
Python全栈开发第十周作业。 

作业内容：
1）使用Scrapy框架和Selenium配合爬取京东网站商品列表信息（>=50页）：网址：https://list.jd.com/list.html?cat=670,671,672

2）使用scrapy-redis分布式爬取CSDN学院平台中所有课程信息。如：https://edu.csdn.net/courses/k 爬取所有课程详情url地址。然后再通过队列url中对应的每个课程详情信息，使用分布式爬取。如：https://edu.csdn.net/course/detail/5466。
要求内容：课程标题，课时、讲师、适合人群、学习人数、价格、课程大纲。

班级：Python五期 

学员：李子坚


软件架构
软件架构说明


安装教程
1.作业1）运行步骤：

1）运行mongod.exe，启动Mongo数据库；

2）运行mongo.exe，启动MongoDB客户端；在MongoDB客户端下，执行命令use jd和db.createCollection("products")；

3）打开命令行窗口，进入scrapyseleniumjob文件夹，运行命令：scrapy crawl jdproduct。


2.作业2）运行步骤；

1）启动Redis服务；

2）打开一个命令行窗口，进入csdnslave\courseinfo文件夹，运行命令：scrapy crawl course；

3）再打开一个命令行窗口，进入csdnslave\courseinfo文件夹，运行命令：scrapy crawl course；

4）再打开一个命令行窗口，进入csdnmaster\courselist文件夹，运行命令：scrapy crawl courseurl；

5）等待步骤4）运行结束，关闭步骤4）打开的命令行窗口；

6）等待步骤2）和步骤3）数据处理完成，进入轮询状态，关闭步骤2）和3）打开的命令行窗口；

7）运行mongod.exe，启动Mongo数据库；

8）打开命令行窗口，在Python_week10_homework_project文件夹下，运行命令：python process_csdn_mongodb.py，将爬取的课程信息从Redis数据库转存至MongoDB。


使用说明
1.scrapyseleniumjob			    				——作业1）项目文件夹：使用Scrapy框架和Selenium配合爬取京东网站商品列表信息

2.csdnmaster									——作业2）主项目文件夹：使用scrapy-redis分布式爬取CSDN学院平台中所有课程信息。

3.csdnslave										——作业2）从项目文件夹：使用scrapy-redis分布式爬取CSDN学院平台中所有课程信息。

4.process_csdn_mongodb.py						——作业2）辅助功能python程序：将爬取的课程信息从Redis数据库转存至MongoDB

5.README.md										——项目说明文件


参与贡献
1.Fork 本项目
2.新建 Feat_xxx 分支
3.提交代码
4.新建 Pull Request


码云特技
1.使用 Readme_XXX.md 来支持不同的语言，例如 Readme_en.md, Readme_zh.md
2.码云官方博客 blog.gitee.com 
3.你可以 https://gitee.com/explore 这个地址来了解码云上的优秀开源项目
4. GVP 全称是码云最有价值开源项目，是码云综合评定出的优秀开源项目
5.码云官方提供的使用手册 http://git.mydoc.io/ 
6.码云封面人物是一档用来展示码云会员风采的栏目 https://gitee.com/gitee-stars/