# web-crawler

**Repository Path**: rock117/web-crawler

## Basic Information

- **Project Name**: web-crawler
- **Description**: 一个简单的web爬虫，采用scala akka实现
- **Primary Language**: Scala
- **License**: GPL-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 15
- **Forks**: 9
- **Created**: 2014-11-18
- **Last Updated**: 2024-07-28

## Categories & Tags

**Categories**: spider

**Tags**: None

## README

#web-crawler
一个简单的web爬虫，采用scala + akka实现，该爬虫可以指定过滤规则，存储处理（文件存储，数据库存储。。。），例子如下
new Crawler().source(ArrayBuffer("http://money.163.com/stock/"))
    .processor(FileStore("d:/crawl-sites").process)    
    .filter((url: String) => { 
      url.contains("163.com")
    }).start