2014年8月16日 星期六

一些跟 web integration 有關的 perl 資源


1. 相當於瀏覽器中的 javascirpt console 、開發人員工具的模組。搭配 one-liner 的絕配:

网页分析处理的极品模块Web::Scraper

2. 相當於離線瀏覽/砍站軟體(如 teleport pro, httrack )的 perl 實現方式。

Mojo 版本的 Perl 爬虫

Perl 整站采集有什么好方案

多线程的 Perl 爬虫

其中還提到重覆文字偵測的 bloom 演算法,的確是滿酷的

沒有留言:

張貼留言