Panduan untuk Crawler4j

1. Pengenalan

Kami melihat perayap web digunakan setiap kali menggunakan mesin carian kegemaran kami. Mereka juga biasa digunakan untuk mengikis dan menganalisis data dari laman web.

Dalam tutorial ini, kita akan belajar bagaimana menggunakan crawler4j untuk menyiapkan dan menjalankan perayap web kita sendiri. crawler4j adalah projek Java sumber terbuka yang membolehkan kita melakukan ini dengan mudah.

2. Persediaan

Mari gunakan Maven Central untuk mencari versi terbaru dan membawa kebergantungan Maven:

 edu.uci.ics crawler4j 4.4.0 

3. Membuat Crawler

3.1. Crawler HTML ringkas

Kita akan mulakan dengan membuat crawler asas yang merangkak halaman HTML di //baeldung.com .

Mari buat crawler kami dengan memperluas WebCrawler di kelas crawler kami dan menentukan corak untuk mengecualikan jenis fail tertentu:

public class HtmlCrawler extends WebCrawler js

Di setiap kelas perayap , kita mesti mengesampingkan dan melaksanakan dua kaedah: harusKunjungi dan lawati .

Mari buat kaedah harusVisit kami sekarang menggunakan corak PENGECUALIAN yang kami buat:

@Override public boolean shouldVisit(Page referringPage, WebURL url) { String urlString = url.getURL().toLowerCase(); return !EXCLUSIONS.matcher(urlString).matches() && urlString.startsWith("//www.baeldung.com/"); }

Kemudian, kami dapat melakukan pemprosesan untuk halaman yang dikunjungi dengan kaedah lawatan :

@Override public void visit(Page page) { String url = page.getWebURL().getURL(); if (page.getParseData() instanceof HtmlParseData) { HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); String title = htmlParseData.getTitle(); String text = htmlParseData.getText(); String html = htmlParseData.getHtml(); Set links = htmlParseData.getOutgoingUrls(); // do something with the collected data } }

Setelah crawler ditulis, kita perlu mengkonfigurasi dan menjalankannya:

File crawlStorage = new File("src/test/resources/crawler4j"); CrawlConfig config = new CrawlConfig(); config.setCrawlStorageFolder(crawlStorage.getAbsolutePath()); int numCrawlers = 12; PageFetcher pageFetcher = new PageFetcher(config); RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); RobotstxtServer robotstxtServer= new RobotstxtServer(robotstxtConfig, pageFetcher); CrawlController controller = new CrawlController(config, pageFetcher, robotstxtServer); controller.addSeed("//www.baeldung.com/"); CrawlController.WebCrawlerFactory factory = HtmlCrawler::new; controller.start(factory, numCrawlers);

Kami mengkonfigurasi direktori penyimpanan sementara, menentukan jumlah utas merangkak, dan menyusun crawler dengan URL permulaan.

Kita juga harus perhatikan bahawa kaedah CrawlController.start () adalah operasi menyekat . Sebarang kod selepas panggilan itu hanya akan dilaksanakan setelah crawler selesai dijalankan.

3.2. ImageCrawler

Secara lalai, crawler4j tidak merangkak data binari. Dalam contoh seterusnya, kami akan menghidupkan fungsi tersebut dan merangkak semua JPEG di Baeldung.

Mari mulakan dengan menentukan kelas ImageCrawler dengan konstruktor yang mengambil direktori untuk menyimpan gambar:

public class ImageCrawler extends WebCrawler { private final static Pattern EXCLUSIONS = Pattern.compile(".*(\\.(css|js|xml|gif|png|mp3|mp4|zip|gz|pdf))$"); private static final Pattern IMG_PATTERNS = Pattern.compile(".*(\\.(jpg|jpeg))$"); private File saveDir; public ImageCrawler(File saveDir) { this.saveDir = saveDir; } // more code }

Seterusnya, mari kita laksanakan kaedah harusVisit :

@Override public boolean shouldVisit(Page referringPage, WebURL url) { String urlString = url.getURL().toLowerCase(); if (EXCLUSIONS.matcher(urlString).matches()) { return false; } if (IMG_PATTERNS.matcher(urlString).matches() || urlString.startsWith("//www.baeldung.com/")) { return true; } return false; }

Sekarang, kami bersedia untuk melaksanakan kaedah lawatan :

@Override public void visit(Page page) { String url = page.getWebURL().getURL(); if (IMG_PATTERNS.matcher(url).matches() && page.getParseData() instanceof BinaryParseData) { String extension = url.substring(url.lastIndexOf(".")); int contentLength = page.getContentData().length; // write the content data to a file in the save directory } }

Menjalankan ImageCrawler kami serupa dengan menjalankan HttpCrawler , tetapi kami perlu mengkonfigurasinya untuk memasukkan kandungan binari:

CrawlConfig config = new CrawlConfig(); config.setIncludeBinaryContentInCrawling(true); // ... same as before CrawlController.WebCrawlerFactory factory = () -> new ImageCrawler(saveDir); controller.start(factory, numCrawlers);

3.3. Mengumpul data

Sekarang setelah kita melihat beberapa contoh asas, mari kembangkan HtmlCrawler kami untuk mengumpulkan beberapa statistik asas semasa merangkak kami.

Pertama, mari kita tentukan kelas sederhana untuk memuat beberapa statistik:

public class CrawlerStatistics { private int processedPageCount = 0; private int totalLinksCount = 0; public void incrementProcessedPageCount() { processedPageCount++; } public void incrementTotalLinksCount(int linksCount) { totalLinksCount += linksCount; } // standard getters }

Seterusnya, mari kita ubah HtmlCrawler kami untuk menerima contoh CrawlerStatistics melalui konstruktor:

private CrawlerStatistics stats; public HtmlCrawler(CrawlerStatistics stats) { this.stats = stats; }

Dengan objek CrawlerStatistics baru kami , mari ubah kaedah lawatan untuk mengumpulkan apa yang kami mahukan:

@Override public void visit(Page page) { String url = page.getWebURL().getURL(); stats.incrementProcessedPageCount(); if (page.getParseData() instanceof HtmlParseData) { HtmlParseData htmlParseData = (HtmlParseData) page.getParseData(); String title = htmlParseData.getTitle(); String text = htmlParseData.getText(); String html = htmlParseData.getHtml(); Set links = htmlParseData.getOutgoingUrls(); stats.incrementTotalLinksCount(links.size()); // do something with collected data } }

Sekarang, mari kembali ke pengawal kami dan berikan HtmlCrawler dengan contoh CrawlerStatistics :

CrawlerStatistics stats = new CrawlerStatistics(); CrawlController.WebCrawlerFactory factory = () -> new HtmlCrawler(stats);

3.4. Pelbagai Crawler

Berdasarkan contoh sebelumnya, mari kita lihat bagaimana kita dapat menjalankan beberapa perayap dari pengawal yang sama.

Sebaiknya setiap perayap menggunakan direktori penyimpanan sementara sendiri , jadi kami perlu membuat konfigurasi berasingan untuk masing-masing yang akan kami jalankan.

The CrawlControllers boleh berkongsi satu RobotstxtServer , tetapi sebaliknya, pada dasarnya kita memerlukan salinan semuanya.

Setakat ini, kami telah menggunakan kaedah CrawlController.start untuk menjalankan perayap kami dan menyatakan bahawa itu adalah kaedah menyekat. Untuk menjalankan gandaan, kita akan menggunakan CrawlerControlller.startNonBlocking bersama dengan CrawlController.waitUntilFinish .

Sekarang, mari buat pengawal untuk menjalankan HtmlCrawler dan ImageCrawler secara serentak:

File crawlStorageBase = new File("src/test/resources/crawler4j"); CrawlConfig htmlConfig = new CrawlConfig(); CrawlConfig imageConfig = new CrawlConfig(); // Configure storage folders and other configurations PageFetcher pageFetcherHtml = new PageFetcher(htmlConfig); PageFetcher pageFetcherImage = new PageFetcher(imageConfig); RobotstxtConfig robotstxtConfig = new RobotstxtConfig(); RobotstxtServer robotstxtServer = new RobotstxtServer(robotstxtConfig, pageFetcherHtml); CrawlController htmlController = new CrawlController(htmlConfig, pageFetcherHtml, robotstxtServer); CrawlController imageController = new CrawlController(imageConfig, pageFetcherImage, robotstxtServer); // add seed URLs CrawlerStatistics stats = new CrawlerStatistics(); CrawlController.WebCrawlerFactory htmlFactory = () -> new HtmlCrawler(stats); File saveDir = new File("src/test/resources/crawler4j"); CrawlController.WebCrawlerFactory imageFactory = () -> new ImageCrawler(saveDir); imageController.startNonBlocking(imageFactory, 7); htmlController.startNonBlocking(htmlFactory, 10); htmlController.waitUntilFinish(); imageController.waitUntilFinish();

4. Konfigurasi

We've already seen some of what we can configure. Now, let's go over some other common settings.

Settings are applied to the CrawlConfig instance we specify in our controller.

4.1. Limiting Crawl Depth

By default, our crawlers will crawl as deep as they can. To limit how deep they'll go, we can set the crawl depth:

crawlConfig.setMaxDepthOfCrawling(2);

Seed URLs are considered to be at depth 0, so a crawl depth of 2 will go two layers beyond the seed URL.

4.2. Maximum Pages to Fetch

Another way to limit how many pages our crawlers will cover is to set the maximum number of pages to crawl:

crawlConfig.setMaxPagesToFetch(500);

4.3. Maximum Outgoing Links

We can also limit the number of outgoing links followed off each page:

crawlConfig.setMaxOutgoingLinksToFollow(2000);

4.4. Politeness Delay

Since very efficient crawlers can easily be a strain on web servers, crawler4j has what it calls a politeness delay. By default, it's set to 200 milliseconds. We can adjust this value if we need to:

crawlConfig.setPolitenessDelay(300);

4.5. Include Binary Content

We already used the option for including binary content with our ImageCrawler:

crawlConfig.setIncludeBinaryContentInCrawling(true);

4.6. Include HTTPS

By default, crawlers will include HTTPS pages, but we can turn that off:

crawlConfig.setIncludeHttpsPages(false);

4.7. Resumable Crawling

If we have a long-running crawler and we want it to resume automatically, we can set resumable crawling. Turning it on may cause it to run slower:

crawlConfig.setResumableCrawling(true);

4.8. User-Agent String

The default user-agent string for crawler4j is crawler4j. Let's customize that:

crawlConfig.setUserAgentString("baeldung demo (//github.com/yasserg/crawler4j/)");

Kami baru sahaja membahas beberapa konfigurasi asas di sini. Kita boleh melihat kelas CrawConfig jika kita berminat dengan beberapa pilihan konfigurasi yang lebih maju atau tidak jelas.

5. Kesimpulan

Dalam artikel ini, kami telah menggunakan crawler4j untuk membuat perayap web kami sendiri. Kami bermula dengan dua contoh mudah merangkak HTML dan gambar. Kemudian, kami membina contoh-contoh tersebut untuk melihat bagaimana kami dapat mengumpulkan statistik dan menjalankan beberapa perayap serentak.

Contoh kod lengkap boleh didapati di GitHub.