Pengenalan kepada Apache Lucene

1. Gambaran keseluruhan

Apache Lucene adalah mesin carian teks penuh yang boleh digunakan dari pelbagai bahasa pengaturcaraan.

Dalam artikel ini, kami akan cuba memahami konsep teras perpustakaan dan membuat aplikasi mudah.

2. Persediaan Maven

Untuk memulakan, mari tambahkan kebergantungan yang diperlukan terlebih dahulu:

 org.apache.lucene lucene-core 7.1.0 

Versi terbaru boleh didapati di sini.

Juga, untuk menguraikan pertanyaan carian kami, kami memerlukan:

 org.apache.lucene lucene-queryparser 7.1.0 

Periksa versi terkini di sini.

3. Konsep Teras

3.1. Pengindeksan

Ringkasnya, Lucene menggunakan "pengindeksan terbalik" data - bukannya memetakan halaman ke kata kunci, ia memetakan kata kunci ke halaman seperti glosari di akhir buku apa pun.

Ini membolehkan tindak balas carian lebih cepat, kerana ia mencari melalui indeks, dan bukannya mencari melalui teks secara langsung.

3.2. Dokumen

Di sini, dokumen adalah kumpulan bidang, dan setiap bidang mempunyai nilai yang berkaitan dengannya.

Indeks biasanya terdiri dari satu atau lebih dokumen, dan hasil carian adalah kumpulan dokumen yang paling sesuai.

Ia bukan selalu dokumen teks biasa, tetapi juga boleh menjadi jadual pangkalan data atau koleksi.

3.3. Padang

Dokumen boleh mempunyai data bidang, di mana bidang biasanya merupakan kunci yang menyimpan nilai data:

title: Goodness of Tea body: Discussing goodness of drinking herbal tea...

Notis bahawa di sini tajuk dan badan adalah medan dan boleh dicari bersama-sama atau secara berasingan.

3.4. Analisis

Analisis mengubah teks yang diberikan menjadi unit yang lebih kecil dan tepat agar senang mencari.

Teks ini melalui pelbagai operasi mengekstrak kata kunci, menghapus kata dan tanda baca yang biasa, menukar perkataan menjadi huruf kecil, dll.

Untuk tujuan ini, terdapat beberapa penganalisis terbina dalam:

  1. StandardAnalyzer - menganalisis berdasarkan tatabahasa asas, membuang kata berhenti seperti "a", "an" dll. Juga menukar dengan huruf kecil
  2. SimpleAnalyzer - memecahkan teks berdasarkan watak tanpa huruf dan menukar dengan huruf kecil
  3. WhiteSpaceAnalyzer - memecahkan teks berdasarkan ruang kosong

Terdapat lebih banyak penganalisis untuk kita gunakan dan sesuaikan juga.

3.5. Mencari

Setelah indeks dibina, kita dapat mencari indeks itu dengan menggunakan Query dan IndexSearcher. Hasil carian biasanya merupakan set hasil, berisi data yang diambil.

Perhatikan bahawa IndexWritter bertanggungjawab untuk membuat indeks dan IndexSearcher untuk mencari indeks.

3.6. Sintaks Pertanyaan

Lucene menyediakan sintaks pertanyaan yang sangat dinamik dan mudah ditulis.

Untuk mencari teks percuma, kami hanya menggunakan String teks sebagai pertanyaan.

Untuk mencari teks dalam bidang tertentu, kami akan menggunakan:

fieldName:text eg: title:tea

Julat carian:

timestamp:[1509909322,1572981321] 

Kami juga boleh mencari menggunakan wildcard:

dri?nk

akan mencari watak tunggal sebagai pengganti wildcard "?"

d*k

mencari perkataan yang bermula dengan "d" dan berakhir dengan "k", dengan beberapa watak di antaranya.

uni*

akan menemui perkataan yang bermula dengan "uni".

Kami juga boleh menggabungkan pertanyaan ini dan membuat pertanyaan yang lebih kompleks. Dan sertakan pengendali logik seperti AND, NOT, OR:

title: "Tea in breakfast" AND "coffee"

Lebih lanjut mengenai sintaks pertanyaan di sini.

4. Aplikasi Mudah

Mari buat aplikasi mudah, dan indeks beberapa dokumen.

Pertama, kami akan membuat indeks dalam memori, dan menambahkan beberapa dokumen padanya:

... Directory memoryIndex = new RAMDirectory(); StandardAnalyzer analyzer = new StandardAnalyzer(); IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer); IndexWriter writter = new IndexWriter(memoryIndex, indexWriterConfig); Document document = new Document(); document.add(new TextField("title", title, Field.Store.YES)); document.add(new TextField("body", body, Field.Store.YES)); writter.addDocument(document); writter.close(); 

Here, we create a document with TextField and add them to the index using the IndexWriter. The third argument in the TextField constructor indicates whether the value of the field is also to be stored or not.

Analyzers are used to split the data or text into chunks, and then filter out the stop words from them. Stop words are words like ‘a', ‘am', ‘is' etc. These completely depend on the given language.

Next, let's create a search query and search the index for the added document:

public List searchIndex(String inField, String queryString) { Query query = new QueryParser(inField, analyzer) .parse(queryString); IndexReader indexReader = DirectoryReader.open(memoryIndex); IndexSearcher searcher = new IndexSearcher(indexReader); TopDocs topDocs = searcher.search(query, 10); List documents = new ArrayList(); for (ScoreDoc scoreDoc : topDocs.scoreDocs) { documents.add(searcher.doc(scoreDoc.doc)); } return documents; }

In the search() method the second integer argument indicates how many top search results it should return.

Now let's test it:

@Test public void givenSearchQueryWhenFetchedDocumentThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("Hello world", "Some hello world"); List documents = inMemoryLuceneIndex.searchIndex("body", "world"); assertEquals( "Hello world", documents.get(0).get("title")); }

Here, we add a simple document to the index, with two fields ‘title' and ‘body', and then try to search the same using a search query.

6. Lucene Queries

As we are now comfortable with the basics of indexing and searching, let us dig a little deeper.

In earlier sections, we've seen the basic query syntax, and how to convert that into a Query instance using the QueryParser.

Lucene provides various concrete implementations as well:

6.1. TermQuery

A Term is a basic unit for search, containing the field name together with the text to be searched for.

TermQuery is the simplest of all queries consisting of a single term:

@Test public void givenTermQueryWhenFetchedDocumentThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("activity", "running in track"); inMemoryLuceneIndex.indexDocument("activity", "Cars are running on road"); Term term = new Term("body", "running"); Query query = new TermQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); assertEquals(2, documents.size()); }

6.2. PrefixQuery

To search a document with a “starts with” word:

@Test public void givenPrefixQueryWhenFetchedDocumentThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("article", "Lucene introduction"); inMemoryLuceneIndex.indexDocument("article", "Introduction to Lucene"); Term term = new Term("body", "intro"); Query query = new PrefixQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); assertEquals(2, documents.size()); }

6.3. WildcardQuery

As the name suggests, we can use wildcards “*” or “?” for searching:

// ... Term term = new Term("body", "intro*"); Query query = new WildcardQuery(term); // ...

6.4. PhraseQuery

It's used to search a sequence of texts in a document:

// ... inMemoryLuceneIndex.indexDocument( "quotes", "A rose by any other name would smell as sweet."); Query query = new PhraseQuery( 1, "body", new BytesRef("smell"), new BytesRef("sweet")); List documents = inMemoryLuceneIndex.searchIndex(query); // ...

Notice that the first argument of the PhraseQuery constructor is called slop, which is the distance in the number of words, between the terms to be matched.

6.5. FuzzyQuery

We can use this when searching for something similar, but not necessarily identical:

// ... inMemoryLuceneIndex.indexDocument("article", "Halloween Festival"); inMemoryLuceneIndex.indexDocument("decoration", "Decorations for Halloween"); Term term = new Term("body", "hallowen"); Query query = new FuzzyQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); // ...

We tried searching for the text “Halloween”, but with miss-spelled “hallowen”.

6.6. BooleanQuery

Sometimes we might need to execute complex searches, combining two or more different types of queries:

// ... inMemoryLuceneIndex.indexDocument("Destination", "Las Vegas singapore car"); inMemoryLuceneIndex.indexDocument("Commutes in singapore", "Bus Car Bikes"); Term term1 = new Term("body", "singapore"); Term term2 = new Term("body", "car"); TermQuery query1 = new TermQuery(term1); TermQuery query2 = new TermQuery(term2); BooleanQuery booleanQuery = new BooleanQuery.Builder() .add(query1, BooleanClause.Occur.MUST) .add(query2, BooleanClause.Occur.MUST) .build(); // ...

7. Sorting Search Results

We may also sort the search results documents based on certain fields:

@Test public void givenSortFieldWhenSortedThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("Ganges", "River in India"); inMemoryLuceneIndex.indexDocument("Mekong", "This river flows in south Asia"); inMemoryLuceneIndex.indexDocument("Amazon", "Rain forest river"); inMemoryLuceneIndex.indexDocument("Rhine", "Belongs to Europe"); inMemoryLuceneIndex.indexDocument("Nile", "Longest River"); Term term = new Term("body", "river"); Query query = new WildcardQuery(term); SortField sortField = new SortField("title", SortField.Type.STRING_VAL, false); Sort sortByTitle = new Sort(sortField); List documents = inMemoryLuceneIndex.searchIndex(query, sortByTitle); assertEquals(4, documents.size()); assertEquals("Amazon", documents.get(0).getField("title").stringValue()); }

Kami cuba menyusun dokumen yang diambil mengikut bidang tajuk, yang merupakan nama sungai. Argumen boolean kepada konstruktor SortField adalah untuk membalikkan susunan urutan.

8. Keluarkan Dokumen dari Indeks

Mari cuba hapus beberapa dokumen dari indeks berdasarkan Istilah tertentu :

// ... IndexWriterConfig indexWriterConfig = new IndexWriterConfig(analyzer); IndexWriter writer = new IndexWriter(memoryIndex, indexWriterConfig); writer.deleteDocuments(term); // ...

Kami akan menguji ini:

@Test public void whenDocumentDeletedThenCorrect() { InMemoryLuceneIndex inMemoryLuceneIndex = new InMemoryLuceneIndex(new RAMDirectory(), new StandardAnalyzer()); inMemoryLuceneIndex.indexDocument("Ganges", "River in India"); inMemoryLuceneIndex.indexDocument("Mekong", "This river flows in south Asia"); Term term = new Term("title", "ganges"); inMemoryLuceneIndex.deleteDocument(term); Query query = new TermQuery(term); List documents = inMemoryLuceneIndex.searchIndex(query); assertEquals(0, documents.size()); }

9. Kesimpulannya

Artikel ini adalah pengenalan pantas untuk memulakan dengan Apache Lucene. Juga, kami melaksanakan pelbagai pertanyaan dan menyusun dokumen yang diambil.

Seperti biasa, kod contohnya boleh didapati di Github.