在了解了Lucene以后,我打算亲手来做一个Lucene的小例子,这个例子只是Lucene最简单的应用:使用Lucene实现标准的英文搜索;
1、下载Lucene
下载Lucene,到Lucene的官方下载http://lucene.apache.org/;
2、新建项目
新建一个Java Project 然后引入Lucene的jar 包:
因为要实现的功能非常简单,所以Jar包只引入了一部分,当然Lucene的jar包远远不止这些;
core包:Lucene的核心包
analyzers包:主要进行对采集的内容和用户输入的内容进行分词;
highlighter包:主要对搜索的结果进行高亮显示,就像百度搜索结果标红一样;
queries和queryparser包:搜索查询包,根据用户输入关键定去检索内容;
主要用到这三个包;
3、准备数据源文件
要让用户搜索结果,首先得有数据源, 我准备了几个文本文档,里面全是英文内容:
将这些文本文件放在一个全英文的目录里面,同时还要建一些纯英文的目录用来存放索引文件;
4、对数据源进行索引
在用户进行搜索前,系统得先对数据源进行分析,排序,分词,创建索引;这是一步很关键的工作:
新建一个CreateIndex类,代码如下:
package com.lucene; import java.io.File; import java.util.Collection; import org.apache.commons.io.FileUtils; import org.apache.commons.io.filefilter.TrueFileFilter; import org.apache.lucene.analysis.Analyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.analysis.util.CharArraySet; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field.Store; import org.apache.lucene.document.StringField; import org.apache.lucene.document.TextField; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.IndexWriterConfig.OpenMode; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; import org.junit.Test;public class CreateIndex {/** 数据源目录 **/public static final String DATA_DIR="E:/data/lucene/en/data";/** 索引目录 **/public static final String INDEX_DIR="E:/data/lucene/en/index";@Testpublic void create(){try {Directory dir = FSDirectory.open(new File(INDEX_DIR));//4. 通过CharArraySet可以向分词中追加一些停止词(即排除检索的词)CharArraySet arrSet = new CharArraySet(Version.LUCENE_4_9, 0, false);//3. Analyzer 用于对数据源进行分词Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_4_9, arrSet);//2. IndexWriter的配置信息都存放在IndexWriterConfig中IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_4_9,analyzer);// OpenMode.CREATE_OR_APPEND 指定,该创建索引是可以在以后通过追加的方式向里面添加内容 config.setOpenMode(OpenMode.CREATE_OR_APPEND);//1. 创建索引的入口,创建索引必须用IndexWriter进行创建或者追加IndexWriter writer = new IndexWriter(dir,config);File dataDir = new File(DATA_DIR);//5.得到数据源中所有的文件Collection<File> files = FileUtils.listFiles(dataDir, TrueFileFilter.INSTANCE, TrueFileFilter.INSTANCE);for(File file : files){//6. 通过向Writer追加Document的方式添加内容Document doc = new Document();doc.add(new StringField("filename",file.getName(), Store.YES));String content = FileUtils.readFileToString(file);doc.add(new TextField("content",content,Store.YES));writer.addDocument(doc);}writer.close();} catch (Exception e) {e.printStackTrace();}} }
在新建完CreateIndex类以后,可以使用Test运行一下,然后在索引目录就会生成一些这样的文件:
这就是Lucene创建完索引的索引数据库了;
5、创建检索
创建一个SearchIndex类,主要作用是通过用户输入内容分词,然后检索出用户想要的结果:
import java.io.File; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.queryparser.classic.QueryParser; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.Query; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.TopDocs; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.util.Version; import org.junit.Test;public class SearchIndex {@Testpublic void search(){try {String keyword = "java";// 在这里进行检索的时候,需要加载的目录就是创建索引的目录,创建索引以后,那些原数据源在Lucene上就暂时用不到了Directory directory = FSDirectory.open(new File(CreateIndex.INDEX_DIR));IndexReader reader = DirectoryReader.open(directory);// IndexSearcher 是Lucene的检索的入口点,所有检索都从这里入口IndexSearcher searcher = new IndexSearcher(reader);// 通过analyzer对用户输入的词进行分词StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_4_9);// 构建检索条件QueryParser parser = new QueryParser(Version.LUCENE_4_9, "content",analyzer);Query query = parser.parse(keyword);// 最后使用searcher.search检索,search方法的参数很多,还可以根据需求,取出相应的条数TopDocs topDocs = searcher.search(query, 20);// topDocs.totalHits 返回的是所有检索到记录的条数的总和ScoreDoc[] docs = topDocs.scoreDocs;System.out.println("关键词\" "+keyword+" \"共检索到 "+topDocs.totalHits+" 条相关的记录");System.out.println("被检索到记录,他们分别放在以下的文件中:");for(ScoreDoc doc : docs){int docId = doc.doc;Document document = reader.document(docId);System.out.println(document.get("filename"));}} catch (Exception e) {e.printStackTrace();}} }
为了方便,我摸拟了一个搜索词“java” 看能查询出多少条数据,运行单元测试:
小结:这只是Lucene的最简单的用法,还有很多高深的用法,可以查看Lucene的官方文档,Lucene用来检索中文同样很厉害,大家快去试试吧;下小节我会贴出我写的使用Lucene来做一个千度搜索;