Lucene mysql app查询_集成Lucene,查询相关数据
應(yīng)用場景:有一大部分固定的數(shù)據(jù),短期內(nèi)不會(huì)改變的,之前是直接走mysql,然后搜索時(shí)為了用到索引,走了前綴匹配,然后其他的一些固定查詢在中間設(shè)置了一層緩存,但是想想直接這樣部署到線上的話,這一類的根據(jù)關(guān)鍵字搜索會(huì)直接穿透到數(shù)據(jù)庫,感覺不太好,所以就考慮使用了Lucene,之前有打算直接用es,但是用es又感覺有點(diǎn)大材小用。
1.直接導(dǎo)入Lucene7.2.1的相關(guān)依賴,寫一個(gè)初始化索引的方法,這里我是將索引保存到磁盤上,以免下次加載時(shí)重新生成索引,如果有數(shù)據(jù)更新的話,可以將索引文件夾刪除,然后重新啟動(dòng)程序即可;
注意:1.如果需要的字段太多的話,建議索引中只保存需要索引的數(shù)據(jù),然后查到以后在去庫中查出來。
2.如果需要的字段不多的話,可以直接保存在索引中,屆時(shí)搜索到就可以直接用了,省去庫中查詢的步驟。
3.索引文件加載到內(nèi)存,這個(gè)時(shí)候需要注意:如果是不同的項(xiàng)目的話(也就是不同進(jìn)程)是無法訪問的,所以在操作索引文件的時(shí)候必須得確認(rèn)在同一個(gè)項(xiàng)目中;
我項(xiàng)目中用的是dubbo分布式服務(wù),索引內(nèi)存實(shí)在提供者這里,所以對(duì)相關(guān)查詢的操作必須在提供者這端操作;還有在分布式服務(wù)中,每啟一個(gè)提供者的話,都會(huì)有這樣一部分索引內(nèi)容的內(nèi)存。
4.考慮對(duì)索引文件或者內(nèi)存的更新,使數(shù)據(jù)更新后能在一定時(shí)間內(nèi)更新這個(gè)內(nèi)存或者是文件;
我這邊的方案是用一個(gè)定時(shí)任務(wù)去定時(shí)更新這個(gè)索引內(nèi)存和索引文件,但是在沒有數(shù)據(jù)更新的時(shí)候也會(huì)去刷新(思考有沒有更好的解決方案)。
5.Lucene中StringField和TextField的區(qū)別:StringField用于精確查找,不會(huì)對(duì)其中的內(nèi)容進(jìn)行分詞,反之TextField會(huì);
6.我這里的查詢比較復(fù)雜,有四個(gè)條件,其中包含與和或,根mysql查詢一樣用到或時(shí)必須把兩個(gè)或條件用括號(hào)包裹起來,然后外面在用與,
這里的是多條件查詢,需要用到BooleanQuery.Builder類,然后我這里的字段搜索方式還統(tǒng)一,2個(gè)條件是精確與查詢,另外兩個(gè)條件之間是或一個(gè)code是模糊查詢,一個(gè)name是分詞查詢,然后前二個(gè)和后兩個(gè)之間是與。
7.Lucene的分頁查詢,感覺這里的分頁查詢和我之前用mongodb的有點(diǎn)類似,需要兩次查詢操作,先把上一次查詢到結(jié)果的最后一條記錄拿出來然后再進(jìn)行查詢;
ScoreDoc lastSd = getLastScoreDoc(pageIndex, pageSize, builder.build(), is);
TopDocs hits2 = is.searchAfter(lastSd,builder.build(), pageSize);
private ScoreDocgetLastScoreDoc(int pageIndex,int pageSize,Query query,IndexSearcher searcher)throws IOException {
if(pageIndex==1)return null;//如果是第一頁就返回空
int num = pageSize*(pageIndex-1);//獲取上一頁的最后數(shù)量
TopDocs tds = searcher.search(query, num);
return tds.scoreDocs[tds.scoreDocs.length-1];
}
集成過程中,目前遇到了這些問題和注意事項(xiàng),文章可能有出入;
總結(jié)
以上是生活随笔為你收集整理的Lucene mysql app查询_集成Lucene,查询相关数据的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: c 5.6 mysql 配置文件_W
- 下一篇: 有什么贷款可以分期