混合检索算法使用示例- 自定义分词器

classCustomTokenizer(ChineseTokenizer):deftokenize(self,text:str)-List[str]:# 自定义分词逻辑# 例如使用领域词典wordsjieba.lcut(text)return[wforwinwordsifself.is_meaningful(w)]defis_meaningful(self,word:str)-bool:# 判断是否为有意义的词returnlen(word)1andnotword.isdigit()