详解Python中的数据清洗工具flashtext

pip install flashtext -i https://pypi.tuna.tsinghua.edu.cn/simple

from flashtext import KeywordProcessor

# 初始化关键词库处理器
processor = KeywordProcessor()

# 常规方式添加关键词
processor.add_keyword('Python')

# 别名方式添加关键词
processor.add_keyword('Scala', 'Java')

# 在一个字符串中提取出关键词信息
found = processor.extract_keywords('I like Python and Scala.')

# 结果
print(found)

# ['Python', 'Java']

replaced = processor.replace_keywords('I like Scala.')

# 结果
print(replaced)

# I like Java.
# Scala 果真就被替换为了Java。

all_keywords = processor.get_all_keywords()

# 结果
print(all_keywords)
# {'python': 'Python', 'scala': 'Java'}

# 初始化一个字典通过用来做批量添加
dict_ = {
    'java': ['java_ee', 'java_se', 'java_me'],
    'python': ['pandas', 'all']
}

# 通过字典的方式来批量添加关键词
processor.add_keywords_from_dict(dict_)

# 从批量添加的关键词中匹配关键词
result = processor.extract_keywords('looking for java_ee and pandas.')

# 结果
print(result)

# ['java', 'python']
# 通过列表的方式批量添加关键词

processor.add_keywords_from_list(['scala', 'python', 'scala', 'go'])

# 通过get_all_keywords查看一下所有关键词
all_keywords = processor.get_all_keywords()

# 结果
print(all_keywords)
# {'python': 'python', 'pandas': 'python', 'scala': 'scala', 'java_ee': 'java', 'java_se': 'java', 'java_me': 'java', 'all': 'python', 'go': 'go'}

# 批量移除列表中的关键词
processor.remove_keywords_from_list(['python','java_ee','java_me'])

# 批量移除字典中的关键词
processor.remove_keywords_from_dict({'python': ['pandas','all']})

# 通过get_all_keywords查看一下所有关键词
all_keywords = processor.get_all_keywords()

# 结果
print(all_keywords)

# {'scala': 'scala', 'java_se': 'java', 'go': 'go'}