Keras文本预处理-如何将Tokenizer对象保存到文件中以进行评分
0 998
0

我已经按照以下步骤使用Keras库训练了情感分类器模型。

1.使用Tokenizer对象/类将文本语料库转换为序列 2.使用model.fit()方法建立模型 3.评估这个模型

现在,使用该模型进行评分,我能够将模型保存到文件中并从文件中加载。但是我还没有找到一种方法来将Tokenizer对象保存到文件中。没有这个,我每次需要评分,哪怕一个句子时都必须处理语料库。有没有解决的办法?

收藏
2021-02-18 11:36 更新 anna •  5010
共 1 个回答
高赞 时间
0

最常见的方法是使用pickle或joblib。下面是一个有关如何使用pickle保存Tokenizer的示例:

import pickle
# savingwith open('tokenizer.pickle', 'wb') as handle:
    pickle.dump(tokenizer, handle, protocol=pickle.HIGHEST_PROTOCOL)
# loadingwith open('tokenizer.pickle', 'rb') as handle:
    tokenizer = pickle.load(handle)

via:https://stackoverflow.com/a/45737582/14964791

收藏
2021-02-19 11:12 更新 karry •  4522