一种用于文本分析的词嵌入模型

Word2vec是最流行的词嵌入实现之一。它用于将单词的分布式表示形式创建为数字向量。Word2vec将文本转换为向量,以捕获语义和单词之间的关系。语义学的一个例子是意大利和罗马的关系如何类似于法国和巴黎的关系,所以意大利-罗马+巴黎≈ 法国。

文本分析工作流:使用word2vec将文本转换为数字

典型的文本分析工作流包括预处理、将文本转换为数字和模型构建。单词嵌入,例如word2vec,是将文本转换成数字的常用方法之一。将文本转换为数字的其他方法有:

word2vec相对于其他方法的优势在于它能够识别相似的单词。word2vec等单词嵌入在许多文本分析应用程序中显示出更好的准确性。

Word嵌入替代word2vec

除了word2vec之外,其他流行的word嵌入实现还有GloVe和GloVe快速文本. 这些实现之间的区别在于使用的算法类型和用于训练以创建模型的初始文本语料库。Word2vec使用连续词包(CBOW)和skip-gram算法来训练初始文本语料库。

您可以在工作流中使用现有的预训练单词嵌入模型,例如word2vec。或者,您可以创建自己的单词嵌入模型。一些需要考虑的事情是:

  • 像word2vec这样的预先训练的模型使它易于入门,但是可能缺少高精度文本分析应用程序所需的特定于领域的单词。
  • 创建自定义模型比较耗时,但在特定于域的应用程序中,自定义模型的性能可能更好。

你也可以在深度学习网络中加入一个预先训练好的单词嵌入层,比如word2vec,并继续为特定的应用程序训练它。

文本分析工具箱™, 用于MATLAB®,具有读取word2vec、GloVe和快速文本文字嵌入对象。

要了解有关使用word2vec和使用文本数据构建模型的更多信息,请参阅文本分析工具箱.

另请参见:自然语言处理,情绪分析,基于MATLAB的文本挖掘,数据科学,深度学习,深度学习工具箱™,统计与机器学习工具箱™,预测性维护工具箱™,N-克