的tokenizedDocument函数有内建的规则，只适用于英语、日语、德语和韩语。对于英语和德语文本unicode的标记的方法tokenizedDocument使用基于Unicode的规则检测令牌^®标准附件# 29［1］以及重症监护室的记号器［２］，以更好地检测复杂的标记，如hashtag和url。对于日文和韩文文本“mecab”标记化方法基于MeCab标记赋予器使用规则检测标记［3］．

对于其他语言，您仍然可以尝试使用tokenizedDocument．如果tokenizedDocument不会产生有用的结果，请尝试手动标记文本。创建一个tokenizedDocument数组从手动标记文本，设置“TokenizeMethod”选项“没有”．

有关更多信息，请参见tokenizedDocument．

的stopWords和removeStopWords功能支持英语，日语，金宝app德语，和韩语停止词仅。

从其他语言中删除停止词，使用removeWords并指定要删除的停止词。

的addSentenceDetails函数基于标点字符和行号信息检测句子边界。对于英语和德语文本，函数还使用传递给函数的缩写列表。

对于其他语言，您可能需要为句子检测指定自己的缩写列表。要做到这一点，使用“缩写”选择addSentenceDetails．

有关更多信息，请参见addSentenceDetails．

对于字符串输入，则wordcloud和wordCloudCounts函数使用英语、日语、德语和韩语的标记化、停止单词移除和单词规范化。

对于其他语言，可能需要手动预处理文本数据，并在中指定惟一的单词和相应的大小wordcloud．

中指定字大小wordcloud，将数据作为包含唯一单词和相应大小的表或数组输入。

有关更多信息，请参见wordcloud．

文件输入到trainWordEmbedding函数需要用空格分隔的单词。

对于包含非英文文本的文件，可能需要输入tokenizedDocument数组来trainWordEmbedding．

创建一个tokenizedDocument数组从预标记文本，使用tokenizedDocument函数，并设置“TokenizeMethod”选项“没有”．

有关更多信息，请参见trainWordEmbedding．

的rakeKeywords函数只支持英语、日金宝app语、德语和韩语文本。

的rakeKeywords函数使用基于分隔符的方法提取关键字来识别候选关键字。默认情况下，该函数使用标点符号和由stopWords语言由输入文档的语言细节作为分隔符给出。

属性指定一组适当的分隔符“分隔符”和“MergingDelimiters”选项。

有关更多信息，请参见rakeKeywords．

的textrankKeywords函数只支持英语、日金宝app语、德语和韩语文本。

的textrankKeywordsFunction通过识别候选关键词的词性标签来提取关键词。函数使用由addPartOfSpeechDetails功能，只支持英语、日语、德语和金宝app韩语文本。

对于其他语言，请尝试使用rakeKeywords属性指定一组适当的分隔符“分隔符”和“MergingDelimiters”选项。

有关更多信息，请参见textrankKeywords．