这tokenizedDocument功能内置规则为英语，日语，德语和韩文版。对于英语和德语文字中，“统一”的标记化方法tokenizedDocument器基于使用Unicode的规则令牌^®标准附件＃29[1]和ICU分词器[2]修改以更好地检测复杂的令牌如主题标签和URL。对于日本和韩国文字，在“mecab”标记化方法使用基于MeCab标记器的规则检测标记[3]。

对于其他语言，您仍然可以尝试使用tokenizedDocument。如果tokenizedDocument不会产生有用的结果，然后尝试手动标记化的文本。要创建tokenizedDocument数组中手动标记的文本，设置'TokenizeMethod'选项'没有任何'。

有关更多信息，请参阅tokenizedDocument。

这停用词和Removestopwords.函数只支持英语、日语金宝app、德语和韩语的停止词。

若要从其他语言，使用的停止词removeWords并指定你自己要删除的停止词。

这AddsentEnCentails.函数根据标点符号和行号信息检测句子边界。对于英语和德语文本，函数还使用传递给函数的缩写列表。

对于其他语言，你可能需要指定你自己的缩写句检测的名单。为此，使用“缩写”的选择AddsentEnCentails.。

有关更多信息，请参阅AddsentEnCentails.。

对于字符串输入时，WordCloud.和wordCloudCounts功能使用英语，日语，德语，韩语标记化，停止词删除，和字规范化。

对于其他语言，您可能需要手动的进行预处理的文本数据，并指定唯一的单词和相应的尺寸WordCloud.。

要指定字长的WordCloud.，将数据输入为包含唯一单词和相应大小的表或数组。

有关更多信息，请参阅WordCloud.。

文件输入到trainWordEmbedding功能需要由空格隔开字。

对于含有非英文文本文件，则可能需要输入tokenizedDocument数组trainWordEmbedding。

要创建tokenizedDocument从pretokenized文本阵列，请使用tokenizedDocument函数，并设置'TokenizeMethod'选项'没有任何'。

有关更多信息，请参阅trainWordEmbedding。

这rakeKeywords功能支持英语，日语金宝app，德语，只有韩国文字。

这rakeKeywords使用基于分隔符的方法函数提取关键词，以确定候选关键词。该功能默认情况下，使用标点符号和给定的停止词停用词由输入文件作为分隔符的语言细节给定的语言。

对于其他语言，指定一个合适的组使用分隔符“分隔符”和'MergingDelimiters'选项。

有关更多信息，请参阅rakeKeywords。

这textrankKeywords功能支持英语，日语金宝app，德语，只有韩国文字。

这textrankKeywords功能提取关键词通过基于部分的语音其标签候选项的关键词。该函数使用由给定部分的语音标签addPartOfSpeechDetails功能支持英语，日语，德语，韩语金宝app文字而已。

对于其他语言，请尝试使用rakeKeywords代替，并指定一个合适的组使用分隔符“分隔符”和'MergingDelimiters'选项。

有关更多信息，请参阅textrankKeywords。