象征化

这令人生畏的鳕文功能自动检测韩语输入。或者，设置'语'选项令人生畏的鳕文到'ko'。此选项指定令牌的语言详细信息。要查看令牌的语言详细信息，请使用令敬当。这些语言细节确定了行为Removestopwords.那addpartofspeechdetails.那正常化字那AddsentEnCentails.， 和添加性etails.在令牌上的功能。

要为令牌化指定其他MECAB选项，请创建一个mechaboptions.目的。要使用指定的MECAB标记选项授权，请使用'tokenizemethod'选择令人生畏的鳕文。

部分讲话细节

这令敬当默认情况下，函数包含令牌详细信息的言语细节的一部分。

命名实体认可

这令敬当默认情况下，函数包含令牌详细信息的实体详细信息。

停止单词

根据令牌语言详细信息，从文档中删除停止单词，使用Removestopwords.。对于韩语止损单的列表设置'语'选项秒表到'ko'。

lemmatization.

根据令牌语言细节释放令牌，使用正常化字并设置了'风格'选择'引理'。

语言无关功能