向文档添加令牌类型细节
中检测令牌类型updatedDocuments
= addTypeDetails (文档
)文档
并更新令牌细节。该函数只向类型未知的标记添加类型细节。来获取令牌类型updatedDocuments
,使用tokenDetails
.
使用一个或多个名称-值对指定其他选项。updatedDocuments
= addTypeDetails (文档
,名称,值
)
提示
使用addTypeDetails
在使用之前较低的
,上
,erasePunctuation
函数作为addTypeDetails
使用被这些函数删除的信息。
tokenizedDocument
|tokenDetails
|addSentenceDetails
|addPartOfSpeechDetails
|splitSentences
|缩写
|topLevelDomains
|corpusLanguage
|addLanguageDetails
|addLemmaDetails
|addEntityDetails