本主题总结了文本分析工具箱™支持德语文本的特性。金宝app有关如何分析德语文本数据的示例,请参见分析德语文本数据.
的tokenizedDocument
功能自动检测德语输入。另外,设置“语言”
选项tokenizedDocument
来“德”
.此选项指定标记的语言细节。要查看标记的语言细节,请使用tokenDetails
.这些语言细节决定removeStopWords
,addPartOfSpeechDetails
,normalizeWords
,addSentenceDetails
,addEntityDetails
令牌上的函数。
使用标记德语文本tokenizedDocument
.该功能自动检测德语文本。
str = [“早安。你的名字叫什么?”“这是我的线。”];文件= tokenizedDocument (str)
documents = 2x1 tokenizedDocument: 8 token: Guten Morgen。你的名字叫什么?6代币:Heute wire ein guter Tag。
要检测文档中的句子结构,请使用addSentenceDetails
.你可以使用缩写
函数帮助创建要检测的缩略语的自定义列表。
使用标记德语文本tokenizedDocument
.
str = [“你好,摩根,施密特医生。你能给我些什么?”“这是我的线。”];文件= tokenizedDocument (str);
在使用的文档中添加句子细节addSentenceDetails
.该函数将句子编号添加到返回的表中tokenDetails
.查看前几个令牌的更新令牌详细信息。
= addSentenceDetails文件(文档);tdetails = tokenDetails(文件);头(tdetails, 10)
ans =10×6表令牌DocumentNumber SentenceNumber LineNumber类型语言 _________ ______________ ______________ __________ ___________ ________ " “摩根”好“1 1 1字母de 1 1 1字母德”,“1 1 1标点de”“1 1 1字母de”博士。”1 1 1标点de "Schmidt" 1 1 1字母de "。1 1 1标点符号de "Geht" 1 2 1个字母de "es" 1 2 1个字母de "Ihnen" 1 2 1个字母de
查看德语缩写表。使用此表可帮助创建自定义缩写表,以便在使用时检测句子addSentenceDetails
.
台=缩写(“语言”,“德”);头(台)
ans =8×2表缩写用法____________ _______ "A.T" regular "ABl" regular "Abb" regular "Abdr" regular "Abf" regular "Abfl" regular "Abh" regular "Abk" regular
要在文档中添加德语部分的语音细节,请使用addPartOfSpeechDetails
函数。
使用标记德语文本tokenizedDocument
.
str = [“早安。你的名字叫什么?”“这是我的线。”];文件= tokenizedDocument (str)
documents = 2x1 tokenizedDocument: 8 token: Guten Morgen。你的名字叫什么?6代币:Heute wire ein guter Tag。
要获得德语文本的词性细节,首先使用addPartOfSpeechDetails
.
= addPartOfSpeechDetails文件(文档);
要查看词性细节,请使用tokenDetails
函数。
tdetails = tokenDetails(文件);头(tdetails)
ans =8×7表令牌DocumentNumber SentenceNumber LineNumber PartOfSpeech类型语言 ________ ______________ ______________ __________ ___________ ________ ____________ " 好“1 1 1字母de形容词“摩根”de名词1 1 1字母“”。1 1 1 1 1 1 1 1 1 1 1 1 1 1字母de副词"geht" 1 2 1个字母de动词"es" 1 2 1个字母de代词"dir" 1 2 1个字母de代词"?1 2 1标点符号
要向文档中添加实体标记,请使用addEntityDetails
函数。
使用标记德语文本tokenizedDocument
.
str = ["恩斯特·佐格·冯·法兰克福和柏林"“沃尔夫斯堡的大众汽车。”];文件= tokenizedDocument (str);
要向德文文本添加实体标记,请使用addEntityDetails
函数。此函数检测人名、位置、组织和其他命名实体。
= addEntityDetails文件(文档);
要查看实体详细信息,请使用tokenDetails
函数。
tdetails = tokenDetails(文件);头(tdetails)
ans =8×8表令牌DocumentNumber SentenceNumber LineNumber PartOfSpeech实体类型语言 ___________ ______________ ______________ __________ ___________ ________ ____________ __________ " 恩斯特佐格“1 1 1字母de专有名词的人”“1 1 1字母de动词走眼”冯“1 1 1字母de adposition走眼”法兰克福de专有名词“1 1 1字母位置"nach" 1 1 1个字母非实体"柏林" 1 1 1个字母专有名词位置"。1 1 1标点de标点走眼”Besuchen“2 1 1字母de动词走眼
查看带有实体标记的单词“人”
,“位置”
,“组织”
,或“其他”
.这些词是没有标记的词“走眼”
.
idx = tdetails。实体~ =“走眼”;tdetails (idx:)
ans =5×8表Token DocumentNumber SentenceNumber LineNumber Type Language parttofspeech Entity ____________ ______________ ______________ __________ _______ ________ ____________ ____________ "Ernst" 1 1 1 letters de proper-noun person "Frankfurt" 1 1 1 letters de proper-noun location "Berlin" 1 1 1 letters de proper-noun location "Volkswagen" 2 1 1 letters de名词组织“沃尔夫斯堡”2 1个字母专有名词位置
要根据标记语言细节从文档中删除停止词,请使用removeStopWords
.对于德语停止词的列表设置“语言”
选项stopWords
来“德”
.
使用标记德语文本tokenizedDocument
.该功能自动检测德语文本。
str = [“早安。你的名字叫什么?”“这是我的线。”];文件= tokenizedDocument (str)
documents = 2x1 tokenizedDocument: 8 token: Guten Morgen。你的名字叫什么?6代币:Heute wire ein guter Tag。
删除使用the的停止词removeStopWords
函数。该函数使用文档中的语言细节来确定要删除的语言停止词。
文件= removeStopWords(文档)
documents = 2x1 tokenizedDocument: 5 token: Guten Morgen。可以吗?5代币:Heute wid guter Tag。
要根据标记语言细节对标记进行词干,请使用normalizeWords
.
标记德语文本使用tokenizedDocument
函数。该功能自动检测德语文本。
str = [“早安。你的名字叫什么?”“这是我的线。”];文件= tokenizedDocument (str);
阻止token使用normalizeWords
.
文件= normalizeWords(文档)
文档= 2x1 tokenizedDocument: 8 token: gut morg。你的名字叫什么?标记:内脏标记。
的bagOfWords
和bagOfNgrams
功能的支持金宝apptokenizedDocument
输入与语言无关。如果你有tokenizedDocument
数组中包含您的数据,然后您可以使用这些函数。
的fitlda
和fitlsa
功能的支持金宝appbagOfWords
和bagOfNgrams
输入与语言无关。如果你有bagOfWords
或bagOfNgrams
对象,则可以使用这些函数。
的trainWordEmbedding
功能支持金宝apptokenizedDocument
或文件输入,而不管语言。如果你有tokenizedDocument
数组或包含正确格式的数据的文件,然后可以使用此函数。
tokenizedDocument
|removeStopWords
|stopWords
|addPartOfSpeechDetails
|tokenDetails
|normalizeWords
|addLanguageDetails