erasePunctuation

从文本和文档中删除标点符号

折叠所有页面

语法

newStr = erasePunctuation (str)

newDocuments = erasePunctuation(文档)

newDocuments = erasePunctuation(文档、TokenTypes的类型)

描述

例子

newStr= erasePunctuation (str）的元素中删除标点和符号str．该函数删除属于Unicode标点符号或符号类的字符。

例子

newDocuments= erasePunctuation (文档）从中删除标点和符号文档．如果一个单词在删除标点符号和符号字符后为空，那么函数将删除它。对于标记化的文档输入，该函数从带有type的符号中删除标点符号“标点符号”和“其他”．例如，该函数不会删除url和电子邮件地址中的标点和符号字符。

例子

newDocuments= erasePunctuation (文档“TokenTypes”,类型）仅从指定的标记类型中擦除标点符号和符号。

例子

全部折叠

删除文本中的标点符号

打开生活的脚本

删除正文中的标点符号str．

str =“是一两个。”；newStr = erasePunctuation (str)

newStr = "its one andor two"

插入一个空格“/”符号是，先用的取代函数。

newStr =取代(str,“/”，”“）

newStr = "这是一个或两个。"

newStr = erasePunctuation (newStr)

newStr = "它的一或二"

从文档中删除标点符号

打开生活的脚本

从文档数组中删除标点符号。

文件= tokenizedDocument ([.．.“一个简短句子的例子。”“另一个例子…有一个URL: //www.tatmou.com"])

documents = 2x1 tokenizedDocument: 7个token:一个短句子的例子。10个令牌:另一个例子…URL: //www.tatmou.com

newDocuments = erasePunctuation(文档)

newDocuments = 2x1 tokenizedDocument: 6个token:一个短句子的例子6个token:另一个URL为//www.tatmou.com的例子

在这里，函数不会删除URL中的标点符号。

输入参数

全部折叠

`str`- - - - - -输入文本
字符串数组|特征向量|字符向量的单元数组

输入文本，指定为字符串数组、字符向量或字符向量的单元格数组。

例子:“一个短句子的例子”;“第二个短句子。”］

数据类型:字符串|字符|细胞

`文档`- - - - - -输入文档
`tokenizedDocument`数组

输入文档，指定为tokenizedDocument数组中。

`类型`- - - - - -要从其中删除标点符号的标记类型
`{“标点符号”,“其他”}`(默认)|字符串数组|特征向量|字符向量的单元数组

用于擦除标点符号的令牌类型，指定为字符向量、字符串数组或包含一个或多个令牌类型(包括自定义令牌类型)的字符向量单元格数组。

的tokenizedDocument和addTypeDetails函数自动检测以下令牌类型:

“信”-字符串类型的字符
“数字”-字符串数字
“标点符号”-仅包含标点符号字符的字符串
“电子邮件地址”-检测到的电子邮件地址
“网址”-检测到的网址
“标签”-检测到的标签(以“#”字符后跟字母)
一提到他的- detected at-mention(以“@”字符)
“表情符号”——发现表情符号
“emoji”——发现emoji
“其他”-不属于前面的类型，也不是自定义类型

要在进行标记时指定自己的自定义标记类型，请使用“CustomTokens”或“RegularExpressions”选项tokenizedDocument．如果没有为自定义令牌指定类型，则软件将相应的令牌类型设置为“自定义”．

数据类型:字符串|字符|细胞

输出参数

全部折叠

`newStr`——输出文本
字符串数组|字符向量|字符向量单元格数组

输出文本，以字符串数组、字符向量或字符向量的单元格数组返回。str和newStr具有相同的数据类型。

`newDocuments`——输出文档
`tokenizedDocument`数组

输出文档，返回为tokenizedDocument数组中。

类别	类别代码	的字符数	例子字符
标点符号、连接器	(电脑)	10	＿
标点符号,短跑	(Pd)	24	-
标点符号,	(体育)	73	）
标点符号,最终报价	(Pf)	10	”
标点符号,最初的报价	(π)	12	”
标点符号,其他	(Po)	566	！
标点符号、开放	(Ps)	75	（
符号、货币	(Sc)	54	＄
象征,修饰符	(Sk)	121	＾
符号、数学	(Sm)	948	+
符号,其他	(所以)	5855	¦

提示

字符串输入,erasePunctuation从url和HTML标签中删除标点字符。这种行为会阻止功能eraseTags，eraseURLs,decodeHTMLEntities按预期工作。如果您想使用这些函数对文本进行预处理，那么在使用之前使用这些函数erasePunctuation．

兼容性的考虑

全部展开