为什么histcounts变化的速度呢?

3视图(30天)

显示旧的评论

1月 2021年8月22日

0
链接

这个问题直接联系

//www.tatmou.com/matlabcentral/answers/1438314-why-does-the-speed-of-histcounts-vary-so-much

评论道: 1月 2021年8月22日

我有一个向量和整数或浮点值出现,想数一数。

histcounts () 使用了以激光照射元素输入边缘作为上限的最后一本,所以我必须添加一个数字大于最大元素计算正确。这减缓了处理> 2倍,当都是整数的值:

                          %整数值:
                         
                          x =圆((1:1e6) / 1);%等效为“/ 10”也
                         
                          x = x (randperm(元素个数(x)));
                         
                          用户体验=独特的(x);
                         
                          ux2 =(用户体验,正);
                         
                          ux3 = (ux, 1 e8);%任何数量巨大
                         
                          ux4 =(用户体验,用户体验(结束)+ 1);
                         
                          时间(@ ()histcounts (x, ux))% 0.045
                         
                          时间(@ ()histcounts (x, ux2))% 0.171%慢得多! ! !
                         
                          时间(@ ()histcounts (x, ux3))% 0.199%低于正吗?
                         
                          时间(@ ()histcounts (x, ux4))% 0.0787%又快
                         
                          % BinMethod =整数是快,但是箱子的数量是有限的:
                         
                          时间(@ ()histcounts (x,“BinMethod”,“整数”))% 0.0059快!
                         
                          元素个数(histcounts (x,“BinMethod”,“整数”))%,但只有10001而不是1 e6
                         
                          %根据文档,这应该是65536 ? ! ?
                         
                          %浮点值:
                         
                          y =兰德(1,1 e6);
                         
                          uy =独特(y);
                         
                          uy2 = (uy,正);
                         
                          uy3 = (uy uy(结束)+ 1);
                         
                          时间(@ ()histcounts (y, uy))% 0.11148
                         
                          时间(@ ()histcounts (y, uy2))% 0.2066
                         
                          时间(@ ()histcounts (y, uy3))% 0.2100
                         
                          %当地R2018b:类似的行为为整数,浮点值处理速度:
                         
                          % 0.073%整数,用户体验
                         
                          % 0.199%的用户体验,正
                         
                          % 0.189% (ux, 1 e8)
                         
                          % 0.061%(用户体验,用户体验(+ 1)结束)
                         
                          % 0.162%浮点,uy
                         
                          % 0.167% (uy,正)
                         
                          % 0.315% [uy uy(结束)+ 1]%半速! ! !

我希望几乎相同的速度,因为它是几乎相同的工作量。

顺便说一下,一个简单的计数函数也快:

                          时间(@ ()simpleCount (x))% 0.0602
                         
                          时间(@ ()simpleCount (y))% 0.0628
                         
                          函数N = simpleCount (x)
                         
                          S = (x);
                         
                          q =[没错,diff (S) ~ = 0);
                         
                          N = diff([找到(q),元素个数(x) + 1]);
                         
                          结束

histcounts () 与计算最后一个元素前面的本不是很有用,但将最后一个边缘大大减缓了处理。我已经派遣一个增强请求TWM。

5个评论
显示隐藏 4年长的评论

1月 2021年8月22日

编辑:1月 2021年8月22日

@the骑自行车 :我在代码中包含你的建议。是的,添加用户体验(结束)+ 1不会引起慢下来,但是如1 e8。

@Adam Danz :如果每个数字出现的数量,扩大最后一本重要的最后两个数字在一起:

                                N = histcounts (1:4 (1、2、3、5))
                               
                                %,但(1,1,1,1)是想要的

文档说,BinMethod =整数限制了箱子2 ^ 16 = 65 536年。1 e6数字,使用10 001箱。似乎“65”536箱”是指65 537边缘:

                                N = histcounts (1:65537“BinMethod”,“整数”);
                               
                                流(的元素个数:% d最新统计:% d \ n '元素个数(N)、N(结束)
                               
                                %元素个数:65537最新统计:1
                               
                                N = histcounts (1:65538“BinMethod”,“整数”);
                               
                                流(的元素个数:% d最新统计:% d \ n '元素个数(N)、N(结束)
                               
                                %元素个数:6555 ? ? ?最新统计:4 ? ? ?

不幸的是,由于这个原因整数装箱方式不适合1 e6值。它不是为> 2 ^ 16箱记录发生了什么,我的代码不能保证,不同元素的数量不超过这个极限。

一个简单的C-mex函数是4倍 histcounts () 没有2 ^ 16箱的限制:

                                / / CountInts.c
                               
                                / / N = CountInts (x,低,高)
                               
                                / /作者:简,海德堡2021,许可证:CC冲锋队3.0
                               
                                #包括“mex.h”
                               
                                无效mexFunction (int nlhs mxArray * plhs [], int nrhs, const mxArray * prhs [])
                               
                                {
                               
                                mwSignedIndex n, k,低,高;
                               
                                双* X * N;
                               
                                X = mxGetDoubles (prhs [0]);
                               
                                n = mxGetNumberOfElements (prhs [0]);
                               
                                低= (mwSignedIndex) mxGetScalar (prhs [1]);
                               
                                高= (mwSignedIndex) mxGetScalar (prhs [2]);
                               
                                plhs [0] = mxCreateDoubleMatrix(1,高-低+ 1,mxREAL);
                               
                                N = mxGetDoubles (plhs [0]);
                               
                                N - =低;/ /改变指针N, X[我]=低增加N [0]:
                               
                                为(i = 0;我< n;我+ +){
                               
                                k = (mwSignedIndex) X[我];
                               
                                如果(k > =低& & k < =高){
                               
                                + + (N [k]);
                               
                                }
                               
                                }
                               
                                }

如果N是创建UINT32矢量,这是甚至10倍 histcounts () 。

1月 2021年8月22日

@Adam Danz :谢谢你这个有用的信息。

登录置评。

在回答这个问题。

答案(1)

布鲁诺陈德良 2021年8月22日

1
链接

直接链接到这个答案

//www.tatmou.com/matlabcentral/answers/1438314-why-does-the-speed-of-histcounts-vary-so-much answer_772244

这只是一个假设但histcounts可能使用二进制搜索有限的边缘值。去年边缘可能惩罚速度大。不确定如何处理正bonary搜索(可能是一个额外的比较检查?)

2的评论
显示隐藏 1年长的评论

1月 2021年8月22日

编辑:1月 2021年8月22日

我同意。它看起来像 histcounts () 适用于一些受过教育的猜测垃圾箱,但是对于正作为最后的元素这太聪明。

限制2 ^ 16(或2 ^ 16 + 1)垃圾箱的BinMethod设置为“整数”听起来像一个查找表方法的应用。只要我能看到它不是记录,什么 histcounts () 对超过2 ^ 16个元素。一个简单的快附近地区的方法是:

                                   x =兰迪([0,255]1 1 e6);
                                  
                                   时间(@ ()histcounts (x,“BinMethod”,“整数”))
                                  
                                     ans = 0.0081

                                   时间(@ ()lutCount (x, 0, 255))
                                  
                                     ans = 0.0036

                                   %公平测试提前不知道限制:
                                  
                                   时间(@ ()lutCount (x, min (x) max (x)))
                                  
                                     ans = 0.0047

另一种选择 accumarray 也不更快:

                                   时间(@ ()accumarray (x。”——(min (x) - 1), 1))
                                  
                                     ans = 0.0047

                                   函数N = lutCount (x,低,高)
                                  
                                   N = 0(1,高-低+ 1);
                                  
                                   垫= 1 -低;
                                  
                                   为k = 1:元素个数(x)
                                  
                                   一个= x (k) +垫;
                                  
                                   N (a) = (1) + 1;%邪恶:没有检查数组的限制……
                                  
                                   结束
                                  
                                   结束

CountInts。c-Mex函数从我的其他评论,加速较高。

我的结论是: histcounts 不是eficient计算元素,当不需要聪明的装箱。BinMethod“整数”是有用的情况下,可以保证,2 ^ 16箱就足够了——换句话说,这是一个沉默的bug的原因。

注意:速度测量Matlab在线是脆弱的。请重复这个当地的机床。

布鲁诺陈德良 2021年8月22日

“BinMethod“整数”是有用的情况下,可以保证,2 ^ 16箱就足够了”

把你的手在和使用 accumarray 代替。

登录置评。

在回答这个问题。

类别

数学和优化映射的工具箱几何大地测量学长度和角度

雷达映射的工具箱几何大地测量学长度和角度

找到更多的在长度和角度在帮助中心和文件交换

下载188bet金宝搏

MATLAB

释放

R2021a

社区寻宝

找到宝藏在MATLAB中央,发现社区如何帮助你!

开始狩猎!

为什么histcounts变化的速度呢?

5个评论
显示隐藏 4年长的评论

答案(1)

2的评论
显示隐藏 1年长的评论

另请参阅

类别

标签

下载188bet金宝搏

释放

社区寻宝

为什么histcounts变化的速度呢?

5个评论 显示隐藏 4年长的评论

答案(1)

2的评论 显示隐藏 1年长的评论

另请参阅

类别

标签

下载188bet金宝搏

释放

社区寻宝

5个评论
显示隐藏 4年长的评论

2的评论
显示隐藏 1年长的评论