第一个发布今天早些时候被截断。这是完整的。即使我是MathWorks的创始人之一,我只是作为一个顾问公司首次五年。在此期间,从1985年到1989年,我在我的运气和两个硅谷电脑创业公司。企业失败的企业,但经验教会我很多关于计算机行业,和我如何看待MATLAB的最终发展的影响。这篇文章的讨论继续英特尔个人超级计算机

内容

在iPSC矩阵计算

当我来到我的新工作在俄勒冈州,我开始写程序有关iPSC的矩阵计算,即使是几个月前我们有一个工作的机器。的编程语言Fortran,调用操作系统多维数据集的节点之间的消息传递。

计算从前端数据集管理器启动和控制。矩阵并不来自于经理。他们测试矩阵,生成多维数据集,由列和分布式。实际的数值很少很重要。我们感兴趣的主要是时间实验进行各种操作。

我们很快就像“gsend”通信例程,全球发送,发送一个向量从一个节点到其他所有节点,和“gsum”,全球和,形成向量的总和,一个从每个节点。这些例程使用超立方体连接,否则我们可以作为节点完全互联。

我两个星期前我的博客中描述,高斯消元法将以以下方式进行。在k消除的th一步,节点了kth列会搜索最大的元素。这是kth枢轴。后列中的所有其他元素除以主产生乘数,将包含这些乘数的广播一条消息到所有其他节点。然后,在需要大多数的算术运算的步骤,所有节点将运用乘数列。

MATLAB和iPSC

在1985年和1986年MATLAB是崭新的。无关的并行计算,并且不会很多年了。所以MATLAB不能运行在iPSC。iPSC的硬件在一个节点上是一样的一个IBM PC /,所以原则上可以支持MATLAB,但是梗概操作系统节点不可能,也没有光盘直接连接到节点。金宝app

多维数据集管理器不能运行MATLAB。经理有一个英特尔80286 CPU,但它跑Xenix,不是微软的DOS, MathWorks不产生一个释放的MATLAB操作系统。

幸运的是,我们组有几个Sun工作站。收购他们创造了一个搅拌在英特尔因为太阳是基于摩托罗拉芯片和,当时,摩托罗拉是微处理器业务的竞争。但是我们是母亲独立的英特尔,所以摩托罗拉禁令并不适用于我们。我可以上运行MATLAB太阳在我的办公桌上,并使用Sun的版本的Unix,远程登录iPSC多维数据集管理器。我们还没有墨西哥人文件,所以MATLAB不能直接与多维数据集联系。我跑时间多维数据集实验,结果返回给发送一个文件管理器,文件读入MATLAB,然后建模和绘制数据。

诺克斯维尔会议

迈克·希斯在1985年8月,当时在橡树岭国家实验室,组织了一个会议在橡树岭,田纳西州,在超立方体多处理器。橡树岭会成为下一个客户,在耶鲁大学,接受一个iPSC。他们还得到一个该协会的机器。会议的程序被暹罗在1986年出版。

诺克斯维尔发布会iPSC的第一次公开展示。我给演讲,发表了一篇论文在《资格矩阵计算分布式内存多处理器。并且能源利用率高达每加仑我告诉“m”讲的故事我的博客LINPACK基准测试去年6月。

的情节包含在论文可能是第一块MATLAB在任何科学论文发表。整个论文打印在点阵打印机和相机准备好复印件发送到暹罗。故事情节非常原油以今天的标准来看。他们的决议是少于一百点每英寸。

另一个看Amdahl法则

在早期的并行计算,Amdahl法则被普遍认为是一个基本的限制。它说,如果一个实验涉及到一个固定的任务是进行一个平行机,最终无法并行任务的一部分,将在计算和增加处理器的数量不会显著减少执行时间。

但是当我开始使用iPSC,似乎明智的改变通过增加任务问题大小我增加处理器的数量。我在诺克斯维尔论文写道:

要充分利用这个系统,我们必须考虑问题涉及许多矩阵,…矩阵,或者更大的秩序……性能强烈依赖于两个参数,为给定的p, n和p。有一个最大值(n由可用内存的数量决定的。

$ $ n_{马克斯}\大约\ sqrt{点}$ $

诺克斯维尔纸之后,我写了一篇技术报告在英特尔科学计算机出现两次,在两个不同的头衔,另一个看Amdahl法则,仔细看看Amdahl法则。我失去了我自己的报告的副本在大量我家办公室几年前,没有一个朋友,我问过可以找到他们的副本。如果有人读这个博客恰好有一个拷贝,我希望听到他们。

我能找到一个上空透明度在那个时候,有以下MATLAB阴谋。图没有良好的注释。早些时候应该遵循图系列。它类似于图表在诺克斯维尔/暹罗,尽管它涉及到一个更大的机器更多的处理器

每一个虚线显示megaflop率,f一个矩阵的LU分解的固定大小,随着处理器的数量,p是增加了。第一行是一个矩阵的顺序n= 100。这条线几乎是水平的p= 16。这是最初的LINPACK基准测试的顺序和Amdahl法则是一个很好的例子。为100 - 100矩阵,增加处理器的数量超出了16个不提供任何重要的并行加速。

直线与圆黑点是填写n= 1000。我们还是能显著加速达到的最大处理器数量,p= 128。齿顶圆,没有虚线连接了到它,是一个矩阵n= 1959。只有30 k的空间双精度单词每个节点,这是最大的矩阵,可以分布在整个机器。

这些曲线的上包络线开始接近45美元^ \保监会美元线代表完美的加速。预览,我后来做的现在失去了技术报告。如果你增加这个问题增加可用内存的大小使用的处理器数量增加,可以提高并行效率和至少部分减轻损失由Amdahl法则。这种现象被称为弱的加速或弱扩展。

令人尴尬的是平行的

今天“高度平行”一词被广泛使用在并行计算。我断言负责发明这句话。我有意暗示这是尴尬的,因为它是那么容易,没有并行编程。引用一个Web页面由伊恩·福斯特,维基百科定义了一个“高度平行“问题”,很少或根本没有努力是需要单独的问题变成一个并行任务的数量。这是通常情况下,不存在依赖关系(或通讯)之间的并行任务。”

维基百科上说,这个词的词源“高度平行”是不知道,但他们参考我的诺克斯维尔超立方体。这是我写的东西。

LINPACK的一个重要方式和EISPACK将使用这样的机器是在应用程序中,有许多任务涉及矩阵小到可以被存储在一个处理器。传统的子程序可用于单个处理器没有修改。我们称这样的应用程序“高度平行”来强调这一事实,虽然有高度的并行性,可以有效利用许多处理器,粒度是足够大的,不需要处理器之间的合作在矩阵计算。

曼德尔勃特集合

的封面1985年8月,的问题科学美国人特色一种形象,有持久的影响在世界计算机图形学中,并行计算,我——了曼德尔勃特集合。一篇文章a . k . Dewdney题为简单电脑娱乐副标题为“一种计算机显微镜的放大看看数学中最复杂的对象”。(顺便说一句,Dewdney后来取代传奇马丁·加德纳和道格拉斯霍夫施塔特在创作《科学美国人》的数学列。)

很容易为iPSC编写并行程序计算了曼德尔勃特集合。透明度的代码安装在一个开销。这是快!问题是我们无法显示结果。永远要将图像发送到前端。即使我们没有任何高分辨率显示。这将是一个两年,获得一个严重的图形超级计算机——我还没来得及做了曼德尔勃特集合正义。

遗产

我离开英特尔科学计算机在俄勒冈州在1987年加入另一个在硅谷创业公司本身。我会告诉你关于冒险在我的下一篇文章。

iPSC / 1,我描述的不是一个商业上的成功。这不是一个真正的超级计算机。看上图。并且能源利用率高达LINPACK基准与3 m半个百万美元的机器在1985年并没有减少。半字节的每个节点的内存不够。我们知道,当我离开的时候,iSC了与更多的内存模型,向量处理器,以牺牲较少的节点。

很少有软件在iPSC / 1。多维数据集上的操作系统是最小的。开发环境的经理是最小的。当我在那里,我负责的那组会开发的应用程序,但我不确定它实际上想到我们这样做。我们只是做演示和数学库。

我想我能说iPSC / 1是一个重要的里程碑式的成就。它扮演了一个重要的角色在许多大学和研究实验室。英特尔科学电脑继续构建其他机器,根据其他英特尔芯片,是商业上的成功,但他们不包括我,不涉及MATLAB。

我学到了很多。当时,在某种程度上,即使在今天,许多人认为MATLAB只是“矩阵实验室”。所以,“平行MATLAB”,一个刚上运行并行矩阵库。我很快意识到这是错误的粒度级别。在iPSC,这意味着在多维数据集上运行MATLAB经理,产生一个矩阵,通过以太网发送它的链接立方体,立方体做并行计算,并最终在将结果发送回前端。

在1985年与iPSC我的经验告诉我,发送消息从MATLAB前端机后端机器上的一个并行矩阵库是一个坏主意。我这么说在我“为什么没有一个平行的MATLAB”克里夫在1995年的角落。但是其他的人还在用他们的2005年版本的平行MATLAB。

今天,我们与MATLAB若干层次的并行性。有自动细粒度多线程的向量和矩阵库大多数用户永远不会思考。也有许多线程在GPU的机器正好有一个。但真正的遗产iPSC的集群和云和MATLAB的分布式计算服务器。在那里,我们发现,到目前为止,是最受欢迎的特性parfor构建生成高度平行工作。

引用

克里夫硅藻土,矩阵计算分布式内存多处理器,在超立方体多处理器超立方体多处理器的第一个会议,由迈克尔·t·希思编辑橡树岭国家实验室,ISBN 0898712092 / 0898712092 / 0-89871-209-2,暹罗,181 - 195年,1986年。< http://www.amazon.com/hypercube多处理器- 1986 -迈克尔- heath/dp/0898712092>

克里夫硅藻土,另一个看Amdahl法则、技术报告tn - 02 - 0587 - 0288,英特尔电脑科学,1987。

克里夫硅藻土,仔细看看Amdahl法则、技术报告tn - 02 - 0687,英特尔电脑科学,1987。

a . k . Dewdney电脑娱乐《科学美国人》,1985年,< http://www.scientificamerican.com/media/inline/blog/File/Dewdney_Mandelbrot.pdf>

得到了MATLAB代码

发表与MATLAB®R2013b

发表与MATLAB®R2013b