林肯

引用:

原帖由 qq6810 于 2005-8-13 23:20 发表
个人谈谈我对USP的看法。第一、交换式架构比直连矩阵性能好？我认为不一定，大家如果了解传输就知道，空分的性能是最好但也是最浪费的。而交换式架构比直连矩阵就很类似了，交换式灵活，费效比高，但直连矩阵性能 ...

qq的问题非常好，以下是我的观点： 第一、交换式架构比直连矩阵性能好？我认为不一定，大家如果了解传输就知道，空分的性能是最好但也是最浪费的。而交换式架构比直连矩阵就很类似了，交换式灵活，费效比高，但直连矩阵性能更佳。 我的观点：首先网络设备的备板是不可能有有所谓点到点或连接，全部是无阻塞交换，请注意是“无阻塞”，同时请注意传输和主机存储的不一样，任何一个storage IO包括小的metadata的定位和相对大容量后端数据的提取（如果数据在cache里面就不需要从后端提取数据了），那对于metadata的数据的管理和对于真正数据的读取是完全不同的概念，交换矩阵，因此将metadata的控制指令通道和data数据分开设计不同的链路是非常先进和人性化的设计，而且其并非IO数是256个，远高于32个直连式设计。而且更重要的是交互式架构可以更好的解决突发性IO需求的问题，对于特定host，点到点可以提供的IO带宽是固定的，而交换式的化可以灵活提供更加多的带宽（多分配些带宽给特定时间的特定应用，这个对于猝发IO大的OLAP系统尤其如此）。至于传输一般是用在城域网内，传输中SDH本身也是被细分为不同的数据群的大小，比如E1,E3等等，也是针对不同数据类型的设计。

[ 本帖最后由 林肯 于 2005-8-14 16:21 编辑 ]

林肯

引用:

原帖由 qq6810 于 2005-8-13 23:20 发表
个人谈谈我对USP的看法。第一、交换式架构比直连矩阵性能好？我认为不一定，大家如果了解传输就知道，空分的性能是最好但也是最浪费的。而交换式架构比直连矩阵就很类似了，交换式灵活，费效比高，但直连矩阵性能 ...

第三、HDS设备最大的特点是可以支持特别多的硬盘，但有没有哪位仁兄算过其后端通道真正能支持多少个FC硬盘持续吞吐？可能有人认为用不上，可在EDW系统中，这很重要。  我的观点：先请参考http://bbs.dostor.com/viewthread ... page%3D1&page=2，你可以看到后端DMX3和现有的DMX完全一样不过这次DMX3后端的磁盘数量已经从18个升级到了30个。....至于后端到底多少带宽够，可以算算看那：在真实数据库环境下，调优情况下，每14块10K 146GB的磁盘即使在性能调优后可以达到725个IO，平均到每个磁盘每秒IO大概在50个IO。。。。(附件是第三方Seagate磁盘的公开数据)；而如果采用15K RPM的磁盘，一般每秒的IO是在70个左右。在现阶段我们一般采用10K RPM的FC dual port磁盘。因此每秒磁盘最大处理数X为：X＝50。 然后我们来看每个IO最大的Packet size，Y＝8K 。 因此即使在USP满配置情况下，每一对Dual Actvie链路对最多48块磁盘，峰值情况下的数据流量Z是： Z=X*Y*48＝19.2MB/sec。 可以看到，即使是在数据库环境满配情况下，Dual Active链路对250MB/sec的连续I/O处理能力只使用了7.68%左右，考虑到特例情况下大的sequential IO，将后端流量Z再翻5倍，后端带宽使用率也仅仅38.4％，所以HDS设备支持这么多设备是架构优势+双活通道的表现，现有的后端带宽完全是很富足。不知道这个计算是否满意。

[ 本帖最后由 林肯 于 2005-8-15 10:48 编辑 ]

bluecobra

经典，

qq6810

再谈交换式架构比直连矩阵性能好？其实我们可以从一个很简单的事实出发，有通信经验的人都了解，最理想的通信方式是家家户户之间都进行直连，可是事实却不是这样。为什么？性价比太低，所以我们采用了准直连方式，在降低性能的条件下，我们大大提高了性价比。交换式架构和直连矩阵就和前面的情况也是一样的。而且这些和阻塞是没有关系的，准直连一样可以无阻塞，但性能一定不会比直连好！同时，直连方式中，直连的点对点的带宽是固定的，但请大家要注意，点对点之间是多对多的关系，因此不会比交换式差！当然我仅仅是谈理论，不涉及任何产品。
说个题外话，SDH用的不是空分，E1也是时分。

qq6810

在真实数据库环境下，调优情况下，每14块10K 146GB的磁盘即使在性能调优后可以达到725个IO，平均到每个磁盘每秒IO大概在50个IO。。。。(附件是第三方Seagate磁盘的公开数据)；而如果采用15K RPM的磁盘，一般每秒的IO是在70个左右。在现阶段我们一般采用10K RPM的FC dual port磁盘。因此每秒磁盘最大处理数X为：X＝50。 然后我们来看每个IO最大的Packet size，Y＝8K 。 因此即使在USP满配置情况下，每一对Dual Actvie链路对最多48块磁盘，峰值情况下的数据流量Z是： Z=X*Y*48＝19.2MB/sec。 可以看到，即使是在数据库环境满配情况下，Dual Active链路对250MB/sec的连续I/O处理能力只使用了7.68%左右，考虑到特例情况下大的sequential IO，将后端流量Z再翻5倍，后端带宽使用率也仅仅38.4％。
针对这个计算，我认为有三点值得商榷：第一、15K RPM最大每秒70个IO是8MB缓存SCSI硬盘的结果，而高端存储通常使用16MB甚至32MB缓存的光纤硬盘，据技术人员介绍，其性能至少是8MB缓存SCSI硬盘的1.3倍。此外，我曾经听SUN介绍，10K73GB硬盘每秒IO约120次。这里我们取最保守的值＝70×1.3＝91次；其次、2Gb/S的理论带宽应该是200MB/s，而不是250MB/s；第三、也是最关键的，在EDW的系统中，IO的Packet size推荐是64KB，这和通常OLTP系统的8KB是完全不同的。因此，我们可以得到峰值情况下的数据流量Z是： Z=X*Y*48＝280MB/s，远大于200MB/s的理论带宽，可见此时过多的盘绝对是其瓶颈。我们还可以换个方式来考虑，上文提到的8MB缓存SCSI硬盘其持续吞吐能够到底98MB/S，那么48块硬盘理论上就需要到4.7GB/S的带宽，如果换成大缓存的光纤硬盘需求就更高，如此高带宽需求又怎么是200MB/s所能支撑的呢？
当然我这绝不是认为USP不好，我仅仅是认为其并不适合作为OLAP系统的存储，毕竟我们这里是要挑错，肯定就要极其严格的要求。而就作为OLTP系统，我想它是首选！

林肯

引用:

原帖由 qq6810 于 2005-8-15 16:36 发表
在真实数据库环境下，调优情况下，每14块10K 146GB的磁盘即使在性能调优后可以达到725个IO，平均到每个磁盘每秒IO大概在50个IO。。。。(附件是第三方Seaga ...

第三、也是最关键的，在EDW的系统中，IO的Packet size推荐是64KB，这和通常OLTP系统的8KB是完全不同的。因此，我们可以得到峰值情况下的数据流量Z是： Z=X*Y*48＝280MB/s，远大于200MB/s的理论带宽，可见此时过多的盘绝对是其瓶颈。我们还可以换个方式来考虑，上文提到的8MB缓存SCSI硬盘其持续吞吐能够到底98MB/S，那么48块硬盘理论上就需要到4.7GB/S的带宽，如果换成大缓存的光纤硬盘需求就更高，如此高带宽需求又怎么是200MB/s所能支撑的呢？....
问题很好，回答如下：1.USP每对后端是32块磁盘，只有一对是48块磁盘，因此在峰值情况下的数据流量Z是 Z=X*Y*48＝12.8MB/sec，按照推荐的64KB的packet size，也只有12.8*8=102.4MB,(注意，后端48块只有在你配置超过1024块磁盘以后才会实现的)；2. 这位qq兄用的理论数据是73GB的磁盘，而不是我提供的146G磁盘的数据，所以你的推论未免有牵强之嫌； 3.请注意我们所有的推论都是在满配的情况下，试问如果你只配置800多块磁盘，不就所有的问题都解决了吗，；  4. 这个时候再谈谈cache并发带宽就知道用处了，所有的数据都要经过cache，我们算了这么多，但是cache瓶颈的并发IO通道数和cache并发带宽才是真正的大磁盘阵列的命门。不知你认为然否，嘿嘿.

qq6810

呵呵，73GB盘是EDW推荐配置啊！当然如林肯所说，真正到我所说的情况下，前端已经很吃紧了。说了这么多，其实很有点吹毛求疵，正如我开始就说了，希望能起个抛砖引玉的效果罢了。

[ 本帖最后由 qq6810 于 2005-8-16 15:16 编辑 ]

paulwang

引用:

原帖由 林肯 于 2005-8-15 17:18 发表

第三、也是最关键的，在EDW的系统中，IO的Packet size推荐是64KB，这和通常OLTP系统的8KB是完全不同的。因此，我们可以得到峰值情况下的数据流量Z是： Z=X*Y*48＝280MB/s，远大于200MB/s的理论带宽，可见此时过 ...

帅哥能不能再谈谈前面的应用服务器和存储之间的关系呢 比如EDW环境中
应用的C/S和存储的C/S怎么匹配的 我们知道大多数应用服务器的网络服务端口其实并没有那么多Gb/s

林肯

引用:

原帖由 paulwang 于 2005-8-16 12:53 发表


帅哥能不能再谈谈前面的应用服务器和存储之间的关系呢 比如EDW环境中
应用的C/S和存储的C/S怎么匹配的 我们知道大多数应用服务器的网络服务端口其实并没有那么多Gb/s

晕倒拉，哪里那么多问题

paulwang

引用:

原帖由 林肯 于 2005-8-16 15:23 发表

晕倒拉，哪里那么多问题

讨论讨论嘛 呵呵 互相学习 当然主要是向你学习