发新话题
打印

关于流媒体系统与云计算的讨论,大侠们跟进呀

本主题由 angle 于 2008-5-12 10:43 设置高亮
引用:
原帖由 peon 于 2008-5-13 19:50 发表
没有看到ISILON多少资料,也不敢说就是那种方式

一般来讲,通用的存储系统都是把数据搬运到处理的地方。比如通过fc 通过nfs等传输搬运。

而对针对streaming的存储而言,设计上需要比较特别的方式,其中一种思路 ...
我们公司有三个节点的ISILON存储,大约有6个TB左右的容量,如果你感兴趣的话,哪天找个机会,我们做个测试如何?不过别担心我会缠着你们帮我们卖设备,因为这个产品我们也是刚做不久,对性能还不是很了解,也想进行一下真实的测试,看看这东东性能到底如何?这几天我们在广州做了一个测试,好像是测试的是在ISILON上生成4GB左右的单一文件,采用6台服务器同时生成了6个这样的文件,一共花了130多秒时间,具体情况我还没有得到技术部门的测试报告,不知道你所提到的强调写功能跟这个有关系吗?

TOP

双瓜~~

TOP

说的简化点,实际上的硬件平台都是一个SAS连接的盘阵。关键在于前边的控制器(或者说机头)里边安装了什么东西,解决的是并行 并发的实际系统带宽,就是假如一堆控制器并发,通过stripe以及数据的分布就能产生很好的带宽。
FC模式的ADIC成本太高,多数情况难以采用,ip模式很可能是未来的发展方向,但是在后台的设备级别,FC的稳定、可靠真的是IP存储无法相比的。
这两个环节如果能够拆开,就很可能解决成本、性能、容量的矛盾
引用:
原帖由 peon 于 2008-5-13 19:50 发表
没有看到ISILON多少资料,也不敢说就是那种方式

一般来讲,通用的存储系统都是把数据搬运到处理的地方。比如通过fc 通过nfs等传输搬运。

而对针对streaming的存储而言,设计上需要比较特别的方式,其中一种思路 ...
中国北京 MSN wwy0630@263.net

TOP

大规模IPTV中央存储共享式点播解决方案

   Internet技术、 网络和业务的发展从各方面改变了人们的学习、工作和生活方式,给人们带来了巨大的便利。如果说移动电话 解放了空间对人们的限制,那么IPTV恰恰解放了时间对人们的限制。通过IPTV,使“大家的电视”变成了“我的电视”,把“你播我看”的方 式变成了“我选我看”的方式。IPTV是一种利用宽带网络为用户提供交互式多媒体服务的业务,其主要特点在 于交互性和实时性,通过IPTV业务,用户可以得到高质量的数字媒体服务可以自有地选择宽带IP网的视频节 目,还可以非常容易地将电视服务和互联网浏览、电子邮件收发以及多种在线信息咨询、娱乐、教育及商务功 能结合在一起。IPTV系统通常为用户提供两类使用方式:直播:将各类视频信号转换为流模式,用户可实现类似于电视的收视方式点 播:将直播信号以流媒体文件的方式存储在磁盘设备上,用户可选择自己感兴趣的节目进行播放。

传统IPTV点播系统的技术局限性
传统的视频点播系统,如图: http://www.rorke.com.cn/images/solution_iptv_clip_image002_0000.jpg

   随着各地宽带用户数量的不断增长,这类点播系统结构上的不足,已严重影响与 制约了点播业务自身地发展其缺陷主要表现在如下几个方面。

点播系统最大并发访问用户数量,尤其是对热点数据的并发访问受到极大限制
无数据冗余能力
数据管理性差
无法实现各服务器之间真正的负载均衡
用户需要什么样的IPTV点播系统?
大型的IPTV点播系统,究竟需要提供一些什么样的功能特性呢?

足够的数据访问稳定性
点播服务器群的负载均衡
高扩展性
易于管理
系统性价比
   目前,在大规模的点播应用系统中,主要存在着两类解决方案:

分布式点播系统
共享式点播系统
绝大多数分布式点播方案中,都采用了流媒体服务软件提供的数据分发机制为核心的系统; 以Rorkedata的共享文件系统为核心的解决方案,则是共享式点播系统的典型代表。

分布式点播系统分析
分布式系统典型结构,如图http://www.rorke.com.cn/images/solution_iptv_clip_image002_0001.jpg


核心分发服务器
   核心分发服务器主要负责存储媒体数据、将边缘服务器请求的数据通过以太网络推送到边缘服务器。 核心服务器存储并管理点播系统中的全部影片资料。

边缘点播服务器
   边缘点播服务器负责为宽带用户群提供点播服务,将最终用户的数据请求转换为 自身的数据请求并发送到核心 分发服务器,并且将以太网上来自分发服务器的数据流缓冲到本地,供最终用户访问。边缘服务器存储并 管理点播系统中部分影片资料。

分布式系统工作原理
在分布式点播系统中,系统的运行效率取决于两点:

边缘服务器本地缓冲容量的大小
用户访问的数据是否集中 http://www.rorke.com.cn/images/solution_iptv_clip_image002_0002.jpg
分布式系统的典型应用

分布式点播系统的局限性

.系统用户总容量、稳定性欠佳
.存储空间浪费与系统性能的矛盾
.扩展性差
.后期管理、维护困难    针对传统点播系统以及分布式点播系统中所存在的问题,共享式点播系统从存储系统结构上进行改 进,引入全 新的SAN数据共享技术,为大规模点播应用奠定了近乎完美的基础。http://www.rorke.com.cn/images/solution_iptv_clip_image002_0003.jpg

共享式系统典型结构     
共享式点播系统采用了标准的C/S结构,以运行流媒体、WMS等点播程序的服务器作为服务器端,最终用户作为客户端, 通过IP网络直接从点播服务器上获取所需媒体数据。
共享式系统工作原理
   在Rorkedata共享式点播系统中,所有的点播服务器利用FC光纤通道技术,接入到存储区域网 (SAN);每个点播服务器都能够通过SAN网络同时高速访问所有的媒体数据;通过负载均衡技术,将所有的点播服务器组 成一台虚拟的服务器对外提供服务,无论系统使用多少台物理的服务器,对客户端来说,看到的都只是1个服务器、1个计算机名 、1个IP地址,而系统负载则由全部的点播服务器来均匀承担。

分布式和共享式点播系统功能比较

确保数据访问的稳定性
   点播系统属于全天候工作的生产系统,任何时间段都会有用户使用,确保数据访问的稳定性,更是ISP服务 质量的直接体现。
    确保数据访问的稳定性,最根本的手段就是消除“数据孤岛”,也就是避免数据依赖于特定服务器才能访问的局限性。
    共享式的点播系统,采用了Rorkedata的文件共享系统,所有的点播服务器,均能够同时高速访问集中存储的所有数据,通过数据集中存 储并且完全自有共享的方式,共享式点播系统彻底解决了“数据孤岛”的问题,在确保数据访问的稳定性方面,提供了有力的保障。

系统负载均衡的实现
   共享式系统中,所有点播服务器访问的数据都是一致的。对于任何数据请求,都能够有效地进行负载分配,根据管理员设定的策略进行自动 均衡,能够达到“点播系统最大并发用户数量 = 单服务器最大并发用户 x 服务器数量”这一理想状态,实现真正意义上的负载均衡,能够确保用户得到最大化 的投资收益。

系统扩展性
   系统扩展性主要是指点播系统最大并发用户数量,以及点播媒体资料库容量这两点。在基于共享式存储系统的应用环境中,由于存储空间与服 务器之间无需考虑对应的关系,因此,无论是增加存储容量或服务器数量的调整,用户只需要添加或减少相关的设备即可,既不需要重新分配磁盘空间,也不会影 响用户已有系统的运行。通过共享式存储系统的实施,解决了传统存储系统中无法克服的结构弊病,为用户构建了一个灵活可行、方便实用的数据存储基础结构。

系统性价比
   我们在进行系统规划时,都希望能够以最小的投入换回最大的收益。只有真正切合实际应用的解决方案, 同时有效帮助用户降低总体拥有成本,提高投资回报。分布式的点播系统实际上并没有彻底克服传统的点播系统中存在的弊病;而基于Rorkedata的共享式点播 系统在各种功能性上已经通过结构的改善而达到了相当理想的效果。共享式系统的成本在系统功能及性能方面上优势是显而易见的。

[ 本帖最后由 二等美女 于 2008-5-14 17:52 编辑 ]
在挣扎中成长,
在挣扎中变的强悍,
在挣扎中学会反扑,
后来
……
掐着别人挣扎。

TOP

使用san的话,因为所有streaming服务器都是看到同样的内容,比较好做负载均衡调度,这是主要的优点。
使用san最主要的问题还是成本。楼上的也对此点避重就轻。其实只要在系统上多花点力气,解决非san系统负载均衡调度这些问题还是很容易的。

目前的电信级系统,从网络优化和用户体验的角度,不使用分布式是不现实的。另外是否使用分布式和是否使用san是不同方面的两个问题。. 使用分布式的系统也可以用san。可以是根存储用san,也有的是每个pop点都用san。

[ 本帖最后由 peon 于 2008-5-14 19:15 编辑 ]

TOP

使用SAN,关键是解决数据存储在SAN中,由多个机头负载的问题吧。否则单机头可能就是IO瓶颈了

TOP

楼上说的san机头 是否是连接磁盘上的存储设备,fc 或者 iscsi 的数据包要从这个机头出来

TOP

希望能发点浅显的学习资料!

TOP

发新话题