ewen.yang

冬瓜兄很专业，一路看得有点晕，问几个问题：
deduplication更多的用在写/读这一块？
IPTV的点播是不是以读为主？
冬瓜兄是不是在想同一时刻的多个点点播，可以采用合并处理，以减少总的码率，不知道理解有没有错误？

peon

引用:

原帖由 冬瓜头 于 2008-5-12 10:38 发表
有没有某种算法比如计算出同一时刻点播某段相同视频的用户，或者时刻不完全相同，也可以在可允许的范围内适当增加几秒的等待时间之类，实现deduplication

我对于冬瓜的理解是使用cache来减少对于磁盘IO的访问
但是根据目前现场的统计，1-2G的cache对于磁盘基本上起不到多少cache作用

想减少IO就可以多采用广播而不是VOD的方式，把VOD的节目时间错开来做广播频道，术语上叫NVOD

peon

关于点播的用户访问，可以看我的文章：
http://blog.lmtw.com/b/peon/archives/2006/39703.html

peon

to 29 楼的 David,

你们产品假如真的能够做到性能容量线性扩展的话，应该可以适应这个市场

在IPTV领域，一些对于文件系统common的理解都有变化

我们公司产品基本上就是自己造轮子，除了硬盘，一些raid之类的东西都在应用层做掉了

saintdragon

关于VOD，我一直也有一个疑问，正如peon所言，如果要1万个并发的VOD，单台存储的机头不能满足，目前采用的是否是多台阵列存储多份数据？
假设1万个并发的VOD点播同一个节目，但点播的时间上有分钟左右的先后差异，cache的作用大吗？还是必须是N份同样的数据存储在多个存储上呢？

peon

应该是需要多个阵列存储多份数据的，不过如何做这里的灵活性很大

1万个并发VOD点播同一个节目现实里面无法发生，甚至于里面有1000个指向同个节目也很难做到。假如发生的话 cache会很有用，可惜根据用户行为统计，基本不可能。

估计911的时候有过大家看同一段视频的情况，但是对于IPTV，需要考虑的是比较common甚至是比较坏的情况

[ 本帖最后由 peon 于 2008-5-12 13:27 编辑 ]

sansky

引用:

原帖由 冬瓜头 于 2008-5-12 10:38 发表
有没有某种算法比如计算出同一时刻点播某段相同视频的用户，或者时刻不完全相同，也可以在可允许的范围内适当增加几秒的等待时间之类，实现deduplication

IPTV系统的性能压力一般都不在存储系统，最大的瓶颈在于数据机房的总接入带宽。IPTV系统一般的接入网带宽也就是1Gb-2Gb，远小于视频服务器，更小于后端的存储设备。

如何能让总带宽为1Gb/s的系统支持更多的1-2Mb/s的在线视频访问是IPTV系统首要解决的问题。

常用的方式有两种：
1、通过CDN数据分发系统，将相同的数据分发到多个数据机房。一个无法支持多个用户，那就通过多个机房来实现。

2、通过P2P软件。这个软件的工作方式于BT很类似。

peon

引用:

原帖由 sansky 于 2008-5-12 14:29 发表


IPTV系统的性能压力一般都不在存储系统，最大的瓶颈在于数据机房的总接入带宽。IPTV系统一般的接入网带宽也就是1Gb-2Gb，远小于视频服务器，更小于后端的存储设备。

如何能让总带宽为1Gb/s的系统支持更多的1- ...

其实带宽不是什么大问题，IPTV发展初期很多人还担心边缘接入带宽达不到2Mbps，结果现在根本不是什么问题。电信的带宽资源还是很充裕，只是发愁没有应用跑，03年做的一个项目，一个并非省会的城市的某机房就有4G出口。目前来讲，采用分布式部署可以说是共识(采用CDN或者类似于CDN的方式)，都已经写到信产部标准里面了。每个pop点只需要支持1000-5000streaming即可，1Gbps不够，bond就好了，很容易搞定的

对于直播来讲，基本不费什么磁盘IO，但是点播就是磁盘IO消耗大户，1U的streaming server可以有2-4个G口，但是磁盘IO很难达到这个水平。

SAN当然可以达到要求，只是成本偏高。采用san的话，想什么io banlancing啥的，都不用应用来考虑，比较省力。采用什么方案看怎么取舍。所以现在IPTV的存储，从最普通的DAS, JBOD到NAS,iscsi,FC san，怎么搞的都有

冬瓜头

如果将点播用组播的思想来dedu一下，比如几万个人同时点播一个视频，那么是不是可以将点播时刻相近的人放到同一个组播组中，先点的人等待几秒钟，这样每个时段，比如10秒形成一个组，这样会有很大效果吧？不过首先得全网实现组播。

peon

引用:

原帖由 冬瓜头 于 2008-5-12 16:11 发表
如果将点播用组播的思想来dedu一下，比如几万个人同时点播一个视频，那么是不是可以将点播时刻相近的人放到同一个组播组中，先点的人等待几秒钟，这样每个时段，比如10秒形成一个组，这样会有很大效果吧？不过首先得 ...

冬瓜头的设想有很多人研究过，就是组播流+补丁流的方式。paper也不少了。

主要的问题就是大量人点播同个节目的前提条件比较麻烦。在一个省网开组播现在也不是做不到了