peon

先自我介绍一下：
我是个开发人员，从02年开始一直从事电信级流媒体/VOD/IPTV/CDN系统 方面的设计和开发，目前在一家知名的IPTV公司。做过的系统大概已经有50w的并发规模。

个人对于存储一直有兴趣，在电信级流媒体系统里面，存储也是个非常大的方面。我个人对于存储的基础有了一定的了解，个人自学总觉得进步很慢，而且觉得仅仅有理论知识远远不够。希望能和从事存储行业的各位一起学习进步！
msn : pengning_cn@hotmail.com

我以前研究过一些基于streaming的存储设计，是基于计算机云的分布式系统。对于video CDN/streaming server也有不少研究。大家可以互通有无。

两点：
公司的采购和系统选型不归我负责，希望卖系统的就不要找我了
水平高低无所谓，希望有求知欲很强的朋友一起学习和研究

[ 本帖最后由 angle 于 2008-5-12 10:44 编辑 ]

klin121628

VOD市场很大，增长也很快。不过对cloud computing了解甚少

冬瓜头

加你了，多指教！
请教一下楼主流媒体对存储具体有哪些要求，怎么做才能做到性能最大化，谢谢

peon

楼上所言既是。

这个一直是VOD系统架构方面的一个重大问题

冬瓜头

能否描述一下视频服务器的典型IO特征呢？

peon

streaming的存储最关心的是吞吐（throughput），然后是成本（指上万/10w个流而言)其他的一些管理的灵活性啊，备份什么的倒在其次.

我们在某网通的系统，每个server就有 >500Mbps 的输出（这还是老型号)，这样的板子有几百块

streaming 存储设计一直是架构方面的一个大问题，基本上有下面的几种选择：

1. 基于san的架构，这个成本比较高
2. 基于集群的主机+DAS ，这个其实还是蛮好做的，我02-04年呆的公司走的是这个路线，
3. 基于集群的主机+分布式文件系统，这个有点像群集+NAS了，但是NAS显然性能不够，这里的分布式文件系统是为streaming定制的，这个东西复杂性有点高，但是有极强的可伸缩性和性能

他们各自的优缺点，三言两语难以尽说，而且也是见仁见智的问题, 在打大的项目的时候，也没有少和别的公司argue。我个人觉得要尽量缩短IO路径和减少额外的交换开销(也就是说FC Switch这类东西)，节约成本，毕竟这是个几百台千兆server的系统，成本第一。

但是我个人虽然看了些书籍，了解不少理论，经历过大堆ppt和应答，但是本人是开发人员，而且并非这行的人，对于存储有坐井观天之感觉。而且公司里面并没有对于此道非常精湛的专家，个人钻研感觉进步太慢。时间无价啊！而且讨论本身就是一个学习的过程，不经历讨论和辨析，何来深入和提高？

希望和各位同仁互通有无，共同进步。

BTW, 实在是有些不好意思！ 我的msn上面人实在太多，希望加了我的各位能够先说句话，要不真的有点找不到人。我可能是以前msn限制150人的时候最先烦恼的那小部分人了！再次道歉！

[ 本帖最后由 peon 于 2008-5-10 19:12 编辑 ]

冬瓜头

这种集群本质上来说属于高吞吐量的HPC了。分布式文件系统对付吞吐量绝对有一套，不过遇到随机小文件读写可就完蛋了。兄弟做开发，我想多请教点软件层面的东西，请问写向存储的时候，这类视频软件一般都有什么特征，是否利用大量ram做为缓存，同步异步，是否写临时文件，写的时候是顺序或随机，文件是创建之后就定好长度还是随着写入逐渐增长，等等，望赐教。

peon

要保证吞吐的话：
1.使用大量缓存，但是要考虑成本问题。假如是ram不多，最好是完全不使用缓存，这样可以提高效率，减少内存拷贝和总线占用。
2.同步异步看你的设计，不少知名软件是异步的
3.临时文件看设计，我想没有什么特别的必要
4.要保证顺序读写，这个直接影响吞吐，绝对的第一要素
5.文件最好是随着写入逐渐增长，个人喜欢如此，但是实际需要看系统架构
假如一次性分配好，可以尽量保证文件在磁盘上连续，提高读取性能
假如随着写入分配，可以在写入的时候写入到磁头附近的block，可以保证写入的最高效率
假如你有足够多的控制权(自己写文件系统)，你可以在两者之间达到最佳平衡

peon

冬瓜头老大, 我已经加了你，搜索不到名字里有冬的 :<

冬瓜头

谢谢。再请教一下，如果一开始就分配好空间，这种方式自身有两种子模式：
1）设定长度但是不分配空间，也就是文件bitmap中全是“hole”，不指向硬盘扇区或者簇块。不需要大量磁盘IO
2）直接分配簇块，此时可以觉察到伴有磁盘大量IO。

能否请peon老兄详细解释一下这两种机制？第一种是怎么在文件系统中作用的，第二种，是什么操作产生了IO？向对应的区块写0么？还是其他机制？谢谢