共享大型系统镜像快速分发方案-BT SDK
需求:云桌面场景下,需要给单位或者学校客户的数十台设备,批量升级系统镜像文件。
遇到的问题:镜像文件对应一个系统的分区,数据量非常庞大。用了以下方法:
(1)传统方式:1对多模式
改变镜像后,服务器端将这个镜像文件通过ftp/Http等方式,给局域网内的几十台、上百台终端进行发送,即1对多的模式。但问题是单台服务的带宽、磁盘读性能有限,如果是千M局域网,上传能力最高是120MB/s左右,如果有100个终端一起更新下载,每个终端只能获得1.2MB/s的下载速度,如果传输一个256G的分区镜像,需要几天的时间才可以传输完成,周期太长。
(2)衍生方案:
基于以上问题,先服务器传给几台客户机器,等几台机器传完后再通过这些机器下发给另外机器的各种模式。但这种方式需要的时间还是很长。那有没有其他更好的方案,可以更快的完成系统镜像文件的更新呢?
大文件快速分发传输文件的点量BT/P2P方案分享
该方案基于标准的Bittorrent协议进行改进优化的商业P2P SDK引擎,具备完善的P2P功能以及丰富的接口。可以实现,服务器同时给所有终端分发时,自动将文件切分为很多分块,随机给每个终端一个分块。然后每个终端拿到后,再互相连接分享已有的分块,实现一个分布式集群的自主分发,从而实现人越多,下载速度越快、分发效率越高。让每个终端都能获得120MB/s的下载速度。从而让一个本来需要几天才能传输完成的文件,可以在几十分钟就能完成传输。关于点量BT的具体功能,比较多这里不做过多赘述,感兴趣的朋友可以参考http://www.dolit.cn/category/dolit-p2p。
目前该方案已经广泛被多家厂商用于大文件以及超大文件的传输,比如影院原始拷贝分发、超大蓝光电影分发、系统镜像、游戏的更新、教培类文件的定时批量更新等。虽然主要功能都类似,解决的都是大文件快速分发传输的问题,但针对不同的细分行业还有所区别,比如游戏行业更重要的是对比更新功能,而影音行业会要求边下边播。
具体在系统镜像传输领域,点量BT除了传统P2P的功能外,还针对该场景做了如下高级功能,更好的解决该场景下的实际需求:
1、提供自定义IO接口
可以将P2P内部所有针对文件、文件夹的IO操作,调用外部自定义的IO函数,这样就可以实现分区的读写等由外部用户自定义处理,可以针对/dev/sda1等分区直接当一个标准文件处理,用来制作torrent文件、进行文件的读写。用户通过自定义对磁盘分区、镜像的读写函数、查看文件大小、属性等函数,将分区当做一个标准文件处理。
2、镜像下载优化版,可设置跳过传统校验
专门提供镜像下载优化版本,可设置跳过传统校验:磁盘镜像分区比较大,传统BT/P2P在进行分块校验等操作时会耗费时间太久,通过自定义IO,以及高级设置,可以跳过这些校验,提升制作种子、下载完成的时间。由外部校验镜像完整性。
3、自定义设置文件分块大小
由于磁盘分区镜像可能是256G甚至更大的文件,因此建议设置4M等超大分块大小,这些在普通BT软件里面是不支持的。
4、支持更多分块数量
镜像下载优化版本的点量BT可以支持4M/8M等超大分块大小,以及更多的分块数量支持。也可通过自定义IO,可以将一个超大镜像,拆分成多个虚拟文件,比如每个虚拟文件64G,以实现更好的并发传输效果。
5、支持局域网自建Tracker,提升P2P效率
针对局域网传输,可通过高级参数去除UPnP等映射,以及停止局域网自动发现。支持设置局域网自建Tracker,通过局域网Tracker的策略高效调度,以及指定节点之间的传输关系,可以减少多层路由器的多级子网下的端口映射干扰,让P2P连接更直接、迅速。
此外除了针对Windows下的sdk ,还可提供Linux下的sdk以及对应的tracker,满足多场景的实际需求。
从种子党到过气网红,BT下载的生死岔路
曾几何时,BT下载可谓是网虫们的福音。在那个宽带网速永远追不上下载需求的年代,BT的点对点分享理念为全球网民们带来了无比便利,几乎所有的软件、电影、游戏,乃至学习资料,都可以在这个平台上找到想要的一切。它的出现堪称是网络世界的一次小革命,让互联网的分享精神得以充分彰显。
回想那个仅有几兆上网速率的拨号时代,下载一部电影或游戏往往需要几个小时甚至几天的漫长等待。而BT协议的诞生,改变了这一切。它将每个用户都当成了一个"服务器",所有参与下载的人都在互相传输、共享文件数据,从而极大提高了下载效率。可以说,对于当时绝大多数网民而言,BT是他们获取海量信息、分享资源的主要渠道。
BT协议最初是由程序员Bram Cohen于2001年推出的,他将其设计得尽可能去中心化、分布式。用户无需登记服务器,只需通过磁力链接,电脑与其他下载同一资源的终端就能自动建立连接。整个过程中没有中心节点,数据在用户之间互相传输,体现了极高的效率和灵活性。
这种全新的分享模式很快就在全球网民中间流行开来,Facebook、Twitter等公司也开始使用BT协议来分发更新,游戏巨头暴雪也借助它让玩家下载《魔兽世界》客户端。可以说,BT下载曾经是互联网发展至今最伟大的公共资源。
在当年那个内容付费意识几乎为零的网络环境下,BT无疑成了各路盗版分子的温床。随着一部部影视作品被人肆意拷贝、传播,版权意识逐渐被唤醒。BT协议本身是中性的,但这项技术被滥用的事实,也让其创始人Bram Cohen备受非议,他一度生怕自己会被电影公司起诉。
可以说,BT协议对于互联网发展有着里程碑式的意义,但很不幸的是,它并未能最终转化为一种可持续的商业模式。原因在于,这项革命性技术的创始人虽然是一位天才程序员,但他患有自闭症,缺乏运营公司和把控市场的能力。
BT之所以会走向没落,其根源在于宽带基础设施的发展。过去十余年间,随着移动互联网的普及,全球主要国家都在加快建设高速宽带网络的步伐。如今,百兆乃至千兆带宽已经走进千家万户,人们再也不用为下载一部电影或游戏而等待几个小时。大文件传输需求的减弱,直接导致了BT协议存在价值的大幅降低。
与此同时,云存储和流媒体技术的兴起,也让互联网上获取内容的方式发生了根本改变。从前需要下载到本地才能观看的影视作品,现在只需在线点播即可;从前不得不下载安装的软件,如今都可以在云端直接运行。这些新型服务的出现,无疑是给BT下载这种传统方式的最后一记重锤。
另一个不可忽视的因素,就是全球版权意识的增强。盗版行为在过去的互联网世界里曾一度肆意妄为,但随着正版化的大潮汹涌而至,监管力度也在不断加大。一个显著例子是,美国电影协会曾对中国最大BT种子网站发起过诉讼,最终导致该网站被判赔偿数百万美元。
从这个角度来看,BT下载这一曾经风靡全球的互联网现象,注定难逃被历史所淘汰的命运。如同互联网之父Vint Cerf所开发的TCP/IP协议一样,BT虽然是一项顶尖技术,但并非所有的技术都能顺利转化为一种成功的商业产品。
回首BT下载的兴衰历程,不禁让人唏嘘:曾经那些被追捕、与种子党抗争的岁月,如今竟沦为了网络中默默无闻的过气网红。但这其实也折射出了互联网环境本身正在发生的巨大变迁,一些存在已久的陈规陋习正在被新生事物所彻底推翻。在这个永不止步的数字世界,唯有与时俱进,才能紧跟时代的步伐。
相关问答
植物 种子 繁殖后代的手段和过程?植物种子繁殖后代的手段一般可分为两大类:是借助外力,如风力、水力、动物和人类的携带。例子:有的种子表面常生有絮毛、果翅等,这些特殊的构造适合借助风力飞...
植物是怎么传播 种子 的 - 天气加[回答]植物可以通过弹射、动物、风、水来传播种子。其中,非洲凤仙、羊蹄甲、豆类、芝麻等植物的果实成熟之后,经过连续暴晒,或只要轻轻一碰,果实就会裂开,...
动物怎么帮助植物传播 种子 的有几种传播方式,请举出例子._作业帮[最佳回答]举几个例子吧:1、小鸟等吃果实时,把种子吃到了肚子里.然后小鸟飞到了其他地方时,拉了粪,粪中有种子,种子就在另外一个地方发芽生长.2、猫、狗等动物...
有人说百度网盘磁力链接、 种子 下载功能暂停使用了,对此你怎么看?前段时间迅雷发布了迅雷X下载软件,但它已经不是单纯的下载软件了,这几年来下载软件走下坡路的原因很多,其中一个因素就是各种网盘的兴起,网盘的离线下载比很...
防风怎样人工种植?防风栽培,位于四月上中旬,温度为15℃以上,施肥为优质家肥、过磷酸钙、磷酸二铵。1、选地防风对土壤要求不十分严格,但应选择地势高燥的向阳土地,土壤...生长...
金 种子 zzt有什么用?据他们发布的白皮书上说是可以用来在CADEX交易所抵手续费、领空投、交易所分红,还可以用来购买虎坚果油、虎坚果酒,啥的。具体情况,可以去他们网站找客服了解...
天使投资A轮、B轮、C轮投资,上市后股权是怎么分配的?如果超出这个范畴,投资人又想多占股份(证明你的项目很好),除非是天文数字,除此之外建议不要超出,否则后面融资时会很难受!总结以上我们可以得出:种子轮...金额...
甘蓝应该如何种植?如何种出优质甘蓝?甘蓝的品种非常多,而且植株的适应性和抗逆性都很强,可以在不同季节播种栽培。当然要想种出优质甘蓝,选择合适的品种是甘蓝栽培成功的关键因素之一。其实不论在...
一般 种子 种下多久发芽?一般3—7天。种入土的不同植物的花的种子,发芽的时间是不同的,一是遗传基因左右着发芽的时间,再者土壤的温度对发芽的快慢也有很大的影响。先细胞质或细胞增...
蒲公英是怎样传播 种子 的?每当起风的时候,就会被风吹散开来,非常漂亮。蒲公英为什么会飞蒲公英是怎样传播种子的蒲公英繁殖方法蒲公英为什么会飞,因为蒲公英的种子上长有冠毛,冠毛...