地  址:江苏省南京市玄武区玄武湖
电  话:4008-888-888
邮  箱:9490489@qq.com
商  务QQ:2249937563
免费建站平台:糗百的数据迁移实际
作者:管理员    发布于:2020-06-13 07:41   文字:【】【】【
糗百的数据迁移实际 糗事百科(以下简称“糗百”)被誉为挪动互联网年代的新文娱伎俩,其上海量实在用户的糗事深受青睐,每天有1亿次动静申请,峰值申请数为每秒30000次。

糗事百科(以下简称 糗百 )被誉为挪动互联网年代的新文娱伎俩,其上海量实在用户的糗事深受青睐,每天有1亿次动静申请,峰值申请数为每秒30000次。面临云云高的并发拜访量,糗百本来自建的平台愈来愈难以支持,初步呈现效劳器过载、跨机房同步延时大、图片中间磁盘I/O成为瓶颈等问题。

为了解决这些刚性的效劳压力,优化用户的效劳体验,并思考到七牛对静态资源存储的强壮技能势力和优良的解决方案,糗百抉择将图片存储迁移到七牛平台上,并初步利用七牛提供的CDN效劳。本文将结合糗百的数据迁移实际,来具体讲述怎么在不中断效劳的状况下,将海量数据滑润迁移到七牛平台的全过程。

qrsync+影象存储打造滑润迁移方案

传统的数据迁移方案是:关掉网站本来的数据上传通道,所稀有据酿成只读,而后将所稀有据上传到新的存储节点,再将上传进口改为新的存储节点,之后开放网站的上传功用。这样带来的问题是,数据迁移过程当中,用户长期不克不及进行上传操作,用户体验十分差。怎么解决这个问题呢?

针对糗百这么大要量的应用,七牛提供的数据迁移方案 上传东西qrsync+影象存储,很好地绕开了传统迁移方案所带来的问题。糗百先经过七牛的数据上传东西qrsync将很多冷数据传到七牛平台上,并将数据拜访地点切换成七牛的域名。因为用户生成的很多热数据还在糗百本人的平台上,为了不呈现数据丢掉的状况,保证用户拜访的流畅性,糗百采纳了七牛的影象存储效劳。

七牛的影象存储为整个数据迁移过程提供杰出的过渡支撑作用。当用户拜访的数据不在七牛平台上时,影象存储效劳将回糗百源站抓取数据,并保存在七牛平台上。故此,影象存储对每一个资源只要回源一次,后续拜访的时分就再也不回源了。

随后,为了进一步缓解糗百源站的I/O压力,糗百对旧有体系做了一次版本晋级,将新体系的图片存储间接放在七牛平台上。新版本的用户能够顺利地将数据上传到七牛平台上,并完成拜访,而旧体系的App版本还会有一局部用户在利用。这时候,就要在一段工夫内保证两套体系可用。但旧体系的App用户所发生的数据仍是会被上传到糗百的自建平台中,在用户第一次拜访这些数据时,影象存储效劳对糗百源站做回源,很好地包管了这局部数据的可用性。因为现在App客户真个版本更新速度比拟快,因而在所有效户都更新成新版体系,源站的回源流量渐渐趋于0时,就能将影象功用删除了。

就这样,在用户毫无感知的状况下,糗百轻松完成了对图片存储的迁移,平稳地解决了图片中间磁盘I/O的瓶颈问题。

影象存储的利用办法

假设源站所有的图片,放在一个叫img.example的子域里。那么滑润迁移的方式是:

在七牛上成立一个影象bucket,设定源站为img.example。假设影象bucket是example-img,到空间设置的域名设置中即可找到情势为7xiuqc1.z0.glb.clouddn的七牛域名

将所有对外利用的图片的域名改为7xiuqc1.z0.glb. clouddn;

如果网站数据是UGC(用户发生内容)的,调整上传流程,传到七牛的影象 bucket,这样源站就酿成只读;

利用qrsync同步东西将前史数据悉数同步到七牛的影象bucket。

云云就实现了整个迁移过程。此时img.example这个源站就能废除不消了。

结语

置信数据资源高速增长这样的 甜蜜担负 ,是大量企业都会遇到的。而怎么借助来正当扩容,怎么在不中断效劳的条件下,滑润地完成数据迁移,将成为抉择企业未来命运的要害一环。七牛云存储不只能为企业用户安稳高效的基层存储平台,影象存储等优质的效劳更能在数据迁移过程当中提供强壮的助力。此外,实现数据迁移之后,七牛提供的丰厚的图片、音视频办理功用也为包含糗百在内的诸多企业带来了很大的惊喜。后续大家将专门撰文分享这局部内容。

Copyright © 2002-2020 网页免费制作_免费建站平台哪个好_如何制作自己的网站_旅游网站建设方案_制作自己的网站 版权所有 (网站地图
地址:江苏省南京市玄武区玄武湖 电话:4008-888-888
邮箱:9490489@qq.com QQ:2249937563