文件系统上云的挑战

优质博文：IT-BLOG-CN

一、挑战/注意事项

【1】因文件系统HDFS没有关联信息OrderId等，不能对存量数据进行有策略的同步，因此目前是将所有的文件同步至云服务器SIN；
【2】海外数据和国内数据上传到各自的文件服务器后，读取文件的地址国内和国外的前缀就会不同，因此需要通过代理的方式解决该问题；

二、简介

存储：底层存储使用的FastDFS系统，一个文件4个备份，分别存储在2个IDC。
【1】内网域名流量会回流SHA，文件保存在SHA；
【2】如果文件只想保存SIN & FRA环境，前提条件是使用外网域名；
【3】外网域名和内网域名请求参数/返回报文格式有差别；
【4】外网域名需要用Proxy调用；

环境	上传文件域名	下载文件域名	是否需要代理
内网域名	http://uploadfile.xxx.com	http://downloadfile.xxx.com	不需要
外网域名	http://file.xxx.com	http://file.xxx.com	FRA：proxy-nwl.fraaws.xxx.com:8080 SIN：proxy-nwl.sinaws.xxx.com:8080

Channel：频道名，上传的文件都是保存在自己申请的Channel下；

三、文件同步

【1】目前灰度阶段，默认SHA/SIN/FRA3个机房之间文件是相互同步的；
【2】SHA与SIN/FRA机房之间是否同步文件，是根据Channel维度可以配置的；
【3】SIN与FRA是相通的，都是外网，SIN或者FRA可以访问对象上传的文件；

四、SIN上云方案

方案一：用新Channel过渡期间文件保存在SHA和SIN，FRA也可以访问。将海外文件从旧Channel删除，然后再上传至新Channel。最终要配置为不同步回SHA时，需要删除上海侧的文件。

方案二：和国内公用Channel，最终国内和海外要隔离时，把国内订单的文件迁移至新建Channel，配置数据隔离。

五、代码修改

【1】添加Proxy：Request设置代理服务器地址即可。

String httpProxyURL = CertificateConfig.getHttpProxyURL(); // proxy-nwl.fraaws.xxx.com:8080
String[] tmpList = httpProxyURL.split(":"); 
HttpHost proxy = new HttpHost(tmpList[0], NumberUtil.parseInt(tmpList[1]));
requestConfigBuilder.setProxy(proxy);