海量小文件备份

1、信息简介

通常我们认为大小在1MB以内的文件称为小文件，百万级数量及以上称为海量文件，由此量化定义海量小文件。

2、发展历程

在互联网(尤其是移动互联网)、物联网、云计算、大数据等高速发展的大背景下，数据呈现爆炸式地增长。海量小文件的应用在生活中已越来越常见，社会化网络、移动通信、网络视频音频、电子商务、传感器网络、科学实验等各种应用产生的数据，不仅存储容量巨大，而且数据类型繁多、数据大小变化幅度大、流动快等显著特点，往往能够产生千万级、亿级甚至十亿、百亿级的海量小文件。

3、功能特点

如何构建高效存储访问和备份恢复的小文件管理是目前海量数据存储所面临的一个重要问题。对于海量小文件的备份，稳定、快速、减低数据存储冗余是关键点。鼎甲科技平台容灾备份产品，采用先进的数据格式进行存储，支持智能数据压缩，自动识别数据冗余度，从而加快大量小文件的整体备份速度。依托二级索引结构，可快速地进行大量小文件的增量备份。

容灾备份产品对于海量小文件的备份，还采用合成备份技术，由一个完全备份和一些增量备份自动组成新的合成全备份，这种全新的备份方法可通过单个备份映像提供快速的客户端恢复。由于文件只需备份一次，所以合成备份只会消耗较少的网络带宽，并能降低对应用主机的影响。