即时:数字化深水期,数据存储成本和访问敏捷性之间矛盾如何解决?

2022-08-11 16:54:44 来源:

打印 放大 缩小

·目前在云服务行业,一个获得共识的数据分类方式是以“数据的温度”为标尺,把 数据分为热、温、冷、冻四个层次。进展到智能分层,即系统根据每一份数据的实际访问频率来决定其温度,然后自动把数据分到合适的存储层级。


【资料图】

·IT化(企业信息化)已很少被提及,而将其当作向前发展的一个技术基础。现在,一个更时兴的分类为——云原生的现代化应用与传统的云端企业应用,存储的设计也要依此有专⻔的构建。

自“十四五”规划明确提出加快建设数字经济、数字社会以来,遍及千行百业的数字化转型拉开大幕。据埃森哲的全球调研数据显示,从2018年到2021年,在全球8300家标杆企业中,全面拥抱数字化技术的前10%的企业,与后25%的企业相比,营收增速快了5倍之多。

随着数字化转型的深入,当下产业界在实践中早已认识到,不是把数据搬到云上就万事大吉,促进营运效率的提升更需要具体考量如何在存储成本和数据访问敏捷性之间取得平衡。

“数据增长会带来很多问题,存储并不只是简单地把0和1的比特放在物理介质上这么简单,这里存在大量业务层面需要关注的问题。”亚马逊云科技大中华区产品部总经理陈晓建在接受包括澎湃新闻(www.thepaper.cn)在内的媒体采访时说。

如何应对海量数据增长所带来的成本急速上升与数据存储服务敏捷性能之间根深蒂固的矛盾?企业的业务数据来自各个渠道,性质不同,使用方式也不一样,存储设计如何与其相适应?

在陈晓建看来,解决问题的核心思路总结起来即:智能分层、专门构建。

从手机相册功能看为何要智能分层

随着云中数据量爆发式增长以及应用场景不断丰富,每个企业都要面对一个问题:是牺牲存储成本来保持读写性能,还是牺牲读写性能来维持成本不急速上升?

随着技术发展,云中存储成本在不断降低,陈晓建对澎湃新闻打比方道,2006年亚马逊云科技一份数据如果需要100块钱存储的话,到了今天只需要花15块钱,也就是说这16年间,整个存储成本降低了大约85%。

但是,数据存储成本并不是一个独立的问题,还要同时在真实实践场景中考虑数据来源多种多样、使用方法完全不同的问题。

目前在云服务行业,一个获得共识的数据分类方式是以“数据的温度”为标尺,把数据分为热、温、冷、冻四个层次。

简单来说,数据的使用有不同频率,比如交易系统里的交易数据,to C系统里的用户日志等,这些数据需要被频繁访问,被称之为热数据。而像一些企业的业务数据,包括网站数据,有可能需要按周或按月的频率访问,这些数据被称之为温数据。

再往下一层,如手机相册数据,有的数据可能几个月甚至一两年才会访问一次。“这些数据可以将它作为归档数据,一旦存储之后访问频率并不是很高,我们称之为冷数据。”陈晓建说道。

还有一种数据,一旦写入之后访问频率非常低,但是由于合法合规的要求,这些数据必须要能够进行持久化存储,比如医疗影像数据。国家规定这些数据必须存放30年,任何时候要用都可以及时拿出来。从业务特点来讲,这些数据本身对于存储读写性要求并不是很高,但是要求持久性,而且量非常大,那么对存储成本就会有非常高的要求,这是冻数据。

在具体业务上,陈晓建举例道,“我们提供的一个归档存储叫Amazon S3 Glacier,一个GB数据可以存200个19秒的短视频,一个月的存储成本只要人民币3分钱。但是代价也是有的,一旦要读取这个数据可能需要几分钟,甚至几个小时,这就是归档存储的特点。如果觉得这个存储速度太慢了,我需要更快的比如说秒级甚至毫秒级存储性能,那么就是‘温’的存储服务,但是价格比Amazon S3 Glacier贵3倍左右。”

这样听起来似乎非常简单易行,但在现实实践中会发现如何判断数据的温度,如何根据数据温度的变化积极进行存储策略调整,并不像想象的那么容易。比如一款游戏刚上线,对于其用户数,即游戏会大卖还是卖得不好实际上是未知的。

同时,随着业务逻辑改变,数据的温度也会改变。“举一个我自己亲身经历过的例子,一个互联网相册服务,用户可以上传自己的照片,可以社交分享给别人。这个业务在最开始时数据温度很容易判断,很显然上传照片越近、越新就越热,时间越久就越冷。几年以后业务上线了新功能——让用户看一看5年前、10年前拍了什么照片。那么一下子所有冷数据就变成温数据,甚至变成热数据了,这时候存储逻辑是不是要大改?以前按照归档来分,现在显然不行了,怎么办?”

于是进展到智能分层,系统根据每一份数据的实际访问频率来决定其温度,然后自动把数据分到合适的存储层级。这一方面大大降低了运营的复杂性,不再需要一个专人或复杂的运营逻辑来完成这部分工作,另一方面降低了运营成本。

“举个例子来说,对于文件系统,我们认为某种程度上也符合二八原则,20%的数据会被频繁访问,80%的数据则属于非频繁访问。如果按照智能分层把两类数据分开,假定非频繁访问层成本是频繁访问层的1/10,智能分层可以节省最多72%的成本。”陈晓建分析道。

和智能分层一样,数据保护的备份管理中也使用了备份库的冷热分层。以同样的逻辑,如果按照95%的备份数据做冷备份库,把5%的备份数据放在热备份库来处理,冷备份库的成本按照热备份库的20%来计算,通过冷热分层策略就可以有效降低约75%的成本。

为不同应用专门构建存储

当下,业界已经不再提IT化(企业信息化),而是将其当作向前发展的一个技术基础。现在更时兴的分类为——云原生的现代化应用与传统的云端企业应用。

如电商、游戏、社交等,这些应用大部分就诞生在公有云上,所以被称为“云原生”。而像ERP、CRM、EDA等已经存在很多年,流行于公有云出现以前,所以依赖的技术和架构并不会专门考虑云的存在。

那么,这两种应用产生的数据在处理上就会有明显不同。

云的特点是使用者不需要考虑底层架构,云原生应用的存储非常简单,只需要调用简单的API接口。

而对云端企业应用来说,此前已经存在快照、镜像、远程复制、多种存储协议等,要上云就必须支持这些。同时,企业应用还有各个行业的特点,比如高性能计算,“我们可以看到真正在跑的高性能集群往往是几百个节点,甚至几千个节点共享一份数据。这样就带来两个问题,首先需要共享的存储,其次由于这份数据要被几百个、几千个节点同时访问,所以对整个存储的性能和吞吐率也提出了非常高的要求。”陈晓建说。

高性能计算是陈晓建对企业应用四个分类中的一个。第二个是Windows为主的应用,即底层服务要完全满足Windows的环境,包括ACL文件访问控制权限、Active Directory兼容。第三个是ERP、CRM、EDA等多种多样的企业应用,要上云就必须完美兼容和支持之前提供的功能。第四个是大数据的环境,往往需要一些特殊的支持,比如ZFS,需要具备高吞吐、低延时的技术。

关键词: 数据存储

责任编辑:ERM523

精彩推送

全球观速讯丨数说中国丨7月我国汽车产销量同比保持稳步增长 即时:数字化深水期,数据存储成本和访问敏捷性之间矛盾如何解决?
环球快资讯丨台州银行上半年净利下滑6.53% 三名高管年薪总额超2400万引关注 全球聚焦:歼-20战机识别查证外国军机 意味着什么?
当前头条:民生健康IPO:每片“21金维他”成本约为0.1元 收购健康科技“疑点重重” 全球快看:奥德生物生产“不合规”新冠抗原检测试剂盒 被罚4.4万元
简讯:立陶宛官员率团访台 外交部:将坚决回击 天天看点:小鹏汽车在宁波高架发生撞人致死事故,辅助驾驶又闯祸了?
世界滚动:普博医疗生产“不合格”医疗器械 被罚18万余元 全球快资讯:南京玄奘寺传真名下多家公司经营异常
环球快讯:核酸检测机构长沙艾迪康未24小时内出结果被罚 环球视点!从分子机制到类脑器官,脑科学技术如何助力攻克脑疾病?
世界快消息!新研究发现用唾液可诊断创伤后应激障碍 世界微动态丨南京玄奘寺原住持传真名下3家公司被列入经营异常名录
环球讯息:捷龙三号火箭完成工程阶段大型地面试验 转入首飞试验阶段 今日视点:2022养乐多消费者课堂在杭州开讲
世界观焦点:销量不佳、高层动荡,极星汽车再次更换中国区总裁 聚焦:衣恋因劣质牛仔夹克抽检不合格被罚
天天视讯!争议名创优品:旗袍公仔标注“艺伎” 被指“伪日系” 被曝店内不许放中文歌 每日短讯:7月我国动力电池产量同比增长172.2%,磷酸铁锂电池势头迅猛
当前关注:让虚假中医药广告无处藏身人人喊打 信息:ZARA关联公司因销售劣质服装被罚
环球观热点:北京群玺建工无证承揽工程被住建处罚 实时:专家:乡村产业要振兴人才先振兴 加快培育乡村数字贸易专业人才
每日报道:关注!知识产权鉴定系列团体标准发布 焦点精选!上半年我国锂离子电池产量同比增长150%
全球短讯!中山美南华美容医院多次因虚假广告被罚 全球关注:【美丽中国·网络媒体生态行】天桥湖:昔日废弃采石场 而今似西湖风光
环球微资讯!“益生菌‘量效关系’的科学综述”发布 今日看点:京运通变更项目 拟53.64亿元投建乐山单晶硅项目
天天精选!东部战区新闻发言人首次出镜!这些“发言人”你知道多少 环球要闻:如何科学界定“后生元”并建立标准?且看最新研究成果
焦点热文:我国在绵羊基因组学研究及基因编辑短尾细毛羊育种方面取得突破 实时:中汽协:7月汽车企业出口29万辆,创历史新高
环球速递!小鹏汽车回应疑似辅助驾驶事故:全力配合调查,协助处理后续事宜 每日看点!国家移民管理局:具有博士学位的外籍华人可申请在华永久居留
环球微速讯:TikTok退出爱尔兰首都办公室租赁谈判?公司回应:继续推进在都柏林扩员计划 关注:美国商务部长:拜登还未决定降低对华关税,佩洛西窜台让情况变复杂
全球看点:同城是美团电商的解法吗? 天天热头条丨上海修订消费者权益保护条例——不断增强消费者权益保护力度
全球快看:年薪近123万元超董事长,这家公司核心技术人员辞职,上市刚满一年,啥情况? 当前动态:外媒:马斯克要求推特提供负责垃圾账户信息处理的员工名单
【世界快播报】27岁小伙已交满15年社保?制造焦虑大可不必 环球今热点:三亚昨日新增480+774 新疆新增无症状感染者380例
当前视讯!“兽药”更好卖?丽珠集团陷转型困境 天天热议:我国上半年锂离子电池产量同比增长150%
环球观热点:中央厨房风头正盛 如何科学建设、规范管理? 环球资讯:数藏平台iBox频惹争议,背后隐现西安纸贵高层
【全球热闻】重庆吾悦广场业主维权遭开发商新城控股暴力掀翻,因房屋质量纠纷 世界头条:怪兽、街电,共享充电宝刺客如何挥刀?6元充电三成半,莫名花掉百元
全球速讯:让显示器件像衣服一样“穿”在身上 【播资讯】福特汽车CEO:原材料成本方面的压力预计不会在短期内缓解
环球速讯:两大电网超万亿元投资加速布局中 远东电缆等上市公司已手握百亿元订单 资讯推荐:司法拍卖+表决权委托 ST联建迎来新东家
天天快讯:委托不知名新玩家,提名有“ 处分”候选人 *ST顺利董事会乱战遭“失联”股东搅局 全球焦点!中国运营商5G投资超过4000亿元
快消息!能源安全必须立足国内为主 环球新消息丨正大集团永远荣誉董事长谢大民在泰国曼谷去世,享年90岁
天天速读:四部门采取综合措施遏制“天价”月饼 天天热资讯!保障性租赁住房REITs发售在即
观察:吉林:持续推进荒漠化综合治理 当前资讯!高温催热空调冰箱等“冷家电” 政府补贴家电市场“绿意浓”
世界速讯:中国成功开发地下8000米超深油气田 要闻速递:解析!是什么酿成韩国首都圈的罕见特大暴雨?
环球关注:我国成功开发超深地下油气田8000米 每日速递:让虚假中医药广告无处藏身
今热点:上半年我国锂离子电池产量同比增长150% 天天快消息!气候变化可使半数以上传染病加剧
滚动:新华联:控股股东新华联控股持有的1.7亿股将被司法拍卖 焦点日报:新能源渗透率提高 电动车征税是趋势
今日快看!治疗脑动脉狭窄有了新方案 焦点速看:农企要用好数字化“新农具”
当前滚动:对话澎湃新闻总裁刘永钢:新融资带来新动力 【环球时快讯】济宁港航梁山港公司充分发挥公铁水多式联运优势
环球即时:零碳生活悄然接近,你准备好了吗? 世界今亮点!快递业“半年报”:市场回暖 蓄势发力
观热点:知乎12年 还在为盈利发愁 天天简讯:富德产险“将帅”免职背后的信保违规疑云
天天百事通!从快递大数据看当前经济活力 要闻速递:龙湖集团:不知股价异常波动的原因,具备充足可动用现金储备
环球讯息:摩尔多瓦天然气公司:因缺乏资金 无法在8月向俄气支付购买能源的预付款 全球球精选!上半年我国充电桩安装量增3.8倍 30至90千瓦使用功率仍是主流
天天消息!龙湖集团:公司到期商票都已经兑付,没有任何逾期支付 环球即时:称中国旗袍公仔为“日本艺伎”,名创优品是哪国的?
天天讯息:蓝光发展:控股股东又有所持股份被冻结,占总股本32.1% 每日简讯:7005万拍下太子奶集团剩余40%股权 三元股份回应:价格相对符合预期
今日精选:筹款中介抽成最高达到70% 水滴筹管控恶意推广用户 今日热议:热搜!家长花200万给娃买奥特曼卡,还没集齐!网友:贫穷限制了我的想象
每日时讯!上海票据交易所:龙湖集团无商票违约和拒付记录 相关谣传不属实 天天看热讯:网红炸鸡Popeyes中国业务将易主,笛卡尔资本接手
环球即时:四川自贡“邦泰天著”项目被投诉“漏水及楼板开裂” 住建部门回应 焦点速讯:旗袍、艺伎傻傻分不清楚?名创优品营销又翻车
焦点热门:热搜,东方树叶冷藏后分层,网友:用矿泉水勾兑的吧? 世界观察:正大集团永远荣誉董事长谢大民在泰国曼谷去世,享年90岁
快报:国家级“服务指南”出炉在即 自动驾驶商业化落地还有哪些堵点 【全球报资讯】为了和三只松鼠抢生意,洽洽的负债规模越来越大
焦点速看:特斯拉崛起,北上广深豪车市场格局生变 天天快资讯:河北大厂楼市调查:多项目处于半停工状态,购房者寥寥
焦点消息!白云山的赚钱黑魔法,坑了医保和患者 世界今日报丨FBI搜查海湖庄园后,希拉里推销“讽刺特朗普”帽子,一度卖断货