数据编织,大数据的新风口?

2021-09-01 03:15:17 来源:中国电子报

打印 放大 缩小

  怎么实现“数据找人而不是人找数据”的梦想?“数据编织”(Data Fabric)悄然登场。2018年“Data Fabric”首次出现在Gartner的十大数据与分析技术趋势中,以后每年它都会出现在其中。10年前大数据概念在国外兴起后,不到3年就被中国用户广泛接受,而今天大多数中国厂商则是按兵不动,这又是为何呢?

  “数据编织”悄然登场

  Data Fabric的中文名字到底怎么翻译,IBM公司与Gartner有了分歧。IBM大中华区科技事业部云计算与认知软件部数据与人工智能信息架构产品总监王积杰将其称为“数据经纬”,而Gartner高级研究总监孙鑫认为“数据编织”更为合适,因为他认为数据编织更凸显“动态”。

  在Data Fabric出来之前,数据结构的设计都主要部署成静态基础设施,而在未来将需要采用更动态的数据网格方法全面重新设计。

  孙鑫在接受记者采访时表示,Data Fabric不是一个产品而是一种设计理念,是利用AI、机器学习和数据科学的功能,访问数据或支持数据动态整合,以发现可用数据之间独特的、与业务相关的关系。

  而IBM对Data Fabric的看法,与Gartner专家提到的“动态”“数据网格”和AI赋能并无冲突。IBM中国研发中心首席技术官赵军伟解释:“经纬作为名词,本意为织物的直线与横线,引申为连接万物的规律,《左传·昭公二十五年》中写道——‘礼,上下之纪,天地之经纬也。’ 作为地理概念,经纬度可以定位地球上任何一个位置,而‘数据经纬’则可以在纷繁复杂的企业数据目录里定位任意一个数据源。经纬用作动词,是规划治理的意思,《周书·静帝纪》中提到的‘经天纬地’就是治理天下的意思。”

  “我们可以把Data Fabric想象成一张虚拟的网,这张网并不能理解为一种点对点连接,而是一种虚拟连接,每个节点都可以是不同的数据系统,不同系统上的数据在网上都可以迅速被定位和找到。Data Fabric的主要功能是把正确的数据,在正确的时间里,给到正确的人。通过Data Fabric, 对的人可以从对的地点,在对的时间里,获取对的数据。”王积杰对记者说。

  现在的数据连接的架构设计还主要是“人找数据”,而Data Fabric设计核心是“数据找人”,在合适的时间、将合适的数据推送给需要的人。

  为什么Data Fabric将会成为一种趋势,为什么越来越多的企业将在未来采用这样的方式进行部署?王积杰谈及了数据利用结构模式的变化。传统IT时代,无论是早年的“数据仓库”还是近几年的“数据湖”和“大数据”时代,其实数据利用都是集中式的架构,把数据收集到一起,让企业的数据分析师、BI(商业智能)分析师对数据进行分析。但在云计算时代,用户业务部署在多云的环境下,要想将分布在不同云上的数据集中在一起成本很高,也很费劲,于是采用去中心化、分布式的数据网络架构就成为了必然选择。

  Data Fabric可以同时给业务和技术团队带来明确的价值,王积杰表示,从业务层面来看,由于企业能更容易地获得高质量的数据,从而能更快和更精确地获得企业数据洞察。从技术层面来说,由于数据复制的次数和数量较少,从而减少了数据集成的工作,方便维护数据质量和标准,也减少了硬件架构和存储的开销。由于减少了数据复制和大大优化了数据流程,加快并简化了数据处理过程,从而通过实施自动化的整体数据策略,减少了数据访问管理的工作。

  Gartner认为,随着数据的日益复杂以及数字化业务的加速发展,Data Fabric已成为支持组装式数据分析及其各种组件的基础架构。由于在技术设计上能够使用/重复使用及组合不同的数据集成方式,Data Fabric可缩短30%的集成设计时间、30%的部署时间和70%的维护时间。IBM 7月发布的Cloud Pak for Data4.0的软件组合增加了智能化的Data Fabric功能,其中AutoSQL(结构化查询语言),可以通过AI来自动访问、整合和管理数据,可以帮助客户以8倍的速度、不到一半的成本,获得分布式查询的答案。

  如何“编织”数据?

  要实现“数据找人而不是人找数据”,Data Fabric究竟如何“编织”?

  王积杰认为,Data Fabric至少需要四个维度的能力。一是能够在数据之间建立虚拟链接,简化数据访问的模式,从而减少数据复制的数量。二是需要建立一个企业数据目录,并需要利用AI技术,自动化地实现基于语义和知识的分析,理解数据及其业务含义,并建立知识图谱, 从而使数据目录变得智能化和自动化。能够让需要数据的用户,随时了解到需要的数据在哪里、数据质量如何等。三是建立自动化数据平台,允许用户通过自服务的方式,访问并获取数据。四是通过提供整体的自动化策略,确保数据安全,增加数据的隐私和权限保护,并提高数据质量。

  数据编织是一种新的设计理念,它是数据管理、数据收集理念的变化,与数据仓库、数据湖等技术并不是替代的关系,既可以运用现有的数据中枢、数据湖和数据仓库的技术和技能,也可以在未来加入新的方法和工具。

  孙鑫谈到了实现Data Fabric的一些关键技术,比如增强型数据目录,要想实现数据找人,而不是人找数据,需要增强的数据目录,它要涵盖用户使用数据的频度与机制,了解数据与业务的关系,还包括知识图谱,通过知识图谱找到数据与业务之间的关系,找到元数据利用的整合策略,也包括推荐引擎以及在数据准备阶段的低代码等工具,低代码工具的作用在于降低数据使用的门槛,加速数据产品化。

  从Data Fabric推动的难点来看,“一是理念层面的难题,中国的用户还没有意识到,数据利用和使用的方式已经发生改变,传统的集中收集再利用的方式已经不能满足需要。二是目前很多企业对于元数据不够重视。三是从人的角度看,需要提升企业数据工程师对知识图谱、图语言、图建模等数据工具的能力培养。四是数据编织的实现并不是找到一个厂商就能够完成,它是一个旅程,需要分几步走。”孙鑫认为,从用户的角度看,率先采用Data Fabric的是金融电信行业以及数据应用场景比较复杂的用户。

  在这一点上,王积杰表达了与孙鑫一致的观点——这是一个方向,但并不能一蹴而就,用户需要分步实施,关键是要意识到趋势,在后续的项目实施中,按照Data Fabric的理念来构建。

  国内厂商为何按兵不动?

  尽管Gartner、Forrester等分析机构在几年前就提出Data Fabric是数据利用与分析领域的革命性变革,是未来方向,但记者联系国内大数据相关领域企业进行采访时发现,对此了解或进行布局的企业并不多,甚至找不到。

  这与国内大数据厂商的分布有关。“国内有很多做数据库的企业,也有很多做BI(商业智能)的企业,但做数据整合的企业很少。而事实上,在国外做数据编织的往往是数据整合、数据虚拟化的厂商,这就很好理解为什么国内的大数据厂商迟迟未入场Data Fabric,因为这类企业就不多。” 孙鑫告诉记者说。

  大厂商没有入场很好理解,因为在Data Fabric的理念下,往往需要采用点和边的新方式去描述数据关系,需要知识图谱、图数据库等,这往往是新锐公司在做的领域,而大厂商往往有自己的数据整合工具,他们都希望在自己的平台上进行整合,但是这样的局面一定会在之后的几年发生变化。

  “Data Fabric这个概念在国际上已经热起来了,但目前国内的IT用户知道的人还不多。10年前大数据的概念在国外兴起后,不到三年就被中国用户广泛接受,未来这个 Data Fabric概念,中国将需要多久接受并加以应用呢?等待时间给出答案。”王积杰说。

关键词: 数据 编织 大数 新风口

责任编辑:ERM523

精彩推送

多家公司元宇宙商标被驳回 川航一航班挂出7700紧急代码 民航西南地区管理局 :正在调查,会适时公布相关情况
长江流域成世界最大清洁能源走廊 6座梯级水电站2021年发电量创历史记录 中公教育巨额利润消失之谜:地产投资遇阻,仍有多重疑云
中公教育巨额利润消失之谜 2021年12月我国中心城市轨道交通客运量达200868万人次
北京消协通报智能门锁检测 三星西屋等产品存问题 北京:严格冷链食品和包装消毒 做到“不验核酸不入库”
2021年国内光伏新增装机53GW,分布式增长强劲重回风口 农业农村部:2021年猪肉产量基本达到历史正常年份水平
北京至成都一航班挂出7700紧急代码 已安全降落 青客租房申请破产清算,未履行金额近3000万元
增速稳中有降 房地产贷款如何"稳刚需" 2021房产经纪人大数据发布,大学生经纪人占比超4成
规模破千亿 养老目标基金应该怎么选 “原年人”要小心了!春节商家千层套路你看得穿吗?
华为王军谈30万辆销量目标:没有什么是不可能的 小红书申请元宇宙商标被驳回
北京至成都一航班挂出7700紧急代码,现已安全降落双流机场 去年开展的“菜篮子”市长负责制考核情况如何?农业农村部回应
因多计营业收入和营业成本1795万元 铁岭新城被责令改正 瑞幸计划在美重新上市?公司否认
经济观察:开年降息带给中国楼市的三个重要信号 拜登声称没准备好取消加征的关税 商务部回应
春节和冬奥会期间“菜篮子”产品稳产保供情况如何?农业农村部回应 58同城、安居客:2022年返乡置业有望升温
工信部:将对应用商店、重点互联网企业等实现监管全覆盖 苏州吴江区四季开源酒店致17死坍塌事故原因:无加固情况下拆除承重墙
否认销售人员大量离职的迈瑞医疗,欲给2700名员工戴“金手铐” 春节消费谨防四大“低价套路” 甄别虚假促销和诈骗
投资收益披露存差错 景峰医药及其董事长叶湘武被通报批评 中国一汽:与国家体育总局战略合作签约
酱货怎么挑?炒货怎么拣?海鲜怎么选?办年货吃货有秘籍 苏州致17死四季开源酒店坍塌事故原因公布:无加固情况下拆除底层承重墙
上海:到2025年全市生物医药产业规模超10000亿元 新增上市企业25家 “包装实丑价格感人” 年轻人买零食都爱淘“工厂店”
帝欧家居退出欧神诺股东?回应称“消息不实,仍为控股子公司” 七欣天利润上涨靠外包员工?公司多家子公司受到行政处罚
你在还债,别人在凡尔赛!杭州房企滨江春节放16天长假,还发最低3万消费券 B站全资入股有妖气漫画平台
工信部:专精特新要大批发展、着重发展 工信部:对智能网联汽车、冰雪装备等产业加大培育力度
国潮 ”新片场” 青岛啤酒百年国潮街泉城开街 苏州致17死四季开源酒店坍塌事故原因:无加固情况下拆除底层承重墙
工信部:建成全国APP检测平台,每个月能检测18万款APP 广东:确保产业链供应链安全 依法加强对资本的有效监管
国家能源局:我国光伏发电并网装机容量突破3亿千瓦 苏州:普惠托育机构明显上升,目前有3.2万个托位
我国光伏发电并网装机容量突破3亿千瓦 分布式发展成新亮点 蚂蚁集团减持众安保险至10.37%,回应:系正常投资决策
工信部:我国疫情防控政策对产业链、供应链有利 真老虎上阵,奢侈品牌虎年广告惹争议
北交所推动中小企业践行ESG理念 ESG投资在中国前景广阔 我国是否已陷入“低生育率陷阱”?专家回应
人民大学教授:生育相关假期成本要由国家、企业和家庭共担 房企融资活跃度明显提升
新能源汽车销量攀升 动力电池企业忙扩产 21世纪不动产一加盟店经纪业务违规遭北京住建处罚
美股全线收跌 中概股叮咚买菜跌近24% 保利回应成都天府新区项目整改进展:与业主基本达成一致意见
甘肃首家“食物银行”启用后显“萧条” 广东省政府工作报告:稳妥推进恒大集团等房地产企业债务风险化解处置
手机充电器接口统一标准是大势所趋 天津市市场监管委通报工业品监督抽查情况 不合格发现率为8.9%
我国开通5G基站142.5万个 “秒拨IP”黑产亟待有效整治
工信部:2021年全年累计清偿欠款超过200亿元 老旧小区物业管理困境:出了问题不见人 找到人不管事
海外消费者最爱十大年货:购物车刮起中国风 蚂蚁集团减持众安在线至10.37%,回应称系正常投资决策
吉林:加快建设现代化市场监管体系“吉林样板” 广东:市场化法治化稳妥推进恒大等房企债务风险化解处置
大基建潮涌 水泥“双碳元年”将至 药明康德发布年度业绩预告:扣非净利润同比增长68%到70%
讲书人樊登:用企业经营成果和用户规模,对抗知识分子的傲慢与偏见 汤加海底火山喷发会导致“无夏之年”吗?
字节跳动整整一个部门解散!发生了什么? “降息”!央行出手 A股重磅利好来了?解读-更新中
九部门联合发文推动平台经济规范健康持续发展 新年以来最大范围雨雪天气来了!
腾讯是家普通企业?清华专家:认同!领军企业没有特权,但有特殊责任 防疫交通管控不简单 春运更安心
战投部门裁撤之后,字节跳动的投资故事该如何讲下去? 铁路共青团:奋战在党和人民需要的地方
推动区域数字经济协调发展 乐视网案件再迎进展 多家中介机构陷诉讼纠纷
关注数字贸易国际规则构建与走向 你好,机器人工友
掌舵三一重工56年的梁稳根退位 向文波接棒 化肥企业能否搭上新能源快车
手握千万流量仍卖不好自家鞋子,还欲打包抛售 星期六董秘:鞋业面临渠道变迁 王老吉的“兄弟连”靠啥走红
沈阳文旅局道歉,沈阳文博中心、张氏帅府博物馆相关负责人停职 汤加海底火山喷发未对我国远洋渔业捕捞造成直接影响
网传证监会从1月18日起不接收中德证券、信永中和、金杜律所等6家机构新申报材料,机构回应 微软收购动视暴雪,索尼股价大跌
紧盯重点人群重点眼病 提升眼科医疗服务效率 新《尼罗河上的惨案》定档春节后
千亿元级换电市场频入重磅玩家 谁将成为新能源车领域的“卖水人”? 宁夏石嘴山:多部门联合治理预付卡消费顽疾