是如何支撑企业用户的 日实时计算超40万亿次的腾讯云大数据平台 弹性资源池500万核 (是如何支撑企业发展的)

文章编号:40832 资讯动态 2024-12-03 腾讯云数据开发大数据

毫无疑问,腾讯云正不断将把腾讯多年来的能力沉淀对外开放,赋能千万企业,这一次是大数据。

在9月11日腾讯全球数字生态大会大数据专场上,腾讯云一口气公布了1+6款大数据核心应用产品。

要知道,在过去的十多年时间里,腾讯大数据经历了由外部采购到自研再到对外输送能力的快速迭代和发展,目前产品矩阵已经覆盖运维、开发、应用三大层面,无论是作为基础设施的弹性分布式计算、神盾联邦计算,场景开发的商业智能分析、云搜等,还是作为大数据应用服务的云图、灯塔增长平台等,目前都以腾讯云产品和服务的形式,面向开发者和企业开放。

腾讯云副总裁刘煜宏透露,腾讯云大数据平台的算力弹性资源池达500万核,每日分析任务数达1500万,每日实时计算次数超过40万亿,能支持超过一万亿维度的数据训练。

此时,正是检验腾讯云大数据产品能力的最好时候。

一场疫情带来的大数据产业机遇

而2020年的新冠疫情严重暴露了很多企业的数字化支撑能力不足,很多企业都仓促将业务转移到线上,但由于过去积累不足,并未取得很好的效果。

哪些能力是需要补足的?腾讯研究院今年4月的一份调研数据显示,有50%的企业认为大数据是数字化转型过程中首要关注的一项技术。

腾讯云大数据产品副总经理雷小平表示,企业构建大数据能力的核心有三点:一是平台的统一,大数据涵盖的范围非常广,每个组件只能解决一小部分,导致整体对大数据平台的维护和升级的复杂度极其高;二是异构算力,大数据的算力占到了企业IT采购的50%以上;三是企业级安全,对企业经营影响非常大。

为此,腾讯云推出了全新全链路数据开发平台WeData,以解决从数据集成到开发调度到部署测试长链条上的问题。

弹性资源池500万核、日实时计算超40万亿次的腾讯云大数据,是如何支撑企业用户的?

具体来说,WeData提供了涵盖数据即席分析、数据任务可视化编排、运维等在内的全链路数据开发能力。将主要解决三个问题:一是元数据统一,做到不同平台的数据打通;二是数据开发的统一,从数据集成、开发、测试、发布、调度,都能在一个平台内统一;三是数据治理的统一,包括数据血缘、数据地图、数据的质量等。

例如,通过在云端构建统一元数据管理服务,涵盖技术元数据和业务元数据的管理,并打通了弹性MapReduce(EMR)、CDW云数仓、Mysql云数据库、对象存储等在内元数据,以便于企业数据在不同云端数据设施之间进行无缝流转的同时,还能保障其元数据的一致性和可维护性。

目前,WeData已经进入内测阶段,预计下半年正式公布并开源出来。

除了全链路数据开发平台WeData之外,在更细分的场景上,腾讯云大数据推出流计算服务Oceanus、云数据仓库CDW、ES、弹性MapReduce、神盾联邦计算以及企业画像等6项重磅能力发布和升级。

弹性资源池500万核、日实时计算超40万亿次的腾讯云大数据,是如何支撑企业用户的?

针对大数据开发场景,

在大数据基础设施层,

在大数据应用服务上,

WeData如何快速落地?

以上解决方案,不难看出腾讯云对企业大数据应用痛点有着清晰的认知。

然而,数据开发领域,类似的产品并不鲜,相较之下,具体到场景中,WeData解决了哪些问题?又会有怎样的发展逻辑?

腾讯云大数据产品副总经理雷小平在接受雷锋网采访时表示,

据了解,腾讯QQ音乐首先基于WeData产品进行了大数据能力的重构。

在重构之前,所有的数据分析能力都是基于Spark构建,所有报表的延时也都是小时级。在将热数据全部升级到Clickhouse,并通过WeData进行数据开发工作,重构完成之后数据决策能力从小时级别提升到秒级。

但不同的是,在接触到真正的外部政企客户,很多诉求很难说在腾讯内部就能遇到,如跨源、跨域、跨类型、跨IDC的数据分析需求等。为观察到这些客户诉求并给出可落地的解决方案,腾讯云大数据基础平台总经理陈鹏向雷锋网举了一个实际场景:

直接跳过腾讯之前踩的坑,让企业有更多时间关注业务价值,可以说是腾讯云WeData的核心目标。

雷锋网总结

可以看到整个大数据的演进已经从过去比较多地关心存储计算能力,发展到了现在,能够将存储计算封装起来往场景开发和应用服务的方向演进。

这其实也是腾讯云大数据平台接下来的发展方向。据透露,腾讯大数据平台将会在数据安全、智能化、统一平台三大方向重点发力。

正如雷晓平在采访中最后对WeData的未来期待所描述的那样:目前大数据开发平台并没有统一的标准和协议,这导致每个企业用户在平台迁移成本上非常高,WeData主打开源和开放,同时我们也希望将它做成一个生态。

将技术落实到场景中,将研究相关成果开放出来,从WeData身上我们看到了腾讯云对企业用户真正开始了解的一面。

(雷锋网)

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
重庆网站

重庆网站排名,根据网站的综合值按照不同的重庆网站进行筛选排名结果,通过筛选重庆网站可以看到每个重庆网站里面的网站排名优质的网站是哪些

Pixso官网

pixso是一体化设计协作工具,助力产研设团队制作原型,ui/ux设计,视觉设计,低代码交付时获得更轻松流畅的工作体验,让团队协作更高效。支持sketch,figma格式。

网谋天气

网谋天气(www.wangmoutianqi.com)目前可以查询全国各城市天气预报,提供相关地区天气预报7天查询,以及天气预报15天查询等服务。

无锡户外拓展露营基地

无锡户外拓展基地拥有自己的户外拓展培训基地,集合专业的拓展培训师,为企事业单位提供户外拓展活动的训练方案,户外烧烤,户外篝火露营,野外徒步探险等活动的资讯发布,欢迎来电咨询.

系统平台

南京信达尚品智能科技有限公司致力于是一家集开发、生产、销售、服务为一体的专业科技型公司,主营:开关模块电源、充电电源、AC-DC开关电源、DC-DC模块电源等产品广泛应用于智能配网终端、电力自动化装置、智能家具、物流行业车辆及车载系统、仪器仪表、军工、轨道交通、工业自动化等领域!

小青龙3号少儿重疾险官方投保入口

小青龙3号少儿重大疾病保险去哪里买?小青龙3号少儿重疾险网上购买通道,小青龙3号少儿重疾险保险条款深度解读。慧择专注保险服务17+,本站为小青龙3号少儿重疾险慧择线上投保平台,为您提供小青龙3号少儿重疾险保险方案定制服务。慧择帮挑帮赔,为您量身定制!

河北智赢

主管:河北省新闻出版广电局主办:河北省新闻出版发展服务中心邮编:050091地址:石家庄市新华路563号 少年智力开发报社出版版权所有冀ICP备15011285号

火族网

火族网是一家专注于手游行业的综合性网站,为广大手游爱好者提供最新、最热门手机游戏下载,手机应用软件下载,还有更多手游资讯、评游戏攻略等文章资讯,致力于为广大游戏玩家提供最优质、最安全的游戏综合服务。

山东德葡石材

山东德葡石材装饰工程有限公司自2019年创立以来,立足于“中国石材之乡”--山东平邑,是一家集矿山开采、石材生产加工、批发销售、工程设计、工程施工、工艺雕塑、装饰施工等为一体的大型石材企业。拥有占地3万多平方米的石材加工生产车间,占地8千多平方米的原材料堆场,经营领域横跨整个石材产业链。德葡石材以规模和实力奠定行业地位,在市场大潮中浩荡前行,在激烈竞争中乘风破浪,力求高质量、高效率地满足各地客户的合作需求。

推推99

推推99不仅提供个人房源采集,二手房源采集,房源一键群发,还提供二手房,租房的找房服务,端口房源排名提升分析,热门小区房源分析,帮助经纪人完成小区专家,让经纪人获得平台优先推荐权,提高经纪人的曝光率。全国加盟热线:18600548549

云享物联

云享物联是智慧酒店和数字园区的一体化智能解决方案服务商,主营业务有智慧酒店一体化系列产品(智能物联PMS、微信订房、自助入住机、人脸识别门显、智能门锁、智能客控、微信点餐系统、客房通等)和数字园区一体化系列产品(微信预约系统、访客机、数字园区智能管理平台、可视大屏、AI测温终端、人脸识别门禁、蓝牙门禁、二维码门禁、梯控、手持智能终端等),旗下有云享物联、智易住、智易访三大知名品牌

有CE认证能外贸出口的快速门

西朗门业是专注出口海外快速门、快速卷帘门、快速升降门、工厂高速门的外贸生产厂家,产品出口全球50多个国家和地区,服务3200多家企业。

全局底部横幅