捷报手机比分直播_捷报手机足球比分直播

热门关键词: 捷报手机比分直播,捷报手机足球比分直播

超盟数据获得了怎么样,QuickSight应对大数目挑衅

2019-11-12 作者:科技创新   |   浏览(155)

作为新型零售行业最活跃领域中的一家初创公司,我们最初非常注重时间因素。因为我们知道,更快推出产品和服务对我们早期的成功至关重要。在产品架构稳定之后,我们也开始考虑成本和效率。AWS的服务标准高于竞争对手,没有AWS,我们的发展和创新就无从谈起。无论从稳定性、安全性、性能、效率还是成本的角度来看,AWS都为我们带来了令人信服的价值和用户体验。——超盟数据首席技术官李健豪

“AWS云服务安全、稳定、可扩展以及全球覆盖的特性,加快了涂鸦业务的全球化部署,为保证海外涂鸦客户和合作伙伴能够享受到本地化的服务体验提供了坚强保障。”

北京超盟国际文化有限公司致力于利用大数据,通过API数据接口、BI增强型决策平台和基于AI的产品选择平台等数据服务和解决方案,帮助便利店、连锁超市和社区杂货店等零售商制定决策。其客户包括超市发、天天便利、利客便利、每一天便利、惟佳和六意等国内零售企业。超盟数据的BI增强型决策产品目前每天处理数千万笔交易,被中国超过10000家门店(包括5000家小零售店)使用,占中国特许便利店的18%。产品和服务是初创企业的生命线

——杭州涂鸦科技有限公司架构师 柯都敏

眼下,我们生活在众多网站、联网设备和移动应用程序生成海量数据的时代。在这种数据密集型环境下,做出关键的业务决策势必需要从这些数据获得宝贵的洞察力,比如开展营销和销售活动、物流规划、财务分析以及广告定位等决策。然而,收集、存储和处理数据的数据基础设施主要面向广大的开发人员和IT专业人士(比如Amazon Redshift、Amazon DynamoDB和Amazon EMR),不仅技术专业人士需要获取洞察力,不懂技术的业务用户也需要获取洞察力。

超盟数据的业务模式是为连锁便利店提供一站式数据管理和分析平台(包括数据收集、分析和挖掘)和由数据支持的决策。这个完整的决策体系由大数据支持,可以帮助零售商建立一个数据驱动的管理系统,并制定最适合自己的独特的营销策略。

服务全球上万家客户的人工智能企业

为了能够为客户提供最出色的数据存储方案,这些年来我们构建了几种创新的数据库解决方案,比如Amazon RDS、Amazon RDS for Aurora、Amazon DynamoDB和Amazon Redshift。许多客户在使用这些解决方案收集和存储海量数据,这点不足为奇。不过,从这种类繁多的数据源获取可付诸行动的洞察力这个过程并非易事。传统上,许多公司只好购买许多复杂的工具来发现数据集、购买抽取/转换/加载(ETL)工具来准备分析,购买另外的工具来分析和提供可视化的交互式仪表板。

便利店是超盟数据的主要客户之一。便利店的经理通常需要查看数千种商品,以便确定需要补充的商品。这种传统的人工订货过程既缓慢又容易出错,经常会导致畅销商品的短缺和滞销商品的过剩。

涂鸦智能是杭州涂鸦科技有限公司旗下的全球化智能平台,成立于2014年,主要业务是连接消费者、制造品牌、OEM厂商和零售连锁的智能化需求,为客户提供一站式人工智能物联网的解决方案,并且涵盖了硬件接入、云服务以及APP软件开发三方面,形成人工智能+制造业的服务闭环。

如今,我迫不及待地想与各位介绍一种全新的服务:Amazon QuickSight,旨在简化从种类繁多的数据源获取洞察力的过程,以便快速、轻松、低成本地获取洞察力。QuickSight是一种非常快、云驱动的商业智能服务,成本却只有传统商业智能解决方案的十分之一。

李健豪表示:“我们的增强型决策服务可以通过年龄区间、性别、经济条件和周边的房价等十几个维度来计算和分析周边潜在客户的概况,不仅可以解决这个问题,还能帮助便利店经理优化库存,实现利润最大化。因此,如何快速、可靠而有效地获取数据、实时处理和分析数据并准确、恰当地给出相关结论,将会决定我们的生产效率和竞争优势。”

涂鸦智能平台涵盖硬件接入、云服务、App软件开发三大方面,并提供统一管理后台。涂鸦开发的智能化设备,可以通过涂鸦自定义App软件或者Amazon的语音设备进行控制,实现设备的智能化。

大数据挑战

由于其业务增长、创新以及产品和服务迭代的速度,超盟数据的IT基础设施开始遇到瓶颈。

涂鸦产品主要分为四大类:大家电、小家电、消费电子产品和照明,包括电灯、电插头、空调、空气净化器、净水器等。

近几年来,AWS提供了一系列全面服务,帮助客户收集、存储和处理越来越多的数据量。如今,成千上万家公司在使用亚马逊网络服务(AWS)来满足其在大数据方面的要求:既有强生、三星和飞利浦这样的大企业,也有网飞(Netflix)和Adobe这样的老牌科技公司,还有Airbnb、Yelp和Foursquare这样的创新初创公司。

李健豪表示,“产品和服务是像我们这样的初创企业的生命线。我们需要集中精力改进产品并提供更有价值的服务,推动我们的发展。我们的数据服务由云创造。这意味着我们的IT系统必须高度稳定、高度可用,并且具有灵活、安全而可扩展的设置以及对开发人员友好的测试环境。系统面临的关键挑战在于如何保证高效、稳定、安全、经济的业务运营,同时减少运营和维护负担。一个简化、自动化并且无缝集成的IT后端能够让我们的团队更加专注于业务开发和创新。”利用AWS,项目开发时间平均减少了2-3个月

截至到2017年11月底,涂鸦智能产品已覆盖包含中国、美国、欧洲、中东、东盟等在内的近200多个国家和地区,服务全球超过10000家客户,产品触达数千万消费者。

每天都有大量的数据从在AWS基础设施上运行的客户应用软件生成,使用Amazon Kinesis之类的服务来收集和流式传输,存储在AWS关系数据源中(比如Amazon RDS、Amazon Aurora和Amazon Redshift)、NoSQL数据源(比如Amazon DynamoDB)以及基于文件的数据源(比如Amazon S3)。客户还使用众多不同的工具,包括Amazon EMR for Hadoop、Amazon Machine Learning、AWS Data Pipeline和AWS Lambda,处理及分析数据。

超盟数据以前使用其他供应商提供的云服务,但在启动直接连接客户数据库的收据扫描项目时改用 AWS。现在,超盟数据所有的核心业务都完全在AWS云上运行。

图片 1

收集、存储和处理的数据与业务用户每天做出的关键决策之间存在固有的缺口。简而言之,对企业组织的最终用户而言,数据并不总是随时可用、易于访问。大多数业务用户继续在努力解答重要的业务问题,比如“我的主要客户是哪些,他们在购买什么?”,“我开展的营销活动效果怎样?”,以及“为什么我盈利最多的区域没出现业务增长?”虽然商业智能解决方案面市已有几十年了,但是客户告诉我们,弥补这个缺口需要投入大量的时间、IT人力和资金。

李健豪解释说,“以前,其他供应商提供的某些服务不稳定,甚至会导致存储对象丢失。对于使用我们服务的客户来说,他们的产品可能具有非常长的生命周期,这就需要我们实现更高的数据安全性和系统稳定性。AWS不仅比其他解决方案更稳定,而且还提供了丰富的托管服务和强大的工具。从长远来看,AWS可能更容易满足我们的业务发展需求,并为我们的发展提供巨大的帮助。”

选择AWS云服务的理由

传统的商业智能解决方案通常需要数据工程师组成的团队花几个月时间来构建复杂的数据模型,综合数据,然后才能生成第一份报表。这种解决方案缺少交互式数据探查和可视化功能,大多数业务用户只好使用现成报表和预先选择的查询。

超盟数据为零售业提供数据分析和挖掘解决方案。这家公司每天需要处理数百亿条记录,但其业务团队此前没有Hadoop分析平台的构建和使用经验。李健豪加盟之后,在一周多的时间内利用 AWS帮助公司构建了新环境,并在不到三周的时间内研究和部署了Amazon EMR。

涂鸦云服务系统是整个IoT解决方案的核心,直接决定着客户的用户体验和业务全球化的速度,因此在云服务商的选择上,基础设施的覆盖范围、服务的安全性、稳定性、扩展性都是考虑的重要因素。

内部部署型商业智能工具还要求公司配置和维护复杂的硬件基础设施,并支付昂贵的软件许可证、维护费和支持费,而支持费每年每个用户可能高达数千美元。为了适应数量更多的用户,并支持社交媒体、互联网、移动、物联网、广告技术和电子商务等工作负载带来的激增数据量,这些工具需要投资兴建更多的基础设施,以保持合理的查询性能。实施和扩展商业智能解决方案成本高、难度大,这让大多数公司很难在整个企业组织普遍使用商业智能。

李健豪指出,“在业务方面,我们的首要任务是保证稳定性和速度。AWS前瞻性的云服务可以帮助我们建立一个敏捷的开发团队,更快、更有效地将独特的产品和服务推向市场。在技术方面,我们非常重视平台的成熟度、提供的服务范围、对开源框架的广泛支持,当然还有安全性。”

一、业务全球化

Amazon QuickSight应运而生

举例来说,Amazon S3可以用作数据湖。其他解决方案很难应对需要高存储容量并共享快速增长的数据集的使用场景。李健豪坦言,“Amazon S3帮助我们解决了许多数据流和数据处理方面的挑战。其高持久性让我们的客户永远不需要担心丢失宝贵的历史数据。选择AWS的另一个原因是它对开发人员友好。利用AWS,我们可以更快、更轻松地完成产品开发和迭代,推动业务增长;我们每个项目的开发时间平均减少了2-3个月。这些是我们选择AWS时的主要考虑因素。”

随着业务的不断扩大,海外市场的发展,涂鸦系统面临如何快速在海外部署的问题。截至2017年12月22日,Amazon Web Services 在全球18 个地理区域内运营着 49个可用区,并宣布计划增加巴林、中国香港特别行政区、瑞典和美国第二个 AWS GovCloud 区域这四个地区,同时再增加 12 个可用区。AWS云服务基础设施覆盖范围之广,恰好可以满足涂鸦服务海外的需求。

QuickSight是一种从头开始构建的云驱动的商业智能服务,旨在应对大数据在速度、复杂性和成本等方面的几大挑战。有了QuickSight,贵公司的业务用户只要借助易于使用的用户界面,就能做到分散在众多不同大数据源(比如关系数据源、NoSQL数据源和流式数据集)的数据触手可及,而成本只有传统商业智能解决方案的十分之一。很容易从QuickSight开始入手。下面就介绍QuickSight的一些核心功能。QuickSight让你很容易在短短几分钟内,完成安装、连接至数据源,并构建可视化类型。

图片 2

二、高安全性

QuickSight凝聚了大量的创新技术,让业务用户可以迅速获得第一洞察力。下面是驱动QuickSight的几大创新技术。

如图展示了超盟数据利用Amazon EC2、Amazon S3、Amazon RDS、Amazon Redshift、Amazon DynamoDB、Amazon ECS、Amazon EMR和AWS Lambda等服务在AWS上构建的大数据分析平台。AWS让我们能够更加专注于业务创新

厂商硬件嵌入了涂鸦的联网模块后,硬件设备可通过涂鸦App或者其他终端设备得以控制。涂鸦云服务平台作为整个业务的中央控制器,客户在App上的注册信息及各种操作行为产生的数据也会被实时存放在云服务平台上。涂鸦非常重视数据安全性,随着业务范围的不断扩大,服务人群逐步增多,数据安全性显得更为重要。为此,涂鸦通过使用AWS Key Management Service 管理加密数据的加密秘钥。AWS KMS使用固化系统提供安全的位置来存储和使用加密密钥。在固化系统中,未加密的密钥只能用于内存中,KMS 密钥不会传输到它被创建的 AWS 区域之外。

图片 3

自2016年6月超盟数据针对收据扫描项目改用AWS以来,其IT基础设施的效率稳步提升,为降低成本和业务创新做出了巨大贡献。

此外,涂鸦还通过AWS Identity and Access Management 的认证机制保障各用户之间的数据访问隔离,这对涂鸦保障数据安全提供了非常大的帮助。

SPICE:让QuickSight功能如此强大的主要组件之一是超高速并行内存计算引擎(SPICE)。SPIC是一项从头开始构建的新技术,由当初开发了DynamoDB、Amazon Redshift和Amazon Aurora等技术的同一个团队开发。SPICE让QuickSight能够扩展至数TB分析数据的环境,对大多数可视化查询而言提供了毫秒级的响应时间。如果你用QuickSigh处理某个数据源,数据会自动被吸纳到SPICE中,以获得最佳的分析查询性能。SPICE结合使用了列存储、借助最新硬件创新实现的内存技术、机器码生成和数据压缩,让用户得以对庞大数据集执行交互式查询,并且迅速获得响应。SPICE支持丰富的运算,从而帮助客户在探查数据时获取宝贵的洞察力,没必要为配置和管理基础设施而操心。SPICE可自动复制数据,确保高可用性和高性能。这样一来,企业组织就能扩展至数千个用户:他们都能针对一系列广泛的AWS数据源,执行快速的交互式查询。除了驱动QuickSight外,我们还让AWS商业智能合作伙伴能够与SPICE整合起来,那样使用我们合作伙伴工具的客户可以借助已经很熟悉的用户界面,迅速直观地显示数据。

AWS云让超盟数据能够大幅降低维护成本和管理工作量,同时实现服务的自动、灵活扩展。李健豪指出,“成本的降低体现在两个方面:时间和人力。此外,AWS还让IT硬件方面的初始固定投资成为历史,而这在以前是一笔巨大的支出。Auto Scaling和Lambda等服务发挥了特别重要的作用,让我们的系统能够适应波动并且高度并发的工作负载,进一步降低了我们的AWS费用。此外,安全组和其他安全服务可以确保我们在AWS上的系统受到良好的保护。AWS完成了运行IT系统所需的大部分繁重工作,让我们能够更加专注于业务创新。”

三、自动扩展

自动发现:商业智能和数据分析面临的挑战之一就是,发现数据,并筛选数据以便分析。这需要IT部门建立数据目录,并且借助分析引擎和工具确保数据可以发现。用户登录进入到QuickSight后,它会自动发现客户可以访问的所有数据源,并分析它们,不需要数据库配置和安装等操作。比如说,客户可以直观地显示其在Amazon Redshift集群上的数据,只要选一张表,然后进入到可视化显示,最多只要点击三下。为了做到这一点,我们构建了一项活动元数据目录服务,它为客户可以访问的所有数据源(比如Amazon Redshift、RDS、S3、Amazon EMR和DynamoDB)编制了一份目录。

随着客户数量的不断增加,超盟数据需要处理的数据点从数亿增加到数百亿,并需要在几毫秒内显示结果。作为中国首批使用Lambda的企业之一,超盟数据能够有效地应对业务的迅猛增长。

随着国内硬件厂商国际化以及涂鸦实现了通过Amazon Echo语音控制硬件设备,海外用户流量暴涨,因此要求系统有较强的可靠性、灵活性和扩展性。AWS Lambda是一项无服务器计算服务,通过运行代码来响应事件和自动管理底层计算资源。涂鸦使用Lambda自定义逻辑来扩展其他 AWS 服务,根据请求数量无限制扩展,无限配置任何内容。用户通过Amazon Echo的语音交互命令传到后台,涂鸦使用Lambda来执行用户的指令并返回应答给用户。另外,涂鸦还广泛使用了Lambda来实现一些IT系统自动化的功能,比如产生缩略图、自动快照等。同时,Amazon Elastic Compute Cloud (Amazon EC2)所具有的纵向和横向扩展灵活性,也保证了涂鸦云系统能够轻松应对各种业务高峰。

AutoGraph:选择合适的可视化类型并非易事,背后有许多学问和门道。比如说,最佳可视化取决于诸多因素:用户选择的数据字段类型(比如“是时间、号码还是字符串”),数据基数(比如“该字段只有4个独特的值还是有100万个值?”),以及用户试图可视化的数据字段数量。虽然QuickSight支持多种图形类型(比如条形图、线形图、散布图、箱形图和饼形图等),但我们试图简化的其中一个方面是,使用一种名为AutoGraph的技术,自动为所选择的数据选择合适可视化的功能。有了该技术,用户选择好想要可视化显示的哪些数据字段后,QuickSight就会为它们自动选择合适的可视化类型。

李健豪兴奋地说,“数据的流动和转换曾经是一个脱节的过程,我们必须先完全提取数据,然后才能处理数据。而Lambda让我们能够在提取数据的同时对其进行分析。所有提取工作现在都在Lambda中并行完成,而后续的清理和分析由Amazon EMR处理。这种方式将处理任务的时间从6小时减少到15分钟。我们现在正在调整数据流的结构,以便提取之后的数据处理工作也可以利用Lambda的强大功能。速度对我们来说非常重要,因为它决定了我们是否能够实时显示分析报告。我们在夜间处理所有数据,让商店经理、主管、存货员和连锁店经理能够在早上第一时间使用我们的可视化分析和辅助决策服务。AWS让我们的客户能够享受独一无二的用户体验。”

除此以外,AWS在全球云计算领域的显著优势,也是涂鸦选择AWS的原因之一。

建议:数据的绝对数量可能大得惊人;许多用户只想探查其数据,了解值得关注的特点。比如说,针对Amazon Redshift集群中销售数据的最常见查询可能是,“一段时间后,涵盖不同类别的总体销售额会出现怎样的增长?”借助QuickSight,我们开发了一种引擎,可以为有意义的分析提供建议,用户选择所要分析的数据源时可能对此有兴趣。引擎通过分析数据源的元数据、最常访问的查询以及另外几个参数来提供建议。我们认为,这为用户无需做大量工作,获取宝贵的洞察力提供了一种简单方法。

李健豪强调,“我们目前的战略是全力投入AWS,因为这样可以让我们以不断降低的成本不断提高效率。例如,Lambda自然而然地减少了我们对Amazon EC2的使用,其按请求付费的费用结构为我们节省了大量成本。此外,代码只需要编写一次,后续的重新安排和触发器会自动执行,因此我们的开发团队可以因代码复杂性降低而节省时间和精力,并将资源重新分配到生产效率更高的领域。我们相信,在易用性和功能丰富性方面,我们可以开发出市场上最好的产品,而这离不开AWS云服务的强大功能。”

下图是涂鸦智能云服务系统架构图,所采用的AWS云服务包括Amazon EC2、Amazon CloudFront、Amazon CloudWatch、AWS Data Pipeline、Amazon DynamoDB 、Amazon EMR、Amazon ElastiCache 、AWS KMS、Lambda、Amazon Relational Database Service (Amazon RDS)、Amazon Route 53、Amazon Simple Notification Service (Amazon SNS)、Amazon Simple Queue Service (Amazon SQS)、Amazon Simple Storage Service (Amazon S3)、Amazon SimpleDB等。

协作和共享实时分析结果:用户们常常想要对数据进行交叉分析,并以一种安全的方式共享分析结果。有了QuickSight,用户就能构建一个“故事板”(storyboard)――故事板里面有多种分析,加以适当的注释,然后与企业组织中的其他人共享。不像传统工具,它们能够共享实时分析结果,而不是只能共享静态图像,那样接收方同样能从共享的故事板中获取洞察力。我们还为众多企业提供了与活动目录集成的功能,那样客户就能使用其现有的登录信息(credential),共享洞察力。

图片 4

我在本文中只着重介绍了QuickSight的几个重大创新。想了解关于这款产品的详细信息,请访问AWS博客、 QuickSight详情页面和常见问题解答(FAQ)页面。

基于AWS的涂鸦系统架构图

评价

业务上云后的成效

正如我在前面所述,亚马逊和AWS 的许多创新(包括QuickSight)源自于客户反馈。我们积极听取客户的痛点,处理基础设施、数据管理和数据分析等各方面无差别的繁重任务。不断听取客户反馈,迅速迭代产品功能,这个战略已成为一个良性循环,对我们来说一直屡试不爽。QuickSight同样从类似的根基起家;在发布的最终阶段,我有幸听自客户的这类积极反馈。我们听到纳斯达克(Nasdaq)和Intuit等客户给予了好评。

AWS服务给涂鸦带来的好处,主要体现在加快了业务全球化的速度,降低了成本,数据的安全性得到了有力的保障。

纳斯达克让其客户能够从容地规划、优化和实现业务愿景,并使用久经考验的技术,提供透明度和洞察力,驰骋于如今的全球资本市场。其技术驱动着50个国家的100多个市场、 清算机构和中央证券存管机构,所以生成了大量数据。纳斯达克公司的首席架构师Nate Simmons告诉我们,他们始终对分析存储在Amazon Redshift、Amazon S3及其他数据源中的数据的新工具饶有兴趣。对他来说,数据量和使用日益增长的同时,拥有超高速性能对他的用户来说至关重要。基于预览QuickSight的情况,他们发现,SPICE内存运算引擎结合易于使用的用户界面,很适合其使用场合。

首先,在选用AWS之前,其他云服务商所提供的服务,不能满足涂鸦海外的发展需求。采用AWS服务后,缩短了海外节点的部署时间,涂鸦海外业务迅速得到开展,例如在欧州上线全部服务,只花了一周时间。到目前为止,涂鸦IoT云平台已经为全球200个国家和地区提供IoT云服务,而且海外云服务系统全都部署在AWS云平台上。

同样,Intuit公司的公有云主管Troy Otillio告诉我们,从初期预览QuickSight的情况来看,他们认为这项服务会挑战现状。他提到,该产品对业务用户来说界面直观,对需要一种超高速性能、易于使用的工具的营销人员来说更是如此。

其次,降低了成本。Amazon EMR 能够安全可靠地处理大数据案例,包括日志分析、Web 索引、数据转换等,具有灵活、可扩展、易使用的特点。涂鸦的技术人员通过API按需创建Amazon EMR集群,并在数据运算完成后自动销毁,节省服务成本。通过结合Amazon EC2的Tag标签和CloudWatch的功能,结合API 可以非常简单地实现半自动化运维,大幅度提高运维效率,降低运维成本。

图片 5

再次,数据的安全性得到了有力保障,涂鸦各种数据都存放在S3上,从上线以来,至今数据0丢失。此外,Amazon EC2集群、Route 53、ElastiCache等服务有力地促进了涂鸦IoT云平台在全球范围部署,并将用户访问延迟控制在100毫秒内。低延迟、响应速度快、可靠的稳定性,都为涂鸦客户和合作伙伴提供超预期的用户体验。

【新闻来源:www.stratoscale.com|云头条编译(未经授权谢绝转载)】

图片 6

【编辑推荐】

总体而言,涂鸦作为全球化IoT平台,随着海外业务的不断扩大,在选购云基础设施服务时,对服务的可靠性、稳定性、可扩展性、安全性有着极高的要求,如服务稳定性要求在99.5%以上,服务响应时间控制在100ms之内等。在使用AWS云服务后,涂鸦云服务平台的可靠性达到了99.99%;稳定性和安全性也得到了大幅提高,满足了涂鸦对业务和技术的需求。

本文由捷报手机比分直播发布于科技创新,转载请注明出处:超盟数据获得了怎么样,QuickSight应对大数目挑衅

关键词: