AB Tasty利用Cloud Dataflow、Cloud Storage以及Cloud Pub/Sub构建起数据流水线,日均存储并处理多达20亿条事件记录,为站点平台优化带来强有力的数据洞察支持。

Google Cloud带来的助益


  • 利用Cloud Dataflow、Cloud Storage以及Cloud Pub/Sub构建起数据流水线,日均存储并处理多达20亿条事件记录用来提升预测结果准确度

  • 通过BigQuery为客户提供对数据分析功能的灵活访问通道,借此实现附加价值

  • 支持近实时数据可用性


事件响应时间降低至32毫秒


对网站做出一些微小的变更,有可能直接影响到客户的重要决定——继续浏览,抑或是关闭页面。通过建立一套以具体数据洞察为基础的网站改进平台,AB Delicious自2009年以来快速发展成一家在全球范围内设立7大办事处的国际化企业,并先后接待多达170亿访客。


“目前,整个行业面临的最大挑战就是定制化:根据访问者的兴趣定制网站内容,从而提高转化率以及客户满意度。但要进行有针对性且准确度高的修改,我们需要利用大量数据以开发出复杂的自动化算法。”

—AB Tasty公司联合创始人Rémi Aubert


AB Delicious获得成功的关键,在于给客户提供了一个全方位的解决方案,将用户洞察工具整合进来以帮助了解消费者浏览流程、测试不同网站版本、吸引受众并实现个性化体验,最终对结果做出分析以指导后续改进。更重要的是,所有这一切都严格遵循合规性要求,在努力创新的同时消除后顾之忧。


AB Tasty公司联合创始人Rémi Aubert表示,“AB Delicious的优势在于,我们的客户能够从     尝试不同方案后根据实际收益做出最终决策。目前,整个行业面临的最大挑战就是个性化:根据访问者的兴趣定制网站内容,从而提高转化率以及客户满意度。但要进行有针对性且准确度高的修改,我们需要利用大量数据以开发出复杂的自动化算法。”


以往,AB Delicious的数据架构由专门的供应商托管在云端,但整体系统无法满足AB Delicious日均处理20亿个事件所提出的性能要求。AB公司产品副总裁Jean-Yves Simon解释道,“所谓事件,就是访客在网站上执行操作时所产生的对应消息,例如一次鼠标点击。”在参考大量实践成果之后,该公司意识到在Google Cloud Platform(GCP)上建立数据层架构,将成为解决问题的关键。


“现在,我们能够在业务流程中的各个阶段管理并更新现有流水线,同时不对服务体验造成影响。Cloud Dataflow的表现堪称完美,它可以自动处理所有内容,让我们保证每套集群都能真正支撑起符合公司要求的高质量数据。”

—AB Tasty公司产品副总裁Jean-Yves Simon


为日均2500万用户建立业务流水线


为了保持领先地位,负责业务转型与优化的厂商必须尽可能为客户提供对高质量数据的近实时访问能力。AB Delicous以往的系统无法承载每天产生的大量交易事件。Jean-Yves评论道,“在以往的系统中,我们的日均事件处理上限就是10亿,无论如何尝试都很难再前进一步。因此,我们开始寻找一种能够扩大存储规模的解决方案,希望在增强存储与处理能力的同时降低查询操作的响应时间。为此,我们与Google Cloud Partner SFEIR开展合作,在他们的指导下完成了项目的初步规划。”


在实施过程中,AB Delicious在Google Cloud Platform上建立起数据流水线。“我们将数据迁移分为两个阶段:首先是数据收集部分,我们在SFEIR配合完成了这方面工作;接下来是数据分析部分。我们的最低可行产品(MVP)仅用一周时间就建立起来,并额外投入10个月设法实现了零停机时间。现在,我们将原始数据存储在Cloud Storage当中,并按用户会话进行汇总。我们利用Cloud Dataflow结合CloudSQL与Cloud Pub/Sub来处理批量和流式计算任务。这些数据被馈送至BigQuery,并在这里针对每一位客户进行会话查询。考虑到我们的日均用户会话高达2500万,这项任务的难度可以想象。”


Jean-Yves进一步补充道,“在整个数据流水线当中,我们希望审查并证明数据质量。现在,我们能够在业务流程中的各个阶段管理并更新现有流水线,同时不对服务体验造成影响。Cloud Dataflow的表现堪称完美,它可以自动处理所有内容,让我们保证每套集群都能真正支撑起符合公司要求的高质量数据。”


“借助全新数据流水线与数据仓库,我们成功对以往不可能承载的海量数据进行定制化访问。这意味着在新的洞察与关联结论支持之下,我们能够为客户提供更可靠的决策服务与更可观的收入提升。”

—Jean-Yves Simon, VP Product, AB Tasty


加快响应时间


缩短响应时间是AB Delicious在迁移过程中经历的核心挑战之一。Jean-Yves解释道,“我们的目标是把事件的响应时间控制在50毫秒左右,在原有系统中事件的平均响应时间高达现在的2到3倍。如今,单一事件的平均响应时间已经下降至30毫秒。这非常完美;我们比预期目标做得更好,也得以为客户提供近实时的数据处理服务。”


开拓新市场


自从迁移至Google Cloud Platform以来,AB Delicious每天能够处理20亿个事件。Jean-Yvse表示,“借助全新数据流水线与数据仓库,我们成功对以往不可能承载的海量数据进行定制化访问。这意味着在新的洞察与关联结论支持之下,我们能够为客户提供更可靠的决策服务与更可观的收入提升。”除了改进优化算法之外,该公司建立的这套新型数据架构还能帮助客户通过BigQuery直接查询数据。Yean-Yves解释称,“我们能够从客户交付的数据中发掘出更多价值:我们能够为客户创建默认报告,也能帮助他们自行探索现有数据。”


如今,AB Delicous正努力拓展美国与东南亚市场,并尝试通过 ML 技术进一步增强平台能力。Jean-Yves总结道,“我们希望利用 AI 技术开发出更多新算法,意在进一步简化客户操作流程并削减预测结果中的不确定性因素。我们还计划在未来几个月内,把数据处理量再提升十倍。在Google Cloud Platform的支持下,这样的扩展目标已不再是天方夜谭。”


文章版权归作者所有,未经允许不得转载。


相关推荐