|
普通人提起双11，谈的都是剁手党 袋鼠云提起双11，谈的却是踩坑党 每年双11，同样的通宵达旦、同样的激动万分、同样的心跳加速，同样的肾上腺素增加，不一样的是：剁手党在Happy，踩坑党在忧虑。 这个双11，袋鼠小妹采访了曾经参与过阿里双11的几位袋鼠云技术专家，为大家分享他们别样的双11故事。他们分别是袋鼠云首席大数据架构师申杭、首席数据库架构师俊达（大家尊称：达叔），首席运维专家留良、首席售后服务专家南晨。（恩，都是首席，Teamleader级别） 袋鼠小妹有故事，那你准备好酒了么？ ———— “ 曾经踩坑党，如今护航忙 ” 袋鼠云的双11故事 第一章 from 申杭
申杭（花名） 原阿里巴巴无线事业部-数据服务团队 现任袋鼠云首席大数据架构师 袋鼠小妹：杭哥，先介绍一下原来你在阿里所在的团队吧。 申杭：啊，让我想想是哪个团队。。 （袋鼠小妹OS：哥哥，你都不记得你原来的部门名字了么。。。。） 申杭：事业部就是无线事业部，团队好像就叫数据服务团队（疲惫脸），反正就是干活（苦力）的那个部门。 袋鼠小妹：那之前在双十一时，你们团队主要负责做什么？ 申杭：我们是负责为集团所有的移动应用(App)提供数据服务，比如手机淘宝、天猫app、钉钉等。 当时整个阿里无线数据一天大概有数千亿记录的增量，为阿里集团开展广告投放、搜索引擎、个性化推荐、精准营销，GProfile等提供数据技术支撑。 比如我们当时开发的一个产品叫“无线数读”，这个产品主要为阿里系的各个APP提供运营状况分析。 划重点一： “ 高效计算鲜活的数据，并让数据价值实时得到体现，在日增数据量几千亿的情况下，需要有强大的计算能力和技术保障能力做为支撑。” 袋鼠小妹：那么那时候双11做这些数据应用，技术难点有哪些？ 申杭：如何对庞大数据进行高效、快速的实时计算和处理，从而为后续数据应用提供支撑，保证数据应用的时效性是最大的难点。 数据在它产生的几秒以内，是最鲜活的，是最有价值。拿个性化推荐来讲，比如我下单买了一个登山杖，如果在页面能实时或者下单之后的5秒以内给我推荐一个登山鞋，那我可能会点进去看看，如果推荐的商品符合我的需求和喜好，那么，我可能就会一起下单消费。但是如果要是在一小时之后，一天之后，在我已经关闭掉购买页面之后，再我推荐登山鞋，我可能注意力已经不在登山这件事儿了。 再拿精准营销的应用举例，精准营销是以人、商品的数据标签化为基础，以阿里的庞大的用户数量、商家数量、商品类目，进行实时精准营销，这个难度可想而知。 所以，高效计算鲜活的数据，并让数据价值实时得到体现，在日增数据量几千亿的情况下，需要有强大的计算能力和技术保障能力做为支撑。
袋鼠小妹：现在在袋鼠云，还在为哪些客户做双11的数据服务？ 申杭：比如我们现在正在服务的百草味。 袋鼠小妹：啊，百草味我知道，好像我们是在为他们做今年双11的可视化大屏。 申杭：对。像往年天猫双11的实时作战大屏一样，百草味也有意愿做一个这样的可视化大屏，对外实时展现百草味各渠道在双11当天的销售信息，物流信息等，对外展示百草味的强大品牌影响力和技术实力。 袋鼠小妹：看起来设计酷炫，动态效果震撼的可视化大屏其实背后实现是很复杂的，需要强大的实时计算以及数据处理能力为支撑。那么在做百草味可视化大屏项目时，主要的技术难点有哪些？ 划重点二： “ 业务系统非常复杂，数据分散存储，异表数据实现同步实时计算、处理、展现是难点。” 申杭：技术难点主要有两点，数据迁移和双流join。 先说第一点，数据迁移。数据迁移到云上为什么会成为难点，因为要做的不是普通的数据迁移，而是数据的实时迁移，从云下迁移到云上的过程中，数据指标的计算要是实时的。同时，目前客户采用的是分库分表的数据库架构，巨量的数据分别散落在20多个数据库实例中，需要快速无感知、安全0丢失、保证后期可维护性的同时进行数据迁移。 第二点双流join。 袋鼠小妹：什么是双流join？我只知道join是一个数据库领域的术语。 申杭：确实是数据库相关的。双流，可以顾名思义一下，就是有两个数据流。 由客户本身ERP和业务系统决定，现在客户有两张大表，我们称为主从表结构。主表主要承担主要数据信息的存储，比如用户ID、订单ID、订单金额等。从表则负责承担业务明细信息的存储，比如购买商品的数量、商品的类目尺寸明细等。也就是说同一个订单的数据是分散在两张表中的，需要通过join，进行同步数据处理，像双11这样的时间节点，交易量在瞬间达到峰值，还有很多秒杀、爆款产品的抢购等活动，在这样高并发场景中，做到实时的、同步的数据处理和展现，就是一个技术难点。 但是袋鼠云有强大的DBA团队，他们在过去负责和参与双11的活动中，踩过无数的坑、接受过更复杂的技术考验，熟悉双11活动技术演练的环节和流程，感谢DBA团队的技术支撑。同时袋鼠云大数据团队熟悉阿里云大数据的整个技术架构体系，通过两支团队的强强联合，这个难题一定会得到解决。
袋鼠小妹：那对比一下，现在在袋鼠云和客户一起作战双11，和以前在阿里护航双11，你觉得有哪些不一样的感受？ 申杭：先说一样的感受吧，那就是当双11到来的时候，都是既兴奋又忧虑的。兴奋的是，看到双11作战大屏上的交易数字，以及大家买买买的happy时，想到这些背后由自己所在的团队做技术支撑，这么多人在体验和享受自己的努力成果，是很兴奋的。但是也是忧虑的，交易额越来越高的时候，这样高并发的场景，我们的技术到底能不能得到支撑，虽然之前做过无数次的演练，也有无数的预案方案，但会不会有一些突发情况之前没有考虑到，还是心惊胆战的。 不一样的感受，之前在阿里是在给整个集团做技术支撑，现在则是给像百草味这样的客户一样，对外输出之前积累的经验，这个是不一样。 （袋鼠小妹OS：恩，这个回答很官方。。。） 袋鼠小妹说： “作为一个资深的大数据架构师，申杭更多的是从大数据的角度来谈双11狂欢夜背后的技术支撑力量，那么接下来的三篇，还将会结合袋鼠云本次双11期间服务的客户案例，更深入地和大家探讨双11护航工作的每个环节。”
最后： 敬请期待 袋鼠云的双11故事 第二章 from 南晨 |
