2018微博内部技术分享春晚专场

标签: 分享 | 发表时间:2018-04-24 18:29 | 作者:
出处:http://colobu.com/

这是公司内部分享的各部门春晚保障的技术分享。我将其中的和公司隐私相关的数据删除了,只保留了技术的介绍,总结了一些知识点。

Tim开场白。

双十一、微信红包和微博的区别(无法预期)。

三条军规。

孟兆飞 混合云架构下微博春晚保障

流量

  • 突发流量: 日常、异常
  • 春晚
  • 央视合作

万台扩容挑战

  • 联路长
  • 依赖多
  • 高并发

15分钟1000台全公司随时随地

自动化

  • 智能弹性
  • 混合云平台
  • 监控信息
  • 容量评估

双仓库(公司内网、阿里云)

高可用

传统扩容,由于资源限制会失败

优化扩容:基于多种策略

DCP高可用双机房

春节保障

春节X台扩容、云上X台
流量监控

DNS问题、扩容 (16台支持万台client) UDP session?

全链路压测。演练。共享池。重点监控。

熊超 让红包飞春晚55万qps解决方案

超预期

战队红包

业务

满N万开奖

  • 瞬间QPS高
  • 参与人数越多,开奖越快
  • 瞬间开奖
  • 参与规则复杂,单次参与动作资源交互次数10+

实现

5台扫描, 扔队列, 30台队列机, 64组redis, 发奖发私信等

前端: 缓存、不可缓存

红包雨

业务

3次机会,10分钟任意点

  • 参与用户多
  • 拼手速、qps 55万
  • 每次点击都有请求
  • 中出数量巨大, 5次红包雨1.6亿

实现

  • 传送门 检查用户等,加密防刷、垃圾用户过滤、入口处错峰
  • 抽奖: 特别快的请求、根据用户区分奖项
  • 中出
  • 队列机

优化

  • 代码: 重复资源链接重用、耗时步骤优化、根据日志
  • DBA: 监控平台

压测评估

温情 陈新伍 春节百万答题

两三周紧急开发。

背景

大家都在做,拉新拉活。

产品经理介绍这个产品。

技术挑战

  • 快速扩所容
  • 快速下发push设计

简介

  • 视频流
  • 消息互动
  • 问答

发题阶段 -> 答题阶段 -> 颁奖阶段

技术挑战

  • 消息实时性
  • 同步答题、实时到达率

  • 每秒千万推送

  • 百万在线

长连推送

  • 百万长连接
  • 水平弹性伸缩

    • 无状态服务
    • 减少资源的依赖
  • 消息分发队列: Reids的PubSub (apiServer -> redis)

问答服务

  • 上行: 接口https
  • 下行方案:
    • 互动消息下发
    • 轮训 (西瓜视频)
    • 加入房间时全量下发(容易漏题)
    • 视频流(SEI)下发(丢包)

微博方案: 1为主,2为辅

发题方案:

  • Push+ACK: 有条件重传
  • Push + Push: 无条件重传

轮训:长链接断后自动重连降级

发题设计:根据服务器NTP, 题目和视频校准同时弹出

答题阶段

  • 客户端答题服务器判题
  • 复活
  • 答题结果推送
  • 答题汇总
  • 汇总推送

10万级别的qps

判题方案:

  • 异步判题
  • 随机重试机制

服务压测

  • 第一场就全量push,无灰度
  • 峰值速度快,第一题为峰值
  • 百万用户

关里 微博搜索架构

架构

trigger -> 数据转换 -> 预处理 -> 数据分发 --> 索引库

各种检索模块

热点爆发白页

数据分层:优质、筛选、全量

自动扩容、自动降级

1000多亿次数据需要索引

单机7、8亿

朱伟 支撑百亿级请求的微博广告运维技术实践

运维在微博广告体系中的价值。

人工 -> 工具 -> DevOps -> AiOps

  • 监控: 数据采集、清洗、存储。Filebeat -> kafka -> OLS -> Druid, kafka -> graphite, kafka -> logstash -> ES, 多存储graphite,druid,ES, clickhouse

相关 [微博 内部 技术] 推荐:

2018微博内部技术分享春晚专场

- - 鸟窝
这是公司内部分享的各部门春晚保障的技术分享. 我将其中的和公司隐私相关的数据删除了,只保留了技术的介绍,总结了一些知识点. 双十一、微信红包和微博的区别(无法预期). 孟兆飞 混合云架构下微博春晚保障. 15分钟1000台全公司随时随地. 双仓库(公司内网、阿里云). 传统扩容,由于资源限制会失败.

AWS内部开发和维护技术

- -
云头条导读:IT外媒The Register独家披露了这个云巨头的内部结构和员工实践,经云头条编译分享,供大家参考. 硅谷内外的众多公司已找到了各自的方法来迅速开发和部署功能特性. 不过,互联网巨头亚马逊庞大的云计算部门AWS内部有个特别的消化系统:一个名为Away Teams的概念,这个概念是指为了达到最快速度,接受某些缺点.

新浪微博技术架构分析-转载

- 盛开 - 人月神话的BLOG
中国首届微博开发者大会在北京举行,这是国内微博行业的首场技术盛宴. 作为国内微博市场的绝对领军者,新浪微博将在此次大会上公布一系列针对开发者的扶持政策,以期与第三方开发者联手推动微博行业的整体发展. 图为微博平台首席架构师杨卫华演讲. 大家下午好,在座的大部分都是技术开发者,技术开发者往往对微博这个产品非常关心.

微博春晚背后的技术故事

- - 博客园_新闻
一年一度的春晚再次落下帷幕,而微博也顺利地陪伴大家度过除夕之夜. 谈及马年春晚,人们首先想到的不是春晚上精彩的节目,而是微博上的吐槽,边看春晚,边刷微博,边吐槽,已经成了国人的习惯. 看春晚不再是为了看节目,而是为了能够在微博上吐槽,知道大家在吐槽什么,更有人戏称不是春晚成就了微博,而是微博拯救了春晚.

腾讯微博技术总监张松:响应速度是第一体验

- - 微博之博
腾讯科技讯 8月12日消息,从2010年4月上线,到2012年,短短两年时间, 腾讯微博已经拥有超过4亿用户,不少用户的听众都已经突破千万,面对快速的增长,腾讯 微博在架构方面有哪些变化呢. 8月10日下午,在全球架构师峰会上,腾讯微博事业部技术总监张松国对腾讯微博的架构成长做了详细的阐述. 腾讯微博事业部技术总监张松国分享腾讯微博架构变化(腾讯科技配图).

微软亚洲研究院官方微博2013年度十大技术

- - 微软亚洲研究院
编者按:在过去的12个月中,微软全球研究院致力于学术研究与技术革新,在计算机研究的各个领域百花齐放. 经过精心挑选,我们与您分享2013年十项最受关注的技术. 前三甲网罗研究院当红炸子鸡Kinect,常青树Office,冉冉新星Power Map. GeoFlow(现已更名Power Map)赏析】.

内部有鬼 韩媒称三星LG OLED技术被泄露至中国对手

- - 爱活网最新资讯
大家都知道目前显示面板的龙头是韩国两大巨头三星和LG,不过这次他们双双扑街了,而且令到他们的扑街元凶,据说还是来自中国. 据国外媒体报道,三星和LG下一代平板电视中使用的秘密技术被以色列公司奥宝科技(Orbotech)的员工泄露给了他们在中国的竞争对手. 这将给他们的新一代平板电视销量带来严重的创伤,损失将超过10亿美元.

技术贴:微信公共账号会对新浪微博造成多大的杀伤力

- - 微博之博
微信公共账号最近是个热门话题,新浪微博上在一周之内突然遍地是微信二维码,不失为一道奇异的风景线. 不少人联想起两年前腾讯微博与 新浪微博的公开竞争,认为腾讯微博未尽的事业,终究让微信完成了. 微信的公共账号业务,对新浪微博究竟有多大的杀伤力. 公共账号这种东西,并不算是新玩意,早在MySpace时代,娱乐明星的公共账号就是文娱营销的重要阵地.

微博

- qianlaohu - 独立思考
无论名人在微博上讲什么,都能引起很大的“互动”. 王力宏说:“2011年过去一半了,7月了. 感觉就是这几百万人一起围在那里,紧张专注地看着,名人的微博一更新,至少挤在前排的几万人就激动拥抱:“动了. 说微博的迅速崛起会影响媒体,影响门户网站,影响SNS,其实都不对. 它首先威胁到蜡像馆,因为你在蜡像馆只能掏钱看不会动的,而在微博,不用掏钱都能看到会动的.

[原]内部OA

- - 阿朱=行业趋势+开发管理+架构
我发现OA正在不断瓦解,一块块模块正在拆分独立,越做越专. 当然,现在仍然有许多小公司需要一个什么都有但都很薄的在线SaaS租用. 而且各块都在APP化、微信公众账号接入. 我把这些列出来的目的是:供大家寻找思路,单独做专. 3、分享学习会、文档、现场照片、评论交流. 1、活动发布、分享转发、扫码关注.