分布式系统

Sat, 16 Apr 2016 10:50:33 +0800

好久以前写的了。在InfoQ上学习了分布式监控系统的设计与实现、微信朋友圈技术之道，在架构设计的基础思想并不复杂。
首先是微信朋友圈技术之道，介绍了微信朋友圈团队的开发，团队仅４个人，因为他们站在巨人的肩膀上：
基础环境
全部才用C＋＋开发
混合部署普通服务器
海量带宽

强大的基础设施
腾讯CDN，图片和视频上传、存储、分发
RPC框架
Key－Value（KV）存储系统
强大、方便、灵活的部署系统
强大的RPC框架
C＋＋的框架
支持protobuf描述接口
支持进程/线程/协程多种模式：支持数十万的并发协程，方便编写和调试“同步”的网络调用和服务
从CGI到叶子服务器，全系统透明支持过载保护和QOS
为每次CGI调用自动生成全系统调用关系图
每个服务自动内建500多个监控项
高性能Key-value存储系统
三机一组，三机间支持数据一致性，容忍一台机器出错、自动切换
三机分布在一个数据中心的三个独立园区，在任意一个园区提供本区读写服务，容忍一个园区网络隔离

微信架构
接入层，维持长连接，避免重复连接开销；推送消息
逻辑层，注册/登录，消息，朋友圈，LBS；批处理，群聊，通知，好友推荐
存储代理层，账号，消息，关系链，朋友圈，群管理
存储层，Key-value存储
性能水平扩展（sharding）
相册，按照用户做水平扩展
发表，按照发表key做水平扩展
评论，按照评论key做水平扩展
时间线，按照用户做水平扩展

发表流程
上传图片到CDN，查找最近节点
调用朋友圈CGI
添加新发表
在相册增加新发表索引
添加时间线更新任务，批处理，给好友时间线添加新索引
返回发表成功

浏览流程
调用朋友圈CGI
拉取时间线
拉取新发表元数据
拉取CDN上的图片

数据单副本、索引写扩散、检查更新单读取
数据（发表）单副本：减少内存开销
索引写扩散、检查更新单读取：减少检查更新时的读扩散
写比较慢，失败可以重试；读不可等待

赞、评论与浏览
往赞、评论表插入发表索引和对应赞、评论

微信部署、接入与容灾
1地3园区对等部署，对等接入（电信、移动、联通）；数据对等分布于同步；对等服务
容灾，任何两个园区都可以提供全量无损服务
数据中心分布：上海、深圳、香港、加拿大
通信优先专线服务；其次公网（加密）
各数据中心可独立提供服务
各数据中心通过idc queue异步同步写入（自动重试）

核心数据读写分析
相册与发表
本地idc写入，单向同步到其他idc
key的全局唯一性保证无冲突（根据idc预先生成）
时间线
本地idc只保存本地用户时间线的key，无需同步

跨洋同步的挑战和应对
挑战：大带宽延迟、丢包、乱序、低可靠性（专心中断）
应对：延迟、丢包、乱序达到一定程度自动从tcp切换到udp；专线中断自动切换到公网（AES加密）

评论、赞写冲突
因果一致性（不同数据中心保证key不重复，比如不同idc取模）

参考链接：
分布式监控系统的设计与实现
 微信朋友圈技术之道

分布式，服务器，架构 on 勇气

分布式系统