简记 YouPorn 的技术架构

标签: youporn 技术 架构 | 发表时间:2013-05-30 19:58 | 作者:旁观者
出处:http://www.cnblogs.com/zhengyun_ustc/

传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn,关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis, 郑昀简要记录几点:

  • 2012年2月开始,YouPorn 的主数据库正式切换为 Redis,取代了之前的 MySQL;
    • 数据:Redis  Slaves 集群处理线上每秒30万个查询请求;
    • 读操作都来自于 Redis;
    • 写操作,一开始是用  ActiveMQ 做排队,但维护起来很麻烦,于是他们在 MySQL 前面加了一层 Redis ,用它做主数据库。
  • 2006年到2011年期间,一直在用 Perl 的一个 MVC 框架  Catalyst ;
  • 2011年之后,基于 LAMP stack 重新设计了一番,这次选择的框架是 PHP 的 MVC 框架  Symfony2 ,ORM 则选了  Doctrine ,运行在 Nginx--> Varnish-->PHP-FPM 模式下;
    • 数据:较之以前的 Perl 解决方案快了10%;
  • 采用  HAProxy 做负载均衡、智能分发和后端健康检查;
  • 采用  Syslog-ng 来处理集群环境下的日志,其实就是用来收集页面浏览时的数据,比如视频查看计数器。
  http://images.cnblogs.com/cnblogs_com/zhengyun_ustc/255879/o_YouPorn%e6%9e%b6%e6%9e%84%e5%9b%be.png
1,2013-4-21, How it works: YouPorn
3,2008, HAProxy,智能分流的负载均衡方案
4,Redis 推荐阅读:1)Redis核心解读系列  http://t.cn/zT6A3TE by  @麦子迈 ;2)Redis 常见的性能问题和解决方法  http://t.cn/zWqL9Jw by 温柔一刀;3)Redis 设计与实现  http://t.cn/zYnTWd4 by  @huangz1990  

本文链接

相关 [youporn 技术 架构] 推荐:

简记 YouPorn 的技术架构

- - 博客园_旁观者-郑昀
传说中占据整个互联网每秒流量2%、100Gb/s、300K queries/s的 YouPorn,关于它的 HAProxy->Varnish->Nginx->PHP-FPM->Symfony2->Doctrine->HAProxy->Redis, 郑昀简要记录几点:. 2012年2月开始,YouPorn 的主数据库正式切换为 Redis,取代了之前的 MySQL;.

应用架构和技术架构

- - 人月神话的BLOG
在这里再谈下应用架构和技术架构的关系和边界问题,这里的说明和标准的TOGAF会有一些区别,仅为个人理解的一些点滴记录. 首先再说下应用架构,应用架构是和业务架构有强烈的映射关系的一个架构,应用架构要说明的是整体企业内部信息化建设和规划应该分为哪些应用系统去建设,应用系统间的集成关系是如何的. 即我们常说的应用架构和应用集成架构.

Instagram的技术架构

- - 标点符
Instagram 被 Facebook 以10亿美金收购. 而在被Facebook收购前的一个月,整个团队才7名员工. 2011年: 3 位工程师. 2012年: 5 位工程师. 坚持 DRY(Don’t Repeat Yourself)原则. 使用通知/信号机制实现解耦. 我们大部分工作使用Python来完成,只有逼不得已的时候,才会用C.

eaby技术架构变迁

- - CSDN博客架构设计推荐文章
如果你对项目管理、系统架构有兴趣,请加微信订阅号“softjg”,加入这个PM、架构师的大家庭. 最近在infoq上面看到 ebay介绍其系统架构变迁以及系统设计分享方面的讲座,其中陈述了ebay从1995年到2006年之间系统架构的变化过程. 从这里,我们可以学习到许多宝贵的经验来设计一个大容量,高并发,分布式的系统.

业务架构、信息架构、技术架构三位一体

- -
        客户天天打电话要修改产品功能,简单的一个需求可能要做一个月. 产品越改越笨重,为了赶工期bug越来越多.         产品从初级版到现在已经四个年头,相关的程序员来去换了三批,在补丁上打补丁是常有的事,很多功能只是开了个头,换个项目经理就被遗忘. 我们总是害怕客户在这个产品上提出新的需求,只要客户还用得过去,能不改就不改.

架构面向服务的技术

- - 博客园_新闻
在其新作 《架构面向服务的技术》中,Philip Wik 总结了使用面向服务的技术搭建解决方案的三大阻力:. 如何在恰当的细节和抽象层次上为复杂的事物建模. 服务技术架构(Service Technology Architecture,后简称 STA)的基础元件是什么. 如何提升 STA 解决方案的速度和质量.

Poppen.de的技术架构分享

- - 企业架构 - ITeye博客
网址:  http://www.javabloger.com/article/couchdb-erlang-rabbitmq-red5-linux-poppen-architecture.html. Poppen.de是一个德国的 交友/ 聊天/ 视频 的SNS网站, 部分内容. NSFW,网站采用了很多我们熟悉的技术,像Nginx ,MySQL,CouchDB,Erlang,Memcached的,RabbitMQ(消息服务器),采用了Graphite作为网站的系统监控,Red5作为视频服务,Tsung作为压力测试工具,选择的技术种类较多,还采用.

[原]技术架构组工作职责

- - KimmKing的技术博客
落地本部门的技术规划,负责本部门IT整体规划技术部分,指导重要项目的设计实现. 规范本部门的所有技术应用和开发内容,保障系统开发的有序、标准、一致性. 发展基础技术平台和完善通用组件,实现部门技术积累和IT资源高效复用. 解决各项目的技术难点、框架选型,保障项目开发的速度、效率、质量. 协助运维、安全和测试组的部分技术性工作,保障各组工作的顺利开展和技术积累.

技术架构组工作职责

- - zzm
落地本部门的技术规划,负责本部门IT整体规划技术部分,指导重要项目的设计实现. 规范本部门的所有技术应用和开发内容,保障系统开发的有序、标准、一致性. 发展基础技术平台和完善通用组件,实现部门技术积累和IT资源高效复用. 解决各项目的技术难点、框架选型,保障项目开发的速度、效率、质量. 协助运维、安全和测试组的部分技术性工作,保障各组工作的顺利开展和技术积累.

挖洞经验 | 看我如何挖掘成人网站YouPorn的XSS并成功利用

- - FreeBuf互联网安全新媒体平台 | 关注黑客与极客
由于我个人时间的限制,因此我很少或者说是几乎不参加赏金计划任务. 虽然我早早的就注册了HackerOne,但你们可以到 我的主页并没有任何的记录. 在这里我不得不提及我的 同事,他与我截然相反,可以说他把大部分时间都花在了研究赏金计划上. 就在上个月的一个傍晚,当我们连接到我们的工作Jabber server时,他告诉我成人网站 YouPorn也已在HackerOne上,启动了他们的bug奖励计划:.