最新新闻
联系我们
电 话:0769 82314221
传 真:0769 23360285
邮 箱:9ijfdlk@163.com
地 址:东莞市 常平镇桥沥北门工业区
凯时kb88官网
当前位置: > 凯时kb88官网 > >卢亿雷:大数据分布式系统并行设计与IO优化
演讲中,卢亿雷介绍了分布式并行系统定义,分布式并行系统的特点和分布式并行系统的设计凯时kb88官网凯时kb88官网凯时kb88官网,并解析了单台机器并行设计的方法凯时kb88官网,分布式并行I/O优化的方法和单台机器分布式化的设想。
2013年4月26日-27日凯时kb88官网,由51CTO传媒集团旗下WOT(World Of Tech)品牌主办的2013大数据全球技术峰会在北京富力万丽酒店召开凯时kb88官网。本次峰会将围绕大数据基础架构与上层应用的生态系统凯时kb88官网,解决大规模数据引发的问题,探索大数据基础的解决方案,激发数据挖掘带来的竞争力,让数据发出声音。51CTO作为本次峰会的主办方凯时kb88官网,将全程视频凯时kb88官网、图文直播报道这场数据的盛宴,更多内容请点击专题:2013大数据全球技术峰会凯时kb88官网凯时kb88官网。
在27日Hadoop生态系统及分布式架构设计专场论坛中凯时kb88官网,Carbonite China CTO&Architech 卢亿雷发表了主题为“大数据分布式系统并行设计与I/O优化”的演讲。演讲中凯时kb88官网,卢亿雷介绍了分布式并行系统定义凯时kb88官网,分布式并行系统的特点和分布式并行系统的设计,并解析了单台机器并行设计的方法凯时kb88官网,分布式并行I/O优化的方法和单台机器分布式化的设想凯时kb88官网。
他谈到,分布式并行系统是多个系统的集合凯时kb88官网,子系统并行的相互作用,具有很好的依赖性和透明性,它具备高可靠性、高可用性、高扩展性凯时kb88官网、高性能和高性价比。其中凯时kb88官网,分布式并行架构须包含WEB集群、计算集群凯时kb88官网凯时kb88官网、DFS集群和DB集群。在分布式并行系统设计模式方面凯时kb88官网,可用主从结构和全对等结构凯时kb88官网,其中主从结构更加简单有效凯时kb88官网,结构清晰,但有单点失效问题,而全对等结构则无中心节点,不会出现单点失效,但很难保证数据一致性。
之后,卢亿雷在现场分析了分布式文件系统凯时kb88官网、分布式服务架构、LVS的相关案例。
在单台机器并行设计方面凯时kb88官网凯时kb88官网,需要考虑CPU凯时kb88官网、内存凯时kb88官网、磁盘、网卡凯时kb88官网、文件系统等因素。
分布式并行系统I/O优化方面凯时kb88官网凯时kb88官网,可以从操作系统优化凯时kb88官网凯时kb88官网,网络I/O策略优化,缓存策略优化凯时kb88官网凯时kb88官网,同步锁机制优化,多路复用I/O优化凯时kb88官网,TCP选项优化凯时kb88官网、内存操作优化等方面考虑凯时kb88官网。
以上是者从一线为您带来的精彩报道凯时kb88官网。后续我们还有更加精彩的独家报道凯时kb88官网,敬请关注。
大数据的分布式调度是在进行数据ETL过程中起到了总体的承上启下的角色凯时kb88官网,整个数据的生产凯时kb88官网、交付凯时kb88官网、消费都会贯穿其中凯时kb88官网,本文从调度凯时kb88官网、分布式调度的特征展开,再对大数据调度个性化特征的一些阐述凯时kb88官网凯时kb88官网凯时kb88官网,由满足大数据使用的架构和业务场景的需求上娓娓道来凯时kb88官网,从实践的角度分享如何打造一个高可用、高效率、灵活性的大数据调度平台凯时kb88官网。