课程目标
俗话说:没有存储,何来大数据;可见存储在IT技术中重要的地位,本课程从基本的数据库存储、云存储到分布式存储等技术,可以全方位的了解存储技术点。
适用人群
本课程适合运维管理人员,对于DBA、云工程师等都具有很好的参考价值。
课程概述
张雁飞(开源爱好者,nessDB维护者。目前在淘宝核心系统数据库组从事存储引擎设计和研发工作)TokuDB是个新开源的存储引擎。通过本次分享,谈谈TokuDB Fractal Tree索引的优缺点,以及适用场景。
赖春波(2008年加入百度,先后在网页搜索部和基础架构部从事分布式和存储架构方面的工作,是百度新存储体系的技术负责人,主导了分布式Table、File和Object系统的架构、设计和开发,在百度网页库、云存储等重要产品线广泛使用 )百度是全球首个将ARM服务器应用于云存储的公司,本次演讲将会分享以下内容:1. ARM服务器有什么优势和劣势,2. 部署在ARM之上的存储系统的架构是怎么样,3. EC编码如何高效的应用于ARM云存储上, 4. 我们在设计和开发过程中的经验和教训。
李乐(目前负责主持高德地图移动端的产品规划,包括Android、iOS、WindowsPhone等多平台的SDK产品设计及运营。在从事产品工作之前,曾有多年的互联网产品开发及架构设计经验)本讲演将对地图产品的 Map Fusion服务进行深入的介绍,同时分享在LBS类APP开发过程中内存调优、节约电能等经验。以高德地图的Map Fusion服务为例 ,向开发者展示如何以非常简单的方法去定制及分享个性化地图。包括将地理数据直接存储到高德地图的云端,同时通过Map Fusion提供的API直接操作他们存储在高德地图云端的地理数据。使用高德地图的Map Fusion,开发者可以将存储在云端地理数据显示在高德地图各平台API的地图里,也可以无缝的将云端数据与本地数据整合在一个地图应用里。
刘军卫(云计算产品部总经理助理兼技术总监,OpenStack基金会董事,主要负责公司云计算相关产品的规划和研发.研究方向是云计算、操作系统、虚拟化,具有丰富的OpenStack大规模部署和调优的经验,负责中国移动公有云和一级私有云OpenStack架构设计,并带领团队获得国内首个OpenStack SuperUser大奖)中移苏研存储产品化之路,存储产品线介绍,开源社区投入,新增产品化高级功能,开源存储产品问题总结及存储产品后续规划。
孙建良(毕业于华中科技大学,2010考研加入“华中科技大学信息存储及应用实验室”,进行存储方面学习和研究工作,2013年正式加入“网易”,在杭州研究云计算部门负责对象存储研发工作)网易第一代分布式对象存储系统在2006年,当初主要用于支撑网易的邮箱和互联网业务。但是随着数据量不断增大,原有系统在系统架构和整体设计上不足以去支撑不断膨胀的业务和数据。主要体现在数据可靠性、存储成本、运维难度、性能等各个方面,在2014 开始规划网易新一代对象存储引擎,经过调研团队认为在开源领域没有足够合适的对象存储系统能够满足未来5~10年的发展,所以基于自身原有支撑系统之上,博取众长,从0开始构建能够理想中适合自身的对象存储系统; 此次首次公开分享网易新一代对象存储引擎的关键设计点,比如 * 设计目标 * 系统架构 * Put、Get、Delete * 一致性协议 * 垃圾回收 * 数据放置、数据恢复、数据可靠性 * 大规模存储的物理部署 * EC纠删代码 * 等等。
丁俊(中间件技术部负责人,主要负责分布式存储系统、分布式消息系统、分布式服务框架等产品的开发和维护)介绍京东分布式K-V内存存储系统-JIMDB,改平台管理和运维了几百T的内存数据,兼容redis协议,支持在线弹性伸缩,故障自动恢复等特性,改系统被广泛应用在支付、商品、评论、推荐、搜索、物流等业务系统中。为了解决高性能,持久化存储的需求,又自主研发了分布式K-V持久化存储系统-FBASE,系统提供SQL和REST接口,基于raft复制提供数据强一致保证,提供条件筛选,范围查找等功能,目前系统已接入消息轨迹、商品宽表数据等系统。
吕建枢(资深Oracle RAC及Exadata认证专家,PostgreSQL内核研发专家,阿里巴巴数据库架构师。既有深厚的传统电信BOSS系统数据库架构及优化经历,又具备丰富的互联网大规模数据库管理架构设计经验。在阿里巴巴主导完成国际电商区域化以及全球部署的数据库架构设计,实现业务就近接入。目前在阿巴巴集团实施数据库计算存储分离项目,负责分布式存储,数据库内核以及软硬件结合架构设计以及优化。对分布式云计算及并行编程相关领域也有所涉猎)存储计算分离已经成为“云”计算所重度依赖的IT技术基础架构体系;其分层技术栈为网络,存储和计算提供了更多的发展空间。软件定义网络,软件定义存储等概念也因此应运而生。分层技术降低了各层之间的耦合度,为各层独立并极致扩展提供了基础。而“云“计算正是依托计算存储分离技术,达到资源共享与互惠,以实现共享经济与规模经济,创造了一种新的商业模式。在这个背景之下,数据库的计算分离是如何实现的?又会面临怎样的巨大挑战?如何做到计算资源的彻底弹性? 等等。 我们通过此次分享,将分布式存储,数据库,软硬件结合架构与优化的谜底一步一步揭露开来。
申贤强(2012年7月毕业于中科院计算所,2012年7月—2013年7月,百度,网页搜索部,分布式架构开发,2013年7月—至今,搜狗,大数据平台部,主要负责Hadoop,HBase,Docker等基础平台的开发和建设,以及提供一站式数据分析服务)基于社区的HDFS进行元信息的垂直扩展,且进一步优化针对二级目录的拆分,让HDFS的元数据更加均匀,降低GC time,提升HDFS稳定性到99.99%,同时业务发展制约于计算资源的缺乏,因此采用离线混布的计算模型,将资源进行统一管理,提供稳定高效的服务,极大的解决了业务方资源不足的问题。听众收益:了解HDFS当集群扩大一定阶段后需要应对的问题,以及具体的Fedration的技术,了解针对YARN改进弹性计算框架改进可能遇到的问题。
陈宗志(360基础架构组技术经理,主要负责360内部的存储系统 bada, pika, zeppelin, floyd等开发和维护. 对内核, 分布式系统有一定的了解)随着redis 的流行, 更多的用户将数据存储在redis 数据库中. 但是redis 定位是为内存而设计的, 当redis 容量上升到30G, 50G 的时候, DBA 是使用和运维的过程中与遇到一系列的问题,Pika就是为了解决大容量redis 的一个高性价比的解决方案, 目前pika 已经开源 1100+ star. 在360 内部有1000+ 的实例运行, 也有微博,美团, Garena,小米等等用于线上核心系统。该分享会介绍大容量redis 中遇到的问题, 以及pika 如何解决这些问题. 还将介绍pika 的设计与实现。
课程目录
课程讲师
最近学习用户 155人报名试学
-
_w涛123
-
sharkbing
-
sqjrwh
课程评价