课程目标

通过本课程的学习,可以了解架构技术的发展趋势,掌握最新的行业数据架构设计技术。通过本课程学习,可以更全方面的了解数据库与大数据架构优化等技能。

适用人群

本课程重点介绍数据库和大数据架构设计与优化技术,学员需要掌握数据库原理、数据库自身的体系结果,方能更好的进行本课程学习。

课程概述

架构作为技术与业务的融合剂,好的架构可以更好的支持业务对技术的需求,本课程重点围绕数据库架构设计特点,针对过往架构的对比分析,给学员更加直接的感受;更多的行业成功架构案例的分享,对大家学习掌握数据架构起到更好的借鉴作用。

一、百度数据库架构演变与设计

主题介绍:百度数据库架构经历了从分散式-》集中式-》分布式的过程,DBA不仅在过往的阶段做了很多工作,而且现在正对数据库架构在做很多革新。面对庞大流量、海量数据、复杂应用诸多因素,支撑数据库业务运行的数据库架构起着决定性的作用;百度数据库架构每阶段面临的问题和考虑均有不同,简洁架构的背后往往是复杂而慎重的,这里与大家主要分享百度数据库架构演变的重要阶段与设计的一些考虑要素。

讲师介绍:王龙:百度运维部DBA组经理

百度运维部DBA组经理,高级DBA,带领百度DBA团队,主要负责百度数据库运维、调优、安全、架构体系建设。百度DBA组负责百度所有数据库服务管理工作,是百度服务核心数据的提供者和保障者,是维护服务稳定的核心力量;涵盖数据库设计、评审、SQL代码REVIEW;数据库核心组件及平台的规划、设计、开发工作;使百度的数据库更稳定、更高效、更易于管理。

二、风云再起 - 后IOE时代的Oracle架构变迁与创新

主题介绍:随着国内"去IOE"浪潮的起伏,Oracle在中国市场同样面临了来自技术与政策方面的双重挑战,一方面Oracle作为关系型数据库的王者,在分布式、开源开放等方面面临NoSQL等产品技术在细分市场的挑战,另一方面在政策上面临来自国产化、安全合规的挑战;在这个主题中,将和大家分享Oracle在云时代兴起之际的技术革新与挑战应对。 Oracle数据库技术的演进离不开多租户架构、内存选件、RAC集群与Exadata一体化,在这个主题中将深入剖析这些核心技术的发展脉络和Oracle的产品策略,并分析在未来,Oracle在分布式、Sharding等技术方面的必然革新。

讲师介绍:盖国强 云和恩墨创始人,ACE总监,ITPUB版主

盖国强先生是中国地区首位Oracle ACE和ACE总监,曾获评"2006年中国首届杰出数据库工程师"奖,拥有近15年的数据库实施和顾问咨询经验,对于数据库性能优化及内部技术具有深入理解。盖国强先生是中国地区最著名的Oracle技术推广者之一,他的专著《深入解析Oracle》、《循序渐进Oracle》等书籍受到Oracle技术爱好者的广泛好评,他主编撰写的《OracleDBA手记》系列作品是Oracle技术爱好者们分享和传播技术的重要书籍。2009年,盖国强先生创建了云和恩墨,致力于为中国数据库用户提供专业的数据库服务,2010年,他与Oracle ACE总监张乐奕先生共同创立ACOUG(中国Oracle用户组),持续推动Oracle技术圈的地面活动与技术交流。

三、腾讯大数据实时体系的架构和应用

主题介绍:介绍腾讯实时数据平台(TRC)实时接入,计算,存储的平台体系架构,如何利用可视化的IDE提升业务开发的效率,以及基于实时计算体系下的业务应用,例如:实时广告推荐,用户画像,监控等等

讲师介绍:张文郁 腾讯数据平台部 高级工程师

2010年加入腾讯负责分布式计算平台,集群调度的开发设计,现任数据平台部实时计算中心业务开发组组长,负责实时计算体系的建设 和业务推广,对分布式计算,流计算有丰富的应用开发经验。

四、汽车之家数据平台架构

主题介绍:从网站页面说起,用户的行为日志是怎么一层一层穿过数据平台的架构,最终展现在数据报表上的。详细介绍汽车之家如何基于大数据技术,应对业务发展的需求,构建自己的数据平台和数据仓库;分享在网站推荐和用户分析上做的一些尝试,在数据方面,遇到的一些典型问题的解决方案:1,IP地址库更新;2,evercookie & fingerprint;3,cookiemapping;4.移动deviceid的冲突和漂移及跨app共享;5,用户溯源等。

讲师介绍:高红锋 汽车之家用户智能组主管

2011年作为数据仓库架构师加入汽车之家,重构了汽车之家流量收集统计系统,从SQL Server迁移到Hadoop分布式架构,支持每日几亿流量的访问统计。负责汽车之家指数产品的研发,数据仓库平台的建设,网站推荐,用户行为分析。2014年负责开发了类似友盟的App统计SDK,支撑移动业务更精细化的运营和个性化推送。目前集群规模150台左右,支持pc和移动端流量统计,广告算法,数据仓库,指数系统,用户推荐。同时做了很多基础实践解决互联网遇到的普遍问题,如多网站cookie打通问题、IP地址库不准、cookie标识用户不准确、移动端设备id冲突和漂移等问题。

五、如何成为真正的数据架构师?

主题介绍:大数据时代下数据架构师的重要性与日俱增,企业需求量增多,但目前真正的数据架构师人才极为缺乏。数据架构师应该具备哪些能力,从事哪些工作,从属于IT的哪个部门,通过什么样的途径才能成为数据架构师,国际上数据架构师资格证有哪些等内容,将在本次演讲中予以分享。数据架构师应具备多方面的综合能力,开发人员、开发DBA、运维DBA等技术人员,通过专业的培训和学习,均有可能成为数据架构师,在本次演讲中将向希望成为数据架构师的朋友分享相关书籍、技术、及学习方法。

讲师介绍:郑保卫 恩核(北京)信息技术有限公司创始人、技术总监

工学博士,恩核(北京)信息技术有限公司创始人,担任技术总监,出版书籍《海量数据库解决方案1》,《海量数据库解决方案2》及《数据架构师教科书》正在准备中。于2013年12月被北京市朝阳区认定为"凤凰计划"海外高层次人才。参与过大量关于数据架构、数据建模、数据治理、系统性能优化等方面的项目,长期致力于数据架构及数据治理技术方面的研究和实践。

六、基于混搭存储引擎的融合型分布式数据库架构--服务型分布式计算和混搭型分布式数据存储助力大数据时代的数据宝藏挖掘

主题介绍:大数据时代,各种技术、开源软件、商业产品纷至沓来,map-reduce和CEP,Hadoop、Spark和Storm,SQL、NoSQL和NewSQL,集群、MPP和一体机,企业和互联网应用该何去何从。本主题介绍经典的分布式计算、分布式存储架构和分布式应用设计方法,以及服务型分布式计算框架如何满足各种应用需求,针对经典的分布式数据库架构进行剖析,介绍基于RDBMS,NoSQL数据库、内存数据库、文件系统等混搭存储引擎的通用分布式数据库解决方案,及这种融合型分布式数据库在社交大数据领域的应用。

讲师介绍:董健 北京博晓通科技有限公司联合创始人

南开大学计算机科学硕士,软件、通信、互联网领域拥有近二十年的丰富经验,深谙世界领先的核心平台技术,具备世界级系统的架构和设计经验,曾供职于贝尔实验室、bea、甲骨文,担任架构师、高级研发经理、产品经理等职位,带领团队开发过服务全球顶尖运营商的智能网系统,世界排名第一的交易中间件Tuxedo,世界第一个消息中间件MessageQ,WebLogic等产品,这些产品曾服务于涵盖全球500强的超过3000个企业客户,并应用于它们的核心业务应用。后创办多家公司,担任首席架构师带领团队研发出服务型分布式计算平台、通用分布式数据库、大数据整合与分析、社交媒体数据分析云平台等多款软件产品。

七、阿里海量数据迁移同步核心架构及最佳实践

主题介绍:阿里巴巴拥有全球最为庞大的数据库集群,为了让数据在各种类别的数据库之间流动起来,解决阿里双十一单元化架构中海量数据的快速异地建站(一键建站)和交易级别的异地多活问题,解决阿里业务迁移到公有云数据库问题,迫切需要一种高性能、高可用、数据一致性、还要支持各种异构数据库的迁移同步服务,由此诞生双十一新闻稿中“黑科技” , 我有幸全程经历了这一过程,我将分享其中遇到的关键问题,如怎样确保海量数据迁移同步数据不丢?无主键表迁移同步怎么不丢数据也没有重复数据?如何实现多种异构的数据库之间