课程目标

通过本课程的学习，可以了解架构技术的发展趋势，掌握最新的行业数据架构设计技术。通过本课程学习，可以更全方面的了解数据库与大数据架构优化等技能。

适用人群

本课程重点介绍数据库和大数据架构设计与优化技术，学员需要掌握数据库原理、数据库自身的体系结果，方能更好的进行本课程学习。

课程概述

架构作为技术与业务的融合剂，好的架构可以更好的支持业务对技术的需求，本课程重点围绕数据库架构设计特点，针对过往架构的对比分析，给学员更加直接的感受；更多的行业成功架构案例的分享，对大家学习掌握数据架构起到更好的借鉴作用。

一、百度数据库架构演变与设计

主题介绍：百度数据库架构经历了从分散式-》集中式-》分布式的过程，DBA不仅在过往的阶段做了很多工作，而且现在正对数据库架构在做很多革新。面对庞大流量、海量数据、复杂应用诸多因素，支撑数据库业务运行的数据库架构起着决定性的作用；百度数据库架构每阶段面临的问题和考虑均有不同，简洁架构的背后往往是复杂而慎重的，这里与大家主要分享百度数据库架构演变的重要阶段与设计的一些考虑要素。

讲师介绍：王龙：百度运维部DBA组经理

百度运维部DBA组经理，高级DBA，带领百度DBA团队，主要负责百度数据库运维、调优、安全、架构体系建设。百度DBA组负责百度所有数据库服务管理工作，是百度服务核心数据的提供者和保障者，是维护服务稳定的核心力量；涵盖数据库设计、评审、SQL代码REVIEW；数据库核心组件及平台的规划、设计、开发工作；使百度的数据库更稳定、更高效、更易于管理。

二、风云再起 - 后IOE时代的Oracle架构变迁与创新

主题介绍：随着国内"去IOE"浪潮的起伏，Oracle在中国市场同样面临了来自技术与政策方面的双重挑战，一方面Oracle作为关系型数据库的王者，在分布式、开源开放等方面面临NoSQL等产品技术在细分市场的挑战，另一方面在政策上面临来自国产化、安全合规的挑战；在这个主题中，将和大家分享Oracle在云时代兴起之际的技术革新与挑战应对。 Oracle数据库技术的演进离不开多租户架构、内存选件、RAC集群与Exadata一体化，在这个主题中将深入剖析这些核心技术的发展脉络和Oracle的产品策略，并分析在未来，Oracle在分布式、Sharding等技术方面的必然革新。

讲师介绍：盖国强　云和恩墨创始人，ACE总监，ITPUB版主

盖国强先生是中国地区首位Oracle ACE和ACE总监，曾获评"2006年中国首届杰出数据库工程师"奖，拥有近15年的数据库实施和顾问咨询经验，对于数据库性能优化及内部技术具有深入理解。盖国强先生是中国地区最著名的Oracle技术推广者之一，他的专著《深入解析Oracle》、《循序渐进Oracle》等书籍受到Oracle技术爱好者的广泛好评，他主编撰写的《OracleDBA手记》系列作品是Oracle技术爱好者们分享和传播技术的重要书籍。2009年，盖国强先生创建了云和恩墨，致力于为中国数据库用户提供专业的数据库服务，2010年，他与Oracle ACE总监张乐奕先生共同创立ACOUG（中国Oracle用户组），持续推动Oracle技术圈的地面活动与技术交流。

三、腾讯大数据实时体系的架构和应用

主题介绍：介绍腾讯实时数据平台(TRC)实时接入，计算，存储的平台体系架构，如何利用可视化的IDE提升业务开发的效率，以及基于实时计算体系下的业务应用，例如：实时广告推荐，用户画像，监控等等

讲师介绍：张文郁　腾讯数据平台部 高级工程师

2010年加入腾讯负责分布式计算平台，集群调度的开发设计，现任数据平台部实时计算中心业务开发组组长，负责实时计算体系的建设 和业务推广，对分布式计算，流计算有丰富的应用开发经验。

四、汽车之家数据平台架构

主题介绍：从网站页面说起，用户的行为日志是怎么一层一层穿过数据平台的架构，最终展现在数据报表上的。详细介绍汽车之家如何基于大数据技术，应对业务发展的需求，构建自己的数据平台和数据仓库；分享在网站推荐和用户分析上做的一些尝试，在数据方面，遇到的一些典型问题的解决方案：1，IP地址库更新；2，evercookie & fingerprint；3，cookiemapping；4.移动deviceid的冲突和漂移及跨app共享；5，用户溯源等。

讲师介绍：高红锋　汽车之家用户智能组主管

2011年作为数据仓库架构师加入汽车之家，重构了汽车之家流量收集统计系统，从SQL Server迁移到Hadoop分布式架构，支持每日几亿流量的访问统计。负责汽车之家指数产品的研发，数据仓库平台的建设，网站推荐，用户行为分析。2014年负责开发了类似友盟的App统计SDK，支撑移动业务更精细化的运营和个性化推送。目前集群规模150台左右，支持pc和移动端流量统计，广告算法，数据仓库，指数系统，用户推荐。同时做了很多基础实践解决互联网遇到的普遍问题，如多网站cookie打通问题、IP地址库不准、cookie标识用户不准确、移动端设备id冲突和漂移等问题。

五、如何成为真正的数据架构师?

主题介绍：大数据时代下数据架构师的重要性与日俱增，企业需求量增多，但目前真正的数据架构师人才极为缺乏。数据架构师应该具备哪些能力，从事哪些工作，从属于IT的哪个部门，通过什么样的途径才能成为数据架构师，国际上数据架构师资格证有哪些等内容，将在本次演讲中予以分享。数据架构师应具备多方面的综合能力，开发人员、开发DBA、运维DBA等技术人员，通过专业的培训和学习，均有可能成为数据架构师，在本次演讲中将向希望成为数据架构师的朋友分享相关书籍、技术、及学习方法。

讲师介绍：郑保卫　恩核（北京）信息技术有限公司创始人、技术总监

工学博士，恩核（北京）信息技术有限公司创始人，担任技术总监，出版书籍《海量数据库解决方案1》，《海量数据库解决方案2》及《数据架构师教科书》正在准备中。于2013年12月被北京市朝阳区认定为"凤凰计划"海外高层次人才。参与过大量关于数据架构、数据建模、数据治理、系统性能优化等方面的项目，长期致力于数据架构及数据治理技术方面的研究和实践。

六、基于混搭存储引擎的融合型分布式数据库架构--服务型分布式计算和混搭型分布式数据存储助力大数据时代的数据宝藏挖掘

主题介绍：大数据时代，各种技术、开源软件、商业产品纷至沓来，map-reduce和CEP，Hadoop、Spark和Storm，SQL、NoSQL和NewSQL，集群、MPP和一体机，企业和互联网应用该何去何从。本主题介绍经典的分布式计算、分布式存储架构和分布式应用设计方法，以及服务型分布式计算框架如何满足各种应用需求，针对经典的分布式数据库架构进行剖析，介绍基于RDBMS，NoSQL数据库、内存数据库、文件系统等混搭存储引擎的通用分布式数据库解决方案，及这种融合型分布式数据库在社交大数据领域的应用。

讲师介绍：董健　北京博晓通科技有限公司联合创始人

南开大学计算机科学硕士，软件、通信、互联网领域拥有近二十年的丰富经验，深谙世界领先的核心平台技术，具备世界级系统的架构和设计经验，曾供职于贝尔实验室、bea、甲骨文，担任架构师、高级研发经理、产品经理等职位，带领团队开发过服务全球顶尖运营商的智能网系统，世界排名第一的交易中间件Tuxedo，世界第一个消息中间件MessageQ，WebLogic等产品，这些产品曾服务于涵盖全球500强的超过3000个企业客户，并应用于它们的核心业务应用。后创办多家公司，担任首席架构师带领团队研发出服务型分布式计算平台、通用分布式数据库、大数据整合与分析、社交媒体数据分析云平台等多款软件产品。

七、阿里海量数据迁移同步核心架构及最佳实践

主题介绍：阿里巴巴拥有全球最为庞大的数据库集群，为了让数据在各种类别的数据库之间流动起来，解决阿里双十一单元化架构中海量数据的快速异地建站（一键建站）和交易级别的异地多活问题，解决阿里业务迁移到公有云数据库问题，迫切需要一种高性能、高可用、数据一致性、还要支持各种异构数据库的迁移同步服务，由此诞生双十一新闻稿中“黑科技” ， 我有幸全程经历了这一过程，我将分享其中遇到的关键问题，如怎样确保海量数据迁移同步数据不丢？无主键表迁移同步怎么不丢数据也没有重复数据？如何实现多种异构的数据库之间的迁移？如何实现异地多活及中美秒级同步？

讲师介绍：付大超 阿里巴巴数据库团队技术专家

2012年加入阿里巴巴，目前负责DTS团队研发工作，曾负责阿里HBase的开发及维护工作，开发了阿里HBase集群高用性系统，曾先后实习及工作于IBM、Cisco、淘宝。

八、美丽说数据库架构变迁及自主研发中间件应用

主题介绍：美丽说从导购网站转型电商过程中数据库面临前所未有的挑战，主要有两方面：1、应用场景不同，导购网站的数据库量级轻，无账户，支付等系统等，流量稳定，无大促秒杀等；2、流量增加迅速，交易额million /day增长至接近billion/day 过程中犯下了一些错误，积累了一点经验，开发了一个插件，调整了一点架构；本次分享主要有两方面：1、人文，转型之路，思维意识转变，计划的制定及实施；2、技术a、架构调整与优化，包括数据库拆分，架构调整；b、中间件开发与应用，连接池，读写分离，流量控制，功能实现等；c、电商特殊场景主要是大促等容量评估以及应对方案。

讲师介绍：冯超　前美丽说数据库及中间件负责人

前美丽说数据库及中间件负责人，技术经理，6年数据库架构经验，1年创业经验，30年瞎掰经验

九、农银人寿新核心数据架构规划与当前进展

主题介绍：根据农银人寿保险股份有限公司的业务特点，结合当前主流技术和最佳行业实践，从数据的分布与存储、加工与流转、管控与应用等方面对新核心业务系统进行数据架构规划，对架构的定位与目标、原则与思路、整体规划过程进行详细阐述，其中还涉及OLTP系统、ODS、数据仓库与集市、数据交换平台的设计思路。此外，以新核心项目为背景，对现有系统实施数据治理与标准化，并在新核心建设过程中应用治理成果，从数据治理的策略原则、流程体系、方法论、组织结构、管理工具、数据现状、分阶段实施与当前进展、元数据管理、主数据管理、业务建模和数据建模过程等方面进行开创性实践和经验分享。

讲师介绍：赵华，种磊　农银人寿信息技术部副总经理，农银人寿新核心数据架构组组长

赵华，农银人寿IT部副总经理、新核心项目经理，先后在平安保险信息中心、合众人寿工作，06年加入国民人寿（农银人寿前身），有近16年寿险信息化经验，曾负责技术架构并领导过多个重大项目实施，在核心系统建设领域有突出贡献。 种磊，经济师，农银人寿IT部资深专员、新核心数据组组长。04年进入农总行软件开发中心，有8年银行信息化经验，09年参与核心银行应用设计。14年进入农银人寿，主持数据治理与标准化及新核心模型设计工作。

十、数据平台（UDP）架构设计

主题介绍：分享【友盟+】在构建数据平台的一些经验，以及在【友盟+】数据平台之上构筑的多种对外高性能数据服务架构设计。 技术点：1. 数据公司合并带来的数据和技术架构的整合带来的挑战，这里更多是经验分享；2. 我们构建的对外数据服务的低层技术架构（高并发，高可用，低延迟要求等解决方案）；

讲师介绍：张金 友盟基础数据部任技术总监　

在阿里巴巴从业6年，包括：阿里云、阿里妈妈数据技术与产品部（大中台）等在数据应用走在前沿的公司。 积累了在全域大数据以及数据周边应用，从采集、计算、挖掘、数据化运营、到广告营销的丰富实战经验。 目前在【友盟+】基础数据部任技术总监，负责构建【友盟+】的基础数据平台和数据服务平台。

十一、面向未来的数据库体系架构的思考

主题介绍：内容大纲：1. 数据存储多样性与支撑体系的思考；2. 异地多活与数据一致性的思考；3. 容器和调度在数据库的应用；4. 自动化系统的建设思路；5. 未来发展方向。

讲师介绍：张瑞 阿里巴巴集团 研究员

阿里巴巴集团数据库技术团队总负责人，研究员，2005年加入阿里巴巴，经历了阿里数据库技术的变革历程。目前，阿里数据库技术团队正在建设阿里下一代数据库技术体系，希望能够把我们的成果、踩过的坑以及面向未来思考介绍跟大家做一些深入的探讨，能够为中国数据库技术的发展出一份力。

十二、100亿数据量1万属性数据库架构设计

主题介绍：演讲提纲： 一、需求缘起：为何会有1万属性的业务需求； 二、属性扩展架构解决方案； 三、属性搜索架构解决方案； 四、100亿数据量数据库存储架构解决方案； 五、总结：一切脱离业务的架构设计都是耍流氓。

讲师介绍：沈剑 58到家技术委员会主席&高级技术总监

互联网架构技术专家，“架构师之路”公众号作者。曾任百度高级工程师，58同城高级架构师，58同城技术委员会主席，58同城C2C技术部负责人，58同城技术学院优秀讲师。现任58到家技术委员会主席，高级技术总监，负责企业，支付，营销、客户关系等多个后端业务部门。本质，技术人一枚。

十三、数据库存储虚拟化及内核架构优化

主题介绍：介绍在 K-RAC架构下的存储虚拟化技术及实现原理，同时，还会介绍近一年在数据库内核领域进行的若干技术升级以及软硬件结合领域新的进展。

讲师介绍：蒋琪 浪潮 数据库支持工程师

数据库支持工程师，多年K-DB数据库支持及内部测试经验，对数据库内核如优化器，虚拟化存储等各个模块比较了解，善于处理诊断问题。

十四、大数据实时处理架构实践

主题介绍：当今互联网早已不是蛮荒生长的时代，各大公司也在自己的领域深耕细作，伴随着市场的成熟，如何提供更好的服务、更快的数据决策，成为竞争的关键点。实时计算技术作为其中的一项关键技术，开始在业界广泛流行。如何依据自己的业务，在众多的实时计算技术中做出选择，如何处理实时计算中遇到的各种问题，保证数据的效率和正确，成为所有人都要面对的极具挑战的工作。本次分享将会从实时计算的业务要求出发，结合具体的一个基于spark streaming的实践例子，总结大数据实时处理架构设计上需要处理的几个关键问题，同时基于此对实时计算技术提出一些要求。

讲师介绍：朱健 京东商城大数据技术专家

京东广告部大数据技术专家，长期从事大数据技术的实践和研究工作，在分布式系统架构设计、开发方面有丰富的实践经验。目前负责京东广告日志系统、广告实时效果系统的研发工作。

十五、Kudu架构介绍及其在小米的应用实践

主题介绍：Kudu是Cloudera在15年9月开源的分布式数据存储引擎，其结合了Hbase和HDFS的优势，可以同时提供高效的随机访问以及数据扫描能力。Kudu支持数据的实时插入和分析，为实时的OLAP计算提供了另外一种选择。小米是Kudu在中国最早的一批用户，目前内部已经有较大规模的业务在使用，并且在不断探索新的应用场景。本次演讲将会介绍Kudu的大致技术架构，新版本的新增功能，以及未来的开发计划。同时会介绍Kudu在小米计算架构中所扮演的角色，分享一些Kudu在实际使用中的经验，希望可以促进Kudu在中国的发展和使用。

讲师介绍：张震 小米软件工程师

曾就职于老牌BI厂商MicroStrategy，15年加入小米云平台计算组，先后负责Impala，Hive，Kudu的维护和及内部需求开发。在分布式计算和存储领域有多年的积累和实战经验

十六、分布式数据库的架构与分片设计

主题介绍：1、介绍行业信息化的现状，阐述为何企业需要分布式数据库和私有云数据库。 2、介绍不同历史时期背景而产生的MySQL数据库的架构，讲述架构演变的过程和背后故事。 3、 企业对私有云数据库的诉求和技术架构。 4、企业关注私有云数据库哪些核心功能以及部分核心功能点的技术原理讲解。 5、分享个人对行业调研、观察和分析的信息而得的出国内私有云数据库的未来发展趋势。

讲师介绍：金官丁 上海热璞网络科技有限公司 创始人兼CTO

主要负责热璞科技的私有云数据库产品规划、架构设计和咨询解决方案。 拥有丰富的千万以上日活跃会员的数据架构设计及直接研发管理经验，传统行业数十个超大型业务系统的去IOE化和分布式数据架构设计，多次主设计数十亿级别数据服务的高并发、高性能、高可用分布式数据库架构。 曾就职于游戏米果、麦肯光明、阿里巴巴、五分钟网络，从事过产品研发、咨询服务和 技术团队管理等；在阿里巴巴工作期间，担任数据库专家一职，负责开源分布式数据库技术 架构探索研究实践（注：设计过广泛用于阿里巴巴内部和行业的分布式数据库中间件产品， 且同行业多数企业模仿此产品路线），后称“去IOE”，应用于整个集团及借助探索的实战经 验和成果，广泛应用于后组建的阿里云；在五分钟网络工作期间，担任技术副总监，负责开 心农场、小小战争等游戏研发团队，设计研发社交游戏引擎（含分布式数据库产品）、社交 游戏运营平台等。