内容简介
本书主要分为三部分,第一部分介绍数据湖的概念、数据湖在企业中的重要性以及Lambda架构。第二部分深入研究使用Lambda架构构建数据湖所需的主要技术组件,介绍流行的大数据技术,如Apache Hadoop、Sqoop、Flume、Flink和Elasticsearch等。第三部分展示一些非常实用的数据湖落地建议,包括企业应如何建立一个真实的数据湖,以及提高数据湖运营效率所需的其他技术组件。第三部分最后还详细介绍了几个实际的用例,以及在企业内实现这些用例时应考虑的重要方面。
通过阅读本书,你将:
•使用大数据技术构建企业级数据湖。
•掌握Lambda架构的精髓,以及如何在企业内使用它。
•学习与Apache Sqoop及其功能相关的技术细节。
•Kafka与Hadoop组件集成,用于获取企业数据。
•使用Flume进行流式数据处理。
•理解Flink与流式数据处理的关系。
•Hadoop生态圈组件的协同使用,以及它们能带来的好处。
•使用Elastic Stack构建快速、流式、高吞吐应用。
•确保数据摄取处理在不同数据格式配置时的一致性。
作者简介
汤姆斯•约翰(Tomcy John)是一名企业级Java技术专家,拥有工学学士学位,并且有超过14年多行业的开发经验。他目前担任Emirates Group IT核心架构部门的首席架构师。在此之前,他曾在甲骨文公司、安永公司任职。他主要擅长构建企业级应用,并且在企业内担任首席导师和布道者,以促进新技术融入企业标准技术栈。