《Hadoop集群原理与运维实践》

2017-7-17 19:39| 发布者: 岸岸| 查看: 120579| 评论: 0|原作者: 岸岸

快速报名入口

课程简介
Hadoop已经成为目前大数据处理的事实标准，各大互联网公司均在用Hadoop来作为数据平台的重要组成部分。在小规模数据量场景下，并不关心Hadoop集群的规划与性能问题，能用即可。然而，随着业务的增长和数据量的增长，在上百台甚至上千上万台集群规模、上PB的数据量下，如何合理的规划和使用Hadoop集群、如何优化集群发挥更高的效率，就显得尤为重要。

本课程将从Hadoop集群运维的角度着手，从零开始手把手规划、部署、安装、优化和管理集群，综合互联网一线大规模Hadoop集群运维的实践经验，更深入的剖析Hadoop集群原理，教授如何零基础构建更加高效、稳定、可扩展的大规模Hadoop集群。通过本课程的学习，有助于深入理解Hadoop原理，能够胜任PB级大规模Hadoop集群运维管理的工作。

课程大纲
第一课.       预备知识
1.1.       大数据与Hadoop
1.2.       Hadoop发展历程与现状
1.3.       Hadoop的基本组成与原理

第二课.    集群部署前的准备
2.1.    硬件选型
2.2.    网络规划
2.3.    操作系统选型与配置
2.4.    Hadoop版本选型

第三课.    从零开始安装部署Hadoop集群
3.1.    伪分布式模式
3.2.    分布式生产环境部署
3.3.    节点规划
3.4.    集群安装部署HDFS
3.5.    集群安装部署MRv2和YARN
3.6.    Hadoop集群benchmark

第四课.    开始使用Hadoop集群
4.1.    Hadoop命令手册解读
4.2.    HDFS使用与权限
4.3.    MapReduce Job开发、运行与管理
4.4.    YARN管理

第五课.    Hadoop集群性能优化
5.1.    集群常用配置文件解读
5.2.    HDFS配置优化
5.3.    MapReduce配置优化
5.4.    YARN配置优化

第六课.    HDFS高可用配置
6.1.    NameNode HA
6.2.    HDFS Federation

第七课.    YARN高可用配置
7.1.    ResourceManager HA
7.2.    NodeManager Recovery

第八课.    Hadoop安全模式与权限控制
8.1.    Hadoop安全模式原理与架构
8.2.    Kerberos原理与Hadoop应用
8.3.    权限控制

第九课.    Hadoop集群管理
9.1.    HDFS权限规划和Quota管理
9.2.    HDFS扩容与故障节点处理
9.3.    HDFS Balancer
9.4.    HDFS FSCK
9.5.    HDFS distcp
9.6.    YARN Scheduler配置管理
9.7.    YARN扩容与故障节点处理
9.8.    集群版本升级与回滚

第十课.    Hadoop其他组件安装配置与管理
10.1.    HBase安装配置管理
10.2.    Hive安装配置管理
10.3.    Pig安装配置管理
10.4.    Spark安装配置与管理

第十一课.    Hadoop集群监控方案
11.1.    JMX监控
11.2.    Ganglia监控
11.3.    Nagios/Zabbix监控

第十二课.    Hadoop新版本特性概述与展望
12.1.    HDFS集中式缓存
12.2.    HDFS分级存储
12.3.    YARN Node Label
12.4.    YARN Timeline Server
12.5.    YARN Docker执行器
12.6.    Hadoop 3.0展望

授课时间：
课程预计2024年10月08日开课，预计课程持续时间为14周

授课对象：
面向Hadoop集群管理与运维人员，希望进一步了解Hadoop集群原理和从事大规模Hadoop集群运维管理工作的学员。

课程环境：
OS: CentOS 6.5
Hadoop : Cloudera CDH 5.10
JDK: 1.8

收获预期：
掌握Hadoop的基本原理，掌握Hadoop集群的规划安装部署，掌握Hadoop集群优化与管理，能够胜任大规模Hadoop集群运维管理的角色

授课讲师
朱广彬，就职于国内一线某著名互联网安全公司，负责千台Hadoop集群、百亿流量的数据平台架构，关注大数据底层架构相关技术，致力于大数据处理技术在计算广告的应用，对Hadoop/Hive/HBase/Spark/Kafka等有深入的认识和实践经验。Hadoop Contributor、BDTC大会讲师。
github: https://github.com/zhuguangbin

课程试听：

新颖的课程收费形式：“逆向收费”约等于免费学习，仅收取100元固定收费+300元暂存学费，学习圆满则全额奖励返还给学员！

本门课程本来打算完全免费，某位大神曾经说过“成功就是正确的方向再加上适度的压力”。考虑到讲师本身要付出巨大的劳动，为了防止一些朋友在学习途中半途而废，浪费了讲师的付出，为此我们计划模仿某些健身课程，使用“逆向收费”的方法。
在报名时每位报名者收取400元，其中100元为固定收费，另外300是暂存学费，即如果学员能完成全部课程要求，包括完成全部的书面和互动作业，则300元全款退回。如果学员未能坚持到完全所有的学习计划任务，则会被扣款。期望这种方式可以转化为大家强烈的学习愿望和驱动力！

课程授课方式：
1、学习方式：老师发布教学资料、教材，幻灯片和视频，学员通过网络下载学习。同时通过论坛互动中老师对学员进行指导及学员之间相互交流。
2、学习作业：老师每周布置书面及互动作业，学员需按时按质完成作业。
3、老师辅导：根据作业批改中发现的问题，针对性给予辅导，帮助大家掌握知识。
4、结业测验：通过测验，完成学业。

您是否对此课程还有疑问，那么请点击进入 FAQ，您的问题将基本得到解答

全国统一咨询热线 4008-010-006

课程现开始接受报名，报名方式
网上报名请点击：Hadoop集群原理与运维实践

咨询Email ：edu01@dataguru.cn，edu02@dataguru.cn
课程入门讨论咨询群：303917420（群内有培训公开课视频供大家免费观看）

咨询QQ： 2222010006 (上班时间在线）

技术热点、 行业资讯，培训课程信息，尽在炼数成金官方微信，低成本传递高端知识！技术成就梦想！欢迎关注！
打开微信，使用扫一扫功能，即刻关注炼数成金官方微信账户，不容错过的精彩，期待您的体验！！！

快速报名入口

普班报名：【普班】Hadoop集群原理与运维实践（第24期） (暂未招生)

快班报名：【快班】Hadoop集群原理与运维实践 (随报随学)

分享到新浪微博收藏邀请

上一篇：计算机视觉与深度学习实战下一篇：左飞的机器学习十八般算法武艺详解

《Hadoop集群原理与运维实践》

即将开课

热门文章