最新公告
  • 欢迎您光临63源码平台,在这里,您可以找到大量的精品IT资源!立即加入我们
  • 正文概述
  • 评价建议
  • 大数据实时计算系统核心技术精讲与实战课程视频教程下载。“大数据时代”已经不是一个新鲜词汇了,随着技术的商业化推广,越来越多的大数据技术已经进入人们的生活。与此同时,大数据技术的相关岗位需求也越来越多,更多的同学希望向大数据方向转型。学习本课程,可以为想要转型大数据工程师或是入行大数据工作的同学提供实践指导作用。欢迎感兴趣的小伙伴们一起来学习。

    20200303224327158324660764319.png

    一、课程简介

    本次的课程主要包括三大部分:

    1. Flink基本原理概述。指导学员了解并掌握Flink使用过程中设计到的基本概念和简要API,介绍大数据实时流计算相关生态体系,着重梳理清楚Flink上下游体系,掌握Flink的核心技术原理,建立大数据实时流计算的方法论思维。

    2. Flink实战生产技术。从实战出发,围绕实时流计算业务场景分析、基本编程模型、高级特性等系统性介绍Flink实时流计算的实战技术,使得学员具备研发Flink实时流计算相关应用的基础能力。

    3. Druid是一款支持数据实时写入、低延时、高性能的OLAP引擎,具有优秀的数据聚合能力与实时查询能力。在大数据分析、实时计算、监控等领域都有特定的应用场景,是大数据基础架构建设中重要的一环。本次课程我们将介绍Druid的核心特性与原理,以及在性能调优以及最佳实践经验。

    二、面向人群

    1. 希望学习大数据实时流计算和实时OLAP的学生;

    2. 希望了解大数据实时流计算和OLAP实战技术的IT从业人员;

    3. 未来希望成为大数据实时流计算的求职者;

    4. 想在大数据实时流计算方向和OLAP方面进行深入研究者。

    三、学习收益:

    通过本课程的学习,学员将会收获:

    1. 学员将系统性的了解并掌握大数据实时流计算的基本技术原理,结合Flink的生产技术案例,可基本实现独立开发、业务场景分析能力;

    2. 了解大数据实时流计算上下游生态;

    3. 理解Druid基础特性与正确使用方式,基本工作原理,并了解Druid面向的问题域以及典型的使用场景;

    4. 对有志于从事大数据实时流计算以及OLAP研发的学员,提供系统实现原理的讲解与指导。

    四、课程大纲:

    第一课:Flink基本概念与部署

    1. Flink 简介

    2. 编程模型

    3. 运行时概念

    4. 应用部署与原理

    a. 部署模式

    b. On-Yarn 启动设置与原理

    c. Job 启动设置与原理

    第二课:DataStream

    1. DataStreamContext环境

    2. 数据源(DataSource)

    3. 转化(Transformation)

    4. 数据Sink

    第三课:Window & Time

    1. Window介绍

    a. 为什么要有Window

    b. Window类型

    2. Window API的使用

    a. Window的三大组件

    b. Time&watermark

    c. 时间语义

    d. 乱序问题解决WaterMark

    e. AllowLateness正确设置与理解

    f. Sideoutput在Window中的使用

    3. Window的内部实现原理

    a. Window的处理流程

    b. Window中的状态存储

    4. 生产环境中的Window使用遇到的一些问题

    第四课:Connector

    1. 基本Connnector

    2. 自定义Source 与 Sink

    3. Kafka-connecotor

    a. Kafka 简介

    b. Kafka Consumer 与Sink 的正确使用方式

    c. Kafka-Connector 内部机制与实现原理

    第五课: 状态管理与恢复机制

    1. 基本概念

    2. KeyState 基本类型及用法

    a. ValueState

    b. ListState

    c. ReduceState

    d. FoldState

    e. AggregatingState

    3. OperatorState基本用法

    4. Checkpoint

    a. 概念

    b. 开启checkpoint

    c. 基本原理

    第六课: Metrics 与监控

    1. Metrics的种类

    2. Metrics的获取方式

    a. Web Ui

    b. Rest API

    c. MetricReporter

    3. 用户自定义Metric指标方式

    4. 监控和诊断:Metric和Druid 实时OLAP联合使用

    a. Metric上报

    b. Metric指标聚合

    c. Metric的分类和格式定义

    5. Druid查询和指标系统

    a. Flink作业反压监控

    b. Flink作业的延迟监控

    c. 其他

    6. Metric系统的内部实现

    7. 生产环境中的案例分析 — 通过指标来排查应用问题

    第七课:Flink应用案例介绍

    1. 数据清洗:map/flatmap等

    2. 监控告警系统

    a. 数据拉平

    b. 基础窗口计算等

    3. 线上运营系统

    4. 风控系统

    第八课: Druid基本概念与架构设计

    1. Druid与OLAP VS Kylin、ES等

    2. Druid与指标系统 VS 各种时序数据库

    3. Druid特性

    4. 基本架构:角色节点与基本职责

    a. 角色行为

    b. 角色暴露的API

    5. 基本架构:外部依赖

    a. MySQL数据结构

    b. ZK数据结构

    c. HDFS数据结构

    第九课:Druid数据写入与查询

    1. 数据流向与存储格式

    a. 数据写入流程

    b. 存储与索引格式

    2. 实时数据写入

    a. Firehose

    b. Realtime Node

    c. Index-Service原理介绍

    d. Tranquility原理介绍

    e. Kafka-index-service原理

    3. 离线数据写入

    a. Indexer

    b. MR Indexer

    4. 查询模式与查询类型介绍

    第十课:Druid实践介绍

    1. 容错设计

    2. 指标监控

    a. 基于Graphite搭建指标监控系统

    b. 重要的指标项

    3. 运维实践

    a. 数据修复

    b. 集群升级实践

    c. Segment元数据管理

    d. JVM调优

    c. 资源隔离

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘官方最新客户端下载。若排除这种情况,可联络我们。
    投稿有什么福利吗?
    本站开放式接受所有与我们现有分类相关的资源投稿资源,作者可自主设置免费或者付费,付费资源作者可享受50%提成
    63源码
    一个开放的IT资源共享平台
    • 1000会员总数(位)
    • 1991资源总数(个)
    • 10本周发布(个)
    • 6 今日发布(个)
    • 371稳定运行(天)

    提供最优质的资源集合

    加入Vip获得全站资源