1. 首页
  2. 大数据

Apache NiFi大数据数据处理和分发系统培训实战

培训对象
大数据开发团队、大数据运维团队、数据采集和ETL人员、数据治理和管理人员

课程大纲

主题 内容
模块 1:Nifi原理和架构

Nifi的功能概述
Nifi原理和架构
Nifi基本模块介绍
Nifi Groups、Processor、queue和connector模块介绍
Nifi toolbar 界面演示

模块2:Nifi安装和配置

Nifi单机版安装
Nifi分布式安装
Nifi slaves节点配置
数据丢失容错和保证交付
低延迟和高吞吐量
动态优先级
流可以在运行时修改

模块3:GUI 操作介绍

无缝体验设计、控制和监视
processor的create、stop、start、restart、delete等操作

模块4:Nifi自带处理器介绍

Processor的原理和功能
Kafka Processor介绍和实战
JMS Processor介绍和实战
Hbase、Cassandera、redis Processor介绍和实战
Hdfs Processor、spark Streaming实战
JDBC Processor介绍和实战
FTP、Http、XML、Json Processor介绍和实战

模块5:创建Nifi数据流

创建发送/接收目录
getFile和putFile Processor创建
创建复制文件从发送放到接收
创建Queue队列

模块6:创建高级数据流

自定义文件名
添加自定义属性
添加正则表达式
实现Path过滤规则

模块7:Nifi安全

创建用户、用户组、角色
SSL,SSH,HTTPS加密认证
可插拔的基于角色的验证/授权
基于webUI的SLA认证授权

模块8:创建Nifi处理器

实现一个Kafka、JMS到HDFS的流程设计
查看运行日志
查看监控

模块9:Nifi集群配置和管理

Nifi集群添加节点
删除节点
Nifi性能优化
Slaves节点的负载均衡配置
制定特定的Processor到特定的node节点
集群动态负载均衡配置

模块10:用户自定义处理器

eclipse工程创建
实现一个FilterFileProcessor功能
编译&添加到Nifi的lib下面
创建用户自定义的FilterFile处理器

模块11:Nifi实战

Nifi在互联网的使用实战
Nifi在某大型商业银行实战案例分享

本文来自投稿,不代表程序员编程网立场,如若转载,请注明出处:http://www.cxybcw.com/188212.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code