1. 首页
  2. IT资讯

微服务 大数据OLAP平台架构演进

存储层:

Hadoop hdfs
Elasticsearch
Redis
kafka

计算层:

Hive 离线批处理
Spark 实时计算

统一批计算和实时计算
Flink
基于 Apache Flink 和规则引擎的实时风控解决方案 ​
日均百亿级日志处理:微博基于Flink的实时计算平台建设
基于Flink的超大规模在线实时反欺诈系统的建设与实践

查询

亿级列式数据库:
Hbase
HBase 基础

亿级实时查询:
SparkSQL

亿级多数据源级联实时查询
Presto

百亿级实时查询:
ClickHouse
彪悍开源的分析数据库-ClickHouse

Druid
Flink+Druid构建实时OLAP的探索

ETL接入层

DataX

算法平台

Alink

消息队列

Kafka

日志处理 ELK

Elasticsearch
logstash
kibana

调度层

Airflow
如何使用Airflow调度数据科学工作流
Airflow中文文档
AirFlow简介

参考文档:
每秒7亿次请求,阿里新一代数据库如何支撑?

  • 点赞
  • 收藏
  • 分享

    • 文章举报

微服务 大数据OLAP平台架构演进 微服务 大数据OLAP平台架构演进
fengzhaoy
发布了298 篇原创文章 · 获赞 72 · 访问量 26万+

他的留言板 关注

原文始发于:微服务 大数据OLAP平台架构演进

主题测试文章,只做测试使用。发布者:sys234,转转请注明出处:http://www.cxybcw.com/98587.html

联系我们

13687733322

在线咨询:点击这里给我发消息

邮件:1877088071@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code