一站式Apache Kafka集群指标监控与运维管控平台
Taier 是一个分布式可视化的DAG任务调度系统。
MinIO 是一个基于 Apache License v2.0 开源协议的对象存储服务。
Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统
CloudCanal 是一款数据迁移同步工具,帮助企业快速构建高质量数据流通通道,产品包含 SaaS 模式和私有输出专享模式
一个阿里巴巴开源的数据同步工具
RabbitMQ 是一款具有高可靠、易扩展、高可用及丰富的功能特性的消息中间件
一个免费的 Elasticsearch 多集群监控和管理平台
飞鱼(FlyFish)是一个数据可视化编码平台
loki是一个水平可扩展,高可用性,多租户的日志聚合系统
Apache Iceberg是由 Netflix 开发开源的用于庞大分析数据集的开放表格式
Apache Hudi是由Uber开发并开源的Data Lakes解决方案
Delta Lake是一个开源存储层,为数据湖带来了可靠性
CAT 是基于 Java 开发的实时应用监控平台,为美团点评提供了全面的实时监控告警服务
Pinpoint是一个开源的 APM (Application Performance Management/应用性能管理)工具
Zipkin是由Twitter公司开源,开放源代码分布式的跟踪系统
Skywalking 专门为微服务架构和云原生架构系统而设计并且支持分布式链路追踪的APM系统。
Streamsets是一款用于数据集成、处理及流转的开源平台
jmxtrans是一个基于jmx接口的数据采集工具
Apache NiFi 是一个易于使用、功能强大而且可靠的数据拉取、数据处理和分发系统,用于自动化管理系统间的数据流。
Telegraf 是一个用 Go 编写的收集和报告指标和数据的程序
gohangout是携程公司开源的一个日志采集系统
rsyslog是Linux系统自带的高性能、高安全性的用来收集、处理日志的程序
Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理
Scribe是facebook开源的日志收集系统
Beats 是一个免费且轻量型数据采集器
Fluentd是一个开源的数据收集器,专为处理数据流设计
Apache Flume是一个分布式的、可靠的、可用的,从多种不同的源收集、聚集、移动大量日志数据到集中数据存储的系统
RocketMQ 是一个分布式消息中间件,其具有低延迟、高性能和可靠性、万亿级容量、灵活的可扩展性特性
概况Pravega是一款开源的流存储项目,可实现流并充当用于存储或提供连续、无界数据的出色基元。此开源项目[…]
NSQ是Go语言编写的,开源的分布式消息队列中间件
Apache Pulsar由雅虎开发并开源的下一代分布式消息系统
Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。
Kafaka connect 是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。
Waterdrop 是一个非常易用,高性能、支持实时流式和离线批处理的海量数据处理产品
Sqoop是一款在Hadoop与传统的数据库间进行数据同步的开源工具
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台
FlinkX是一个基于Flink的批流统一的数据同步工具
ApacheIgnite是一个开源的分布式数据库、缓存和处理平台
Apache Kudu是为Hadoop平台开发的一个列式存储管理器
Alluxio是一个基于内存的分布式文件系统
HDFS是Hadoop框架中的一个分布式的文件存储系统
OpenStack Swift 是一个提供了弹性可伸缩、高可用的分布式对象存储服务
Ceph是一个开源的分布式对象,块和文件存储。
Ozone是专门为Hadoop设计的可扩展的分布式对象存储系统。
一个兼具RDBMS、NoSQL优点的面向OLTP场景的异步化NewSQL单机与分布式关系数据库
Cassandra 是一个来自Apache 的分布式数据库,具有高度可扩展性,可用于管理大量的结构化数据。
HBase是一个分布式的、面向列的开源数据库
Druid是一个快速的列式分布式的支持实时分析的序列数据库
Storm是一个免费并开源的分布式实时计算系统
Apache Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架
spark是一个用于大规模数据处理的统一计算引擎
Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统。
Big Whale为美柚大数据研发的大数据任务调度平台
PowerJob是全新一代分布式调度与计算框架,能让您轻松完成作业的调度与繁杂任务的分布式计算。
Oozie是一个管理 Apache Hadoop 作业的工作流调度系统。
Apache-Airflow 是Airbnb开源的一款数据流程工具
XXL-JOB是一个国内轻量级分布式任务调度平台
Azkaban是由Linkedin开源的一个批量工作流任务调度器
Amundsen 是来自Lyft 开源的元数据管理、数据发现平台,功能点很全,有一个比较全的前端、后端以及数据处理框架。
LinkedIn开源出来的中央元数据存储库和数据集门户
Atlas是Hadoop平台元数据框架
一个用于编写和运行SQL查询并可视化结果的Web应用程序
CBoard是一款开源自助BI数据分析产品
DataEase 是开源的数据可视化分析工具
redash是一个支持多数据源的功能强大的可视化BI工具
Airbnb开源的一款数据探索与可视化工具
Davinci是一个DVAAS(Data Visualization as a Service)平台解决方案。
metabase是一款易用、开源、技术成熟、不断并快速迭代的报表系统。
Superset是一款轻量级的BI工具,由Airbnb的数据部门开源。整个项目基于Python框架开发
Apache Zeppelin是一款基于Web的Notebook
Grafana是一个开源的度量分析与可视化套件
Kibana 是一款开源的数据分析和可视化平台
Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统
Lenses 是 Apache Kafka 的流式数据管理平台
滴滴Logi-KafkaManager是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台
KafkaCenter是Kafka 集群管理和维护,生产/消费监控,生态组件使用的统一一站式平台。
基于Apache Flink 封装的一个可视化的、轻量级的flink web客户端系统
微众银行自研的一站式数据应用开发管理门户
让Flink开发更简单
Project-Rhino是一个旨在通过直接向相关Apache项目贡献代码来提高Hadoop安全性的项目
Apache Knox Gateway是一个用于hadoop安全的RESTful API Gateway,为Spark/Hadoop集群提供唯一的REST入口。
Apache Ranger提供一个集中式安全管理框架, 并解决授权和审计
Apache Sentry是Cloudera公司发布的一个Hadoop开源组件
提供统一的配置管理服务的分布式配置管理平台
XXL-CONF 是一个轻量级分布式配置管理平台
Apollo(阿波罗)是携程框架部门研发的分布式配置中心
etcd是一个高可用的键值存储系统,主要用于共享配置和服务发现。
Consul是由HashiCorp开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件
ZooKeeper是一个分布式的、开放源码的分布式协调服务。