-
30.Kafka Streams
Kafka Streams Kafka Streams Kafka 一直被认为是一个强大的消息中间件，它实现了高吞吐、高可用和低延时的消息传输能力，这让它成为流式处理系统中完美的数据来源。目前通用的一些流式处理框架如 Apache Spark、Apache Flink、Apache Storm 等都可以将 Kafka 作为可靠的数据来源。但遗憾的是，... -
26. 如何选择合适的分区数(下)
分区数的上限 考量因素 总结 分区数的上限 一味地增加分区数并不能使吞吐量一直得到提升，并且分区数也并不能一直增加，如果超过默认的配置值，还会引起 Kafka 进程的崩溃。读者可以试着在一台普通的 Linux 机器上创建包含10000个分区的主题，比如在下面示例中创建一个主题 topic-bomb： csharp 复制代码 [ root... -
59.Apache Kafka 是什么?
59.Apache Kafka 是什么? 59.Apache Kafka 是什么? Kafka 是基于发布与订阅 的消息系统 。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可分区的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中，常常会碰到一个问题，整个大数据是... -
77.Kafka 如何实现高可用？
77.Kafka 如何实现高可用？ 77.Kafka 如何实现高可用？ Zookeeper 部署 2N+1 节点，形成 Zookeeper 集群，保证高可用。 Kafka Broker 部署集群。每个 Topic 的 Partition ，基于【副本机制】，在 Broker 集群中复制，形成 replica 副本，保证消息存储的可靠性。每个 r... -
34.Kafka与Spark Streaming的整合
Spark Streaming简介 Kafka与Spark Streaming的整合 Spark Streaming简介 Spark Streaming 是 Spark 提供的对实时数据进行流式计算的组件。它是 Spark 核心 API 的一个扩展，具有吞吐量高、容错能力强的实时流数据处理系统，支持包括 Kafka、Flume、Kinesis 和 ... -
28.让异常无处可逃：搭建 ELK 日志系统
一、ELK 常见的架构与其优缺点 ELK 架构一 ELK 架构二 ELK 架构三 二、Kafka 安装 三、Filebeat 简介与安装 四、Logstash 简介与安装 1、Logstash 简介 2、Logstash 安装 3、kafka input 插件 4、filter 插件 5、elasticsearch outp... -
69.Kafka 的网络模型是怎么样的？
69.Kafka 的网络模型是怎么样的？ 1）KafkaClient ，单线程 Selector 模型。 2）KafkaServer ，多线程 Selector 模型。 69.Kafka 的网络模型是怎么样的？ Kafka 基于高吞吐率和效率考虑，并没有使用第三方网络框架，而且自己基于 Java NIO 封装的。 1）KafkaClient... -
87.kafka怎么实现的高性能
kafka怎么实现的高性能 1. 高效的存储结构 2. 分布式架构 3. 高效的网络通信 4. 异步处理 5. 高效的消费者模型 6. 容错和恢复 7. 数据流量管理 总结 kafka怎么实现的高性能 Apache Kafka 是一个分布式流处理平台，以其高吞吐量和低延迟著称。Kafka 的高性能主要源于其设计和实现中的... -
14. 如何保证消息的顺序性？
14. 如何保证消息的顺序性？ 14. 如何保证消息的顺序性？ 不同的消息队列，其架构不同，所以实现消息的顺序性的方案不同。 在保证消息顺序性方面，RabbitMQ、RocketMQ和Kafka各有其独特的实现机制： RabbitMQ ： RabbitMQ通过拆分队列（多个queue）或使用内存队列来保证消息的顺序性。 通过确认模式（ack... -
83.Kafka 如何保证消息的顺序性？
83.Kafka 如何保证消息的顺序性？ 83.Kafka 如何保证消息的顺序性？ Kafka 本身，并不像 RocketMQ 一样，提供顺序性的消息。所以，提供的方案，都是相对有损的。如下： 这里的顺序消息，我们更多指的是，单个 Partition 的消息，被顺序消费。 方式一，Consumer ，对每个 Partition 内部单线程...