使用单机kafka需要配合zookeeper吗

文章目录

• 前言
• 一、kafka单机部署
• 二、配置认证

• 1.SASL/PLAIN
• 2.kafka自带的生产和消费客户端工具配置认证

• 三、常用命令
• 结尾

部署Kafka之前，我们需要了解其背景和意义。Kafka是一个开源的分布式流处理平台，主要用于构建实时数据流管道和应用。它可以处理高速数据流，并支持发布和订阅模式。Kafka广泛应用于日志收集、流处理、消息队列等领域，具有高吞吐量、可扩展性、可靠性和容错性等优点。

随着大数据和云计算技术的发展，数据量呈爆炸式增长，传统的数据处理方式已经无法满足需求。Kafka的出现为大数据处理带来了新的解决方案，它能够快速处理海量数据，提供实时的数据流服务。因此，部署Kafka对于企业来说具有重要的意义。

在部署Kafka之前，我们需要对系统环境、硬件配置、网络环境等进行充分的评估和准备。同时，还需要选择合适的版本和安装方式，如单机版、集群版等。此外，还需要考虑如何配置Kafka的参数，如副本因子、分区数等，以满足实际需求。

在部署过程中，我们需要注意一些关键点，如如何安装Kafka、如何配置Kafka的参数、如何启动和停止Kafka等。此外，还需要关注Kafka的监控和维护，以确保其稳定运行和性能优化。

总之，部署Kafka是一项重要的任务，需要充分准备和考虑各种因素。只有选择合适的版本和配置，并进行充分的测试和监控，才能保证Kafka的稳定运行和高性能表现。

kafka的用户认证，是基于java的jaas。所以我们需要先添加jaas服务端的配置文件。在kafka_home/config/kafka_server_jaas.conf中添加以下配置信息：

这里会让人疑惑的，应该是user_admin和user_alice这两个属性了。这个其实是用来定义用户名和密码的，形式是这样：user_userName=password。所以这里其实是定义了用户admin和用户alice的密码。

写完配置后，需要在kafka的配置中添加jaas文件的路径。在kafka_home/bin/kafka-run-class.sh中，找到下面的配置，修改KAFKA_OPTS到配置信息。

将上述修改为

最后修改kafka_home/config/server.properties：

比如下面的客户端工具：

• kafka-console-consumer.sh
• kafka-console-producer.sh
• kafka-consumer-groups.sh
• 
  

针对kafka-console-consumer.sh和kafka-console-producer.sh，可以在consumer.properties和producer.properties，加入下面的内容：
security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username=“admin” password=“admin-secret”;

目的是让客户端启动时带上身份信息，也就是它使用的用户名和密码
使用kafka-console-consumer.sh时，增加–consumer.config https://blog.51cto.com/u_16099179/config/consumer.properties
使用kafka-console-producer.sh时，增加–producer.config https://blog.51cto.com/u_16099179/config/producer.properties
其他同理，在常用命令中有样例

查看主题消息数
bin/kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list node7:9092 --time -1 --topic vastbase.tpcc.site_visit --command-config https://blog.51cto.com/u_16099179/config/consumer.properties

查看所有主题
bin/kafka-topics.sh --topic vastbase.tpcc.site_visit --bootstrap-server node7:9092 --command-config https://blog.51cto.com/u_16099179/config/consumer.properties --list

查看主题消息
bin/kafka-console-consumer.sh --bootstrap-server node7:9092 --topic vastbase.tpcc.site_visit --from-beginning --consumer.config https://blog.51cto.com/u_16099179/config/consumer.properties