博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Kafka之Windows下安装
阅读量:5808 次
发布时间:2019-06-18

本文共 2513 字,大约阅读时间需要 8 分钟。

软件环境

JDK1.8

zookeeper-3.4.10

kafka_2.10-0.10.0.0

 

安装Java Jdk

 

省略...

 

安装Zookeeper

 

下载地址http://www.apache.org/dyn/closer.cgi/zookeeper/

解压到D盘后进入Conf目录 D:\zookeeper-xxx\conf

复制一份zoo_sample.cfg 并改名为 zoo.cfg,因为 Zookeeper在启动时会找这个文件作为默认配置文件

 

tickTime:这个时间是作为Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个 tickTime 时间就会发送一个心跳。

dataDir:Zookeeper保存数据的目录,默认情况下,Zookeeper 将写数据的日志文件也保存在这个目录里。

dataLogDir:Zookeeper 保存日志文件的目录。

clientPort:客户端连接Zookeeper 服务器的端口,Zookeeper 会监听这个端口,接受客户端的访问请求。

clientPort默认是2181

 

修改zoo.cfg 

把dataDir的值改成自定义的文件目录下(用/不能用\)

 

添加或修改如下系统变量:

ZOOKEEPER_HOME  D:\zookeeper-xxx

Path  在现有的值前面添加 %ZOOKEEPER_HOME%\bin;

 

运行Zookeeper 打开cmd 输入 zkserver

 

安装Kafka

 

Kafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper

 

下载安装文件: http://kafka.apache.org/downloads.html

解压到D盘 D:\kafka_xxx

 

打开config/server.properties

修改log.dirs的值改成自定义的目录

 

Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181

 

启动kafka

进入D:\kafka_xxx 按shift +右键,选择"在此处打开命令窗口" 

.\bin\windows\kafka-server-start.bat .\config\server.properties

 

如果提示错误:找不到或无法加载主类 Files\Java\jdk\lib;C:\Program

解决方式如下:在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到142行为%CLASSPATH%加上双引号

然后再执行上面命令

 

创建topic

进入D:\kafka_xxx\bin\windows 按shift +右键,选择"在此处打开命令窗口"

创建一个topic

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 

打开一个Producer

进入D:\kafka_xxx\bin\windows 按shift +右键,选择"在此处打开命令窗口"

kafka-console-producer.bat --broker-list localhost:9092 --topic test

 

打开一个Consumer

进入D:\kafka_xxx\bin\windows 按shift +右键,选择"在此处打开命令窗口"

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

 

然后就可以在Producer控制台窗口输入消息

在消息输入过后按回车,很快Consumer窗口就会显示出Producer发送的消息

至此,Kafka运行环境的搭建就完成了...

 

kafka常用命令

 

列出主题

kafka-topic.bat -list -zookeeper localhost:2181

 

描述主题

kafka-topics.bat -describe -zookeeper localhost:2181 -topic [topic name]

 

从头读取消息

kafka-console-consumer.bat -zookeeper localhost:2181 -topic [topic name] -from-beginning

 

删除主题

kafka-run-class.bat kafka.admin.TopicCommand -delete -topic [topic_to_delete] -zookeeper localhost:2181

 

查看topic的详细信息

./kafka-topic.sh -zookeeper localhost:2181 -describe -topic  [topic name]

 

为topic增加副本

./kafka-reassign-partitions.sh -zookeeper localhost:2181 -reassignment-json-file json/partitions-to-move.json -execute

 

为topic增加partition

./bin/kafka-topics.sh -zookeeper localhost:2181 -alter -partitions 20 -topic [topic name]

 

下线broker

./kafka-run-class.sh kafka.admin.ShutdownBroker --zookeeper localhost:2181 broker [brokerId] --num.retries 3 --retry.interval.ms 60

shutdown broker

 

转载于:https://www.cnblogs.com/zengnansheng/p/10389738.html

你可能感兴趣的文章
双11过后 普惠科技成阿里集团新关注点
查看>>
我国迈入物联网2.0时代 2020年市场将超过四万亿
查看>>
亚信安全提醒:APT防范要当心“水坑”
查看>>
云计算环境下的身份安全管理
查看>>
大数据和物联网:在制造业、医疗保健和智慧城市的成功应用
查看>>
《并行计算的编程模型》一3.6.2 fence和quiet:RMA操作排序
查看>>
爱奇艺龚宇:用情怀搭建VR真生态
查看>>
看我如何使用数据格式混淆来绕过WAF进行攻击?
查看>>
CentOS7搭建Hadoop + HBase + Zookeeper集群
查看>>
国行 Xbox One 遭遇两连击
查看>>
物联网将成为改变未来的新力量
查看>>
虚拟运营商三年难“转正” 电信诈骗等成了绊脚石
查看>>
数据中心扩容不可忽视的一种重要因素:承重
查看>>
一篇看完就把Vue.js融会贯通
查看>>
创业公司做数据分析(一)开篇
查看>>
网络直播被严查,机器如何帮助鉴别小黄图?
查看>>
用小米手环装逼,你不可不知的五个姿势
查看>>
海妖音乐魏清晨:科技读心术
查看>>
手机只需发条消息即可开始大规模SQL注入攻击
查看>>
数据中心基础架构标准化能否彻底改变超大规模IT部署?
查看>>