`

kafka单机模式部署安装,zookeeper启动

 
阅读更多
在root的用户下

1):前提 安装JDK环境,设置JAVA环境变量

2):下载kafka,命令:wget  http://mirrors.shuosc.org/apache/kafka/0.10.2.1/kafka_2.10-0.10.2.1.tgz

3):下载zookeeper,命令:wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

4):然后去解压zookeeper包,我把zookeeper-3.4.10文件夹名称改为了zookeeper ,首先找到conf的文件夹,然后备份一份zoo_sample.cfg文件 ,备份名为zoo.cfg

命令:cp zoo_sample.cfg  zoo.cfg

5):打开zoo.cfg的文件

     命  令 :vim zoo.cfg  

dataDir=/tmp/zookeeper  (虽然给出这个路径给你,但是系统并没有,要你自己创建的,你可以不按这个路径)
dataLogDir=/tmp/zookeeperlog (这是我另外夹的用来存放日志文件)

6):启动 zookeeper

root@debian8:/usr/local/zookeeper# 命令 :     bin/zkServer.sh start



7)解压kafka的包,我把kafka_2.10-0.10.2.1文件夹名称改为了kafka,到config路径下找到 server.properties 

  找到log.dirs=/tmp/kafka-logs (跟刚刚zookeper一样创建)

        listeners(所在机器ip地址)我这里是本地,不管它

8):启动kafka

命令:nohup bin/kafka-server-start.sh config/server.properties & > nohup.out

进程守护模式启动kafka
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

运行之后不管成功否它都会在你的kafka包下生成一个 nohup.out的文件

9): 查看是否成功了

新建一个topic
命令:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 topic是否成功
命令:bin/kafka-topics.sh --list --zookeeper localhost:2181

10):把kafka的生产者启动来

命令 :bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

11):另开一个终端(创建新的),把消费者启动起来:

命令:bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning



12):在生产者终端输入数据,消费者马上就会消费显示出来
分享到:
评论

相关推荐

    kubernetes 部署单机版Kafka、zookeeper

    kubernetes 部署单机版Kafka、zookeeper

    Lancger#opslinux#Kafka单机配置部署1

    1、下载zookeeper安装包 2、安装zookeeper 3、服务启动 4、检查状态 5、连接测试 1、下载kafka安装包 2、修改文件server.pr

    zookeeper linux集群搭建流程

    zookeeper linux 搭建流程,zookeeper linux 搭建流程zookeeper linux 搭建流程zookeeper linux 搭建流程。

    快速部署单机kafka集群(win环境)

    kafka集群类型: single broker(单节点单boker集群,亦即kafka只启一个broker消息中间件服务,producer、consumer、broker均通过zookeeper集群交换消息,具体可参考:http://exp-blog.com/2018/08/03/pid-2187/

    kafka集群搭建

    kafka分布式集群多服务器和单机部署,需安装zookeeper环境,

    利用docker和docker-compose部署单机kafka

    docker部署kafka非常简单,只需要两条命令即可完成kafka服务器的部署。 docker run -d --name zookeeper -p 2181:2181 wurstmeister/zookeeper docker run -d --name kafka -p 9092:9092 -e KAFKA_BROKER_ID=0 -e ...

    Hadoop+Hive+Spark+Kafka+Zookeeper+Flume+Sqoop+Azkaban+Scala

    Linux 环境下 Hive 的安装部署 CLI 和 Beeline 命令行的基本使用 常用 DDL 操作 分区表和分桶表 视图和索引 常用 DML 操作 数据查询详解 三、Spark Spark Core Spark SQL Spark Streaming 五、Flink 核心概念综述 ...

    hadoop2.2.0部署

    1 安装Linux 3 1.1 安装wmware11 3 ...6 KAFKA安装 25 6.1 下载 25 6.2 安装 25 6.2.1 修改server.properties 25 6.2.2 配置参数说明 25 6.2.3 拷贝到其他的环境 26 6.2.4 启动 26 6.2.5 验证 26 6.2.6 基本命令 26

    Centos7 HyperLedger Fabric 1.4 生产环境部署

     Kafka生产环境部署案例采用三个排序(orderer)服务、四个kafka、三个zookeeper和四个节点(peer)组成,共准备八台服务器,每台服务器对应的服务如下所示: kafka案例网络拓扑图如下: 一、基本环境搭建:关闭...

    大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南

    Linux 环境下 Hive 的安装部署 Hive CLI 和 Beeline 命令行的基本使用 Hive 常用 DDL 操作 Hive 分区表和分桶表 Hive 视图和索引 Hive 常用 DML 操作 Hive 数据查询详解 Spark、Storm、Flink、HBase、Kafka、...

    分布式协调工具-ZooKeeper实现动态负载均衡

    ZooKeeper本身可以以单机模式安装运行,不过它的长处在于通过分布式ZooKeeper集群(一个Leader,多个Follower),基于一定的策略来保证ZooKeeper集群的稳定性和可用性,从而实现分布式应用的可靠性。 1、Zookeeper...

    linux环境不使用hadoop安装单机版spark的方法

    最起码, 你要会说个hadoop, hdfs, mapreduce, yarn, kafka, spark, zookeeper, neo4j吧, 这些都是装逼的必备技能。 关于spark的详细介绍, 网上一大堆, 搜搜便是, 下面, 我们来说单机版的spark的安装和简要使用...

    Java思维导图xmind文件+导出图片

    Dubbo管理中心及及监控平台安装部署 Dubbo分布式服务模块划分(领域驱动) 基于Dubbo的分布式系统架构实战 Dubbo负载均衡策略分析 Dubbo服务调试之服务只订阅及服务只注册配置 Dubbo服务接口的设计原则(实战...

    sorakaq:SorakaQ廷迟肢系统

    同时支持单机部署和分布式部署 提供简易的用户操作和性能监控界面,用户可以监控实例性能,连续消息的数量,并管理延迟消息等 路线图 架构设计 详细架构设计见文档 环境搭建 支持系统 Linux Red Hat(版本> = 4.8.5...

    springCloud

    一 服务启动 此项目集成了:Feign,Spring Cloud Bus,hystrix,swagger-ui,zuul-filter,配置中心功能 1)安装rabbitMQ 2)启动cloud—eureka :此时可访问 localhost:8761 3)启动 cloud-config 此处为配置中心 ...

    大数据架构师应该做到的.pdf

    6)Stream procressing(流式计算) Storm(实时数据处理分析) Kafka(分布式发布订阅消息系统) 拖放可视化设计,开发,部署和管理流式数据分析应⽤程序 进⾏事件关联,上下⽂衔接,复杂模式匹配,分析聚合以及创建警报/...

    DDMQ消息队列-其他

    DDMQ 是滴滴出行架构部基于 Apache RocketMQ...carrera-docker 提供单机版的 DDMQ 镜像,方便部署和使用。 外部依赖: 64bit OS, Linux/Unix/Mac 64bit JDK 1.8+ Maven 3.2.x MySQL 5.7.x Tomcat 7/8/9 Zookeeper 3.4.x

Global site tag (gtag.js) - Google Analytics