# confluent_kafka实践

**Repository Path**: CYTstrength/confluencekafka-practice

## Basic Information

- **Project Name**: confluent_kafka实践
- **Description**: 使用confluent_kafka构建producer和consumer
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2025-07-08
- **Last Updated**: 2025-07-08

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# Kafka Python Demo

使用 `kafka-python` 实现的 Kafka Producer 和 Consumer 示例。

## 环境要求

- Python 3.11.13
- kafka本地安装

## python选型

Python 3.11.13

**兼容性好**：主流 Kafka 客户端库（如 `kafka-python` 和 `confluent-kafka-python`）已全面支持 Python 3.10 和 3.11。

**性能优化**：Python 3.11 在解释器层面有显著性能提升（相比 3.9 快 10~60%）。

**生态支持**：大多数第三方库、框架都优先支持 Python 3.10+。

## 库选型

最常用的 Python Kafka 客户端是：

### `confluent-kafka-python`（推荐）

- 性能好，是 C 语言库的 Python 封装。
- 官方地址：https://github.com/confluentinc/confluent-kafka-python

也可以使用：

### `kafka-python`

- 纯 Python 实现，使用更简单，适合学习。
- 官方地址：https://github.com/dpkp/kafka-python

## 项目结构说明

```bash
kafka_demo/
├── requirements.txt       # 项目依赖列表
├── config.py              # Kafka 配置（可切换为生产/测试环境）
├── kafka_producer.py            # 消息生产者脚本
├── kafka_consumer.py            # 消息消费者脚本
├── utils/
│   └── logger.py          # 日志封装工具
└── README.md              # 项目说明文档
```

## 进阶学习路线

| 级别 | 学习内容                                                     |
| ---- | ------------------------------------------------------------ |
| 初级 | 搭建 Kafka 本地环境，了解 Producer/Consumer 模型             |
| 中级 | 使用 `confluent-kafka`，设置分区、键值、Consumer Group       |
| 高级 | Kafka 分布式架构、高可用、分区副本机制、性能优化、与 Spark/Flink 等结合 |
| 应用 | 日志收集、消息队列、实时数据流处理、微服务异步通信等场景实践 |