# Ark_sft

**Repository Path**: leejersey/ark_sft

## Basic Information

- **Project Name**: Ark_sft
- **Description**: 在火山方舟上sft微调
- **Primary Language**: Unknown
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-01-20
- **Last Updated**: 2026-01-20

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# 🤖 ArkSft - 火山引擎 Ark 模型微调项目

本项目用于在 **火山引擎 Ark** 平台上进行大模型 **SFT (Supervised Fine-Tuning)** 微调训练，打造专属客服机器人。

---

## 📂 项目结构

```
ArkSft/
├── .env                     # 环境变量配置 (API Key、Endpoint ID)
├── .gitignore               # Git 忽略规则
├── generate_data.py         # SFT 训练数据生成脚本
├── generated_sft_data.jsonl # 自动生成的训练数据
├── sft_data.jsonl           # 手写的种子训练数据
├── test_sft.py              # 微调模型测试脚本
└── README.md                # 项目说明文档
```

---

## ⚡ 快速开始

### 1️⃣ 安装依赖

```bash
pip install volcengine-python-sdk python-dotenv
```

### 2️⃣ 配置环境变量

在项目根目录创建或编辑 `.env` 文件：

```env
ARK_API_KEY=你的API密钥
ARK_ENDPOINT_ID=ep-xxxxxxxxxxxxxx
```

> 🔑 API Key 获取地址：[火山引擎 Ark 控制台](https://console.volcengine.com/ark/region:ark+cn-beijing/apikey)

### 3️⃣ 生成训练数据

```bash
python generate_data.py
```

运行后将生成 `generated_sft_data.jsonl`，包含 50 条模拟客服对话数据。

### 4️⃣ 上传数据并微调

1. 登录 [火山引擎 Ark 控制台](https://console.volcengine.com/ark)
2. 上传 `generated_sft_data.jsonl` 到数据管理
3. 创建 SFT 微调任务，选择基座模型 (如 Doubao-Lite)
4. 等待训练完成，获取 **Endpoint ID**
5. 将 Endpoint ID 填入 `.env` 的 `ARK_ENDPOINT_ID`

### 5️⃣ 测试微调效果

```bash
python test_sft.py
```

---

## 📝 数据格式说明

训练数据采用 **JSONL** 格式，每行一个对话样本：

```json
{
  "messages": [
    {"role": "user", "content": "极客X1手机多少钱？"},
    {"role": "assistant", "content": "亲，极客X1手机目前售价 3999 元，现货速发哦！"}
  ]
}
```

---

## 🛠️ 脚本说明

| 脚本 | 功能 |
|------|------|
| `generate_data.py` | 根据模板自动生成多样化的 SFT 训练数据 |
| `test_sft.py` | 调用已部署的微调模型，验证训练效果 |

---

## 💡 测试用例

`test_sft.py` 包含以下测试场景：

| 测试类型 | 示例问题 |
|----------|----------|
| 产品价格 | "极客X1手机多少钱？配置怎么样？" |
| 物流政策 | "你们发什么快递？今天能发货吗？" |
| 通用能力 | "帮我写一首赞美春天的诗" |

---

## ⚠️ 注意事项

1. **保护 API Key**：确保 `.env` 文件已添加到 `.gitignore`
2. **Endpoint ID**：必须填写部署后的接入点 ID (`ep-xxxxxx`)，不能填模型名称
3. **模型状态**：测试前确保模型状态为"运行中"

---

## 📚 参考链接

- [火山引擎 Ark 文档](https://www.volcengine.com/docs/82379)
- [Ark Python SDK](https://github.com/volcengine/volcengine-python-sdk)

---

## 📄 License

MIT License