# BuildDataset

**Repository Path**: eric-mao/build-dataset

## Basic Information

- **Project Name**: BuildDataset
- **Description**: 小工具主要是简化创建建数据集的复杂度，对于初学者在测试RAG系统时有很多不明之处，使用工具可以通过简单的字符串拼接就能生成RAGAS的测试数据集，也可以将后台代码改为自动收集RAG系统的评估数据收集。
- **Primary Language**: Python
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-03-28
- **Last Updated**: 2024-03-30

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# BuildDataset

#### 介绍

> 该小工具旨在简化创建数据集的复杂性。
> 对于初学者在测试 RAG 系统时存在很多不明之处，使用此工具可以通过简单的字符串拼接来生成 RAGAS 的测试数据集。
> 同时，也可以将后台代码修改为自动收集 RAG 系统的评估数据。

#### 安装教程

```bash
conda create -n ragas python==3.10.12 -c http://172.16.21.146:8081/repository/anaconda-proxy/main --override-channels

pip install -i http://172.16.21.146:8081/repository/pypi/simple  --trusted-host 172.16.21.146 --timeout 0 -r ./requirements.txt
```

#### 使用说明

> 使用该工具非常简单。通过一个`静态页面`和一个 `FastAPI 服务端`将简化的数据格式转换为 `RAGAS 数据集`，你可以直接通过浏览器将数据集下载到本地。
> 运行服务端的 `python main.py` 后，双击打开静态页，即可输入你要转换为数据集的数据。格式如下：

``` text
question:法国的首都是什么？,
groundTruths:巴黎,
answer:巴黎,
contexts:巴黎是法国的首都。,

question:《哈利波特》的作者是谁？,
groundTruths:J.K.罗琳,
answer:J.K.罗琳,
contexts:J.K.罗琳写了《哈利波特》。,

question:水的沸点是多少？,
groundTruths:100度摄氏度,
answer:100度摄氏度,
contexts:水在海平面下沸腾的温度是100摄氏度。,
```

#### 点击`提交`进行数据集格式转换
![](create_dataset.png)

#### 点击`导出`会下载生成的数据集.zip
![](export.png)

#### [原文地址](http://www.dev-share.top/2024/03/27/%e6%9e%84%e5%bb%ba%e4%ba%ba%e5%b7%a5%e6%99%ba%e8%83%bd%e8%af%84%e6%b5%8b%e3%80%81%e8%ae%ad%e7%bb%83%e6%95%b0%e6%8d%ae%e5%ba%93%e9%9b%86/ "原文地址")

## 评估
1. 解压数据集
2. 制定数据集目录
3. 执行评估
``` bash
export HF_DATASETS_OFFLINE=1
python start_evaluate.py
```