# little_chat

**Repository Path**: HPUtx813/little_chat

## Basic Information

- **Project Name**: little_chat
- **Description**: 简洁的“大”语言模型（基于千问2）
- **Primary Language**: Python
- **License**: Not specified
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2024-07-05
- **Last Updated**: 2024-08-04

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

**项目测试模型为Qwen1.5-0.5B**

👇效果图

<img src="img/GIF.gif" width="90%"/>

> 提供4种Dockerfile
1. llama_cpp_python_python_cpu_web
    - llama_cpp_python cpu 环境 + flask + llama-index
    - 👏模型为Qwen1.5-0.5B，CPU即可运行。
2. llama_cpp_python_python_cpu_web_dev
    - 以挂载源代码的方式，在docker中运行。

3. llama_cpp_python_python_gpu_web
    - llama_cpp_python gpu 环境 + flask + llama-index
    - ⚠️由于GPU环境依赖C++动态链接库过大（500MB），gitee无法上传，这里只提供对应动态链接库名称。    
4. llama_cpp_python_python_gpu_web_dev
    - 以挂载源代码的方式，在docker中运行。       

> 启动流程

1. 受gitee限制，需要手动下载[qwen1.5-0.5B 权重](https://hf-mirror.com/Qwen/Qwen1.5-0.5B-Chat-GGUF/blob/main/qwen1_5-0_5b-chat-q5_0.gguf)。

2. 移动权重到 根目录并重命名为 model.gguf。

3. 👏构建并启动容器 
    ```shell
    docker compose  -f "docker-compose.yaml" up -d --build little_chat_cpu_web 
    ```
4. 🎉浏览器访问 http://127.0.0.1:3000/