# ai-model-compare

**Repository Path**: blues_c/ai-model-compare

## Basic Information

- **Project Name**: ai-model-compare
- **Description**: 一个专注于AI模型对比与评估的开源项目，提供多种模型的性能测试和分析工具，助力开发者选择最优模型。
- **Primary Language**: Unknown
- **License**: MIT
- **Default Branch**: master
- **Homepage**: None
- **GVP Project**: No

## Statistics

- **Stars**: 0
- **Forks**: 0
- **Created**: 2026-05-19
- **Last Updated**: 2026-05-19

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

# AI模型对比工具 - Flask版

基于 OpenAI API + Flask 的独立模型对比工具，支持多个模型同时对比，实时流式输出。

## 功能特性

- ✨ 支持多个模型同时对比
- ⚡ 并行和顺序两种执行模式
- 🔄 实时流式输出
- 📊 自动统计响应时间和token消耗
- 🎨 现代化的Web界面
- 🔌 支持所有 OpenAI API 兼容的服务商

## 支持的服务商

- OpenAI (GPT-5.5, GPT-5.4, GPT-4.5等)
- Anthropic (Claude Opus 4.7, Sonnet 4.6, Haiku 4.5等)
- DeepSeek (V4-Pro, V4-Flash等)
- 智谱AI (GLM-5.1, GLM-5, GLM-4.6等)
- 月之暗面 (Kimi K2.6, K2.5等)
- 阿里云 (Qwen3.6, Qwen3.5等)
- 百度文心 (ERNIE-5.1, ERNIE-5.0等)
- 字节豆包 (Seed 2.0系列)
- 腾讯混元 (Hy3, T1等)
- 以及所有兼容 OpenAI API 的服务商

## 安装

1. 创建虚拟环境（推荐）：
```bash
# Windows
python -m venv venv
venv\Scripts\activate

# Linux/Mac
python3 -m venv venv
source venv/bin/activate
```

2. 安装依赖：
```bash
pip install -r requirements.txt
```

## 使用

1. 确保虚拟环境已激活：
```bash
# Windows
venv\Scripts\activate

# Linux/Mac
source venv/bin/activate
```

2. 启动服务：
```bash
python run.py
```

3. 打开浏览器访问：
```
http://localhost:5000
```

4. 配置模型：
   - 点击"添加模型"按钮
   - 选择服务商和模型
   - 输入API Key和API Base URL
   - 调整Temperature和Max Tokens参数

5. 输入提示词：
   - 系统提示词（可选）：定义AI的角色和行为
   - 用户提示词（必填）：你想让模型回答的问题

6. 选择执行模式：
   - ⚡ 并行模式：同时调用所有模型，速度最快
   - 📝 顺序模式：按顺序调用每个模型，更稳定

7. 点击"开始对比"，实时查看各模型的输出结果

## 配置说明

### 模型配置

每个模型需要配置以下参数：

- **提供商**: 选择AI服务提供商
- **模型**: 选择具体的模型名称
- **API Key**: 输入对应服务商的API密钥
- **API Base URL**: API端点地址
- **Temperature**: 控制输出的随机性（0.0-1.0）
- **Max Tokens**: 最大输出长度（100-32000）

### 常用API配置

#### OpenAI
```
API Base: https://api.openai.com/v1
Models: gpt-5.5, gpt-5.4, gpt-5.4-nano, gpt-4.5, gpt-4o-mini
```

#### Anthropic (Claude)
```
API Base: https://api.anthropic.com/v1
Models: claude-opus-4.7, claude-opus-4.6, claude-sonnet-4.6, claude-haiku-4.5
```

#### DeepSeek
```
API Base: https://api.deepseek.com/v1
Models: deepseek-v4-pro, deepseek-v4-flash, deepseek-chat, deepseek-coder
```

#### 智谱AI
```
API Base: https://open.bigmodel.cn/api/paas/v4
Models: glm-5.1, glm-5, glm-4.6, glm-4.5, glm-4-plus
```

#### 月之暗面 (Kimi)
```
API Base: https://api.moonshot.cn/v1
Models: kimi-k2.6, kimi-k2.5, moonshot-v1-128k
```

#### 阿里云通义千问
```
API Base: https://dashscope.aliyuncs.com/compatible-mode/v1
Models: qwen3.6-plus-preview, qwen3.5-plus, qwen3.5-flash
```

#### 百度文心一言
```
API Base: https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop
Models: ernie-5.1, ernie-5.0, ernie-4.5-21b-a3b-thinking
```

#### 字节豆包
```
API Base: https://ark.cn-beijing.volces.com/api/v3
Models: doubao-seed-2.0-pro, doubao-seed-2.0-lite, doubao-seed-2.0-code
```

#### 腾讯混元
```
API Base: https://api.hunyuan.cloud.tencent.com/v1
Models: hunyuan-hy3-preview, hunyuan-t1-preview, hunyuan-pro
```

#### 其他服务商
请参考各服务商的官方文档获取API配置信息。

## 项目结构

```
ai-model-compare/
├── app/                      # 应用主目录
│   ├── __init__.py          # Flask应用工厂
│   ├── routes.py            # 路由定义
│   ├── services.py          # 业务逻辑
│   ├── utils.py             # 工具函数
│   ├── static/              # 静态资源
│   │   ├── css/
│   │   │   └── style.css    # 样式文件
│   │   └── js/
│   │       └── main.js      # 前端脚本
│   └── templates/           # 模板文件
│       └── index.html       # 主页模板
├── config.py                # 配置文件
├── run.py                   # 应用入口
├── requirements.txt         # 依赖列表
├── .gitignore              # Git忽略文件
└── README.md               # 项目文档
```

## 技术实现

- **后端**: Flask + OpenAI Python SDK
- **前端**: 原生HTML/CSS/JavaScript
- **流式输出**: Server-Sent Events (SSE)
- **并行执行**: Python Threading + Queue
- **API兼容**: 支持所有OpenAI API兼容的服务商
- **架构模式**: 应用工厂模式 + 蓝图 + 服务层

## 注意事项

1. **API密钥安全**: 请妥善保管你的API密钥，不要分享给他人
2. **成本控制**: 每次对比会调用所有配置的模型，请注意API调用成本
3. **网络要求**: 需要稳定的网络连接访问各服务商的API
4. **并发限制**: 并行模式可能受到服务商的并发限制影响

## 常见问题

### Q: 为什么我的模型调用失败？
A: 请检查：
- API Key是否正确
- API Base URL是否正确
- 模型名称是否正确
- 网络连接是否正常
- 账户余额是否充足

### Q: 可以同时对比多少个模型？
A: 理论上没有限制，但建议不超过4个，以便更好地查看对比结果。

### Q: 支持本地模型吗？
A: 支持，只要本地模型提供了OpenAI API兼容的接口（如Ollama、LM Studio等）。

## 许可证

MIT License