• 1
• 0
• 0

vllm-self

• 1
• 0
• 0

Salt

• 1
• 0
• 0

diy-llm

• 1
• 0
• 0

Hands-On-Large-Language-Models-CN

• 1
• 0
• 0

vllmLearn

• 1
• 0
• 0

MemoryBank-SiliconFriend

• 1
• 0
• 0

MinivLLM

• 1
• 0
• 1

nano-vllm

Python

forked from 中国好男人/nano-vllm

Python

该项目是用 Python 实现的轻量级 vLLM（大语言模型推理引擎）项目，核心代码仅 1000 多行。它结构清晰、易于阅读，推理速度媲美 vLLM 原版，并集成了前缀缓存（Prefix Caching）、张量并行（Tensor Parallelism）和 Torch 编译等推理优化技术。