ApX 标志ApX 标志

趋近智

关于 ApX Machine Learning

面向生产级 LLM 部署的硬件选型工具,面向开发者的开放工程课程。

使命

ApX Machine Learning 专为部署开源权重模型并构建 AI 系统的工程师打造。为生产环境规划硬件不能仅凭将参数量乘以量化精度的经验法则。在实际业务流量下,显存占用与延迟主要由 KV 缓存增长、上下文长度、批次并发度以及多卡互联瓶颈决定。

我们构建能够模拟实际生产约束的选型工具,并通过物理 GPU 基准实测验证这些预测数据。同时,我们维护着一个免费开放的工程课程库,帮助开发者掌握底层的数学原理、模型架构与系统实现代码。

我们构建的产物

显存与推理计算器

计算单卡与多卡配置下的模型权重、KV 缓存、激活显存、并发用户极限、首字延迟、吞吐量以及每小时硬件成本。

模型与硬件技术规格

提取自模型配置文件的架构参数,结合 GPU 算力、显存带宽与互联规格,直接接入计算引擎。

参考文库

开放获取的课程与参考指南,涵盖机器学习基础、神经网络架构与深度学习系统。

为什么存在

我最初构建 ApX Machine Learning 是作为我个人使用的一套 AutoML 工具。随着 Llama 和 Qwen 等开源权重模型逐渐能够本地运行,我开始撰写关于如何运行它们以及 GPU 要求的指南。

转折点出现在 DeepSeek V3 发布时,业界意识到开源模型完全有能力在顶尖梯队中竞争。当时,ApX 拥有全网唯一一篇详细介绍其 VRAM 需求和硬件限制的完整指南,网站流量大幅增长。

从那时起,ApX 已发展为一个专注于生产级开源模型选型与部署的专业工程平台。今天,它承载着每周被数千名工程师使用的 VRAM 计算器、模型目录和参考指南。

Wei-Ming Thor

凃伟明

创始人

技术规格与指南如何验证

硬件规格、显存计算与推理模型均基于官方模型配置文件、架构论文与物理 GPU 实测数据构建。我们持续根据实际硬件运行结果对计算器的显存和吞吐量预测进行基准测试,并公开透明地发布准确度报告。

从这里开始

使用 VRAM 计算器和模型目录规划硬件配置并模拟部署约束。若需深入探究底层数学、显存公式或架构权衡,欢迎查阅我们的开放工程参考文库。