MetaX TVM: Open Deep Learning Compiler Stack
Omni_Infer is a suite of inference accelerators designed for the Ascend NPU platform, offering native support and an expanding feature set.
A KVCache-centric Disaggregated Architecture for LLM Serving
MindSpore Transformers套件的目标是构建一个大模型训练、推理、部署的全流程套件: 提供业内主流的Transformer类预训练模型, 涵盖丰富的并行特性。 期望帮助用户轻松的实现大模型训练。
针对训练&大模型场景,提供端到端命令行&可视化调试调优工具,帮助用户快速提高模型开发效率
PaddleDetection的目的是为工业界和学术界提供丰富、易用的目标检测模型
ACL作为AI计算语言开发和运行平台,提供了Device管理、Context管理、Stream管理、内存管理、模型加载与执行、算子加载与执行、媒体数据处理等API,供用户开发AI应用,实现目标识别、图像分类、语言和文字处理等功能。
Triton-Ascend面向昇腾平台,旨在让Triton代码能够在昇腾硬件上高效运行。
DeepSparkInference推理模型示例库甄选了216个推理大小模型示例,小模型涵盖计算机视觉,自然语言处理,语音识别等领域;大模型涉及vLLM,TGI等多种框架,并将持续扩展更多、更新的模型示例。
cann-ops-adv,是基于昇腾硬件的融合算子库(adv表示advanced)。