玄铁 AI模型部署工具

大模型兼容性

支持 DeepSeek，LLaMA2、通义千问、ChatGLM和MiniCPM-V等多种大型语言模型。

ONNX Runtime生态集成

通过接入ONNX Runtime生态系统，实现对Matrix和Vector指令的加速处理。

精细化性能与精度分析

提供Layer级别的性能和精度Profiling功能。

多格式模型支持

能够处理Caffe、TensorFlow、ONNX和TFLite等主流框架生成的模型文件。

灵活的数据类型选择

支持8/16位定点数及16/32位浮点数等多种数据表示方式。

高级量化技术

涵盖对称与非对称定点量化、通道级量化及混合量化策略。

跨平台行为模拟

允许用户在主机环境下进行模型的行为仿真测试。

多样化接口设计

既提供了传统Unix命令行操作模式，也支持Python编程接口调用。

自动生成优化算子

基于Matrix和Vector扩展指令自动产生高效的计算单元代码。

Pytorch生态集成

玄铁XTorch框架支持Eager、Torchscript和TorchDynamo，实现Pytorch生态系统的集成。

推理运行优化加速

在推理运行时，支持 workload 划分，多线程动态调度和内存管理。

玄铁AI高性能算子库

支持主流 CNN、Transformer 模型中各类算子，以及针对 DLRM和LLM 模型优化的融合算子和混合量化算子。