FlagDNN

FlagDNN 是一个面向多种加速器平台的 C/C++ DNN Graph Runtime。不同平台的环境依赖和构建参数请参考对应的安装章节。

平台安装

NVIDIA（英伟达）

环境要求

Linux、NVIDIA GPU，以及相互匹配的驱动和 CUDA Toolkit。当前验证设备为 H100（SM90），CUDA 版本为 12.9。
功能测试和性能测试依赖 cuDNN 头文件、动态库（含 libcudnn_ext.so.9）和 cuDNN Frontend 头文件。当前验证版本为 cuDNN 9.24.0.43、Frontend 1.26.0。
CMake 3.25+（FlagDNN 本身最低要求为 3.23，编译 libtriton_jit 需 3.25）、 Ninja、支持 C++20 的编译器、Python 3.10+ 及 Python 开发头文件和动态库；检查动态库依赖还需要 readelf 和 nm。当前验证使用 Python 3.12。
同一 Python 环境中的 CUDA 版 PyTorch、支持 NVIDIA 后端的 FlagTree、 PyYAML、NumPy、packaging 和 pybind11。
CUDA 版 libtriton_jit，以及配套的头文件、编译脚本和 CMake 配置文件；需与 FlagDNN 使用相同的 Python、PyTorch 和 FlagTree 环境。

依赖的编译和安装方法请参考：

FlagTree：选择 NVIDIA 后端，提供 triton Python 模块，无需单独安装 Triton。
libtriton_jit：编译时设置 -DBACKEND=CUDA。

建议将 FlagDNN 与 libtriton_jit 放在同一级目录，默认从 ../libtriton_jit/build 查找 JIT 依赖。cuDNN 和 Frontend 可从所选 Python 环境中的 nvidia-cudnn-cu12、nvidia-cudnn-frontend 安装目录自动发现。

编译

在已激活上述 Python 环境的 FlagDNN 根目录执行：

tools/build.sh \
  --backends nvidia \
  --build-dir build/nvidia

该命令以 Release 模式编译 FlagDNN，并同时构建功能测试和性能测试。 NVIDIA 后端仅支持默认的 libtriton_jit 执行引擎。若依赖安装在其他位置，可显式指定 Python、CUDA、libtriton_jit 和 cuDNN 路径：

tools/build.sh \
  --backends nvidia \
  --build-dir build/nvidia \
  --python /path/to/python3 \
  -- \
  -DCUDAToolkit_ROOT=/path/to/cuda \
  -DTritonJIT_DIR=/path/to/libtriton_jit/build \
  -DCUDNN_ROOT=/path/to/cudnn \
  -DCUDNN_FRONTEND_INCLUDE_DIR=/path/to/cudnn-frontend/include

TritonJIT_DIR 应指向包含 TritonJITConfig.cmake 的目录，已安装的包通常位于 <prefix>/lib/cmake/TritonJIT。CUDNN_ROOT 应包含配套的头文件和动态库； CUDNN_FRONTEND_INCLUDE_DIR 应包含 cudnn_frontend.h。

安装

# 默认安装到 build/nvidia/install
tools/install.sh --build-dir build/nvidia

# 指定安装目录
tools/install.sh \
  --build-dir build/nvidia \
  --prefix /path/to/flagdnn-sdk

安装后的 SDK 仍依赖兼容的 CUDA、libtriton_jit 和构建时选定的 Python 环境；功能测试和性能测试保留在构建目录中，不随 SDK 安装。

批量测试

在与编译时一致的 Python 环境中执行：

python3 tools/run_tests.py --dump-output --output-dir logs_result_20260920_flagdnn --gpus 0,1

测试细节见功能与性能验证

Hygon（海光）

环境要求

Linux、海光 DCU，以及相互匹配的驱动、DTK（HIP）和 hipDNN。
CMake 3.25+（FlagDNN 本身最低要求为 3.23，编译 libtriton_jit 需 3.25）、 Ninja、支持 C++20 的编译器、Python 3 及 Python 开发头文件。
同一 Python 环境中的海光版 PyTorch、FlagTree、PyYAML、NumPy、packaging 和 pybind11。
HCU 版 libtriton_jit。

依赖的编译和安装方法请参考：

FlagTree：用于替代 Triton，无需单独安装 Triton。
libtriton_jit：需编译为 HCU 版本。

请选择与当前 DTK 兼容的依赖版本。libtriton_jit 可放在任意目录；未指定路径时，默认从 FlagDNN 同级的 ../libtriton_jit 查找其构建产物或安装文件。

编译

在 FlagDNN 根目录执行：

tools/build.sh \
  --backends hygon \
  --build-dir build/hygon

该命令以 Release 模式编译 FlagDNN，并同时构建功能测试和性能测试。

若 libtriton_jit 位于其他目录，在 -- 后传入 Hygon 专用的 CMake 参数：

tools/build.sh \
  --backends hygon \
  --build-dir build/hygon \
  -- \
  -DFLAGDNN_HYGON_TRITON_JIT_DIR=/path/to/libtriton_jit/build

FLAGDNN_HYGON_TRITON_JIT_DIR 指向包含 TritonJITConfig.cmake 的目录，不是 .so 文件。源码构建通常位于 <repo>/build，安装包通常位于 <prefix>/lib/cmake/TritonJIT 或 <prefix>/lib64/cmake/TritonJIT。也可改用 -DFLAGDNN_HYGON_TRITON_JIT_ROOT=/path/to/libtriton_jit 指定已构建的源码仓库根目录或完整安装前缀。

安装

# 默认安装到 build/hygon/install
tools/install.sh --build-dir build/hygon

# 指定安装目录
tools/install.sh \
  --build-dir build/hygon \
  --prefix /path/to/flagdnn-sdk

批量测试

python3 tools/run_tests.py --dump-output --output-dir logs_result_20260920_flagdnn --gpus 0,1

Iluvatar（天数智芯）

环境要求

Linux、天数智芯 GPU，以及相互匹配的驱动和 CoreX SDK。当前后端仅支持 corex_71 设备，适配环境为 CoreX 4.4.0。
功能测试和性能测试依赖同一 CoreX SDK 中的 cuDNN 兼容库，当前要求 cudnn.h 版本为 7.6.5、动态库为 libcudnn.so.7。
CMake 3.25+（FlagDNN 本身最低要求为 3.23，编译 libtriton_jit 需 3.25）、 Ninja、支持 C++20 的编译器、Python 3.10+ 及 Python 开发头文件；检查 SDK 动态库还需要 readelf 和 nm（或对应的 LLVM 工具）。
同一 Python 环境中的天数智芯版 PyTorch、支持 Iluvatar 后端的 FlagTree、 PyYAML、NumPy、packaging 和 pybind11。
IX 版 libtriton_jit。

依赖的编译和安装方法请参考：

FlagTree：选择 Iluvatar 后端，提供 triton Python 模块，无需单独安装 Triton。
libtriton_jit：编译时设置 -DBACKEND=IX，安装动态库、头文件、脚本和 CMake 配置文件。

请选择与当前 CoreX 兼容的依赖版本，并在编译和运行测试前激活对应的 Python 环境。默认从 /usr/local/corex 查找 CoreX，从 /usr/local/lib/cmake/TritonJIT 查找已安装的 IX 版 libtriton_jit。

编译

在 FlagDNN 根目录执行：

tools/build.sh \
  --backends iluvatar \
  --build-dir build/iluvatar

该命令以 Release 模式编译 FlagDNN，并同时构建功能测试和性能测试。若依赖安装在其他位置，可显式指定 Python、CoreX 和 libtriton_jit 路径：

tools/build.sh \
  --backends iluvatar \
  --build-dir build/iluvatar \
  --python /path/to/python3 \
  -- \
  -DFLAGDNN_ILUVATAR_COREX_ROOT=/path/to/corex \
  -DFLAGDNN_ILUVATAR_TRITON_JIT_DIR=/path/to/libtriton_jit/lib/cmake/TritonJIT

FLAGDNN_ILUVATAR_TRITON_JIT_DIR 应指向包含 TritonJITConfig.cmake 的目录。

安装

# 默认安装到 build/iluvatar/install
tools/install.sh --build-dir build/iluvatar

# 指定安装目录
tools/install.sh \
  --build-dir build/iluvatar \
  --prefix /path/to/flagdnn-sdk

批量测试

python3 tools/run_tests.py --dump-output --output-dir logs_result_20260920_flagdnn --gpus 0,1

更多测试说明见功能与性能验证。

THEAD（阿里平头哥）

环境要求

Linux、平头哥 PPU，以及相互匹配的驱动、PPU SDK 和 acDNN。当前验证设备为 PPU-ZW810E，CUDA compatibility capability 为 8.0；验证环境为 PPU SDK 2.1.0-a5f865、acDNN header/runtime 1400。
CMake 3.25+（FlagDNN 本身最低要求为 3.23，编译 libtriton_jit 需 3.25）、 Ninja、支持 C++20 的编译器、Python 及对应开发头文件；当前验证使用 Python 3.12。检查 SDK 动态库还需要 readelf 和 nm（或对应的 LLVM 工具）。
同一 Python 环境中的 PPU 版 PyTorch、支持 PPU 的 FlagTree、PyYAML、NumPy、 packaging 和 pybind11。当前构建及安装验证使用 FlagTree 0.7.0+ppu.git22f4ff0e，对应 Triton API 3.6.0。
CUDA 后端的 libtriton_jit，使用 PPU SDK 的 CUDA 兼容环境构建，且与所选 Python、PyTorch 的 ABI 一致。THEAD 当前使用 libtriton_jit 执行 Triton kernel。

依赖的编译和安装方法请参考：

FlagTree：选择 PPU 发行版。发行包名为 flagtree，对外提供的 Python 模块仍名为 triton，因此代码使用 import triton；无需另装上游 Triton。
libtriton_jit：编译时设置 -DBACKEND=CUDA，使用 PPU SDK 的 CUDA 兼容头文件和动态库；需保留动态库、头文件、编译脚本和 TritonJITConfig.cmake。

默认从 /usr/local/PPU_SDK 查找 SDK，从 FlagDNN 同级的 libtriton_jit 目录查找 JIT 依赖；FlagTree 路径由所选 Python 环境自动发现。功能和性能测试严格使用同一 PPU SDK 中的 acDNN 作为参考。

编译

在已安装 PPU 版 FlagTree 及上述依赖的 Python 环境中，于 FlagDNN 根目录执行。可直接使用系统 Python，无需创建或激活虚拟环境：

tools/build.sh \
  --backends thead \
  --build-dir build/thead

该命令以 Release 模式编译 FlagDNN，并同时构建功能测试和性能测试。

显式指定 Python、PPU SDK、libtriton_jit 和 FlagTree 路径：

tools/build.sh \
  --backends thead \
  --default-backend thead \
  --build-dir build/thead \
  --python /path/to/ppu-env/bin/python3 \
  -- \
  -DFLAGDNN_THEAD_PPU_SDK_ROOT=/path/to/PPU_SDK \
  -DFLAGDNN_THEAD_TRITON_JIT_ROOT=/path/to/libtriton_jit \
  -DFLAGDNN_THEAD_TRITON_ROOT=/path/to/ppu-env/lib/python3.12/site-packages

FLAGDNN_THEAD_TRITON_JIT_ROOT 可指向已构建的源码仓库根目录或完整安装前缀。 FLAGDNN_THEAD_TRITON_ROOT 应指向同时包含 triton/ 和对应发行包元数据的 Python 包根目录，通常为 site-packages；可省略此参数以自动发现。 --python 也可指定系统 Python（例如 /usr/local/bin/python3），无需激活虚拟环境。解释器与 FlagTree 包目录可以分别选择；所选 Python 仍需能导入 PPU 版 PyTorch 及其余依赖。

安装

# 默认安装到 build/thead/install
tools/install.sh --build-dir build/thead

# 指定安装目录
tools/install.sh \
  --build-dir build/thead \
  --prefix /path/to/flagdnn-sdk

批量测试

在与编译时一致的 Python 环境中执行：

python3 tools/run_tests.py --dump-output --output-dir logs_result_20260920_flagdnn --gpus 0,1

通用测试说明见功能与性能验证。

MThreads（摩尔线程）

环境要求

Linux、摩尔线程 GPU，以及相互匹配的驱动、MUSA Toolkit 和 muDNN。当前适配基线为 MTT S5000、MUSA 4.3.5 和 muDNN 3.1.5。
CMake 3.25+（FlagDNN 本身最低要求为 3.23，编译 libtriton_jit 需 3.25）、 Ninja、支持 C++20 的编译器、Python 3.10+ 及 Python 开发头文件。
同一 Python 环境中的 PyTorch、与其匹配的 torch_musa、支持 MUSA 后端的 FlagTree、PyYAML、NumPy、packaging 和 pybind11。
MUSA 版 libtriton_jit，以及可从 PATH 找到的 mcc、patchelf 和 readelf。

依赖的编译和安装方法请参考：

FlagTree：选择 MUSA（mtgpu）后端，提供 triton Python 模块，无需单独安装 Triton。
libtriton_jit：编译时设置 -DBACKEND=MUSA，安装动态库、头文件、脚本和 CMake 配置文件。

请选择与当前 MUSA 兼容的依赖版本，并在编译和运行测试前激活对应的 Python 环境。确保 MUSA、Torch/MKL 及 libtriton_jit 所依赖的其他动态库可被加载；环境变量配置示例见摩尔线程适配设计。

编译

tools/build.sh \
  --backends mthreads \
  --build-dir build/mthreads

在 FlagDNN 根目录执行，以下示例假设 MUSA 安装在 /usr/local/musa，MUSA 版 libtriton_jit 安装在 /usr/local：

export MUSA_HOME=/usr/local/musa
export PATH="$MUSA_HOME/bin:$PATH"
export LD_LIBRARY_PATH="$MUSA_HOME/lib${LD_LIBRARY_PATH:+:$LD_LIBRARY_PATH}"

tools/build.sh \
  --backends mthreads \
  --build-dir build/mthreads \
  -- \
  -DFLAGDNN_MTHREADS_MUSA_ROOT="$MUSA_HOME" \
  -DFLAGDNN_MTHREADS_TRITON_JIT_DIR=/usr/local/lib/cmake/TritonJIT

该命令以 Release 模式编译 FlagDNN，并同时构建功能测试和性能测试。

FLAGDNN_MTHREADS_MUSA_ROOT 和 FLAGDNN_MTHREADS_TRITON_JIT_DIR 均须显式指定，后者应指向包含 TritonJITConfig.cmake 的目录。若依赖安装在其他位置，请调整上述路径；指定 Python 时，在 -- 前添加 --python /path/to/python3。

安装

# 默认安装到 build/mthreads/install
tools/install.sh --build-dir build/mthreads

# 指定安装目录
tools/install.sh \
  --build-dir build/mthreads \
  --prefix /path/to/flagdnn-sdk

批量测试

python3 tools/run_tests.py --dump-output --output-dir logs_result_20260920_flagdnn --gpus 0,1

Ascend（昇腾）

环境要求

Linux（x86_64 或 aarch64）、昇腾 NPU，以及相互匹配的驱动、固件和 CANN 9.x （要求 >= 9.0 且 < 10.0）。支持的设备型号见 Ascend 能力配置中的 codegen_arches。
CANN 中的 ACL 头文件、libascendcl.so 和 libruntime.so；功能测试和性能测试还依赖同一 CANN 安装中的 ACLNN 头文件、libnnopbase.so、libopapi_math.so 和 libopapi_nn.so。
CMake 3.25+（FlagDNN 本身最低要求为 3.23，编译 libtriton_jit 需 3.25）、 Ninja、支持 C++20 的编译器、Python 3 及 Python 开发头文件和动态库；检查动态库依赖还需要 readelf。
同一 Python 环境中的 PyTorch、与之匹配的 torch_npu、支持 Ascend 后端的 FlagTree、PyYAML、NumPy、packaging 和 pybind11。
NPU 版 libtriton_jit，以及配套的头文件、standalone_compile.py 和 CMake 配置文件。其链接的 Python 动态库必须与 FlagDNN 编译时选择的 Python 一致。

依赖的编译和安装方法请参考：

FlagTree：选择 Ascend 后端，提供 triton Python 模块，无需单独安装 Triton。
libtriton_jit：编译时设置 -DBACKEND=NPU，并使用与 FlagDNN 相同的 Python 环境。

FlagDNN 从 ASCEND_HOME_PATH 或 ASCEND_TOOLKIT_HOME 获取 CANN 路径，也可在编译时显式指定 CANN_ROOT。建议将 FlagDNN 与 libtriton_jit 放在同一级目录，默认会尝试从 ../libtriton_jit/build 查找 NPU 版 libtriton_jit。

编译

在 FlagDNN 根目录执行：

tools/build.sh \
  --backends ascend \
  --build-dir build/ascend

该命令以 Release 模式编译 FlagDNN，并同时构建功能测试和性能测试。 Ascend 后端仅支持默认的 libtriton_jit 执行引擎。若依赖安装在其他位置，可显式指定 Python、CANN 和 libtriton_jit 路径：

tools/build.sh \
  --backends ascend \
  --build-dir build/ascend \
  --python /path/to/python3 \
  -- \
  -DCANN_ROOT=/path/to/cann-9.x \
  -DTritonJIT_DIR=/path/to/libtriton_jit/build

CANN_ROOT 应为 CANN 安装目录的绝对路径；TritonJIT_DIR 应指向包含 TritonJITConfig.cmake 的目录，已安装的包通常为 <prefix>/lib/cmake/TritonJIT。若无法自动找到配套的 standalone_compile.py，可在 -- 后追加 -DFLAGDNN_TRITON_JIT_STANDALONE_COMPILER=/path/to/standalone_compile.py。

安装

# 默认安装到 build/ascend/install
tools/install.sh --build-dir build/ascend

# 指定安装目录
tools/install.sh \
  --build-dir build/ascend \
  --prefix /path/to/flagdnn-sdk

安装后的 SDK 仍依赖兼容的 CANN 和构建时选定的 Python 环境；功能测试和性能测试保留在构建目录中，不随 SDK 安装。

批量测试

python3 tools/run_tests.py --dump-output --output-dir logs_result_20260920_flagdnn --gpus 0,1

更多测试说明见功能与性能验证。

Name		Name	Last commit message	Last commit date
.github		.github
backends		backends
benchmark		benchmark
cmake		cmake
compiler/flagdnn_codegen		compiler/flagdnn_codegen
docs		docs
include		include
kernels		kernels
packaging		packaging
reference		reference
src		src
tests		tests
tools		tools
.dockerignore		.dockerignore
.flake8		.flake8
.gitignore		.gitignore
.pre-commit-config.yaml		.pre-commit-config.yaml
CMakeLists.txt		CMakeLists.txt
LICENSE		LICENSE
README.md		README.md

Navigation Menu

Repository files navigation

FlagDNN

平台安装

NVIDIA（英伟达）

环境要求

编译

安装

批量测试

Hygon（海光）

环境要求

编译

安装

批量测试

Iluvatar（天数智芯）

环境要求

编译

安装

批量测试

THEAD（阿里平头哥）

环境要求

编译

安装

批量测试

MThreads（摩尔线程）

环境要求

编译

安装

批量测试

Ascend（昇腾）

环境要求

编译

安装

批量测试

About

Releases

Packages

Contributors

Languages

Latest commit

History

Folders and files

Repository files navigation

FlagDNN

平台安装

NVIDIA（英伟达）

环境要求

编译

安装

批量测试

Hygon（海光）

环境要求

编译

安装

批量测试

Iluvatar（天数智芯）

环境要求

编译

安装

批量测试

THEAD（阿里平头哥）

环境要求

编译

安装

批量测试

MThreads（摩尔线程）

环境要求

编译

安装

批量测试

Ascend（昇腾）

环境要求

编译

安装

批量测试

About

Resources

Stars

Watchers

Forks

Releases

Packages

Contributors

Languages