使用源代码安装

备注

请确保已经根据快速安装昇腾环境指引安装了对应的CANN-toolkit版本以及相应的固件和驱动，并应用了CANN-toolkit环境变量。

提示

LLAMA-Factory 支持的 CANN 最低版本为 8.0.rc1。安装 CANN 时，请同时安装 Kernel 算子包。

获取源代码

使用以下 git 指令获取源码

git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp

构建 llama.cpp

cmake -B build -DGGML_CANN=on -DCMAKE_BUILD_TYPE=release
    cmake --build build --config release

使用 Docker

备注

请确保已经根据快速安装昇腾环境指引安装了对应的的固件和驱动。

提示

更多 CANN 的基础镜像选择见ascendai/cann。

构建 docker 镜像：

git clone https://github.com/ggerganov/llama.cpp
    cd llama.cpp
    docker build -t llama-cpp-cann -f .devops/llama-cli-cann.Dockerfile .

找到所有卡的运行信息：

npu-smi info

启动 docker 容器：

docker run --name llamacpp \
    --device /dev/davinci0  \
    --device /dev/davinci_manager \
    --device /dev/devmm_svm \
    --device /dev/hisi_hdc \
    -v /usr/local/dcmi:/usr/local/dcmi \
    -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
    -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \
    -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \
    -v /PATH_TO_YOUR_MODELS/:/app/models \
    -it llama-cpp-cann -m /app/models/MODEL_PATH -ngl 32 \
    -p "Building a website can be done in 10 simple steps:"