企业官网建设流程全解析

前言

当下流行搞大模型玩耍, 跟着潮流去弄了一回本地化部署, 找了台HP 450 G10笔记本, 其配置为16G，安装的是Win11家庭版, 简简单单搭建了一个Open WebUI环境, 仅仅依靠CPU测试了Qwen2.5的0.5B、1.5B、3B、7B、14B几个模型版本, 发现模型越大回复相对就更加可靠, 然而回复速度也就越发迟缓, 到了7B这个版本则要等待许久才会有消息反馈回来, 所以想着动用核显的GPU来参与运算呢。

概述

花了几天摸索，各类文档内容看着比较乱，大致总结如下：

英特尔提供了ipex - llm库用以实现英特尔核显GPU加速, ipex - llm/.zh - CN.md在main·intel - /ipex - llm处, 其对英特尔的显卡驱动版本有要求, 要求为31.0.101.5122, 我的本机是13代Cpu, 带有Iris的显卡, 在驱动升级后满足了该项要求。

英特尔官网当中, 针对7代至10代的CPU核显, 所提供的最高驱动版本是31.0。101。2130 , 我于另一台i7 - 9700T（该核显为UHD 630）之上运行ipex - llm时, 会出现报错情况 , 提示为": SPIR - V : SPIR - V ' (66560)'. Range of /known SPIR - V is 1.0 (65536) - 1.3 (66304)" , 所以说，至少得需要11代CPU的核显才能够实现加速。借助ipex - llm予以支持来使用, 利用于ipex - llm内部所预备的简易便利之处。其最主要的过程。

去进行下载, 之后实施安装, 针对conda, 有conda-forge | - 专门用于conda的情形 | conda-forge | - 仍是针对conda的情况。

将ipex - llm进行安装, 于命令行窗口里, 依照顺序逐个执行下述三个命令行, 以此来安装ipex - llm。

conda create -n llm-cpp python=3.11 conda activate llm-cpp pip install --pre --upgrade ipex-llm[cpp]

第一步, 初始化llama-cpp, 并, 在命令行窗口中, 先使用mkdir命令, 之后使用cd命令, 创建llama-cpp文件夹, 同时又进入该文件夹, 接着运行init-llama-cpp.bat, 随后运行init-.bat, 完成初始化安装。

mkdir llama-cpp cd llama-cpp init-llama-cpp.bat init-ollama.bat

conda activate llm-cpp cd llama-cpp

set OLLAMA_NUM_GPU=999 set no_proxy=localhost,127.0.0.1 set ZES_ENABLE_SYSMAN=1 set SYCL_CACHE_PERSISTENT=1 set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1 ollama serve

使用

/api/

/api/tags

问题

结束语

纯粹只是中央处理器的情形之下, 最多也就是能够运行一个3b的模型, 要是想要内容变得更加精确而且有效, 14b应该算是一个相对比较折中一些的选择。借助对于参数的优化, 相信是能够把硬件资源的作用充分发挥出来的, 欢迎各位一同探讨交流。