频年来，跟着 AI 边界的火爆和对算力需求的握续飙升，市面主流零丁显卡的算力也齐在从容提高。不外其实关于大多数平凡用户对日常办公、生存而言，主力机其实仍旧是需要兼顾价钱、便携性、性能等多方面考量的，一张“核弹级”的显卡迪士尼公主彩泥乐园，听起来很爽，但骨子部署起来，不管是价钱如故功耗，齐难以称得上“日常”。
不外跟着 AI 助手频年来的龙套，越来越多的用户在日常使命、生存中，齐运行大齐使用 AI 行为助手。由互联网厂商部署在云霄的 AI 就业，诚然门槛较低、使用方便，但要么有着打听次数等法规的戒指，要么在时常打听的情况下难以保证就业器的默契。跟着诸如 deepseek 等优秀大模子的开源，以及模子蒸馏带来的算力条款裁汰，不少 AI 的“高频用户”，运行计划在土产货部署一个专属于我方的 AI 助理。
土产货运行大模子这事儿，听起来好像怎样齐不会和“浮薄本”搭边儿，不外跟着 ® 酷睿™ Ultra200H 系列处理器的发布和优化，让这件事儿不仅有了可能，致使体验还可以相当可以。
先来粗心先容下这款处理器，其罗致羼杂架构缠绵，包括 4-6 个 P-Core（性能核）、八个 E-Core（后果核）和两个 LP E-Core（低功耗后果核），相较前代产物，多线程性能提高了高达 41%，适宜低延长 AI 使命负载。
关于在大模子的应用方面，英特尔 ® 酷睿™ Ultra200H 系列处理器的 GPU 集成了 Xe 架构，AI 算力权贵提高，且其全系配备了零丁 NPU，NPU 单位可提供高达 13 TOPS 的算力，通过 CPU+GPU+NPU 的协同预计，全平台总算力达到 99 TOPS，而且原生支撑英特尔 OpenVINO 器具套件，这也让本文所说的“在个东说念主 PC 上土产货部署 AI 大模子”成为了可能。
一、表面性能测试
本文所使用的条记本电脑建立如下，无零丁显卡。
测试使用的条记本为 Intel Core Ultra 9 285H 处理器，TDP 45W。
CPU-Z 单核 837.6 分，多核 10917.1 分。
3DMark CPU Profile 分数如图。
3DMark Time Spy CPU 分数 12395 分，显卡分数 4153 分。
Time Spy 压力测试 20 轮轮回默契度 99.8%。
Cinebench R23 单核 2162 分，多核 22121 分。
二、AI 测试1、deepseek 土产货部署
最近 deepseek 应该还是是许多东说念主使命和生存中不可或缺的“小助手”了，因为它果真能够带来许多便利。不外另一方面，底下这个场景民众也一定熟习又无奈。
毕竟使用者数目庞杂，且仍然在飞快加多，一语气提问，deepseek 未免就会出现就业器远程的情况。这也让 deepseek 底本为咱们勤俭下的贵重时刻，未免又被花费掉。
不外许多东说念主可能对 deepseek 了解未几，比拟传统 AI 的监督学习框架，deepseek 罗致强化学习时刻，赋予模子委果的推贤慧力，权贵提高了数学和逻辑测试中的发扬，同期裁汰 60% 的无效覆按，优化了预计后果。
此外，通过 MoE 架构已毕模子参数的动态分派，计划多层级扎认识机制（MLA），在提高反馈速率的同期裁汰了算力本钱，举例在疏导参数边界下推理速率提高 40%，最主要的它如故个开源模子，因此以高性价比和刚劲的推贤慧力飞快眩惑全球开荒者，酿成时刻社区裂变效应。
这些上风，也让它区别于此前的其它大模子，只可借助云霄大边界的就业器算力进行部署，而是十足有但愿在个东说念主 PC 上进行土产货部署。
本文提供两种部署方式，分别为 Ollama 客户端和 Flowy AIPC 助手，前者部署关节稍多，不外部署完成后的交互界面有多种可选（敕令行、浏览器插件、零丁 App 均可），使用相对生动；后者则一站式图形化操作，安设完成后使用亦然在固定的零丁 App（Flowy AIPC 助手）中，释怀不外方法相对固定，民众可以检察教程后笔据喜好自行选择。
1）驱动更新
由于土产货大模子的部署需要用到 Arc 核显的预计模块进行加快，因此在运行部署前，一定要确保显卡驱动为最新版块。径直去 intel 官网下载驱动搞定软件就好，这里把勾通给民众放不才边了，下载前要阐发好对应的处理器版块和系统版块。
下载勾通：
https://www.intel.cn/content/www/cn/zh/download/785597/intel-arc-iris-xe-graphics-windows.html
下载完成后沿途下一步安设，然后按诱骗更新到最新即可。
2）Intel 优化版 Ollama+IPEX-LLM 部署教程
a) 模子部署
他会在律师的文章下面留言，说：律师都是黑心的大忽悠，吃罢原告吃被告——两头通吃，不带掉渣的。
接下来即是下载 Intel 优化版 Ollama+IPEX-LLM 文献了，文献不大，可以自行到 GitHub 下载。
下载勾通：https://github.com/ intel / ipex-llm / releases
后续版块可能会有更新，民众安设时下载对应的最新版即可。下载后解压缩，左键双击运行 start-ollama.bat 文献。
运行后会弹出如下敕令行窗口：
这里不要关闭上头的窗口，同期大开一个新的敕令请示符（CMD）窗口，不会找 CMD 的可以径直任务栏搜索。大开后次第运行如下两条敕令，扎眼，第一条敕令需要针对民众电脑上文献保存 Ollama 的位置修改后输入。
cdC\\修改为你解压后文献的位置ollamarundeepseek-r1:7b
如斯处小编要输入的两条敕令即是：
cdC\\Users\\IT之家\\Downloads\\LANDrop\\ollama-0.5.4-ipex-llm-2.2.0b20250220-winollamarundeepseek-r1:7b
这里第二条敕令中 deepseek-r1:7b 临了的 7b 指的即是所选的模子边界了，底下附上不同边界模子的文献大小，个东说念主电脑建议民众部署 14b 以下的模子，此处小编所使用的电脑显存为 16GB，迪士尼彩乐园选择 7b 模子，供民众参考。
代码输入完成后，就会开启下载了，保握采集畅通耐烦恭候就好。
下载完成后，模子的部署就还是完成了，此处就还是可以在对话框中输入问题与 deepseek 进行问答了。
可以看到，此处向 deepseek 建议问题，便会调用 Arc 核显的预计模块进行加快，这亦然当今英特尔酷睿 Ultra 处理器的 Arc 核显在迁移端 AI 边界特有的上风。
此处的交流也十足无用顾忌“就业器远程”了，即问即答，全部土产货运行。不外这个相当极客的交互方式，思必许多东说念主如故不成接受的，别急，咱们下一步就聊聊怎样让它变“好意思”。
b) 浏览器插件安设
前文说过，基于 Ollama 的大模子有三种交互方式，分别是敕令行、浏览器插件和零丁 App，接下来咱们就说说后头的两种方式。使用 Edge 浏览器和 Chrome 浏览器的小伙伴，可以到彭胀中找到 Page Assist 这个插件
找到后点击获得，插件会自动下载、安设。安设好后浏览器右上方会有弹窗提醒。
打卡安设好的插件，能够看到精真金不怕火的对话窗口，画面中间绿点处标记土产货模子常常加载。
在顶部选择好对话模子以后，就能够运行常常对话啦。
此次的问答界面就友好多了，而且基于民众每天齐要使用的浏览器，方便快捷。提问后从系统资源搞定器能够看到，土产货 Arc 核显的预计模块还是被调用进行加快。
c) ChatBox AI 客户端安设
要是对浏览器的对话插件平静，就无用看这一部分了，要是使用的不是上述两个浏览器，抑或是对浏览器的交互方式不甚心爱，那么也可以选择 ChatBox AI 行为交互进口。可以从官网自行下载。
官网地址：https://chatboxai.app/zh#download
文献不大，下载很快，下载完成后沿途下一步安设即可，此处就不赘述了。
安设完成后大开会肯求选择建立，此处选底下的“使用我方的 API Key 或土产货模子”即可。
选择 Ollama API。
模子详备设立，无用修改，默许就好。
选好后就可以运行对话啦，提问后一样可以看到，调用的依旧是刚才部署的土产货模子，依旧会跑满 Arc 核显的预计模块进行加快。
那么使用 Ollama 的土产货模子部署以及三种交互方式到这里就齐 OK 了，民众可以笔据我方的喜好和需求自行选择。
3）Flowy AIPC 助手
前一种方式要是民众合计繁重的话，还有一种“一站式”的全图形化部署方式即是 Flowy AIPC 助手，民众可以笔据需求自行选择。最初从官网下载 Flowy AIPC 助手。
官网勾通：https://www.flowyaipc.com
下载完成后沿途下一步安设，初次大开后需要微信扫码注册登陆。登陆后就能参加看到主界面了。
在左侧选择模子市集，可以看到提供了多个模子可选，前文部署好的 deepseek-R1:7b 模子还是识别出来并泄漏为已安设，要是莫得部署过，就可以在这里径直点击下载。
下载完成后，回到主界面就可以选择模子运行对话了，这里需要扎眼的是，除了土产货模子，Flowy AIPC 助手还提供了云霄模子可选，选择的时候要扎眼辞别前边的小图标，分辨土产货模子和云霄模子。
下载完成后在 Flowy AIPC 助手中提问，可以看到一样调用了 Arc 核显的预计模块进行加快。
2、Moonlight 土产货部署
Moonlight 行为月之暗面 Moonshot 开源的第一款大模子，领有 16B 的齐备参数和 3B 的激活参数，也即是说，只需平台领有 3B 对应的算力即可使用 16B 齐备性能，裁汰了大讲话模子的使用门槛，可以说是 AI 平权的进军一步。
1）安设并部署环境
部署所需的文献可以到 Github 或 Hugging Face 进行下载，勾通放不才边了。
Github 仓库：https://github.com/MoonshotAI/Moonlight
Hugging Face 模子库：https://huggingface.co/moonshotai/Moonlight-16B-A3B
下载完成后，运行 Miniforge.exe 安设。
2）下载模子
安设完成后，启动 Miniforge Prompt 敕令行窗口。
启动后运行下列代码：
cd/condacreate-nipex-llmpython=3.11libuvcondaactivateipex-llm
运行完成后，敕令行着手的（base）会变成（ipex-llm）
然后运行下列代码：
pipinstallmodelscopemodelscopedownload--modelmoonshotai/Moonlight-16B-A3B-Instruct--local_dir/Moonlight-16B-A3B-Instruct
就能看到模子运行下载了
3）建立环境并调度模子
下载完成后，运行下列代码（在请示 y / n 时输入 y 并回车阐发）：
pipinstall--pre--upgradeipex-llm[xpu_2.6]--extra-index-urlhttps://download.pytorch.org/whl/xpu-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstalltiktokenblobfiletransformers==4.45trl==0.11accelerate==0.26.0-ihttps://pypi.tuna.tsinghua.edu.cn/simplepipinstall--pre--upgradeipex-llmpythonconvert.py
完成后，将【C:\\Moonlight-16B-A3B-Instruct】中的通盘⽂件复制⾄【C:\\Moonlight-16B-A3B-Instruct-converted】内，并在提⽰存在相通⽂件时跳过通盘相通⽂件。
接下来就可以运行啦，初次运行时会有 10 分钟傍边的暖机，后续再次运行的时候就不需要恭候了。
运行下列代码：
condaactivateipex-llmsetSYCL_CACHE_PERSISTENT=1setSYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1pythonrun_moonlight-16B-A3B-instruct.py
运行后提问，可以看到土产货 GPU 的预计单位骤然跑满。
3、UL Procyon 测试
Procyon AI 是由 UL Solutions 推出的一款专科的基准测试软件，旨在评估预计机或确立在运行 AI 模子时的性能发扬。它通过一系列圭臬化的测试，匡助用户快速了解硬件在处理 AI 任务时的后果和资源欺诈情况。
IT之家这里分别测试了 AI Text Generation（AI 文本生成基准测试）、AI Image Generation（AI 图像生成基准测试）、AI Computer Vision（AI 预计机视觉基准测试）三个技俩。
1）AI 文本生成基准测试
测试的四个技俩分别得分 817、848、798、711 分。
2）AI 图像生成基准测试
在 AI 图像生成基准测试中，得分 349 分。
大致 18.6s 可以完成一张图片的生成。
3）AI 预计机视觉基准测试
在 AI 预计机视觉基准测试中，得分为 140 分。
细致
通过骨子体验可以看到，英特尔 ® 酷睿™ Ultra200H 系列处理器全平台 99 TOPS 的总算力，果真让浮薄原土产货部署大模子这件事儿，不仅能够已毕，更有着相当可以的使用体验。诚然，当今要部署一个“满血”的 deepseek 大模子，仍旧需要浮薄本难以企及的内存和算力，不外其实关于大多数办公、生存场景而言，15B 以下边界的土产货大模子，还是能够平静许多东说念主的日常需求，在此基础上，对平凡用户而言，大略肤浅性、性价比与默契性的均衡，要比一味的追求模子边界实在的多。
以上即是本文的全部内容啦，要是你耐烦读到这里，但愿你也能奏凯的部署一个属于我方的“土产货 AI 助理”。
- 上一篇：迪士尼彩乐园信誉 遣散邪祟抖动春意：虚谷《木石赤蛇图》
- 下一篇：没有了