NPU — это нейропроцессор, специальный блок для ускорения вычислений искусственного интеллекта. Мини-ПК с NPU позволяют запускать ИИ-модели локально, без отправки данных в облако.
NPU (Neural Processing Unit) — это специализированный процессор, созданный для операций машинного обучения. В отличие от универсального CPU, он оптимизирован под матричные вычисления, которые лежат в основе нейросетей.
В декабре 2023 года Intel выпустила процессоры Core Ultra со встроенным NPU. Вслед за ней AMD представила платформу Ryzen AI, а Qualcomm — Snapdragon X Elite. С тех пор NPU стал стандартным компонентом современных мини-ПК и ноутбуков.
CPU выполняет любые задачи, но медленно обрабатывает параллельные операции. GPU ускоряет графику и хорошо справляется с матричными вычислениями, но потребляет много энергии. NPU работает только с ИИ-задачами, но делает это максимально эффективно.
Для локального запуска ИИ это означает следующее: NPU берёт на себя инференс (выполнение модели), а CPU и GPU остаются свободными для других задач. При этом NPU потребляет значительно меньше энергии, чем GPU.
Современные мини-ПК с NPU справляются с небольшими языковыми моделями. Например, модели семейства Phi-3 от Microsoft, выпущенные в апреле 2024 года, работают на устройствах с ограниченными ресурсами. Открытые модели Llama 3 и Gemma от Google также доступны для локального запуска.
Для запуска используются инструменты вроде Ollama и llama.cpp. Они позволяют скачать модель и запустить её одной командой. Большие модели требуют много оперативной памяти, поэтому на мини-ПК чаще запускают модели с 1–8 миллиардами параметров.
Первое, на что стоит смотреть, — производительность NPU. Она измеряется в TOPS (триллионы операций в секунду). Чем выше показатель, тем быстрее работает модель. Для базовых задач хватает 10–20 TOPS, для более серьёзных — от 30 TOPS.
Второе — оперативная память. Для локального запуска LLM нужно минимум 16 ГБ, комфортно — 32 ГБ и больше. Модель загружается в память целиком, и её объём напрямую определяет, какую модель вы сможете запустить.
Третье — поддержка ПО. Убедитесь, что выбранный NPU поддерживается инструментами вроде Ollama и llama.cpp. Без совместимости производительность чипа не имеет значения.
На рынке есть несколько основных платформ. Intel Core Ultra с NPU появился в декабре 2023 года. AMD развивает платформу Ryzen AI. Qualcomm продвигает Snapdragon X для мини-ПК и ноутбуков.
Отдельно стоит упомянуть Apple: её чипы M-серии включают Neural Engine с 2017 года. Однако для мини-ПК чаще выбирают Windows-устройства на базе Intel, AMD или Qualcomm, так как для них больше совместимого ПО.
Начните с простых моделей. Установите Ollama, скачайте небольшую модель и проверьте скорость работы. Если модель отвечает медленно, попробуйте модель с меньшим числом параметров.
Обратите внимание на охлаждение. Мини-ПК компактны, и при длительной нагрузке NPU может перегреваться. Выбирайте модели с хорошей системой охлаждения.
Не забывайте про апгрейд. Оперативную память и накопитель во многих мини-ПК можно заменить. Это продлит жизнь устройству, когда появятся более требовательные модели.
Что такое NPU?
NPU — это нейропроцессор, специализированный чип для ускорения вычислений искусственного интеллекта, который устанавливается в современные процессоры и мини-ПК.
Чем NPU отличается от GPU?
GPU — универсальный ускоритель графики и вычислений, а NPU заточен только под задачи ИИ и потребляет значительно меньше энергии.
Как выбрать мини-ПК для локального запуска ИИ?
Смотрите на производительность NPU в TOPS, объём оперативной памяти (от 16 ГБ) и совместимость с инструментами вроде Ollama и llama.cpp.
Сколько оперативной памяти нужно для локального ИИ?
Минимум 16 ГБ, комфортно — 32 ГБ и больше, так как модель целиком загружается в память.
Главные релизы ИИ, гайды и тесты моделей — каждый час.