NPU, GPU или облако для локального ИИ: как выбрать вариант для ноутбука
Выбор платформы для ИИ нельзя делать по одному числу TOPS или названию чипа. Для лёгкой функции в браузере важна энергоэффективность, для генерации изображений — память GPU, для крупной модели — объём оперативной памяти и стоимость облака. Сначала опишите сценарий и ограничения данных.
Какой сценарий вы реально запускаете
«Мне нужен ИИ» — слишком общий запрос. Транскрипция, локальный чат, генерация изображения, помощь в коде и обработка фотографий требуют разных ресурсов.
Лёгкие функции браузера
Суммаризация короткого текста или шумоподавление может работать на локальном ускорителе. Здесь важны доступность API, энергопотребление и скорость первого результата, а не максимальная производительность в лабораторном тесте.
Генерация изображений и локальная модель
Для изображения важны VRAM, поддержка драйвера и формат модели. Если памяти не хватает, система может использовать ОЗУ и диск, а скорость и отзывчивость резко снизятся.
Роль NPU
NPU предназначен для энергоэффективных нейросетевых задач, но поддержка зависит от приложения и модели. Сам факт наличия NPU не означает, что любая программа автоматически его использует.
Энергоэффективные фоновые задачи
NPU может быть полезен для камеры, микрофона и локальных помощников при длительной работе от батареи. Проверьте, есть ли нужный runtime и версия драйвера.
Почему TOPS не равны скорости модели
TOPS описывает часть вычислительной способности в определённых условиях. Реальный результат зависит от точности, памяти, оператора, загрузки и оптимизации модели. Сравнивайте одинаковые модели и настройки.
Когда нужна GPU и VRAM
GPU подходит для параллельных вычислений и задач с большими тензорами. Но дискретная графика потребляет энергию, нагревает ноутбук и может требовать отдельного драйвера.
Память модели и разрешение
Запишите размер модели, контекст, разрешение изображения и количество параллельных задач. Небольшой запас VRAM важнее красивого пикового числа вычислений.
Драйверы и совместимость
Проверьте поддерживаемую версию CUDA/DirectML или другого runtime, модель GPU и пакет производителя ноутбука. После обновления драйвера перепроверьте сон, внешний монитор и температуру.
Когда рациональнее облако
Облако может быть проще для редких тяжёлых задач. Но стоимость растёт с объёмом запросов, а данные покидают устройство.
Стоимость и объём запросов
Оцените количество запусков в месяц, размер входа и время ожидания. Для ежедневной работы сравните суммарную цену сервиса с покупкой и электричеством ноутбука.
Данные и сетевые ограничения
Не отправляйте персональные заявки, ключи и закрытый код без разрешённого процесса. Локальная обработка не гарантирует безопасность автоматически, но уменьшает передачу по сети.
Как принять решение
Составьте требования и протестируйте один безопасный файл. Не используйте реальные документы и не сравнивайте результаты по разным моделям.
Таблица требований
Запишите задачу, размер модели, память, время результата, автономность, стоимость и допустимость облака. Если один пункт неизвестен, это вопрос для теста, а не повод покупать железо.
Тест на собственном файле без чувствительных данных
Создайте копию текста или изображения с вымышленными значениями. Измерьте время, температуру и потребление. После теста проверьте, где сохранился файл и какие процессы остались запущены.
