Содержание5 разделов
Коротко
- NPU это блок процессора, заточенный под вычисления нейросетей с малым расходом энергии.
- На нём работают размытие фона, улучшение фото, распознавание речи, перевод и локальные ИИ-помощники.
- TOPS показывает триллионы операций в секунду. Для сравнения годится, но реальная скорость зависит ещё от памяти и программ.
Зачем нужен нейропроцессор (NPU)
Нейросеть в работе это огромное количество умножений и сложений чисел, собранных в матрицы. Центральный процессор справляется с этим, но он универсальный и тратит на такие задачи много энергии. Видеокарта справляется лучше, она с самого начала создана для параллельных вычислений, но и потребляет немало. А в телефоне каждый милливатт на счету.
NPU, Neural Processing Unit, проектируют под одну задачу: гонять вычисления нейросетей как можно экономнее. Обычно он работает с числами пониженной точности, 8- и 4-битными. Нейросетям этого часто хватает, а энергии уходит в разы меньше. Представьте разницу между универсальным мультитулом и отвёрткой нужного размера: мультитулом тоже можно, но отвёрткой быстрее.
| CPU | GPU | NPU | |
|---|---|---|---|
| Для чего | Всё подряд, логика программ | Графика, параллельные вычисления | Нейросети |
| Скорость на задачах ИИ | Низкая | Высокая | Высокая |
| Расход энергии на задачах ИИ | Высокий | Высокий | Низкий |
| Гибкость | Максимальная | Высокая | Ограниченная |
Какие функции уже работают на NPU
Больше, чем кажется. Ночной режим камеры, портретное размытие и удаление лишних объектов с фото. Размытие фона и шумоподавление в видеозвонках. Субтитры и распознавание речи без интернета, перевод прямо на устройстве. И всё чаще локальные языковые модели и ИИ-помощники, которые не отправляют ваши данные в облако. Если функция работает в режиме полёта и при этом не сажает батарею за полчаса, скорее всего, за ней стоит NPU.
Что такое TOPS и как сравнивать NPU
TOPS расшифровывается как tera operations per second, триллионы операций в секунду. Производители пишут эту цифру, чтобы показать мощность NPU. Сравнивать по ней можно, но с оговорками. Операции бывают разной точности, и у одного и того же чипа TOPS в формате INT4 и в INT8 будут разными числами, а в рекламе обычно пишут то, что больше. Для языковых моделей часто важнее объём и скорость памяти: модель нужно целиком уместить и быстро прочитать. И без поддержки со стороны программ самый мощный NPU просто простаивает.
Хороший пример свежий Snapdragon 8 Elite Extreme Gen 6. Qualcomm делает упор на прирост скорости NPU и одновременно на то, что под него выделено до 50% больше памяти. Как раз память позволяет запускать на телефоне модели больше 30 млрд параметров (подробнее о чипе).
Стоит ли доплачивать за ноутбук или телефон с NPU
NPU сейчас есть почти во всех смартфонах среднего и высокого класса и в новых ноутбуках. Вопрос в том, нужен ли вам самый мощный.
Если вы пользуетесь облачными чат-ботами и обычными функциями камеры, разницу между поколениями NPU почти не заметите, и доплачивать за неё мы бы не стали. Если хотите запускать нейросети прямо на устройстве, например для работы с конфиденциальными документами, мощный NPU и много памяти становятся важными. Как запускать модели на компьютере и сколько им нужно памяти, мы разобрали в отдельном гайде. А общая шпаргалка по характеристикам смартфона есть здесь.
Частые вопросы о нейропроцессорах
Как узнать, есть ли NPU в моём телефоне?
Если телефону меньше трёх-четырёх лет и он среднего класса или выше, почти наверняка есть. Производители называют его по-разному: Neural Engine у Apple, Hexagon у Qualcomm, APU у MediaTek.
Можно ли запустить ChatGPT на NPU?
Сам ChatGPT работает в облаке. На NPU запускают небольшие открытые модели, и с каждым поколением чипов они становятся умнее.
Нужен ли NPU для игр?
Напрямую нет, игры считает видеокарта. Но функции вроде повышения разрешения и генерации кадров всё чаще используют ИИ-блоки.
TOPS, инференс и другие слова с коробок и из презентаций коротко объяснены в словаре.
Замечали, какие функции вашего телефона работают без интернета? Какая из них самая полезная?
Как вам материал?
Комментарии