Новые модели OpenAI в стиле ChatGPT теперь работают локально на ПК с Windows
Впервые пользователи Windows могут запускать мощные модели искусственного интеллекта, подобные ChatGPT, полностью на своих устройствах, без подключения к Интернету или облачного сервиса.
Новая модель gpt-oss-20B от OpenAI теперь доступна для локального использования, и Microsoft упростила ее запуск на поддерживаемых ПК с помощью встроенных инструментов Windows и ускорения графического процессора.
Это знаменует собой важную веху в повышении доступности и конфиденциальности передового ИИ. В отличие от ChatGPT, работающего через серверы OpenAI, gpt-oss-20B входит в новое семейство моделей с открытыми весами. Эти модели можно загружать, проверять, изменять и запускать локально, что предоставляет пользователям беспрецедентный контроль над работой ИИ и хранением их данных.
Выпуск gpt-oss-20B и его более крупного аналога gpt-oss-120B представляет собой наиболее эффективные открытые модели OpenAI на сегодняшний день. Обученные с использованием тех же методов, что и передовые модели компании, включая GPT-4o, эти новые модели демонстрируют высокую производительность в таких задачах, как использование инструментов, программирование, рассуждения и даже запросы, связанные со здоровьем.
Модель 20B, которая теперь доступна в Windows , оптимизирована для периферийных устройств и может работать на современных графических процессорах с объёмом видеопамяти не менее 16 ГБ. Microsoft интегрировала поддержку модели в Windows AI Foundry, встроенный фреймворк в Windows 11, который обеспечивает локальную разработку и выполнение ИИ. С помощью Foundry Local и AI Toolkit для Visual Studio Code пользователи могут полностью запускать модель на своих ПК, не отправляя данные в облако.
Для конечных пользователей это означает, что теперь вы можете создавать или использовать приложения на базе искусственного интеллекта в стиле ChatGPT, работающие полностью на вашей системе. Это идеально подходит для офлайн-сред, рабочих процессов с повышенными требованиями к безопасности или для тех, кто хочет избежать использования внешних серверов.
Локальный ИИ с реальной производительностью
В отличие от облегчённых или упрощённых моделей, распространённых в проектах с открытым исходным кодом, gpt-oss-20B создана для реального применения. Она использует архитектуру, сочетающую в себе несколько экспертов, активируя 3,6 миллиарда параметров на токен, поддерживая общее количество параметров в 21 миллиард. Такая архитектура делает модель одновременно мощной и эффективной, обеспечивая быстрый и отзывчивый локальный вывод без серьёзных требований к оборудованию.
Согласно оценкам OpenAI , gpt-oss-20B конкурентоспособен по производительности с проприетарными моделями, такими как o3-mini, и даже превосходит их в таких областях, как соревновательная математика и бенчмарки, связанные со здоровьем. Он также поддерживает агентное поведение, такое как выполнение кода или просмотр веб-страниц (при подключении), и способен с высокой точностью выполнять инструкции на естественном языке.
В отличие от ChatGPT, эти модели не имеют продуманного пользовательского интерфейса. Вместо этого пользователи и разработчики могут встраивать модель в собственные инструменты, помощников или офлайн-приложения.
Фреймворк Windows AI Foundry , теперь включённый в Windows 11, поддерживает развёртывание открытых моделей, таких как gpt-oss, на центральных процессорах, графических процессорах и даже будущих нейронных процессорах. Foundry Local позволяет безопасно запускать модели на устройстве с помощью стандартных API, поддерживая квантизацию, тонкую настройку и дистилляцию моделей. Интеграция осуществляется на основе Microsoft ONNX Runtime — высокопроизводительного механизма вывода, который гарантирует эффективную работу таких моделей, как gpt-oss-20B, на потребительском оборудовании.
Выпуск gpt-oss возвращает передовой ИИ в руки отдельных пользователей и разработчиков. Это значимый шаг в сторону от текущей модели, основанной на облачных технологиях, где мощные языковые модели ограничены API и ограничениями на использование.
Хотя этот шаг открывает множество возможностей для настройки, OpenAI по-прежнему включает такие меры безопасности, как обучение и оценка безопасности с использованием внутренней платформы Preparedness Framework. Однако это пока сырые модели без встроенных фильтров или ограничений, как в размещенном ChatGPT.
Если у вас Windows 11 с современной видеокартой (16 ГБ+ видеопамяти), вы можете попробовать gpt-oss-20B уже сегодня, используя набор инструментов Microsoft AI Toolkit и инструменты Foundry Local. Модель доступна для бесплатной загрузки по лицензии Apache 2.0 и может быть исследована на таких платформах, как Hugging Face, Ollama и vLLM. Поддержка Mac появится в ближайшее время.
About The Author
