AMD выпустила полностью открытый MoE большой модели Instella-MoE с количеством параметров 16 миллиардов

AMD 25 июля представила полностью открытую смешанную экспертную модель Instella-MoE, обладающую 16 миллиардами общих параметров, при этом каждый токен активирует 2,8 миллиарда параметров, что обеспечивает передовые характеристики. Эта модель основана на графических процессорах AMD Instinct MI300X и MI325X, а также на программном стеке ROCm, и была обучена с нуля, используя архитектурные инновации, такие как Gated Multi-head Latent Attention и FarSkip-Collective, что повышает эффективность обучения и вывода. Тестирование производительности показало, что базовая модель Instella-MoE-16B-A3B в среднем набрала 76,7 балла, что ставит её на лидирующие позиции среди полностью открытых моделей, превосходя такие модели, как SmolLM3-3B и OLMo-3-7B, и конкурируя с более крупными моделями при активации всего 2,8 миллиарда параметров. Эта модель поддерживает обработку длинного контекста до 64K токенов и завершает полный процесс обучения, включая предобучение, промежуточное обучение, расширение длинного контекста, супервизорную донастройку, прямую оптимизацию предпочтений и обучение с подкреплением. AMD также опубликовала все веса модели Instella-MoE, конфигурации обучения, соотношения данных, промежуточные контрольные точки и код вывода, способствуя исследованию и воспроизведению открытых AI моделей. AMD заявила, что Instella-MoE демонстрирует возможность обучения больших моделей MoE на базе аппаратного обеспечения AMD и открытой программной экосистемы, и в будущем будет продолжать развивать более крупные, более мощные и более эффективные открытые языковые модели.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.