Tencent представила модель Hy4 с 770 миллиардами параметров и 1 миллионом контекста

Tencent представила предварительную версию Hy4, новая модель использует архитектуру MoE, общие параметры составляют 770 миллиардов, активируются 49 миллиардов за раз, контекст расширен до 1 миллиона. По сравнению с Hy3, у которой было 295 миллиардов общих параметров, 21 миллиард активируемых параметров и 256 тысяч контекста, масштаб Hy4 удвоился, а длинный контекст увеличился примерно в 4 раза. Hy4 акцентирует внимание на применении в реальных задачах, таких как кодирование, офисная работа, игры и научные исследования, способна с нуля создать 3D-сайт на Three.js, разработать играбельный демо в Unity, обработать 72 финансовых документа, проверяя дублирующие расходы, превышение лимитов и аномалии в бюджете. Hy4 также обучалась и итеративно развивалась вместе с продуктами Tencent, такими как WorkBuddy и CodeBuddy. Hy4 участвует в собственных разработках, помогая оптимизировать методы обучения, стратегии данных, системы оценки и базовые операторы, формируя цикл самоулучшения. Предварительная версия Hy4 уже интегрирована в несколько продуктов Tencent, и компания в своем финансовом отчете предсказала, что Hy4 будет больше, чем Hy3, и что обратная связь от реальных продуктов станет важным источником для обучения модели.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.