Meta представила статью о снижении затрат на обучение LLM

Исследователи Meta FAIR указали на ограничения прогнозирования масштабов обучения больших языковых моделей (LLM) и предложили корректирующую модель "Skaling". Упомянутое в статье "в 10 раз меньше вычислений" означает снижение затрат на эксперименты, а не на общее обучение. Исследователи отметили, что существующее предположение о том, что размер модели и обучающие данные действуют независимо от значения потерь, приводит к ошибкам в некоторых диапазонах. Закон Skaling направлен на снижение прогнозных ошибок, отражая эффект совместного действия размера модели N и обучающих токенов D. Исследователи сообщили, что Skaling был более точным на 76% тестируемых конфигураций по сравнению с Chinchilla, а улучшение по медиане составило 2,2 раза. Средняя абсолютная процентная ошибка (MAPE) снизилась в 1,5-3 раза в зависимости от условий эксперимента. В статье объясняется, что использование "L-образной" профилирующей сетки для низкозатратных диапазонов позволяет достичь аналогичной точности прогнозирования с использованием примерно в 10 раз меньшего количества вычислений, чем при равномерном обходе всей сетки. Это не означает, что общие затраты на обучение снижаются в 10 раз. Meta сообщила, что производительность модели 8B, обученной на 15 триллионах токенов, превышающей оптимум Chinchilla, улучшилась даже после завершения обучения. Эта статья является препринтом в архиве и сосредоточена на эффективности обучения ИИ и дискуссии о корректировке законов масштабирования.

Этот контент предоставляется исключительно в общих информационных целях и не является финансовым, инвестиционным, юридическим или налоговым советом. Любые мероприятия, вознаграждения, онлайн-акции или связанная с ними информация, упомянутые в настоящем документе, не должны рассматриваться как рекомендация, приглашение к покупке, продаже, торговле или иной сделке с какими-либо криптоактивами. Криптоактивы очень волатильны и могут привести к убыткам. Доступность услуг, продуктов WEEX и связанных с ними событий может варьироваться в зависимости от региона. Вы несете ответственность за обеспечение того, чтобы ваше участие соответствовало применимым местным законам и нормативным актам.