Qualcomm сотрудничает с Multiverse Computing для оптимизации AI-моделей

Qualcomm сотрудничает с Multiverse Computing для оптимизации AI-моделей для дата-центров. Это сотрудничество направлено на снижение размера и нагрузки на выполнение крупных языковых моделей (LLM), что должно повысить эффективность вывода. Multiverse Computing планирует оптимизировать легкие AI-модели для ускорителей Qualcomm Dragonfly AI200 и AI250. Ключевой технологией является CompactifAI, которая использует тензорные сети для уменьшения размера LLM и объема используемой памяти. Эта технология нацелена на снижение затрат на вывод на 50-80% и увеличение скорости вывода в два раза, при этом точность должна оставаться на уровне почти 100% от оригинальной модели. Qualcomm представила дорожную карту ускорителей вывода, начиная с AI200 и AI250 и продолжая AI300, причем AI250 спроектирован для обеспечения эффективной пропускной способности памяти в 133 ТБ/с на карту. Multiverse Computing утверждает, что к июню 2025 года CompactifAI сможет сократить размер LLM на 95% и будет работать как в облачных, так и в частных дата-центрах, а также в сверхлегких условиях. Это сотрудничество связано со стратегией Qualcomm по выходу на рынок дата-центров для AI-вывода.