Обучение модели DeepSeek R1 оказалось в сотни раз дешевле OpenAI

Китайская компания DeepSeek объявила, что затраты на обучение модели R1 составили 294 000 долларов, что значительно меньше затрат, озвученных конкурирующими американскими фирмами.

С начала года DeepSeek привлекла внимание своим новым продуктом, однако после этого основатель Лян Вэньфэн и компания почти не появлялись на публике, ограничиваясь редкими обновлениями. В статье в журнале Nature, в которой Лян упоминается как соавтор, указано, что обучение модели, ориентированной на рассуждения, потребовало 512 процессоров Nvidia H800. Эти чипы были разработаны Nvidia для китайского рынка после запрета США на экспорт более мощных ИИ-чипов H100 и A100 в октябре 2022 года.

Генеральный директор OpenAI Сэм Альтман в этом году заявил, что обучение их базовых моделей обходится «гораздо дороже» 100 миллионов долларов, однако компания не предоставила конкретных данных по своим выпуском.

Некоторые из заявлений DeepSeek о расходах и использованных технологиях вызвали сомнения среди американских компаний и официальных лиц.

Обучение модели DeepSeek R1 обошлось в сотни раз дешевле, чем обучение базовых моделей OpenAI: названа точная сумма
Изображение Midjourney

В июне сотрудники правительства США сообщили Reuters, что DeepSeek имеет доступ к значительным объемам чипов H100, которые компания купила после введения экспортного контроля. Однако Nvidia подтвердила, что DeepSeek использовала только законно приобретенные процессоры H800.

Теперь же компания впервые призналась, что владеет процессорами A100 и использовала их на первом этапе разработки. «Что касается нашего исследования DeepSeek-R1, мы использовали графические процессоры A100 для подготовки к экспериментам с меньшей моделью», — отметили исследователи. После этого R1 обучался на кластере из 512 чипов H800 в течение 80 часов.

Ранее агентство Reuters сообщало, что DeepSeek сумела привлечь таланты Китая, благодаря наличию суперкомпьютерного кластера с процессорами A100.

Компания DeepSeek готовится представить ИИ-агента нового поколения до конца 2025 года. Система, которую разрабатывает компания из Ханчжоу, будет способна выполнять сложные многоэтапные задачи с минимумом участия пользователя, а также обучаться на предыдущем опыте. Кроме того, в модель будут внедрены обязательные метки контента, генерируемые ИИ.

Что читать дальше

Подборка материалов по этой теме.

Сейчас читают

Материалы, которые чаще открывают сегодня.

Загрузка…

Ещё по теме

Продолжить чтение

Материалы, которые помогут не выпадать из темы.