Обучение новейшего флагманского искусственного интеллекта компании Anthropic, возможно, не было бы невероятно дорогим

Обучение новейшей флагманской модели искусственного интеллекта компании Anthropic, Claude 3.7 Sonnet, обошлось в «несколько десятков миллионов долларов» с использованием менее 10^26 FLOPs вычислительной мощности.

Это по словам профессора Уортона Итана Моллика, который в посте X в понедельник передал разъяснения, полученные им от PR-отдела Anthropic. «Со мной связались из Anthropic и сказали, что Sonnet 3.7 не будет считаться моделью 10^26 FLOP и будет стоить несколько десятков миллионов долларов», — написал он , «хотя будущие модели будут намного больше».

TechCrunch обратился к Anthropic за подтверждением, но на момент публикации ответа не получил.

Если предположить, что обучение Claude 3.7 Sonnet действительно обошлось всего в «несколько десятков миллионов долларов», не принимая во внимание сопутствующие расходы, то это признак того, насколько относительно дешевым становится выпуск современных моделей. Предшественник Claude 3.5 Sonnet, выпущенный осенью 2024 года, также обошелся в несколько десятков миллионов долларов на обучение , рассказал в недавнем эссе генеральный директор Anthropic Дарио Амодеи.

Эти суммы довольно выгодно сравниваются с ценами на обучение лучших моделей 2023 года. По словам генерального директора OpenAI Сэма Альтмана, на разработку своей модели GPT-4 OpenAI потратила более 100 миллионов долларов. Между тем, согласно исследованию Стэнфорда, Google потратила около 200 миллионов долларов на обучение своей модели Gemini Ultra.

При этом Амодеи ожидает, что будущие модели ИИ будут стоить миллиарды долларов . Конечно, затраты на обучение не покрывают такие работы, как тестирование безопасности и фундаментальные исследования. Более того, поскольку индустрия ИИ принимает «рассуждающие» модели, которые работают над проблемами в течение длительных периодов времени , вычислительные затраты на запуск моделей, вероятно, продолжат расти.