Директор по маркетингу в AI-отделе NVIDIA выпустил колонку о подводных камнях внедрения AI, точнее — о скрытой стоимости таких проектов. По опыту NVIDIA, которые в том числе разрабатывают индивидуальные решения для бизнеса, почти все проекты упираются в недостаточно развитую IT инфраструктуру. То есть решение создано, работает, но полноценно внедрить его нельзя — не хватает не только мощностей, но и инструментов.
Типичный случай: бизнес начинает закупать GPU и ожидает, что вместе с этим будет расти и интенсивность разработки, будут появляться готовые к использованию модели. Но этого не происходит. Потому что, например, нет единообразия производительности между кластерами. Или нет оптимизированного под AI программного обеспечения, а может банально нет подходящего оборудования и кабелей. В таких условиях реализуется около 20-30% доступных FLOPs. Цикл разработки увеличивается, а затраты кратно возрастают. Всё из-за того, что существующие IT платформы просто не приспособлены для genAI, не для этого они создавались.
Наш опыт внедрения генеративных AI-моделей для российских заказчиков подтверждает по крайней мере посыл про долгий провижнинг, усугубленный требованиями безопасности. Трудно рассчитать, насколько это замедляет имплементацию, но однозначно понятно, что с самого начала таких проектов нужно
держать эти особенности в голове и, видимо, закладывать на них и время, и деньги.