Экосистемный подход лучше всего описывает происходящее на рынке платформ данных
В последние годы все больше компаний говорят о создании цифровых экосистем. Повестка цифровизации становится очень важной не только для коммерческих, но и для государственных организаций. У предприятий, всерьез рассчитывающих на развитие бизнеса, есть три пути: сформировать собственную экосистему, встроить свой бизнес в чужую экосистему либо создать серьезную рыночную нишу. Эти изменения, наблюдаемые во всем мире, находят отражение и в ИТ: именно экосистемный подход описывает происходящее на рынке платформ данных.
Об этом и не только говорили на первой клиентской конференции компании Arenadata — российского разработчика корпоративной платформы для сбора, хранения и управления данными на базе Open Source. Обзор основных тезисов, прозвучавших на мероприятии, — в этом материале.
Облака, альянсы и культурные нормы
Платформы данных не только образуют экосистемы, но и сами становятся фундаментом цифровых экосистем. Их разработчики внимательно следят за возникающими на рынках тенденциями и по возможности пытаются их предвосхищать. Некоторые новые тренды, особо выделенные экспертами, стали темами серьезных дискуссий в ходе конференции.
Первым из таких трендов стало все более заметное доминирование облачных технологий — Cloud First. «Представление физического мира в облачном пространстве открывает принципиально новые возможности. Корпоративные приложения стремительно мигрируют в публичные облака, и в неменьшей степени это касается платформ данных», — подчеркнула Лариса Малькова, управляющий директор практики Applied Intelligence Accenture в России.
О гибкости и масштабируемости облачных ресурсов знают все, но многие недооценивают еще один фактор — компетенции. Создание платформы данных собственными силами требует трехэтажного «слоеного пирога» из совершенно различных навыков. Поручая большую часть работ профессионалам, компании фокусируются лишь на бизнес-вопросах и облегчают свою задачу. Именно поэтому рынок облачных платформ будет развиваться, причем доминировать в России будут отечественные игроки.
Еще один важный тренд — появление data-альянсов, в которых партнеры объединяют свои данные. Часто компаниям требуется обогатить свою информацию — например, чтобы расширить знания о клиентах. «На основе появившихся сведений можно предоставлять принципиально новые сервисы, поэтому разнообразие таких партнерств будет только расти», — уверена Лариса Малькова.
Следующие два тренда — «ответственный ИИ» (Responsible AI) и «минимализм данных». Первый подразумевает, что используемые технологии должны соответствовать не только законодательству, но и общепринятым культурным нормам. Второй заключается в использовании минимально необходимого набора данных для решения конкретной задачи. Чрезмерное использование данных не одобрят ни регуляторы, ни клиенты, их предоставляющие.
К цифровым двойникам и фабрикам данных
Не менее важны и технические тренды, предопределяющие требования к решениям в области обработки данных на несколько ближайших лет. Они оказывают прямое влияние на развитие платформ данных.
Первая из тенденций, которые обозначил Александр Тимчур, директор департамента поддержки продаж Arenadata, — требования к опосредованной конфиденциальности данных. «Сейчас все чаще идет речь о создании маркетплейсов данных, предоставляемых внешним или внутренним заказчикам. Исходные данные, как правило, в значительной степени приватны — они содержат конфиденциальные сведения того или иного вида», — напомнил Тимчур. Однако любые данные можно преобразовать: они перестанут содержать коммерческую тайну или персональную информацию. Например, сейчас наблюдается большой спрос на агрегированные данные. Для компании это означает рост данных и числа задач — речь идет о высоконагруженных витринах данных. Производитель платформы данных должен удовлетворять весьма жестким условиям.
Еще один тренд — стремление построить цифрового двойника человека. Цифровые двойники, создаваемые для оборудования, уже прочно вошли в жизнь предприятий. Следующим шагом стало формирование двойников самых разных объектов, в том числе людей и их групп, с целью моделирования их поведения и, в некоторой степени, управления ими, а также управления инфраструктурой, с которой эти группы людей взаимодействуют. Построение соответствующих витрин ресурсоемко и требует высокой производительности платформ.
Следствием усложняющихся задач становится построение фабрик данных (Data Fabric). Такой подход подразумевает абстрагирование пользователей от технологий и развитие концепции доступа к данным из единой точки. Однако его особенностью является избыточность хранения: одни и те же данные должны быть представлены в СУБД разных типов, чтобы с ними можно было эффективно работать в разных ситуациях. Для ИТ это означает рост затрат и повышение требований к интеграционным возможностям. Единая платформа данных позволит сильно облегчить работу в этой парадигме.
Развитие в трех направлениях
У сегодняшних заказчиков примерно одинаковые потребности, что предопределяет направления развития продуктов, предлагаемых ведущими производителями платформ данных. Например, происходит массовый переход компаний с устаревших проприетарных систем на решения с открытым кодом. Пользователей очень интересуют задачи, связанные с машинным обучением и искусственным интеллектом. Кроме того, важной областью является построение озер данных и фабрик данных.
Александр Ермаков, технический директор Arenadata, поделился планами по развитию платформы обработки и хранения больших данных Arenadata EDP (Enterprise Data Platform). По его словам, развитие решения будет происходить в трех ключевых направлениях. Первое — гибридная инфраструктура. Все больше компаний интересуются реализацией платформ, связанной с облаками — как частными, так и публичными. В то же время никто не готов отказываться от традиционных, «железных» решений. Современные платформы должны быть готовы работать в гибридной среде.
Второе направление — разработка ядра платформы. С появлением экспертизы в этой области, появилась возможность решать весьма сложные задачи. Кроме того, ведется работа над интеграцией платформы с существующими решениями и развиваются направления, связанные с экосистемой. В частности, разрабатываются коннекторы, позволяющие интегрировать продукты с экосистемами заказчиков.
Экосистема: развитие с помощью партнеров
«Мы вышли на рынок с дистрибутивом Hadoop и за три года прошли путь от одного продукта до формирования платформы. Все, что мы создавали в течение этих лет, было именно технологической экосистемой, которая сейчас широко известна на рынке», — подчеркнул Сергей Золотарев, генеральный директор Arenadata.
Разрозненные решения для работы с данными трудно заставить действовать слаженно, на достижение результата могут уйти годы. Во многом следствием этого стало то, что некоторое время назад на рынке начали появляться платформы данных, состоящие из тесно интегрированных компонентов разных производителей. «В результате заказчик получает не просто набор технологий, а готовые рецепты решения прикладных задач», — подчеркнул Дмитрий Лазаренко, директор по продукту Mail.ru Cloud Solutions.
В прошлом году было запущено совместное решение Arenadata и Mail.ru Cloud Solutions — Arenadata DB Cloud. Это управляемая база данных в облаке Mail.ru, которая специально была создана для решения сложных аналитических задач. Ее применение позволяет динамически масштабироваться и достаточно быстро обрабатывать тяжелые данные. Одной из первых решение «Arenadata DB как сервис» стала использовать компания «Ашан» в рамках облачной платформы Mail.ru Data Platform. Компания перешла на комплексную платформу для аналитики данных в облаке, чтобы использовать зрелые платформенные решения, такие как Kubernetes как сервис, технологии Hadoop-стека, Arenadata DB Cloud, — в том числе для задач прогнозирования спроса. В «Ашане» ожидают, что применение решения позволит увеличить выручку на 2% и сократить излишние запасы товаров в магазинах на 5%. Это даст значительный эффект в масштабах компании.
По мнению Дмитрия Гребенщикова, директора по технологиям импортозамещения компании «Диасофт», просто менять западное ПО на отечественное — нет смысла. В таких проектах должна быть выгода: прямая экономия, большая надежность, повышение скорости разработки. Поэтому главная задача — совместить важное с полезным и сделать современные технологии российскими: превратить открытые платформы в промышленные решения и взять ответственность за их работу и сопровождение. Решения Arenadata удовлетворяют требованиям «Диасофта» по производительности и отказоустойчивости и при этом являются отечественной разработкой.
«Мы давно искали возможность расширить линейку поддерживаемых СУБД. С одной стороны, нам важно постоянно повышать производительность разрабатываемых решений, с другой — вопросы использования импортонезависимых решений сегодня критичны для организаций во всех секторах экономики, в том числе и в финансовой отрасли», — рассказал Дмитрий Гребенщиков.
Компания активно работает с предприятиями с госучастием, поэтому задачи импортозамещения в условиях цифровой трансформации являются для нее особенно актуальными. В партнерском проекте «Диасофт» разработал интеграционный инструмент для ускоренной миграции данных — SUP (Streaming Unloader in Parallels). Он позволяет выполнять перенос данных из СУБД Oracle на Arenadata DB со скоростью 1 Гбайт/с.
В компании DIS Group интегрировали платформы Informatica и Arenadata. «Партнерство с Arenadata для нас стратегическое: мы высоко оцениваем синергетический эффект совместного использования этой платформы с решениями для управления данными Informatica», — сообщил Олег Гиацинтов, технический директор DIS Group. Для успешного функционирования любой платформы требуется обеспечить качество данных, возможность их обезличивания и защиты, а также построения каталога данных. Быстрая и точная оценка данных, выявление их бизнес-значимости ускоряют процессы работы с информацией. Не менее важными эффектами становятся снижение требований к команде и унификация процессов разработки.
Цифровые экосистемы на практике
Наблюдаемые на рынке тенденции оказывают влияние и на потребности заказчиков. Например, в рамках проектов по цифровизации банк «ВТБ» принял решение о создании единой платформы данных с масштабной миграцией ИТ-инфраструктуры на платформу Arenadata EDP.
«В первую очередь нам потребовалось научиться по-новому работать с данными», — отметила Ирина Петровская, вице-президент, заместитель руководителя департамента управления и координации технологических изменений банка «ВТБ».
В ходе проекта требовалось отказаться от разрозненных систем хранения и обработки данных, устранить дублирование, оптимизировать регламент загрузки данных, заменить устаревающий технологический стек. А кроме того — существенно снизить стоимость владения и сократить время вывода новых продуктов на рынок. При выборе решения ориентировались на возможности продукта и наличие опыта его использования, а также учитывали валютные и санкционные риски.
В рамках трансформации в банке было запущено 15 программ. Командам проектов приходится осуществлять поддержку одновременно двух архитектур: старой и новой. Создавая новую архитектуру, банк продолжает поддерживать старую, при этом увеличивает темп внедрения изменений и повышает качество данных.
«Главные преимущества решения Arenadata — это возможность масштабировать как ресурсы для хранения, так и вычислительные ресурсы, а также доступность архивов систем-источников в Hadoop и интеграция с потоковыми данными», — считает Павел Денисенко, руководитель управления архитектуры данных компании X5 Retail Group.
X5 активно выходит на рынок онлайн-сервисов, выпускает для партнеров продукты, основанные на больших данных, расширяя при этом спектры источников и типы потребителей данных. Компании требовалось гибкое единое хранилище, которое должно было стать общим информационным полем для потребителей всех типов. Его построили на базе Arenadata DB и SAS Data Integration Studio. Перспективным направлением развития созданной в X5 платформы является переход на облачную инфраструктуру.
***
Несколько лет назад, когда рынок платформ данных только зарождался, у компаний не было ни экспертизы, ни кадров, ни опыта эксплуатации решений. Для популяризации новых технологий нужно было «нести в массы» новые знания, учить потребителей эксплуатировать системы и получать пользу от технологий. Сейчас ситуация радикально изменилась: и технологии, и заказчики выходят на новый уровень, и доказательством этого становится появление экосистем. Игроки объединяются, ищут свое место в новом ландшафте. Очевидно, что рынок будет развиваться именно в этом направлении, а успех компаний — во многом определяться силой созданного вокруг их продуктов сообщества.
