Інфраструктура даних Enterprise знаходиться в точці розриву. Організації уточують у складності, коли вони намагаються керувати зростаючими вимогами аналітики в режимі реального часу, персоналізованого досвіду клієнтів та функцій, керованих AI. Традиційні підходи ETL та ELT не були розроблені для сьогоднішніх вимог. Вони змушують команди обкладатися окремими інструментами, створюючи крихкі інтеграції, які розбиваються, коли вони вам найбільше потрібні.

Результатом є крихкий ланцюг систем, де одна невдача може знизити кілька систем, дані надходять на години або дні пізно, і коштує спіраль, оскільки команди додають більше інструментів для вирішення кожної проблеми. Інженерні команди потрапляють у режим технічного обслуговування замість того, щоб доставити функції, які насправді сприяють діловій цінності.

Вирішуючи цю проблему, Еліф Сен, який провів свою кар'єру на перехресті технології та бізнес -стратегії. З моменту приєднання до лиману в перші дні Сен формував стратегію компанії, залишаючись на передньому плані цієї еволюції інфраструктури. Лікар вирішує проблему фрагментації, об'єднавши трубопроводи з потокової та пакетної даних на одній платформі, і вона безпосередньо працює з клієнтами, що орієнтуються на цей перехід, перетворюючи свої оперативні больові точки на рішення, які можуть масштабувати їхній бізнес.

Розбиття фрагментованого стека даних

Для розробників, які будують сучасну інфраструктуру даних, фрагментація стала постійним головним болем. Аналітика, операції та AI/ML Використовують випадки, кожен вимагає власного трубопроводу, створюючи розповсюдження інструментів, що утримуються разом з крихкими інтеграціями. Як стверджує Сен, це перетворює інженерні команди “Няня інфраструктури”, Постійне полювання на невдачі замість того, щоб будувати продукт.

“Фрагментація робить реалізацію складним”, вона пояснює. “Команди хочуть побудувати одне, але в кінцевому підсумку керують п'ятьма різними інструментами для переміщення даних.”

Оперативні витрати швидко накопичуються. Фрагментація означає більше речей, які можуть піти не так, довше чекає простих змін та інфраструктурних рахунків, які продовжують збільшуватися. Особливості в режимі реального часу (як тільки рекламуються як трансформаційні для всього, від персоналізації клієнтів до оперативних інформаційних панелей) часто залишаються недосяжними, оскільки системи, необхідні для їх підтримки, вимагають занадто багато інженерних зусиль для надійного реалізації.

На практиці запуски затримуються, витрачають спіраль поза контролем, а розробники витрачають свої дні, фіксуючи трубопроводи даних замість того, щоб створити функції клієнтів. У міру зростання стека даних складність стає все більш паралізованою, і більшість команд в кінцевому рахунку приймають ці обмеження, а не вирішують постійно зростаючий технічний борг.

Як це лиман вирішує це

Лиман вирішує цю проблему шляхом консолідації потокових та пакетних робочих процесів. Замість того, щоб змушувати компанії підтримувати окремі системи або повністю відновлювати свою інфраструктуру, коли вони переростають обробку партії або потребують нових можливостей, лиман дозволяє командам почати прості та масштабувати, виконуючи як потоки в режимі реального часу, так і заплановані пакетні завдання на одній платформі.

“Однією з ключових сил лиману є те, що ми можемо впоратися як з реального часу, так і з пакетною обробкою з однаковою простотою”,. Сен пояснює. “Вам не потрібні різні інструменти для різних навантажень.”

Ця гнучкість має значення, оскільки вимоги бізнесу рідко залишаються статичними. Команда може почати з нічних робочих місць ETL для звітування, а потім виявити, що вони потребують аналітики клієнтів у прямому ефірі, оперативному моніторингу в режимі реального часу або потокових даних для моделей машинного навчання. Традиційно ця еволюція означала болісну інфраструктурну ремонт та систем відновлення з нуля з новими інструментами та архітектурами. Лиман усуває це вузьке місце.

“Розумний підхід”, Сен каже, “Дає командам одну платформу, яка масштабується зі своїми потребами в бізнесі, тому вони не зафіксовані в архітектурні рішення, які вони приймали в перший день. Це дає підприємствам гнучкість розвивати свою інфраструктуру даних, не відновлюючи весь свій стек, коли вони ростуть та додають нових випадків використання”.

Для багатьох підприємств це відкрило можливості, які вони спочатку не розглядали. Те, що починається як проста звітність, часто перетворюється на платформи даних клієнтів у режимі реального часу, миттєве відстеження поведінки клієнтів та оперативні показники в прямому ефірі, все, що дозволяє командам, навіть з обмеженою технічною експертизою, будувати трубопроводи підприємства за лічені хвилини.

Переклад потреб клієнтів на стратегію

ELIF сидить на перетині відгуків клієнтів, розробки продукту та стратегії бізнесу. Її роль передбачає перетворення вільно визначених відгуків клієнтів у чіткий напрямок продукту, при цьому переконання, що команда будує рішення, що вирішують правильні проблеми.

“Клієнти говорять вам, що вони думають, що їм потрібно”, вона пояснює, “Але наша робота – розкрити справжню проблему, яку вони намагаються вирішити”. Цей підхід сформував дорожню карту продукту лиману, забезпечуючи функції, що стосуються послідовних та системних больових точок, а не одноразових запитів. Визначаючи закономірності в відгуках клієнтів, вона розкриває можливості вдосконалити більш широку стратегію лиману.

Наприклад, SEN працював над тим, щоб налагодити структуру ціноутворення на лиману на основі моделей використання клієнтів, що робить витрати більш передбачуваними та краще узгоджуватися з тим, як підприємства масштабуються з платформою. Аналогічно, з боку продукту вона допомагає визначити пріоритетні запити на функції, такі як нові роз'єми джерел даних на основі більш широкого попиту на ринку та стратегічного пристосування, а не просто вирішення індивідуальних запитів, коли вони надходять.

Її мета – забезпечити, щоб лиман безперешкодно інтегрується з тим, як вже працюють команди, а не вимагати від них прийняти нові жорсткі системи.

Майбутнє інфраструктури даних

Вибір інфраструктури даних відчуває себе ризикованим для багатьох команд, оскільки вибір неправильної платформи сьогодні може означати дорогі відновлення завтра. Сен вважає, що саме тому платформи, як лиман, визначатимуть наступне покоління, будучи достатньо гнучкими, щоб адаптуватися до потреб кожного бізнесу.

Її бачення майбутнього включає платформи, які можуть впоратися з будь-якими новими випадками використання, будь то обробка поведінки клієнтів у режимі реального часу для персоналізації, підтримка нових потреб у дотриманні регуляторних норм або інтеграція з технологіями, які ще не існують. Ключовим моментом є будівельні системи, що масштабуються з напрямком, який веде бізнес.

Наразі зосередженість Сена залишається на наданні єдиних, надійних інструментів, які безкоштовні команди, щоб створити те, що має значення, замість боротьби зі складністю інфраструктури.