Бизнесът рядко работи с един източник на данни вече. Клиент може да разглежда уебсайт, да отваря имейл, да говори с поддръжка, да използва продукт, да изостави количка и в крайна сметка да се свърже с отдела по продажбите. Всяко взаимодействие може да остави запис в различна система, често в различен формат.
Езерото с данни предоставя на бизнеса място, където да обедини тези записи, без да е необходимо всеки източник първо да се вписва в предварително дефинирана структура. Тази гъвкавост го прави полезно, когато въпросите все още не са известни, когато данните включват формати като аудио или лог файлове или когато е необходимо да се запазят големи исторически набори от данни за анализ.
Но съхраняването на всичко не е същото като правенето на всичко полезно. Без каталогизиране, контрол на качеството, правила за достъп и ясни случаи на употреба, езерото с данни може да се превърне в още един силоз.
Какво е езеро от данни?
Езерото за данни е централизирана среда за съхранение, предназначена да съхранява големи обеми данни в оригиналния или почти оригиналния им вид. Вместо да изисква всеки набор от данни да отговаря на фиксирана структура преди съхранение, тя може да съхранява различни видове информация и да прилага структура, когато тези данни са необходими за анализ.
Това го прави подходящ за данни като:
- Структурирани данни: Таблици от бази данни, електронни таблици, транзакции и други записи, организирани в определени полета.
- Полуструктурирани данни: JSON, XML, събития на приложения и лог файлове, които съдържат етикети или ключове, но не следват една фиксирана релационна структура.
- Неструктурирани данни: Записи на разговори, документи, изображения, видеоклипове, преписи и друго съдържание, което не се побира естествено в редове и колони.
Важното разграничение е когато данните са структурирани.
Традиционната релационна система обикновено дефинира модела на данните, преди да съхрани информацията. Езерото с данни може първо да съхрани изходните данни и да определи как да ги интерпретира или трансформира, когато анализатор, приложение или процес на машинно обучение се нуждаят от тях.
Тази гъвкавост улеснява въвеждането на нови източници на данни в средата. Тя също така създава отговорност: някой все още трябва да знае какво означават данните, откъде идват, дали са надеждни и кой има право да ги използва.
Работен процес на езерото с данни
Езерото с данни премества данните през няколко свързани етапа, от събирането до анализа. Всеки етап има специфична задача, а управлението обхваща целия процес.
- Съберете данните: Данните идват от CRM и ERP системи, уебсайтове, мобилни приложения, IoT устройства, платежни платформи и източници от трети страни.
- Приемете данните: Процесът на приемане премества данни в езерото чрез планирани партиди или непрекъснати потоци, в зависимост от това колко бързо трябва да бъдат достъпни.
- Съхранявайте данните: Езерото запазва данните в оригиналния или почти оригиналния им вид. Облачното съхранение на обекти се използва често, защото може да обработва големи обеми и различни файлови формати.
- Обработете данните: Аналитичните работни процеси и работните процеси за машинно обучение почистват, комбинират, трансформират или структурират данните за конкретен въпрос или случай на употреба.
- Използвайте данните: Анализаторите могат да правят заявки към данните чрез инструменти за бизнес разузнаване, докато специалистите по данни и приложенията могат да ги използват за анализи, машинно обучение и други натоварвания.
- Управлявайте данните: Контролът на достъпа, каталозите, произходът на данните, проверките за качество, правилата за съхранение и мерките за сигурност помагат за поддържането на точността, откриваемостта и подходящата защита на данните.
Ключовата идея е, че съхранението и интерпретацията са разделениСледователно, един и същ суров източник може да поддържа различни аналитични приложения, без трайно да променя оригиналните данни за един конкретен отчет.
Ключови компоненти на езерото с данни
Едно функциониращо езеро с данни се нуждае от повече от голям контейнер за съхранение. Данните трябва да влизат надеждно, да останат откриваеми, да се обработват ефективно и да достигат до потребителите във форма, която те реално могат да използват. Шестте компонента по-долу обхващат основната архитектура.
1. Източници на данни
Източниците осигуряват суровината за езерото.
Типични примери са:
- CRM записи
- ERP транзакции
- Събития на уебсайта
- Регистри на приложението
- IoT телеметрия
- Системи за поддръжка на клиенти
- Маркетингови платформи
- Набори от данни от трети страни
- Документи, аудио, изображения и видео
Стойността на добавянето на източник зависи от това какво бизнесът възнамерява да научи от него. Събирането на всяко налично събитие без цел увеличава изискванията за съхранение и управление, без непременно да подобрява анализа.
2. Поглъщане на данни
Приемането премества данни от изходните системи в езерото. Два често срещани подхода са:
- Пакетно приемане: Данните се прехвърлят на планирани интервали. Това работи добре за отчитане и случаи на употреба, където са достатъчни почасови или дневни актуализации.
- Поемане на стрийминг: Събитията се предават непрекъснато или с много ниска латентност. Това е по-подходящо, когато решенията зависят от скорошни събития, като например наблюдение в реално време или приложения, управлявани от събития.
Стриймингът не е автоматично по-добър. Той въвежда допълнителна инфраструктурна и оперативна сложност, така че бизнес казусът трябва да определи дали по-ниската латентност е действително ценна.
3. съхранение
Съхранението съхранява входящите данни и свързаните с тях метаданни. Обектното съхранение е често срещано, защото може да обработва големи набори от данни и множество типове файлове, без да е необходимо всеки файл да отговаря на една и съща схема.
Цената за съхранение обаче е само една част от икономиката. Обработката, преносът на данни, сигурността, мониторингът, управлението и натоварването от заявки също могат да допринесат значително за общите разходи за експлоатация на езеро с данни.
4. Обработка
Обработката преобразува съхранените данни във форма, подходяща за определена употреба. Например, един бизнес може:
- Премахване на дублиращи се записи
- Стандартизиране на времевите марки
- Обединяване на клиентски идентификатори в различни системи
- Извличане на настроения от разговорите за поддръжка
- Преобразувайте събитията в поведенчески характеристики
- Агрегирани транзакции
- Подготовка на данни за обучение за модел на машинно обучение
Суровият източник може да остане запазен, докато тези трансформации се създават за специфични аналитични цели.
5. управление
Управлението определя дали хората действително могат да се доверят на данните и да ги използват безопасно.
Може да включва:
- Каталози с данни
- Записи за собственост
- Произход на данни
- Проверки на качеството
- Контрол на достъпа
- Правила за поверителност
- Политики за задържане
- Одитни пътеки
Това е особено важно, когато езерото съдържа информация за клиентите. Централизираното съхранение на данни не премахва задълженията за поверителност, сигурност или съответствие, свързани с тези данни.
6. Консумация
Слоят за потребление е мястото, където съхранените данни стават полезни. Различните потребители могат да консумират една и съща основна информация чрез:
- BI табла за управление
- SQL заявки
- Аналитични приложения
- Канали за машинно обучение
- Тетрадки за наука за данни
- Оперативни приложения
Едно езеро с данни е успешно само когато този слой води до полезен анализ или действие. Големите обеми съхранени данни не са резултат сами по себе си.
Data Lake срещу Data Warehouse
Езерата от данни и хранилищата от данни решават свързани, но различни проблеми. Хранилището от данни обикновено е проектирано около структурирани, повтарящи се аналитични въпроси, докато езерото от данни осигурява по-голяма гъвкавост за сурови, разнообразни и проучвателни данни.
| Атрибут | Езерото на данните | Склад за данни |
| Данните са приети | Структурирани, полуструктурирани, неструктурирани | Предимно структуриран |
| Състояние на данните | Често се съхранява в суров вид | Почистено и трансформирано |
| Когато се прилага структура | Обикновено по време на анализ или трансформация | Преди или по време на товарене |
| Често срещани потребители | Учени по данни, инженери, анализатори | Анализатори, бизнес екипи |
| Типична якост | Проучване и разнообразни данни | Последователно отчитане и анализи |
| Изпълнение на заявката | Зависи от архитектурата и натоварването | Обикновено оптимизиран за повтарящи се заявки |
| Често използвани случаи | Изкуствен интелект, проучване, поведенчески данни | Бизнес разузнаване, финансово отчитане, оперативен анализ |
Разликата става по-ясна, когато се разгледат въпросите, на които всяка система е предназначена да отговори.
Складът е подходящ за въпроси като:
- Какви бяха продажбите по региони през последното тримесечие?
- Коя продуктова категория генерира най-висок марж?
- Как се промени отпадането на клиенти през последната година?
Тези въпроси са предварително известни, така че данните могат да бъдат почистени и организирани около тях.
Езерото е по-полезно, когато бизнесът иска да проучи информация, която не се вписва точно в тези предварително дефинирани структури.
Например:
- Разговорите за поддръжка съдържат ли сигнали, които предсказват отлив?
- Влияе ли употребата на продукта на подновяването?
- Коя последователност от действия на уебсайта е свързана с конверсия?
- Могат ли записите на разговори да предоставят полезна информация за модел за прогнозиране на продажбите?
Поради това много организации използват и двете. Складът поддържа установено отчитане, докато езерото предоставя по-широка среда за проучване, машинно обучение и разнообразни данни.
Важна забележка: Езерото с данни е аналитична среда за данни. То може да съхранява и обработва информация за клиентите, но не замества оперативните функции, които управляват потенциални клиенти, сделки, случаи, кампании или взаимодействия с клиенти – например как... CRM мога.
Предимства на Data Lake
Най-силната причина за изграждането на езеро с данни не е просто колко данни може да съхранява. Неговата стойност идва от запазването на различни видове информация и нейния анализ, за да се отговорят на въпроси, на които съществуващите операционни системи не могат да отговорят ефективно.
Мащабиране без препроектиране на всеки източник
Езерото от данни може да побере нарастващи обеми, без да е необходимо всеки нов набор от данни да се вписва в съществуваща релационна схема.
Това е полезно, когато даден бизнес добави:
- Ново приложение
- Нов продукт
- Нов клиентски канал
- Придобит бизнес
- Нов източник на поведенчески данни
Новият източник може да бъде приет и каталогизиран, без първо да се препроектира всяка съществуваща аналитична таблица.
Поддръжка за различни типове данни
Много полезни бизнес сигнали не пристигат като спретнати редове и колони.
Едно езеро може да задържи:
- Записи на разговори
- Подкрепете преписите
- Изображения на продукта
- Документи
- Събития на уебсайта
- Регистри на приложението
- IoT телеметрия
Тези източници могат по-късно да бъдат трансформирани във характеристики или набори от данни за специфични аналитични цели.
Гъвкава основа за изкуствен интелект и машинно обучение
Проектите с изкуствен интелект често изискват исторически данни от множество източници. Едно езеро може да осигури централна среда за запазване на тази информация и подготовката ѝ за разработване на модели.
Но повече данни не водят автоматично до по-добър изкуствен интелект.
Данните все още трябва да бъдат:
- Относимо към прогнозата
- Правилно етикетирано, където е необходимо
- Достатъчно последователен за анализ
- Представител на моделираната популация
- Правилно управлявано
- Достъпно за работния процес на моделиране
Предимството на езерото е, че то може да запази по-широк спектър от потенциални сигнали, преди бизнесът да разбере кои от тях ще се окажат полезни.
Намаляване на изолацията на аналитични данни
Едно езеро може да обедини информация от няколко системи в обща аналитична среда.
Например, търговец на дребно може да комбинира:
Транзакции + поведение на уебсайта + маркетингово взаимодействие + обслужване на клиенти
вместо да се изискват четири системи за четири отделни доклада.
Това не елиминира всеки проблем с интеграцията, но може да намали многократното експортиране и ръчното съгласуване за аналитични натоварвания.
Не бъркайте съхранението с използваемостта: Едно езеро може да се превърне в „блато от данни“, когато наборите от данни са лошо документирани, трудни за намиране, ненадеждни или скъпи за запитване. Следователно управлението, каталогизирането, контролът на качеството и собствеността са част от архитектурата, а не незадължителна работа по почистване.
Случаи на използване на Data Lake
Езерата от данни стават ценни, когато даден бизнес трябва да анализира информация, която е твърде разнообразна, твърде голяма, твърде историческа или твърде разпределена, за да могат съществуващите му системи да я обработват ефективно.
Междусистемен анализ
Едно езеро може да комбинира информация от системи, проектирани за различни оперативни цели.
Например, един бизнес може да анализира:
- История на покупките
- Активност на уебсайта
- Маркетингова ангажираност
- Взаимодействия с поддръжката
- Използване на продукта
в един единствен аналитичен работен процес.
Това може да разкрие взаимовръзки, които са трудни за идентифициране, когато всяка система се анализира поотделно.
Машинно обучение и AI
Езерото може да осигури централна среда за подготовка на исторически данни за машинно обучение.
Възможните приложения включват:
- Прогноза за отпадане
- Прогнозиране на търсенето
- Системи за препоръки
- Разкриване на измами
- Моделиране на склонността на клиентите
- Прогнозна поддръжка
Езерото не създава самия модел. То осигурява съхранение и достъп до данните, необходими за изграждане, тестване и подобряване на моделите.
Анализ на поведението на клиентите
Оперативните CRM системи обикновено събират информация, необходима за управление на взаимоотношенията с клиентите. Едно езеро може да съхранява по-широк поток от поведенчески събития.
Те могат да включват:
- Пътешествия на уебсайта
- Търсене
- Събития от сесията
- Изоставяне на количката
- Използване на продукта
- Взаимодействия по имейл
- Поддържаща дейност
Анализирането на тези събития във времето може да помогне на бизнеса да идентифицира модели, които не са видими в отделните CRM записи.
Консолидиране на данни след придобивания
Придобиванията често оставят бизнеса с няколко CRM, ERP, аналитични и операционни системи. Езеро от данни може да осигури обща аналитична среда, без да е необходимо всяка наследена система да бъде мигрирана незабавно. Това може да бъде полезно, когато непосредствената цел е да се анализира обединеният бизнес, докато дългосрочната консолидация на системите все още се планира.
Как Data Lakes поддържат CRM, задвижван от изкуствен интелект
CRM системата съдържа информацията, от която бизнесът се нуждае, за да управлява взаимоотношенията с клиентите. Езерото с данни може да съдържа много по-широка история на поведението на клиентите, използването на продукти, дигиталната активност и взаимодействията.
Свързването на двете може да даде на системите с изкуствен интелект допълнителни сигнали за анализ. Но езерото не подобрява автоматично CRM модела. Данните първо трябва да бъдат релевантни, свързани с правилния клиент или акаунт, управлявани и достъпни за моделиране или оперативен работен процес.
Добавете контекст извън CRM записа
- Структура на CRM базата данни може да съдържа информация за контакт, история на сделките, дейности, случаи и други записи за взаимоотношения.
Езерото с данни може да добави информация, която CRM обикновено не запазва изцяло, като например:
- Подробни събития на уебсайта
- Използване на продукта
- Записи на разговори
- Регистри на приложението
- Исторически поведенчески събития
Заедно тези източници могат да предоставят по-широка представа за това какво се е случило преди, по време и след взаимодействието с клиента.
Дайте на предсказуемите модели по-подходящи сигнали
Предсказващи модели на изкуствен интелект може да използва исторически модели, за да оцени вероятните резултати.
Например, моделът на отпадане на клиенти би могъл потенциално да вземе предвид активността по поддръжката на клиенти, използването на продукта, ангажираността и историята на покупките, вместо да разчита само на един сигнал.
Важната дума е „уместно“. Добавянето на хиляди несвързани полета може да увеличи сложността, без да подобри прогнозирането. Добрият изкуствен интелект зависи от полезни сигнали, чисти данни, подходящо моделиране и текуща оценка.
Подобряване на сегментирането на клиентите
Модели за сегментиране на клиенти може да стане по-фокусирано върху поведението, когато са налични допълнителни събития за клиентите.
Вместо да групира клиентите само по това, което са закупили, бизнесът може да прави разлика между клиенти, които:
- Разглеждам често, но рядко купувам
- Пазарувайте редовно и участвайте в кампании
- Използвам продукт интензивно, но напоследък съм намалил употребата си
- Свържете се с поддръжката многократно преди подновяване
Тези модели могат да доведат до по-полезно таргетиране, отколкото демографските или сегментите само за транзакции.
Подобрено въвеждане на данни в CRM автоматизацията
AI CRM възможности може да използва данни за клиенти и взаимодействия, за да поддържа препоръки, прогнози и други автоматизирани работни процеси.
Аналитичният слой и CRM все още имат различни задачи.
Езерото с данни може да помогне за подготовката и анализа на по-широки набори от данни. CRM е мястото, където получената информация става оперативна, като например идентифициране на клиент, който се нуждае от внимание, или препоръчване на следващо действие.
Тази последна стъпка е важна. Прозрение, което остава в аналитична среда, не подобрява клиентското изживяване, докато някой или нещо не може да действа въз основа на него.
Преди изграждането на езеро с данни: Проверете дали проблемът действително изисква такова. Ако вашият бизнес може да отговори на въпросите си, свързани с отчитането и управлението на клиенти, със съществуваща CRM, склад, BI платформа или директни интеграции, езерото с данни може да доведе до ненужна работа, свързана със съхранение, инженеринг, сигурност и управление.
Внедряване на кладенец от езерото с данни
Проектът за езеро с данни трябва да започне с бизнес въпросите, на които трябва да отговори, а не с решение за това колко място за съхранение да се осигури. Най-полезните реализации също така установяват управлението и собствеността рано, вместо да се третират като по-късно почистване.
Започнете с конкретни въпроси
Определете първите случаи на употреба, преди да събирате данни.
Например:
- Кои клиенти е най-вероятно да се откажат?
- Какво поведение на продукта предсказва подновяване?
- Кои взаимодействия с кампании влияят на конверсията?
- Кои модели на подкрепа показват неудовлетвореност?
Ясен въпрос помага да се определи кои източници всъщност принадлежат към първата версия на езерото.
Каталогизиране на данни от самото начало
Всеки набор от данни трябва да съдържа основна информация за:
- Какво съдържа
- Откъде дойде
- Кой го притежава
- Колко често се актуализира
- Колко е надеждно
- Кой има достъп до него
Без тази информация, нарастващата колекция от файлове става трудна за интерпретиране.
Прилагане на контрол на сигурността и достъпа
Данните за клиенти и служители могат да съдържат лична или по друг начин чувствителна информация.
Следователно политиките за достъп следва да определят:
- Кой има достъп до всеки набор от данни
- Кои полета изискват допълнителна защита
- Колко дълго трябва да се съхранява информацията
- Как се одитира използването на данни
- Как чувствителната информация е маскирана или ограничена
Контролите трябва да се прилагат за езерото като част от по-широката среда с данни, а не като последваща мисъл.
Същият принцип важи и за CRM среди. Например Контроли за сигурност на CRM са предназначени да ограничат достъпа до клиентски и бизнес записи според организационните изисквания.
Изберете пакетно или стрийминг според нуждите
Не избирайте стрийминг, само защото звучи по-сложно. Пакетното приемане може да е достатъчно, когато бизнесът анализира дневни или почасови промени. Стриймингът става по-ценен, когато решенията зависят от събития, пристигащи в рамките на секунди или минути. Правилният избор зависи от бизнес последиците от латентността.
Измерване на употребата и бизнес резултатите
Езерото с данни трябва да се оценява по резултати, а не по обем на съхранение.
Полезните мерки включват:
- Брой активни аналитични случаи на употреба
- Използване на заявка или набор от данни
- Време, необходимо за подготовка на данните
- Намаляване на ръчното сверяване
- Производителност на модела
- Спестено време за отчитане
- Въздействие върху приходите или задържането на персонал, където е измеримо
Езеро, съдържащо петабайти данни, но не поддържащо никакви смислени решения, не е успешна платформа за данни.
Как Vtiger превръща CRM данните в действие
Езерото с данни и CRM имат различни задачи. Езерото с данни поддържа по-широки аналитични натоварвания, докато CRM помага на екипите да управляват информацията за клиентите, продажбите, взаимодействията с услугите и последващите действия. Vtiger се фокусира върху превръщането на данните, които вече са налични в CRM, в полезни решения. Vtiger's Изчисление AI Използва CRM данни и взаимодействия с клиенти, за да предоставя прогнозни анализи и препоръки. Поддържа възможности като прогнозно оценяване на потенциални клиенти, прогнозиране на продажбите, анализ на разговорите и препоръки за следващо най-добро действие.
Често задавани въпроси (FAQ)
В1. Какво е езеро с данни?
Езерото с данни е централизирана среда за съхранение на големи обеми от структурирани, полуструктурирани и неструктурирани данни. Тя може да запази данните в оригиналния им вид и да приложи структурата по-късно, когато информацията е подготвена за анализ.
В2. Какви са предимствата на езерото с данни?
Езерото с данни може да побере различни типове данни, да се мащабира до големи обеми, да съхранява историческа информация за анализ и да осигурява обща среда за данни от множество системи. Тези предимства зависят от ефективното управление, сигурността, каталогизирането и качеството на данните.
В3. Кои са често срещаните случаи на употреба на езерото с данни?
Често срещаните случаи на употреба включват междусистемен анализ, машинно обучение, анализ на поведението на клиентите, прогнозиране на търсенето, системи за препоръки и консолидиране на аналитични данни от множество бизнес единици или наследени системи.
В4. Каква е разликата между езеро с данни и хранилище с данни?
Хранилището за данни обикновено съхранява структурирани и подготвени данни за установени аналитични и отчетни нужди. Езерото за данни осигурява по-голяма гъвкавост за сурови и разнообразни данни, което го прави полезно за проучване, машинно обучение и случаи на употреба, където необходимата структура на данните не е предварително известна.
В5. Как езерото с данни поддържа изкуствен интелект?
Езерото с данни може да осигури централна среда за запазване и подготовка на исторически данни от множество източници. Това може да даде на екипите за машинно обучение достъп до по-широк набор от подходящи сигнали, въпреки че повече данни не водят автоматично до по-добър модел.
В6. Може ли езеро с данни да подобри CRM?
Езерото с данни може да предостави допълнителни данни за поведение, продукти и взаимодействия, които могат да обогатят CRM анализите и AI моделите. Данните трябва да бъдат релевантни, надеждни, правилно свързани с клиентските записи, управлявани и достъпни за CRM или моделиране на работния процес, преди да могат да предоставят стойност.
Въпрос 7. Каква е ролята на езерата от данни в CRM, задвижвани от изкуствен интелект?
Езерото от данни може да служи като по-широка аналитична среда за данни, докато CRM остава оперативната система за управление на взаимоотношенията с клиентите. Анализите, разработени от по-широки набори от данни, могат потенциално да подкрепят CRM прогнози, сегментиране, препоръки и други действия, насочени към клиентите.
В8. Всеки бизнес има ли нужда от езеро с данни?
Не. Езерото с данни е най-полезно, когато даден бизнес разполага с големи или разнообразни набори от данни, които съществуващите системи не могат да анализират ефективно, множество източници, които трябва да бъдат изследвани заедно, или изисквания за машинно обучение и анализ, които оправдават допълнителните инженерни и управленски усилия.
