如今，企業很少只依賴單一資料來源。客戶可能會瀏覽網站、開啟電子郵件、聯絡客服、使用產品、放棄購物車，最終也會聯絡銷售人員。每一次互動都會在不同的系統中留下記錄，而且記錄格式通常也不同。
資料湖為企業提供了一個匯集各種記錄的平台，無需預先設定每個資料來源的結構。這種靈活性使其在以下情況下非常有用：問題尚不明確、資料包含音訊或日誌等格式，或需要保留大型歷史資料集以供分析。
但儲存所有資料並不等於讓所有資料都發揮作用。如果沒有編目、品質控制、存取規則和清晰的使用案例，資料湖就會變成另一個資訊孤島。
什麼是數據湖？
資料湖是一種集中式儲存環境，旨在以原始或接近原始的形式儲存大量資料。它無需每個資料集在儲存前都符合固定的結構，而是可以保留不同類型的信息，並在需要進行分析時應用結構。
這使其適用於以下資料類型：
- 結構化數據： 將資料庫、電子表格、交易記錄和其他記錄整理成表格，並按定義的欄位進行組織。
- 半結構化資料： JSON、XML、應用程式事件和日誌包含標籤或按鍵，但不遵循一個固定的關係結構。
- 非結構化數據： 通話錄音、文件、影像、視訊、文字記錄以及其他不適合自然以行和列形式呈現的內容。
重要的區別在於 當資料結構化時.
傳統的關係型系統通常在儲存資訊之前定義資料模型。而數據湖可以先儲存來源數據，並在分析師、應用程式或機器學習流程需要時確定如何解釋或轉換這些數據。
這種靈活性使得將新的資料來源引入環境變得更加容易。但也帶來了一項責任：仍然需要有人了解數據的含義、來源、可靠性以及誰有權使用這些數據。
資料湖工作流程
資料湖將資料從收集到分析，依序經過幾個相互關聯的階段。每個階段都有其特定的任務，而治理則貫穿整個流程。
- 收集數據： 數據來自 CRM 和 ERP 系統、網站、行動應用程式、物聯網設備、支付平台和第三方來源。
- 導入數據： 攝取過程透過預定的批次或連續流將資料移入資料湖，具體取決於資料需要多快可用。
- 儲存資料： 資料湖以原始或接近原始的形式保留資料。雲端物件儲存因其能夠處理大量資料和不同檔案格式而被廣泛使用。
- 處理數據： 分析和機器學習工作流程可以清理、合併、轉換或建立數據，以解決特定問題或用例。
- 使用這些數據： 分析師可以透過 BI 工具查詢數據，而數據科學家和應用程式可以用於分析、機器學習和其他工作負載。
- 數據管理： 存取控制、目錄、資料沿襲、品質檢查、保留規則和安全措施有助於維持資料的準確性、可發現性和適當的保護。
關鍵在於… 儲存和解釋是分開的。因此，同一原始資料來源可以支援不同的分析用途，而無需為了某個特定報告而永久改變原始資料。
資料湖的關鍵組成部分
一個功能完善的資料湖需要的不僅僅是一個大容量儲存桶。數據必須可靠地流入，保持可發現性，有效地處理，並以使用者實際可以使用的形式呈現。以下六個元件涵蓋了核心架構。
1。 數據源
水源為湖泊提供原料。
常見的例子包括：
- CRM記錄
- ERP交易
- 網站活動
- 應用程式日誌
- 物聯網遙測
- 客戶支援系統
- 行銷平台
- 第三方資料集
- 文件、音訊、圖像和視頻
增加資料來源的價值取決於企業希望從中獲取什麼資訊。漫無目的地收集所有可用事件會增加儲存和治理需求，而未必能提升分析效果。
2.資料擷取
資料攝取是指將資料從來源系統傳輸到資料湖。兩種常見的方法有：
- 大量攝取： 資料依預定時間間隔傳輸。這種方式非常適合需要每小時或每天更新一次的報告和其他使用情境。
- 串流媒體攝取： 事件以連續或極低延遲的方式傳輸。這更適用於決策依賴近期事件的情況，例如即時監控或事件驅動型應用。
串流媒體並非一定更好。它會增加基礎設施和營運的複雜性，因此，應該根據商業案例來判斷更低的延遲是否真的有價值。
3。 存儲
儲存用於保存傳入的資料及其關聯的元資料。物件儲存之所以常見，是因為它可以處理大型資料集和多種檔案類型，而無需每個檔案遵循相同的模式。
然而，儲存成本只是經濟效益的一部分。處理、資料傳輸、安全性、監控、治理和查詢工作負載也會顯著增加資料湖的營運總成本。
4.加工
處理是將儲存的資料轉換為適合特定用途的形式。例如，企業可能：
- 刪除重複記錄
- 標準化時間戳
- 跨系統合併客戶 ID
- 從客服對話中提取情感傾向
- 將事件轉化為行為特徵
- 總計交易
- 為機器學習模型準備訓練數據
在進行這些轉化以達到特定分析目的的同時，可以保留原始材料。
5. 治理
治理決定了人們是否能夠真正信任並安全地使用資料。
它可以包括：
- 數據目錄
- 所有權記錄
- 數據沿襲
- 質量檢查
- 訪問控制
- 隱私規則
- 保留政策
- 審計跟踪
當資料湖中包含客戶資訊時，這一點尤其重要。集中儲存資料並不能消除與這些資料相關的隱私、安全或合規義務。
6. 消耗
消費層是儲存的資料發揮作用的地方。不同的使用者可以透過以下方式使用相同的底層資訊：
- BI 儀表板
- SQL查詢
- 分析應用
- 機器學習管道
- 數據科學筆記本
- 操作應用
只有當資料湖能夠帶來有用的分析或行動時，它才是成功的。儲存大量資料本身並不能說明問題。
資料湖與資料倉儲
資料湖和資料倉儲解決的是相關但不同的問題。資料倉儲通常圍繞著結構化、可重複的分析問題而設計，而資料湖則為原始、多樣化和探索性資料提供了更大的靈活性。
| 屬性 | 數據湖 | 數據倉庫 |
| 已接受的數據 | 結構化、半結構化、非結構化 | 主要結構 |
| 資料狀態 | 通常以原始形式保留 | 清潔和改造 |
| 當結構應用時 | 通常在分析或轉換過程中 | 裝載前或裝載過程中 |
| 普通用戶 | 資料科學家、工程師、分析師 | 分析師、業務團隊 |
| 典型強度 | 探索和多樣化的數據 | 持續的報告和分析 |
| 查詢效能 | 取決於架構和工作負載。 | 通常針對重複查詢進行最佳化 |
| 常見用例 | 人工智慧、探索、行為數據 | 商業智慧、財務報告、營運分析 |
當我們審視每個系統旨在回答的問題時，這種差異就更加明顯了。
倉庫非常適合回答以下問題：
- 上季各地區的銷售額是多少？
- 哪個產品類別的利潤率最高？
- 過去一年客戶流失率發生了哪些變化？
這些問題是事先已知的，因此可以圍繞這些問題對資料進行清理和整理。
當企業想要探索那些無法完全融入預先定義結構的資訊時，湖泊模型就顯得更有用了。
例如：
- 客服對話中是否包含預測客戶流失的訊號？
- 產品使用情況是否會影響續約？
- 網站操作的哪一系列步驟與轉換有關？
- 通話錄音能否為銷售預測模型提供有用的資訊？
因此，許多組織同時使用這兩種方式。資料倉儲支援既有的報告功能，而資料湖則為探索、機器學習和各種資料提供了更廣泛的環境。
重要注意事項： 資料湖是一個分析型資料環境。它可以儲存和處理客戶訊息，但它並不能取代管理銷售線索、交易、案例、行銷活動或客戶互動等營運職能——例如，如何… CRM 可以。
資料湖的好處
建構資料湖最有力的理由並非僅僅在於它能儲存多少資料。它的價值在於能夠保留不同類型的信息，並對其進行分析，從而解答現有營運系統無法高效解答的問題。
無需重新設計每個資源即可實現規模化
資料湖可以容納不斷增長的資料量，而無需每個新資料集都符合現有的關係模式。
當企業增加以下項目時，這非常有用：
- 一款新應用
- 新產品
- 新的客戶管道
- 被收購的企業
- 一種新的行為資料來源
無需事先重新設計每個現有的分析表，即可攝取和編目新的資料來源。
支援不同資料類型
許多有用的商業訊號並非以整齊的行和列的形式呈現。
湖泊可以蓄積：
- 通話錄音
- 支持性文字記錄
- 產品圖片
- 技術文件
- 網站活動
- 應用程式日誌
- 物聯網遙測
這些資訊隨後可以轉化為特徵或資料集，用於特定的分析目的。
人工智慧和機器學習的靈活基礎
人工智慧專案通常需要來自多個來源的歷史數據。資料湖可以提供一個集中環境，用於儲存這些資訊並為其模型開發做好準備。
但更多的數據並不會自動產生更好的人工智慧。
數據仍需：
- 與預測相關
- 按需正確標註
- 足夠穩定，可以進行分析
- 具有所建模人群的代表性
- 治理得當
- 可用於建模工作流程
湖泊的優勢在於，它可以保存更廣泛的潛在訊號，以便企業在了解哪些訊號會被證明有用之前進行篩選。
減少分析數據孤島
一個資訊湖可以將來自多個系統的資訊匯集到一個共同的分析環境中。
例如，零售商可以結合以下幾種方式：
交易 + 網站行為 + 行銷互動 + 客戶支持
而不是向四個系統請求四份不同的報告。
這並不能消除所有整合問題，但可以減少分析工作負載的重複導出和手動核對。
不要把儲存空間和易用性混淆： 當資料集缺乏完善的文件、難以找到、不可靠或查詢成本高昂時，資料湖就會變成「資料沼澤」。因此，治理、編目、品質控制和所有權都應是架構的一部分，而不是可有可無的清理工作。
資料湖用例
當企業需要分析的資訊過於多樣化、規模過大、歷史過於悠久或分佈過於分散，以至於現有系統無法有效處理時，資料湖就變得很有價值了。
跨系統分析
一個湖泊可以整合來自不同運作目的系統的相關資訊。
例如，企業可以分析：
- 購買歷史
- 網站活動
- 行銷互動
- 支持互動
- 產品用途
在單一分析工作流程中。
這樣可以揭示當每個系統獨立分析時難以辨識的關係。
機器學習與AI
湖泊可以為機器學習提供準備歷史資料的中心環境。
可能的應用領域包括：
- 流失預測
- 需求預測
- 推薦系統
- 欺詐識別
- 客戶傾向性建模
- 預測性維護
該湖泊本身並不會創建模型。它提供儲存和存取建置、測試和改進模型所需的資料。
客戶行為分析
運營型客戶關係管理系統通常會收集管理客戶關係所需的資訊。而資料湖則可以儲存更廣泛的行為事件流。
這些可以包括：
- 網站旅程
- 搜尋活動
- 會議活動
- 購物車遺棄
- 產品用途
- 電子郵件互動
- 支持活動
透過對這些事件進行長期分析，企業可以識別出在單一 CRM 記錄中無法看到的模式。
收購後的數據整合
收購後，企業通常會擁有多個客戶關係管理系統 (CRM)、企業資源規劃系統 (ERP)、分析系統和營運系統。資料湖可以提供一個通用的分析環境，而無需立即遷移所有遺留系統。當短期目標是分析合併後的業務，同時仍在規劃長期系統整合方案時，資料湖就顯得格外重要。
資料湖如何支援人工智慧驅動的客戶關係管理
CRM系統包含企業管理客戶關係所需的資訊。而資料湖則可以包含更廣泛的客戶行為、產品使用、數位活動和互動歷史記錄。
因此，將兩者連接起來可以為人工智慧系統提供更多可供分析的訊號。但資料湖並不會自動改善客戶關係管理 (CRM) 模型。數據首先必須是相關的，與正確的客戶或帳戶關聯，經過管理，並可供建模或營運工作流程使用。
在 CRM 記錄之外新增上下文
这 CRM資料庫結構 可能包含聯絡資訊、交易歷史、活動、案例和其他關係記錄。
資料湖可以添加CRM通常不會完整保留的訊息，例如：
- 網站活動詳情
- 產品用途
- 通話錄音
- 應用程式日誌
- 歷史行為事件
綜合這些資訊來源，可以更全面地了解客戶互動之前、期間和之後發生的事情。
為預測模型提供更相關的訊號
預測性人工智慧模型 可以利用歷史模式來預測可能的結果。
例如，客戶流失模型可以考慮客戶支援活動、產品使用、參與度和購買歷史，而不是僅依賴單一訊號。
關鍵在於「相關性」。增加成千上萬個不相關的欄位會增加複雜性，卻無法提高預測效果。優秀的AI依賴有用的訊號、乾淨的數據、合適的模型以及持續的評估。
改進客戶區隔
客戶細分模型 當有更多客戶事件發生時，可以更重視行為分析。
企業可能不會僅根據顧客的購買商品來分組，而是區分以下類型的顧客：
- 常瀏覽但很少購買
- 定期購買並參與活動。
- 之前經常使用某種產品，但最近減少了使用量。
- 續訂前請多次聯絡客服
這些模式可以帶來比僅基於人口統計或交易的細分更有效的目標定位。
為 CRM 自動化提供更優質的輸入
AI CRM能力 可以利用客戶和互動數據來支援推薦、預測和其他自動化工作流程。
分析層和客戶關係管理階層仍然承擔著不同的職責。
資料湖可以幫助準備和分析更廣泛的資料集。 CRM系統則將分析結果轉化為實際操作，例如識別需要關注的客戶或推薦下一步行動。
最後一步至關重要。如果洞察僅停留在分析層面，而沒有相應的行動，就無法真正改善客戶體驗。
建構資料湖之前： 首先要確認這個問題是否真的需要資料湖。如果你的企業能夠利用現有的客戶關係管理系統 (CRM)、資料倉儲、商業智慧 (BI) 平台或直接整合來滿足其報告和客戶管理方面的需求，那麼資料湖可能會引入不必要的儲存、工程、安全和治理工作。
實施資料湖井
資料湖專案應該從需要解答的業務問題入手，而不是從決定要配置多少儲存空間開始。最有效的實施方案還會儘早建立治理和所有權機制，而不是將其視為後期的清理工作。
先從具體問題著手。
在收集資料之前，先確定首批使用情境。
例如：
- 哪些客戶最有可能流失？
- 哪些產品行為可以預測續訂狀況？
- 哪些行銷互動會影響轉換率？
- 哪些支持模式顯示存在不滿情緒？
明確提出問題有助於確定哪些來源真正屬於湖泊的第一個版本。
目錄資料從頭開始
每個資料集都應該包含以下基本資訊：
- 它包含什麼
- 它來自哪裡
- 它屬於誰？
- 更新頻率
- 它的可靠性如何？
- 誰可以訪問它
如果沒有這些訊息，越來越多的文件將難以解讀。
應用安全和存取控制
客戶和員工資料可能包含個人識別資訊或其他敏感資訊。
因此，存取策略應明確以下內容：
- 誰可以存取每個資料集
- 哪些領域需要額外保護
- 資訊應該保留多久？
- 數據使用如何進行審計
- 敏感資訊如何被屏蔽或限制
控制措施應該作為更廣泛的數據環境的一部分應用於湖泊，而不是事後考慮的。
同樣的原則也適用於客戶關係管理（CRM）環境。例如： CRM安全控制 旨在根據組織要求限制對客戶和業務記錄的存取。
根據需求選擇批量或串流
不要因為串流聽起來更高級就選擇它。如果業務分析的是每日或每小時的變化，大量攝取可能就足夠了。當決策依賴於幾秒或幾分鐘內到達的事件時，串流的價值就體現出來了。正確的選擇取決於延遲對業務的影響。
衡量使用情況和業務成果
應該透過結果而不是儲存容量來評估資料湖。
有效的措施包括：
- 活躍分析用例的數量
- 查詢或資料集使用情況
- 準備資料所需時間
- 減少人工對帳
- 模型表現
- 節省的報告時間
- 在可衡量的情況下，對收入或客戶留存率產生影響。
一個擁有PB級數據但無法支援任何有意義決策的大數據湖，不算是成功的數據平台。
Vtiger 如何將 CRM 資料轉化為實際行動
資料湖和CRM的功能各不相同。數據湖支援更廣泛的分析工作負載，而CRM則幫助團隊管理客戶資訊、銷售活動、服務互動和後續跟進。 Vtiger專注於將CRM中已有的數據轉化為有用的決策。 Vtiger的 微積分AI 它利用客戶關係管理 (CRM) 數據和客戶互動訊息，提供預測性洞察和建議。它支援預測性線索評分、銷售預測、對話分析和最佳行動建議等功能。
常見問題（FAQ）
問題1：什麼是資料湖？
資料湖是一個集中式儲存環境，用於儲存大量結構化、半結構化和非結構化資料。它可以保留資料的原始形式，並在需要進行分析時應用結構化處理。
Q2. 資料湖有哪些好處？
數據湖可容納不同類型的數據，可擴展至海量數據，保留歷史資訊以供分析，並為來自多個系統的數據提供通用環境。這些優勢取決於有效的治理、安全保障、編目和資料品質。
Q3. 資料湖的常見應用場景有哪些？
常見用例包括跨系統分析、機器學習、客戶行為分析、需求預測、推薦系統以及整合來自多個業務部門或遺留系統的分析資料。
Q4. 資料湖和資料倉儲有什麼差別？
資料倉儲通常儲存結構化且經過預處理的數據，以滿足既定的分析和報告需求。資料湖則為原始且多樣化的資料提供了更大的靈活性，使其適用於探索性資料、機器學習以及事先未知所需資料結構的用例。
Q5. 資料湖如何支援人工智慧？
資料湖可以提供一個集中式環境，用於儲存和準備來自多個來源的歷史資料。這可以讓機器學習團隊存取更廣泛的相關訊號，但更多的數據並不一定能帶來更好的模型。
Q6. 資料湖能否改善顧客關係管理？
資料湖可以提供額外的行為、產品和互動數據，從而豐富 CRM 分析和 AI 模型。但這些數據必須具備相關性、可靠性，並與客戶記錄正確關聯，並受到有效管理，且能夠被 CRM 或建模工作流程所利用，才能發揮其價值。
Q7. 資料湖在人工智慧驅動的客戶關係管理（CRM）中扮演什麼角色？
資料湖可以作為更廣泛的分析資料環境，而客戶關係管理系統（CRM）仍然是管理客戶關係的營運系統。從更廣泛的資料集中獲得的洞察可以支援CRM的預測、細分、推薦和其他面向客戶的操作。
Q8. 每個企業都需要資料湖嗎？
不。當企業擁有現有系統無法有效分析的大型或多樣化資料集、需要同時檢查的多個資料來源，或需要進行機器學習和分析，從而證明額外工程和治理工作的合理性時，資料湖才最有用。
