ما هي بحيرة البيانات ؟ تم تقديم مصطلح “بحيرة البيانات” بواسطة جيمس ديكسون ، كبير موظفي التكنولوجيا في Pentahoe Business Intelligence Software. إن وصف هذا النوع من المستودعات على أنه بحيرة أمر منطقي لأنه يخزن مجموعة من البيانات في حالتها الطبيعية ، مثل جسم مائي لم يتم تصفيته أو تعبئته. تتدفق المعلومات من مصادر متعددة إلى البحيرة ويتم تخزينها بتنسيقها الأصلي.
ما هي بحيرة البيانات
بحيرة البيانات هي نوع من مستودعات البيانات ، التي تخزن مجموعات كبيرة ومتنوعة من البيانات الأولية ، في تنسيقها الأصلي. كما يسمح بالحفاظ على عرض غير مكرر للبيانات. في الواقع ، أصبحت استراتيجية إدارة البيانات هذه أكثر شيوعًا لدى المؤسسات التي تريد مستودعًا كبيرًا وشاملًا لبياناتها:
- في حين أن البيانات الأولية هي تلك التي لم تتم معالجتها بعد لغرض معين. لا يتم تعريف أولئك الموجودين في بحيرة البيانات حتى يتم الاستعلام عنها.
- يمكن للعلماء أيضًا الوصول إلى البيانات الأولية عندما يحتاجون إليها باستخدام أدوات تحليلات أكثر تقدمًا أو نمذجة تنبؤية.
- بينما يتم الاحتفاظ بجميع البيانات عند استخدام بحيرة البيانات ؛ لا يتم إزالة أو تصفية أي منها قبل التخزين. يمكن استخدامها للتحليل قريبًا أو في المستقبل أو على الإطلاق.
- يمكن أيضًا استخدام البيانات عدة مرات لأغراض مختلفة ، على عكس عندما يتم تنقيحها لغرض معين. مما يجعل من الصعب إعادة استخدام البيانات بطريقة مختلفة.
- لا يتم تحويل البيانات الموجودة في البحيرة حتى تكون مطلوبة للتحليل ، ثم يتم تطبيق المخطط بحيث يمكن إجراء هذا التحليل. يسمى هذا “المخطط عند القراءة” ، لأنه يتم الاحتفاظ بالبيانات الأولية حتى تصبح جاهزة للاستخدام.
- تسمح بحيرات البيانات للمستخدمين أيضًا بالوصول إليها واستكشافها بطريقتهم الخاصة ، دون الحاجة إلى نقلها إلى نظام آخر.
- عادة ما تحدث الرؤى والتقارير المكتسبة من بحيرة البيانات على أساس مخصص ، بدلاً من سحب تقرير التحليلات بانتظام من نظام أساسي آخر أو نوع من مستودع البيانات. ومع ذلك ، يمكن للمستخدمين تطبيق المخطط والأتمتة لتمكين النسخ المتماثل للتقرير إذا لزم الأمر.
- بينما يحتاج إلى حوكمة ويتطلب صيانة مستمرة لجعل البيانات قابلة للاستخدام ويمكن الوصول إليها.
- بدون هذه الصيانة ، فإنك تخاطر بالسماح لبياناتك بأن تصبح غير مهمة ، ولا يمكن الوصول إليها ، وغير عملية ، ومكلفة ، وعديمة الفائدة.
- يُشار إلى البحيرات التي يتعذر على مستخدميها الوصول إليها باسم “مستنقعات البيانات”.
بحيرة البيانات مقابل مستودع البيانات
على نفس المنوال ، على الرغم من الخلط بين بحيرة البيانات ومخزن البيانات في كثير من الأحيان ، إلا أنهما ليسا متشابهين ويخدمان أغراضًا مختلفة. في الواقع ، البحيرة ومخزن البيانات عبارة عن مستودعات لتخزين البيانات الضخمة ، ولكن هنا تنتهي أوجه التشابه. نقدم أدناه بعض الاختلافات بينهما:
- ستستخدم العديد من المؤسسات بحيرة بيانات ومستودعًا لتلبية احتياجاتها وأهدافها المحددة.
- يوفر مستودع البيانات نموذجًا منظمًا ومصممًا لإعداد التقارير. هذا هو الفرق الرئيسي بين البحيرة ومستودع البيانات.
- تخزن البحيرات البيانات الأولية غير المنظمة بدون غرض محدد. قبل أن يتم وضع البيانات في مستودع بيانات ، يجب معالجتها.
- يتم اتخاذ القرارات بشأن البيانات التي يجب تضمينها أو عدم تضمينها في المستودع ، والتي يشار إليها باسم “المخطط عند الكتابة”.
- قد تستغرق عملية تنظيف البيانات قبل تخزينها في المستودع وقتًا طويلاً وصعبة. قد يستغرق الأمر أحيانًا شهورًا أو حتى سنوات ، مما يمنعك أيضًا من جمع البيانات على الفور.
- باستخدامه ، يمكنك البدء في جمع البيانات على الفور ، ومعرفة ما يجب فعله بها في المستقبل.
- بسبب هيكلها ، غالبًا ما يتم استخدام مستودعات البيانات من قبل محللي الأعمال ومستخدمي الأعمال الآخرين الذين يعرفون البيانات التي يحتاجونها مسبقًا لإعداد التقارير المنتظمة.
- غالبًا ما يستخدمها علماء ومحللو البيانات ، حيث يقومون بإجراء البحوث باستخدام البيانات. تحتاج البيانات إلى مزيد من الفلاتر والتحليلات المتقدمة المطبقة عليها قبل أن تكون مفيدة.
- عادةً ما تستخدم بحيرات البيانات ومخازن البيانات أجهزة مختلفة للتخزين.
- يمكن أن تكون مستودعات البيانات باهظة الثمن ، بينما يمكن أن تظل بحيرة البيانات غير مكلفة على الرغم من حجمها الكبير ؛ لأنهم غالبًا ما يستخدمون أجهزة سلعة.
هندسة البحيرة الرسومية
تحتوي بحيرة البيانات على هيكل مسطح لأنه يمكن أن يكون غير منظم أو شبه منظم أو منظم. يتم تجميعها من مصادر مختلفة عبر المؤسسة ، على عكس المستودعات التي تخزن البيانات في ملفات أو مجلدات. نظرًا لهيكلها ، فإنها توفر قابلية توسعة هائلة تصل إلى مقياس xbyte. هذا مهم لأنه عندما تقوم بإنشائه ، فأنت لا تعرف مسبقًا مقدار البيانات التي ستحتاج إلى الاحتفاظ بها. لا يمكن لأنظمة تخزين البيانات التقليدية التوسع بهذه الطريقة. تفيد هذه البنية أيضًا العلماء القادرين على استخراج البيانات واستكشافها ومشاركتها والمراجع التبادلية من جميع أنحاء المؤسسة ، بما في ذلك البيانات غير المتجانسة ، من مختلف المجالات ، لطرح الأسئلة والعثور على رؤى جديدة. يمكنهم أيضًا الاستفادة من تحليلات البيانات الكبيرة والتعلم الآلي للتحليل. على الرغم من أن البيانات لا تحتوي على مخطط ثابت قبل التخزين ، إلا أن إدارة البيانات لا تزال مهمة لتجنب مستنقع البيانات. يجب وضع علامات على البيانات الوصفية عند وضعها في البحيرة لضمان إمكانية الوصول إليها لاحقًا.
أخيرًا ، قدمنا تعريفًا حول ما هي بحيرة البيانات، والتي تمكن العلماء من الوصول إلى البيانات وإعدادها وتحليلها بشكل أسرع وبدقة أكبر باستخدام. كيف يوفر لخبراء التحليلات كمية هائلة من البيانات ، والتي توجد بتنسيقات مختلفة غير تقليدية. مما سيوفر الفرصة للوصول إليه من مجموعة متنوعة من حالات الاستخدام مثل تحليل المشاعر أو اكتشاف الاحتيال.