السؤال الأول: أبينُ طريقة عمل كلّ من:
Zookeeper
مبدأ عمل ApacheZooKeeper
تم تصميم ApacheZooKeeper بشكل يضمن الموثوقية العالية والابتعاد عن الأخطاء والسرعة في التعامل مع عمليات قراءة وكتابة البيانت .حيث يوفر نظام يشبه هيكلية الشجرة،وبعض البروتوكلات التي تضمن توافر البيانات بالشكل الصحيح مثل بروتوكول النقل الشهير (TCP) بالاضافة الى مجموعة من (API).
تعتمد هيكليته على توفير عدد كبير من الخوادم (Servers) الذي يكون احدهما يمثل القائد.وتقوم هذه الخوادم بالتعرف على بعضها البعض والتنسيق فيما بينها لضمان توفر البيانات وعدم تعطل الخدمة.بحيث تكون البيانات موجودة بشكل مكرر على كل الخوادم.أي ان كل خادم لديه كل ما يحتاجه العميل من سجلات ومعاملات في ذاكرته.
في حال احتاج العميل الى خدمة، يقوم من خلال واجهة المستخدم باجراء الاستعلام، ويتم نقل الطلب من خلال بروتوكول (TCP).ونظرا لوجود نسخة من البيانات على أكثر من خادم، فإن الخادم المتوفر يقوم بالاستجابة للعميل، مما يعطي سرعة في تلبية طلبات العملاء ويقلل الوقت اللازم للحصول على المعلومات. وفي حال حدوث أي مشكلة تسببت في حدوث إنقطاع بين العميل والخادم،يعمل النظام على تحويل العميل الى خادم آخر بشكل تلقائي دون ان يشعر العميل بالأمرمما يضمن توفير خاصية استمرارية الخدمة.
MapReduce
يعمل على معالجة البيانات من خطوتين رئيستين
- الخطوة الآولى: المخطط Map
- الخطوة الثانية: المخفض Reduce
في المرحلة الأولى والتي يكون فيها الدور لـ المخطط، يتم معالجة البيانات المدخلة، حيث يتم تقسيم البيانات الكبيرة الى وحدات صغيرة يسمى كل جزء منها Tuples ،ويقوم المخطط بمعالجة كل وحدة من البيانات من خلال تحويلها على شكل أزواج (key-value ) ومن ثم يتم توزيع هذه البيانات على عدة خوادم ليتم معالجتها بنفس الوقت.
في المرحلة الثانية: يأتي دور المخفض، والذي بدوره يعمل على استقبال البيانات كما خرجت من المرحلة الأولى،ويعمل على تجميع هذه المخرجات اعتمادا على قيمة المفتاح في الزوج (key-value )حيث يجمّع المفاتيح المشتركة ويعمل على تحليلها للحصول على نتائج أصغر حجماً وأكبر فائدة.
وإذا أردنا أن نلخص الموضوع:
فإن مبدأ عمل MapReduce يقوم على تقسيم البيانات الكبيرة الى أجزاء صغيرة يتم معالجتها في عدد من الخوادم الموزعة من خلال Map،ثم يتم إعادة تجميع الاجزاء ويتم العمل على تحليلها من خلال Reduce،وهنا يتم عملية تقليل الحجم وزيادة الفائدة.
ولا ننسى أن مخرجات المرحلة الأولى تعتبر مدخلات المرحلة الثانية.
السؤال الثاني: أذكرُ اسم التطبيق الذي يقوم بالوظائف الآتية:
. 1معالجة كميات كبيرة من البيانات وتنفيذها بفاعلية وسرعة. (Hadoop MapReduce)
. 2تنفيذ بروتوكولات إدارة المجموعة. (ApacheZooKeeper )
. 3البحث في مجموعة كبيرة من السجلات لإيجاد سجل يحوي التعبير المطلوب. (GrepTheWeb)
. 4نظام برمجي خاص بالتخزين والمعالجة الموزعة. (Apache Hadoop)
