تلعب الأدوات الخاصة بجمع البيانات وتحليلها دورًا رئيسا في عملية معرفة الأنماط والاتِِّجاهات الكامنة داخل البيانات وفهمها، والتي تعد واحدة من العمليات المُُهِِمََّة التي تهدف إلى استخراج معلومات قيِِّمة من كَمَ كبير من البيانات، لا سيََّما في ظلِِّ التدفُُّق الهائل للبيانات الذي يشهده العالََم اليوم.
لذاسوف نتعرف في هذا الدرس الى كل من:
- الأدوات والطرائق الخاصة بجمع البيانات
- تقنيات التحليل والاستكشاف المستخدمة
- إستخدام هذه الأدوات في تحديد اتِِّجاه البيانات ونزعتها.
- المفاضلة بين هذه الاداوت بناءًً على طبيعة المشكلة التي أحتاج إلى حََلِِّها.
- توظيف تقنيات التحليل في اكتشاف الأنماط التي تُُمثِِّل الأنظمةالمُُعقََّدة.
طرائق جمع البيانات:
يمثل الشكل التالي أبرز طرق جمع البيانات:
1.المقابلات 2.الإستبانات 3.المسوحات او الإستطلاعات
4.الملاحظة 5.مجموعات التركيز 6.دراسة الحال
ويظهر الجدول التالي توضيحا حول كل طريقة من هذه الطرائق من حيث: اسم الاداة، آلية تنفيذ الأداة، مميزات الاداة وأنواع الاداة.
|
إسم الأداة |
كيفية تنفيذها |
مميزاتها |
أنواعها |
|
المقابلات |
وجهًا لوجه :بحيث يحدث تفاعل مباشر بين الطرفين. عن بُعد: من خلال وسائل الاتصال (الهاتف أو التطبيقات المرئية). |
تنوع الأساليب بما يناسب الأهداف. أداة مرنة وفاعلة |
حسب عدد المشاركين مقابلة فردية /مقابلة جماعية حسب طبيعة المقابلة مقابلة رسمية /مقابلة غير رسمية
|
|
الاستبانات |
من خلال مجموعة من الأسئلة يجيب عليها الأفراد المستهدفين |
تسهل عملية جمع البيانات يمكن توزيعها على شريحة واسعة من الأفراد تسهل عملية تحليل البيانات
|
استبانة ورقية استبانة إلكترونية |
|
المسوحات او الإستطلا عات |
من خلال مجموعة من الأسئلة المخصصة والتي توزع على عينة مختارة بعناية |
تجمع كم كبير من البيانات تستكشف مواقف الأفراد تحدد الفروق في السلوكات تراقب التغيرات المحتملة خلال فترات زمنية تساعد على فهم الاتجاهات العامة داخل المجتمعات |
مسوحات من خلال نماذج ورقية مسوحات من خلال نماذج إلكترونية |
|
الملاحظة |
مراقبة الباحث لعناصر أو أحداث محددة وتسجيل الملاحظات |
تستخدم في مراقبة السلوكات والظواهر بصورة مباشرة ودقيقية توفر جمع البيانات موضوعية عن الواقع تبتعد عن التحيز أو التعصب |
الملاحظة المباشرة: حيث يكون الباحث حاضرًا في المكان ويشاهد الظاهرة، أو السلوك بنفسه. الملاحظة غير المباشرة: حيث يتم جمع البيانات عن طريق مراقبة تسجيلات، أو مواد أخرى
|
|
مجموعات التركيز |
مناقشات جماعية منظمة تركز على موضوع معين ضمن مجموعات. طرح أسئلة توجيهية مرتبطة بالموضوع تضم المجموعة (6-12) فرد
يتشابه الأفراد بالإهتمامات والخبرات المرتبطة بعملية المناقشة. |
فهم تصورات المشاركين حول الموضوع تعكس مواقف المشاركين وآرائهم
|
مجموعات تركيز هاتفية/أو عبر الاتصال المرئي مجموعات تركيز وجاهية |
|
دراسة الحال |
تركز على وحدة محددة مثل الفرد ،الأسرة، المدرسة أو المجتمع. تعتمد على ملاحظة الظاهرة في سياقها الطبيعي تعمل على توثيق التفاصيل. |
تعتبر أسلوب بحثي يركز على التحليل العميق تستخدم عادة في المجالات الاجتماعية والتعليمية والطبية |
دراسة توضيحيةدراسة استكشافيةدراسة تراكمية
|
استكشاف البيانات (Data Exploration)
تعتبر عملية استكشاف البيانات المرحلة الأولى من مراحل تحليل البيانات ، والتي يقصد بها تحديد ما هي البيانات المراد التعامل معها و فهمها والتي تتضمن تحديد مكان تخزين البيانات، ومعرفة طبيعة هيكلها مما يساعد في اكتشاف الانماط والعلاقات بينها.
والهدف من عملية اكتشاف البيانات يتمثل في التحليل العميق والذي يعتبر أمرًا بالغ الأهمية لمساهمته في اتخاذ قرارات مستنيرة، وتحسين جودة البيانات، وضمان استخدام البيانات بفعالية.
مراحل استكشاف البيانات
يمثل الشكل التالي مراحل استكشاف البيانات:
وفيما يلي توضيحا حول طبيعة كل مرحلة:
1.المرحلة الاولية لتحضير البيانات: تتضمن هذه المرحلة ثلاث خطوات أساسية تشمل:
- تحديد المشكلة من خلال معرفة ما الذي نريد حله.
- وجود هدف واضح لغايات توجيه عملية استكشاف البيانات الى المسار الصحيح.
- جمع البيانات من المصادر المختلفة (قواعد البيانات،ملفات اكسل،الواجهات البرمجية والملفات النصية)
2.تنظيف البيانات:كما تعلمنا سابقًا تضمن هذه المرحلة إزلة الأخطاء والقيم المفقودة والقيم غير المنتمية.
3.تمثيل البيانات المرئي : والتي تتضمن عرض البيانات بشكل تمثيل بصري يمكّن المشاهد من
- الكشف عن الانماط والعلاقات بينهما
- معرفة الإتجاهات
- اكتشاف القيم غير المنتمية بسهولة.
ومن أشهر التقنيات الشائعة لتمثيل البيانات يمثلها الجدول التالي:
|
التقنية |
استخدامها |
شكل المخطط |
|
المخططات |
عرض التوزيعات التكرارية والتي تناسب البيانات العددية المتصة |
|
|
المخططات العمودية |
عرض التوزيعات التكرارية والتي تناسب البيانات التصنيفية |
|
|
مخططات التشتت |
لإظهار العلاقة بين متغيرين عدديين والتي تساعد في اكتشاف الأنماط او الإتجاهات |
|
|
المخططات الصندوقية |
لغايات توضيح نطاق البيانات وتوزيعها مع التركيز على القيم غير المنتمية. |
|
|
مخططات السلاسل الزمنية |
لغايات استكشاف البيانات على المدى الزمني مما يساعد على فهم الاتجاهات او التغيرات الموسمية |
|
|
القطاعات الدائرية |
عرض النسب المئوية بين الفئات وهي مناسبة للفئات المحدودة العدد تقيبا من 3 الى 5 فئات. |
|
4.تلخيص البيانات: بعد الإنتهاء من العمليات السابقة،لا بد من تقديم عملية اكتشاف البيانات بشكل مفهوم وذو معنى للآخرين والذي يتم من خلال استخدام الاحصائيات الوصفية في تقديم قصة واضحة ورؤى قابلة للتنفيذ يمكن للخبراء واصحاب القرار فهمها واتخاذ قررات مناسبة اعتمادا عليها.
أدوات تحليل البيانات (Data Analysis Tools)
سبق لنا وتعرفنا على بعض التقنيات والأدوات المستخدمة في تحليل البيانات، والتي تمثل إمّا برامج او تطبيقات يتم توظيفها في تحليل البيانات لغايات فهم البيانات بشكل يوضح انماط البيانات ويوفر لنا معلومات كافية تساعد في اتخاذ القرارات.
وتختلف هذه الاداوات تبعًا لـ:
- اختلاف البيانات
- الغرض من تحليل البيانات
ومن الادوات التي سوف نتعرف عليها هنا بشكل مفصل:
1.لغة البرمجة بايثون (Python)
2.برمجية اكسل (Excel)
أولًا: لغة البرمجة بايثون (Python)
تعتبر لغة بايثون من اللغات التي يتم استخدامها بشكل كبير في تحليل البيانات وذلك لانها تتمتع بالمميزات التالية:
- لانها لغة مجانية ، لا تحتاج الى دفع مقابل التحميل والإستخدام
- لانها لغة مفتوحة المصدر(Open Source)
- تحتوي على مجتمع عالمي ضخم،حيث تحتوي على اكثر من (137000) مكتبة متخصصة في عدد من المجالات المختلفة.
- تسمح للمستخدمين إجراء معالجة مُتقدمة للبيانات
- تسمح بإجراء تحليل عددي دقيق.
ويمثل الشكل التالي أبرز المكتبات التي توفرها لغة البرمجة بايثون وتساعد في تحليل البيانات:
تُُعرََّف المكتبة ( Library )بأنََّها:
مجموعة من الوحدات ( Modules ) والتي تحتوي على تعليمات برمجية يُُمكِِن إعادة استخدامها بسهولة كما تعلمنا سابقًا.
تعمل المكتبات على تسهيل عملية البرمجة؛ إذ تُُغْْني عن كتابة التعليمات البرمجية نفسها مِِرارًًا وتََكرارًًا في برامج مختلفة.
وتُُعََدُُّ مكتبات برمجية بايثون رائدة في العديد من المجالات، مثل: التعلُُّم الآلي، وعلوم البيانات، وتصوُُّر البيانات.
ثانيًا:برمجية اكسل (Excel)
تعتبر برمجية إكسل من أكثر الأدوات الشائعة في مجال تحليل البيانات حيث:
- تستخدم في تلخيص البيانات من خلال جداول.
- إجراء العمليات الحسابية على الخلايا.
- تمثيل البيانات من خلال الرسوم البيانية
- فرز كم كبير من البيانات وتنظيمها.
ومن اهم مزايا برمجية إكسل في تحليل البيانات: 
وفيما يلي شرحًا توضيحيا حول كل من هذه المزايا:
1.إنشاء المخططات
نستطيع من خلال برمجية إكسل تحويل جداول البيانات الى مخططات عديدة، إذ هناك ما يقارب 20 نوع من المخططات والتي تتراوح ما بين:
المخططات القياسية مثل المخططات الشريطية ومخططات التشتت
المخططات المعقدة مثل مخططات الرادار والتي يتم استخدامها للبيانات المتعددة المتغيرات، مثل التغير في درجة الحرارة في مواقع مختلقة واوقات مختلفة خلال السنة .
2.توفير خرائط الأشجار
هي أداة قوية تقدم تصورًا للبيانات بشكل هرمي من خلال مستطيلات ملونة،مما يوفر لنا رؤية العلاقات بين البيانات وبالتالي إمكانية اكتشاف الانماط بسهولة مما يوفر لنا معلومات واضحة وموجزة عن بيانات معقدة.
ومن الامثلة على ذلك: تحديد أكثر المنتجات مبيعًا في متجر ما.
المفاضلة بين ادوات تحليل البيانات
فيما يلي جدولًا يمثل أهم المعايير يجب مراعاتها عند اختيار اداة تحليل للبيانات:
|
اسم المعيار |
وصف المعيار |
ملاحظات |
|
سعر الاداة |
تكلفة استخدام الاداة ، حيث بعض الاداوات تحتاج إشتراكًا لقاء مبلغ مالي وبعضها مجاني |
عند المقارنة يجب مراعاة وجود كل المزايا التي تحتاجها في الاداة |
|
سهولة التعلم |
سهولة التعليمات التي تساعد على تعلم العمل على الاداة |
كلما كانت الاداة أسهل تعلمًا كلما كان الإقبال عليها أكبر |
|
الفاعلية في إدارة البيانات |
القدرة على إدارة البيانات بكفاءة(مدة الاحتفاظ بها او التخلص منها، كيفية تخزينها،مشاركتها،ارشفتها واسترجاعها) |
كلما كانت الاداة فاعلة كلما كانت أفضل لدى المستخدم |
|
القدرات الرسومية |
تمثيل البيانات على شكل رسومات واضحة متقدمة ومنوعة وتدعم التحليل البصري |
الرسومات الواضحة تسهل فهم واكتشاف الأنماط والعلاقات |
