مقدمة
نعيش اليوم في عصر رقمي استحوذت عليه البيانات والأرقام.إذ تزايدت أهمية البيانات بسبب الانتشار الكبير لوسائل التكنولوجيا الحديثة،ولا ننكر أنّ البيانات أصبحت في هذه الأيام رأس مال الشركات الكبرى والمقتاح الرئيس والأساس للدخول الى عالم التطور والنجاح.
لذا،مما لا شك فيه أنّ تحليل البيانات يعتبر أحد الأدوات الأساسية لاتخاذ قرارات استراتيجية ناجحة في مختلف المجالات، والذي يهدف الى استخلاص الأنماط والتوجهات والتحولات التي يحملها هذا الجمع الضخم من البيانات.
- مفهوم البيانات وأنواعها المختلفة.
- أهمية تحليل البيانات في فهم العلاقات واستخلاص النتائج.
- أهمََّ طرائق تحليل البيانات التي تُُستخدََم في تفسير الأنماط واتِِّخاذ القرارات بصورة فاعلة.
البيانات: مفهومها، وأنواعها (Data : Concept and Types)
مفهوم البيانات : هي مجرد حقائق ،أرقام ،حروف ،رموز غير منظمة وممكن أن تكون صور ،تسجيل صوتي أو حتى تسجيل مرئي. . وهذه البيانات تكون مفيدة، لكن ليست بالضرورة تحمل أي معنى. وهذه البيانات تكتسب معناها عند تفسيرها وتحويلها الى معلومات.
أنواع البيانات (Data Types)
توجد أنواع مختلفة من البيانات التي يمكن التعامل معها من خلال الكمبيوتر وتخزينها داخل المتغيرات، ومن أشهر أنواع البيانات المتوافرة في قواعد البيانات والبرمجيات:
1.البيانات العددية (Numeric)
هي البيانات التي يتم استخدامها في العمليات الحسابية (الجمع،الضرب، القسمة،...) ويوجد منها نوعان:
الأعداد الصحيحة: وهي الأعداد الخالية من الكسور او الفاصلة العشرية مثل (5-،6،1،0،2)
الأعداد العشرية: وهي الأعداد ذات الفواصل العشرية مثل (3.14, 2.4,-0.05).
2.البيانات النصية (Text)
هي أي بيانات يتم التعبير عنها بشكل لغوي مكتوب ولا يمكن إجراء عمليات حسابية عليها وتصنف الى نوعين هما:
الحرف: ممكن أن تكون حرفًا أبجديًا (أ،ب،A,D) أو رقمًا (1،8،9) أو علامات ترقيم .،!) أو رموزًا خاصة (@,#,$,*) أو حتى مسافة فارغة
السلاسل النصية (strings) : هي النوع الذي يستخدم لتمثيل النصوصمن خلال الأحرف، الأرقام والرموز الخاصة. حيث يتم تمثيل String كمصفوفة من الأحرف (character array) في العديد من لغات البرمجة.
3.البيانات المنطقية (Boolean)
هي البيانات التي تحتمل قيمة من اثنتين إما صواب (True) أو خطأ (False) ويتم استخدامها عند اتخاذ القرارات أو تحديد الحالة والقيمة .
4.قوائم البيانات (Lists/Arrays)
هي نوع من البيانات التي يتم تخزينهاعلى شكل مجموعة من القيم في داخل هيكل بيانات من نوع القوائم أو المصفوفة والتي سبق وتعرفنا على خصائصهم في الدروس السابقة. مثل قائمة المهام أو قائمة التسوق أو حتى مجموعة أرقام [1,2,3] ، ]أحمر،أصفر، أخضر [
5.البيانات الترتيبية أو البيانات التصنيفية (Categorical)
نوع من البيانات النوعية التي تعبر عن خاصية أو فئة أو مجموعة ويمكن تصنيفها حسب الترتيب، تعتبر البيانات الترتيبية نوعًا من البيانات النوعية أو الفئوية، حيث أن قيمها ليست أرقامًا ولكنها تمثل صفات أو فئات مثل:
- الجنس :(ذكر،أنثى)
- مستوى الحرارة : (حار ،بارد)
- نتيجة الطالب: (ناجح ،مكمل، راسب)
- حجم القميص :(صغير،وسط،كبير ،كبير جدًا)
6.البيانات المعقدة (Complex)
هي نوع من البيانات ناتج عن دمج مجموعة من البيانات معا لتكوين نوع بيانات جديد من نوع (objects) أي تحتوي على أنواع متعددة من البيانات في آن واحد معًا والتي يمكن تخزينها في هياكل البيانات من النوع غير الخطي.
7.المجموعات (Sets)
هي مجموعة من البيانات غير المرتبة إلا أنها لا تتكرر (بيانات فريدة ) ويتم تخزينها في هياكل البيانات من نوع مجموعة والتي سبق وتعرفنا على خصائصه في الدروس السابقة
مثل {1،3،4،2،6،5} أو {"تفاحة"،"موزة"،"برتقالة"}
8.الصفوف (Tuples)
هي مجموعة من العناصر المرتبة والتي لا يمكن التعديل عليها بعد تعريفها وتخزن في داخل هيكل البيانات من نوع صفوف والذي سبق وتعرفنا على خصائصه.
مثل : ("1،أحمر،True") أو ("تفاحة،3،5،False")
9.القواميس(Dictionaries)
هي مجموعة من القيم على شكل أزواج،حيث يمثل كل زوج ب (مفتاح وقيمة) ويتم تخزينها في هياكل البيانات من نوع قواميس والتي سبق وتعرفنا على خصائصها.
مثل : "اسم": "محمد" ، "عمر": " 25 "،
10.الوقت والتاريخ (Date&Time)
وهذا النوع من البيانات التي تعبر عن( اليوم،الشهر، السنة) بالنسبة للبيانات التي تمثل تاريخ. أو تلك التي تعبر عن (ساعة،دقيقة، ثانية) للتعبير عن الوقت والتي يتم تخزينها في حقل واحد من نوع الوقت والتاريخ.
ويمكن الاستفادة من هذا النوع من البيانات لغايات تسجيل الأحداث الزمنية.
تحليل البيانات Data Analysis ))
تحليل البيانات : هي عملية منهجية لجمع البيانات، وتنظيمها، وتنظيفها، وتفسيرها، وتمثيلها؛ بُُغْْيََةََ استخراج رؤى ذات معنى، وتحديد الأنماط، ودعم اتِِّخاذالقرارات المستنيرة.
يتم استخدام تقنيات إحصائية وحاسوبية ومنطقية أثناء عملية تحليل البيانات وذلك لغايات:
- الكشف عن الإتجاهات
- اختبار الفرضيات
- حل المشكلات المعقدة
وتعتمد هذه الأساليب على طبيعة البيانات و أهداف تحليل البيانات.
إنّ عملية تحليل البيانات يتم الإستفادة منها على مستويين:
- المستوى الشخصي: حيث يعتمد التحليل على بيانات بسيطة وتحليل مباشر مبني على الخبرة أو المعرفة السابقة.
- المستوى المؤسسي:يكون تحليل البيانات أكثر شمولية واكثر تعقيدًا، حيث يحتاج الى التعامل مع كم هائل من البيانات(Big Data) وعليه لا بد من إستخدام أدوات تحليل متقدمة ومهارات متخصصة. مما يساعد المؤسسة على:
- فهم الأنماط
- توقع الإتجاهات
- اتخاذ القرارات الاستراتيجية التي تؤثر في الأعمال بشكل كبير.
مراحل عملية تحليل البيانات:
لتحقيق أقصى استفادة من البيانات، يجب اتباع خطوات أساسية لتحليل البيانات بطريقة منظمة وفعّالة.لذا فإنّ عملية تحليل البيانات تمر بسبعة مراحل تكرارية كما تظهر في الشكل التالي:
1.مرحلة تحديد الأهداف والأسئلة
.2مرحلة الإعداد
. 3مرحلة جمع البيانات
. 4مرحلة تنظيف البيانات
. 5مرحلة تحليل البيانات
. 6مرحلة تفسير البيانات وعرضها
7.مرحلة اتِّخاذ القرارات وتنفيذ الإجراءات
وفيما يلي توضيحا بسيطًا لكل مرحلة من هذه المراحل :
1.مرحلة تحديد الأهداف والأسئلة
تتم في هذه المرحلة فهم المشكلة وتحديدها وتحديد الأهداف ومعرفة توقعات كل الأطراف المعنية.
وهذا الأمر يتم من خلال طرح عدد من الأسئلة على سبيل المثال:
ما المشكلة التي أحاول حلها؟
ما الذي يلزم الأطراف المعنية؟
.2مرحلة الإعداد
بعد تحديد المشكلة، لا بد من البدء بتحديد البيانات المطلوبة للقيام بحل المشكلة وما هي الآلية التي يجب اتباعها لتنظيم هذه البيانات،وذلك من خلال طرح مجموعة من الأسئلة منها على سبيل المثال:
ما البيانات التي أحتاج إليها؟
كيف يمكن تنظيم هذه البيانات بشكل فاعل ويُستفاد منه؟
ما هي المصادر التي تلزم لغايات جمع البيانات منها؟
. 3مرحلة جمع البيانات
والآن وبعد الإجابة على الأسئلة السابقة، تبدأ مرحلة جمع البيانات والتي يمكن القيام بها بطرق مختلفة تعتمد على مدى مناسبتها لطبيعة المشكلة والهدف المرجو من عملية التحليل. ومن طرق جمع البيانات :
- الاستبانات
- المقابلات
- جمع الملاحظات
- الاختبارات
ومممكن ان تكون هذه البيانات التي تم جمعها كمية مثل الأرقام والنتائج الإحصائية، وممكن أن تكون نوعية مثل النصوص والصور.
4.مرحلة تنظيف البيانات
تُعد مرحلة تنظيف البيانات عملية أساسية في تجهيز البيانات الأولية المراد استخدامها أثناء عملية تحليل البيانات. حيث يتم في هذه المرحلة:
- فحص البيانات بصورة دقيقة لتحديد الأخطاء
- تحديد التناقضات ومعالجتها
- إزالة الإدخالات المكررة
- تصحيح الأخطاء الناتجة عن عمليات الإدخال غير الدقيقة.
- التعامل مع القيم المفقودة
وكل مما سبق يهدف الى تحسين جودة البيانات وزيادة درجة موثوقيتها وذلك لضمان الحصول على نتائج دقيقة ذات دلالات محددة.
. 5مرحلة تحليل البيانات
تعتبر هذه المرحلة الخطوة الأولى الفعلية في عملية تحليل البيانات، حيث يتم هنا تنفيذ العمل التحليلي من خلال استخدام تقنيات وأدوات خاصة بعمليات تحليل البيانات المختلفة.
ومن أشهر هذه التقنيات والبرامج:
- لغة البرمجة بايثون (Python)
- لغة البرمجة (R)
- برمجية اكسل (Excel)
- برنامج SPSS
- برنامج SAS
ويكمن الهدف الأساسي من هذه المرحلة في:
- استكشاف طبيعة البيانات
- اكتشاف الأنماط والعلاقات
- اكتشاف الإتجاهات والإرتباطات بين البيانات
. 6مرحلة تفسير البيانات وعرضها
بعد الإنتهاء من عملية التحليل باستخدام الاداة التقنية التي تتوافق والمشكلة المراد فهمها وتحليل بياناتها، تبدا مرحلة قراءة النتائج وتفسيرها ومن ثم عرضها بصورة واضحة وسهلة الفهم لتمكين الأطراف المعنية من إتخاذ القرارات الصائبة وذلك عن طريق عرضها من خلال:
- الرسوم البيانية.
- المخططات
- التقارير
- لوحات التحكم
. 7مرحلة اتِّخاذ القرارات وتنفيذ الإجراءات
تعتبر هذه المرحلة المرحلة التي سوف يتم من خلالها إيجاد الحلول الفعالة والمناسبة. حيث يتم هنا:
- استثمار النتائج التي تم استخلاصها من التحليل من خلال توظيفها في استراتيجيات فاعلة.
- صياغة سياسات مناسبة
- اجراء بحوث إضافية عند اللزوم
- تقديم التوصيات اللازمة
- تنفيذ الحلول المناسبة.
أهمية تحليل البيانات:
في عالم أصبحت فيه البيانات تعادل الوقود الذي يدفع عجلة التقدم في مختلف القطاعات ، صار من الطبيعي أن يعتمد الجميع على البيانات لتحسين الأداء واتخاذ قرارات استراتيجية مدروسة. لذا كان لا بدّ هنا من تحويل هذه البيانات الخام إلى رؤى قابلة للتنفيذ؟ من خلال تحليل البيانات، التي تُعتبر اليوم مهارة لا غنى عنها لأي فرد أو مؤسسة تسعى للبقاء والمنافسة في هذا العالم. والتي وتعتبر من الاداوات المهمة في الكشف عن المعلومات المهمة وتعمل على دعم عملبات اتخاذ القرارات المستندة الى الأدلة.
تتمثل أهمية تحليل البيانات في أربعة مجالات رئيسة تتمثل في الشكل التالي:
1.التوصل الى التنبؤات (Predictions)
إنّ عملية تحليل البيانات تساعد على استقراء المستقبل اعتمادا على المعلومات المؤرشفة اذ تهدف هذه التحليلات إلى دراسة البيانات التاريخية وتوظيفها لتحديد الأنماط والاتجاهات المستقبلية، مما يساعد المؤسسات على تحديد المخاطر والفرص المحتملة بشكل دقيق.
حيث يتم استخدام تقنيات التحليل الإحصائي مثل (الإنحدار الخطي،النمذجة التنبؤيةو التعلم الآلي) على تقدير القيم المستقبلية اعتمادا على المعطيات السابقة.
مثال:
يشير الجدول التالي الى متوسط الرسوم الدراسية في الجامعات الأردنية الخاصة ولمدة 4 سنوات خلال السنوات من 2020 ولغاية 2025
اذ نلاحظ ارتفاع معدل الرسوم على النحو التالي:
760-- > 600 --> 570 -- > 1040
ولكي نتنبأ بمعدل الزيادة،
سوف نعتمد طريقة حساب متوسط معدل النمو
اي ان متوسط الزيادة السنوية = مجموع الزيادات تقسيم عدد السنوات
متوسط الزيادة = 2970 /4
متوسط الزيادة = 742.5
أي ان رسوم عام 2025-2026 من المتوقع ان تكون 18,180
ورسوم عام 2026-2027من المتوقع أن تكون 19,665
2.كشف الارتباطات بين المتغيرات (Correlations)
إن المجال الثاني الذي تكمن به اهمية تحليل البيانات هو فهم العلاقات الإحصائية بين المتغيرات المختلفة وتحديدها. وهذا الأمر يساعد في اتخاذ قرارات دقيقة.
هناك ثلاثة أشكال تمثل العلاقة بين المتغيرات هي:
- الإرتباط الموجب: حيث تزداد قيمة احد المتغيرات عند زيادة الآخر
- الإرتباط السالب: حيث تنخفض قيمة أحد المتغيرات عند زيادة الىخر
- عدم وجود إرتباط : تنعدم العلاقة الواضحة بين المتغيرات.
3.تعرُّف الانماط المتكررة (Patterns)
عند ظهور مجموعة من العناصر او السلوكات بشكل متكرر داخل مجموعة البيانات يُطلق على هذا النمط باسم النمط المتكرر.
إن اكتشاف ومعرفة الأنماط المتكررة تساعد على فهم السلوك للبيانات وعليه ممكن الاإستفادة من الأمر في تحسين الاداء أو اتخاذ القرارات.
من المجالات التي يمكن إيجاد الانماط المتكررة فيها :
- عمليات البيع والشراء (العلاقة بين الإعلانات وزيادة حجم المبيعات)
- سلوك المستخدمين في تصفح المواقع الإلكترونية
- الانماط الصحية في المستشفيات.
4.رصد الإتجاهات (Trends)
إن المقصود بمصطلح الإتجاه في عالم تحليل البيانات هو التغير العام في متغير معين مع مرور الوقت.
ويمكن تصنيف الإتجاهات الى ثلاثة أنواع هي:
- الاتجاه التصاعدي :أي أنه هناك حركة تصاعدية عامة في البيانات.
- الاتجاه التنازلي: هناك حركة تنازلية عامة في البيانات.
- الاتجاه الجانبي:حالة يتذبذب فيها المتغير من دون أن يٌظهر حركة صافية محددة.
ويمثل الشكل التالي مثالا يوضح رصد الاتجاه
لعدد مرات زيارة صفحة إلكترونية خلال فترة زمنية محددة.
(June 2018-October 2017)
إذ يظهر إنه كان هناك إتجاه تصاعدي خلال الفترة الزمنية (كانون الثاني – منتصف آيار) ،ثم بدأ الإتجاه يأخذ منحنى تنازلي خلال الفترة (منتصف آيار –حزيران).
وعليه يمكننا القول: إنّ البيانات قد لا تسلك إتجاهًا واحدًا بإستمرار، وإنما تتغير وفقًا لعدد من المتغيرات.
أنواع تحليل البيانات ( Types of Data Analysis)
يظهر الشكل التالي أنواع تحليل البيانات مرتبة حسب صعوبتها وقيمتها.
حيث أنه يجب علينا فهم أنواع التحليل حتى نستطيع اختيار النوع الانسب للبيانات المراد تحليلها.
وذلك حتى نستطيع تحقيق الفائدة القصوى من التحليل.
وفي ما يأتي توضيح لكل نوع من أنواع تحليل البيانات:
1.تحليل البيانات الوصفي (Descriptive Analytics)
يقوم هذا النوع على الإجابة على سؤال ما الذي حدث؟
حيث :
- يبحث في البيانات الرقمية
- يعمل على تلخيص الخصائص الرئيسة لمجموعة البيانات ووصفها
- يقدم صورة واضحة وشاملة عن البيانات باستخدام تقنيات إحصائية ورسوم بيانية.
ويظهر الشكل التالي مجموعة من التقنيات المُُستخدََمة في تحليل البيانات الوصفي وتوضيح حول كل تقنية:
1.تقنية مقاييس التكرار والجداول التكرارية
2.تقنية مقاييس التشتت ومقاييس النزعة المركزية
3.تحليل وتوزيع البيانات
2. تحليل البيانات التشخيصي ) (Diagnostic Analytics)
يقوم هذا النوع على الإجابة على سؤال لماذا حدث ذلك؟
حيث:
يستخدم في استكشاف الأسباب الجذرية للمشكلات
يساعد على تحديد الاسباب الرئيسة لإتخاذ خطوات تصحيحية.
ويظهر الشكل التالي مجموعة من التقنيات المُُستخدََمة في تحليل البيانات التشخيصي وتوضيح حول كل تقنية:
3. تحليل البيانات التنبُّؤي (Predictive Analytics)
يقوم هذا النوع على الإجابة على سؤال ماذا يمكن أن يحدث مستقبلًا؟
حيث:
يعتمد على البيانات المؤرشفة (القراءات السابقة)
يعتمد على النماذج الإحصائية
يعتمد على خوارزمية تعلم الآلة لغايات استخلاص توقعات دقيقية تدعم اتخاذ قرارات استراتيجية.
ويظهر الشكل التالي مجموعة من التقنيات المُُستخدََمة في تحليل البيانات التنبؤي وتوضيح حول كل تقنية:
4. تحليل البيانات التوجيهي (Prescriptive Analytics)
يقوم هذا النوع على الإجابة على سؤال ماذا يجب أن نفعل حيال ذلك؟
حيث:
يعتبر خطوة متقدمة في تحليل البيانات
يستخدم النتائج المستخلصة من الأنواع الأخرى (التحليل الوصفي والتشخيصي والتنبؤي) لغايات تقديم التوصيات العملية والقابلة للتنفيذ.
يستخدم النتائج المستخلصة من الأناوع الأخرى (التحليل الوصفي والتشخيصي والتنبؤي) لغايات تقديم التوصيات اللازمة عند اتخاذ القرارات الإستراتيجية.
ويظهر الشكل التالي مجموعة من التقنيات المُُستخدََمة في تحليل البيانات التنبؤي وتوضيح حول كل تقنية:
