رصد النتائج لتحقيق نجاح البرنامج

قد يبدو التقييم مهمة مخيفة إذا لم تقم به من قبل، ولكن لا داعي لأن يكون كذلك. فعند التعامل معه كجزء روتيني من تخطيط البرنامج، فإنه يوضح لك ما يعمل بنجاح، ويُظهر للجهات المانحة الفرق الذي يحدثه برنامجك، ويساعدك على تقديم المزيد للأفراد الذين يخدمهم المشاركون لديك. يستعرض هذا الدليل خطوات تخطيط التقييم، ونموذجًا من سبعة مستويات لاختيار المخرجات، والبيانات التي نوصي بجمعها لكل برنامج ECHO، وطرق مواصلة التعلم مما تجمعه.

لماذا نقوم بالتقييم؟

هناك ثلاثة أسباب رئيسية لتقييم برنامج ECHO الخاص بك:

• تحسين البرنامج. يتطلب التحسين المستمر التساؤل عما يعمل بنجاح وما يحتاج إلى اهتمام. إذا لم تكن تصل إلى المتعلمين الذين خططت لاستقطابهم على سبيل المثال، يمكن لبياناتك أن توضح لك أين تتجه: مناطق جديدة، أو مهن جديدة، أو قنوات تواصل جديدة.
• النتائج والعناصر الأساسية. هل يحقق برنامجك النتائج التي تهتم بها؟ أي أجزاء من ECHO Model تحقق الأثر: العروض التعليمية، أم عروض الحالات، أم النقاش بين الأقران؟ وما الذي يقدمه ECHO عندما يكون جزءًا واحدًا من تدخل أكبر؟
• التمويل والاستدامة. يُعد التقييم أمرًا محوريًا للحصول على التمويل. فمن المستحيل تقريبًا تأمين الدعم أو تجديده دون وجود أدلة على نجاح البرنامج.

يُعد التقييم أيضًا أحد خدمات الصحة العامة العشر الأساسية، لذا فإن إدماجه منذ البداية يضع برنامجك على نفس قدم المساواة مع الأنظمة التي يهدف إلى تعزيزها.

اتبع دورة التخطيط

نحن نستخدم إطار عمل تقييم البرامج في الصحة العامة الخاص بمراكز السيطرة على الأمراض والوقاية منها (CDC). وقد تم العمل به لأكثر من 20 عامًا وتم تحديثه في عام 2024. إنه إطار بسيط وتكراري، وكل خطوة فيه ذات أهمية. يتبع بقية هذا المقال خطواته الست.

1. تقييم السياق. افهم بيئة البرنامج، والأطراف المعنية به، وما إذا كان جاهزًا للتقييم.
2. وصف البرنامج. حدد ما تستثمره، وما تقوم به، ومن تصل إليه، وما الذي ينبغي أن يتغير.
3. التركيز على أسئلة التقييم وتصميمه. حدد ما تحتاج إلى معرفته ومدى الدقة التي يجب أن يكون عليها التصميم.
4. جمع أدلة موثوقة. اجمع البيانات باستخدام أساليب تتناسب مع أسئلتك وإمكانياتك.
5. الوصول إلى الاستنتاجات ودعمها. قم بتحليل النتائج وتفسيرها وفقًا لمعايير واضحة.
6. العمل بموجب النتائج. شارك ما تعلمته واستخدمه لتحسين البرنامج.

توجد في مركز الدورة معايير يجب أن يفي بها كل تقييم: الملائمة والفائدة، والدقة، والاستقلالية والموضوعية، والشفافية والأخلاقيات. وحول الإطار الخارجي توجد ثلاث ممارسات تتخلل كل خطوة: المشاركة التعاونية، وتعزيز المساواة، والتعلم من الرؤى واستخدامها.

المساواة والتواضع الثقافي

التقييم ليس نشاطًا محايدًا، خاصة عندما تعمل مع مجتمعات تعاني من نقص الموارد أو تعرضت للصدمات. في أوساط البحث العلمي، نكيل إلى افتراض أننا موضوعيون، لكن التقييم والبحث هما عمليتان اجتماعيتان تخضعان لنفس الانحيازات مثل أي شيء آخر. إن من تشركهم، والأسئلة التي تطرحها، وما تقيسه، وكيفية إعداد التقارير عن النتائج، كلها خيارات، ولا يوجد أي منها محايد.

ضع في اعتبارك الثقافة، والعرق، والإثنية، والسلطة، والصدمات، وصوت الفئات المعنية في كل مرحلة من مراحل العملية: إشراك أصحاب المصلحة، وتصميم البرنامج، وأسئلة التقييم، والمقاييس، وجمع البيانات وتحليلها، وإعداد التقارير، واختيار مستشاري التقييم. تُعد هذه الموارد أساسًا جيدًا:

• إطار التقييم المنصف من مبادرة التقييم المنصف
• أسئلة توجيهية للتقييم المستجيب للثقافات من MDRC
• بيان عام حول الكفاءة الثقافية في التقييم من الجمعية الأمريكية للتقييم

الخطوة 1: تقييم السياق

تقييم السياق هو الخطوة الأولى في الدورة، ومع ذلك غالبًا ما تشرك الفرق أصحاب المصلحة في المرحلة الأخيرة. اشركهم مبكرًا. حتى المشاركون لديهم وجهات نظر مفيدة حول النتائج المهمة والنتائج التي يمكن قياسها بفرص نجاح معقولة، وقد يكون لديهم علم ببيانات يمكنك استخدامها.

انظر إلى أربعة مكونات للسياق:

• الجاهزية للتقييم. يتساءل تقييم إمكانية التقييم عما إذا كان البرنامج جاهزًا للتقييم من الأساس.
• الأفراد. حدد أصحاب المصلحة: من يتأثر بالبرنامج، ومن يؤثر فيه، ومن يرغب في معرفة النتائج.
• المكان. وثّق بيئة البرنامج ومميزاته.
• قدرة التقييم. قَيِّم قدرة فريقك على التقييم، وتأمل بصدق مدى جاهزيتك كمقيّم.

عادةً ما يشمل أصحاب المصلحة في برنامج ECHO ما يلي:

• الجهات المُموِّلة
• القيادة في مؤسستك
• المؤسسات الشريكة
• موظفو البرنامج
• فريق المركز والمقدمون
• المشاركون في ECHO
• المجموعات المهنية
• مجموعات "المستهلكين": المرضى أو الطلاب أو أفراد المجتمع الذين يخدمهم المشاركون لديك

الخطوة 2: وصف البرنامج

كن واضحًا بشأن ما تفعله. يوضح النموذج المنطقي "منطق" برنامجك: ما تستثمره، وما تفعله، ومن تصل إليه، وما الذي يتغير نتيجة لذلك. يعد العمل من خلال هذا النموذج طريقة رائعة لإشراك أصحاب المصلحة. حتى البرنامج البسيط يبدو مختلفًا من وجهات نظر مختلفة، وإبراز هذه الاختلافات مبكرًا أمر مثمر. عد إلى النموذج بمرور الوقت مع نمو البرنامج.

إن النموذج واسع بطبعه. اجعله محددًا لبرنامجك، خاصة إذا كنت ستستخدمه للتواصل مع أصحاب المصلحة الخارجيين. أعمدته الخمسة هي:

• المدخلات: ما تستثمره. التمويل، وفريق المركز، والمشاركون والشركاء، بالإضافة إلى أي أفضل الممارسات أو الإرشادات أو المنهج التعليمي الذي يُبنى عليه البرنامج.
• الأنشطة: ما تفعله. الاستقطاب، والجلسات الافتراضية المجانية المنتظمة، والعروض التقديمية التعليمية الموجزة، وعروض الحالات والتوصيات، والتعلم الميسر ثنائي الاتجاه بين الأقران والخبراء، والتسجيلات والموارد المتاحة عند الطلب. إذا كانت هناك تدخلات أخرى مرتبطة بـ ECHO الخاص بك، فضمّنها حتى يكون السياق واضحًا.
• المخرجات: من تصل إليه. الجلسات التي عقدت، والمشاركون الفريدون، وخصائص المشاركين، ومعدلات الحضور والرضا.
• النتائج قصيرة المدى: التعلم والعمل. زيادة المعرفة والمهارات والثقة والفاعلية الذاتية؛ وتحسين استخدام الممارسات القائمة على الأدلة؛ وتقليل العزلة المهنية وتحسين الرضا الوظيفي.
• النتائج طويلة المدى: التغيير. تحسين النتائج للمستفيدين النهائيين مثل المرضى أو الطلاب، وتحسينات في المؤسسات والأنظمة التي تدعم الممارسة القائمة على الأدلة، ومقاييس أفضل للسكان، وتحسين الاستبقاء على القوى العاملة.

مثال: برنامج ECHO لتحسين صحة فترة ما حول الولادة

يحدد نموذج هذا البرنامج أفضل الممارسات التي يعززها (حزم سلامة المرضى AIM) كمدخلات، ويربط بين التغيير الملموس والمحدد في الممارسة — وهو تقليل الوصمة واللغة الموصمة تجاه الحوامل والنساء في مرحلة ما بعد الولادة اللاتي يتعاطين المواد المخدرة — والنتائج التي يأمل في رؤيتها لدى المرضى والمجتمع. هذه الخصوصية هي ما يجعل النتائج قابلة للقياس.

اختر النتائج باستخدام نموذج مور ذي المستويات السبعة

غالبًا ما يكون تحديد النتائج هو الجزء الأصعب. نحن نستخدم إطار نتائج مور الممتد، والذي تم تطويره لـ التعليم الطبي المستمر للانتقال إلى ما هو أبعد من "استبيانات الرضا البسيطة" إلى نتائج أكثر أهمية. يبنى الهرم من الأسفل إلى الأعلى: يعتمد كل مستوى على المستويات التي أسفله.

تستهدف معظم برامج ECHO المستويات من 1 إلى 4 وتعتمد على المقاييس الذاتية، حيث تطلب من المشاركين تقييم التغيير الخاص بهم في المعرفة والكفاءة. أما المستوى 5، وهو الأداء، فهو المكان الذي ينتقل فيه نموذج ECHO إلى العالم الحقيقي، وهو حجر الزاوية للنموذج بأكمله: إذا لم يغير المشاركون ما يفعلونه، فلا يوجد طريق لتحقيق النتائج للمستفيدين النهائيين أو السكان.

• إذا كان برنامجك راسخاً، فحاول قياس التغيير في الممارسة. وستساعدك الطرق الموضحة في الخطوة 4.
• إذا كان برنامجك جديداً، ففكر الآن في كيفية تأثير منهجك الدراسي على التغييرات في الممارسة التي ترغب في رؤيتها، وربط الجلسات بتلك التغييرات.

الخطوة 3: التركيز على تصميم التقييم

مع مشاركة أصحاب المصلحة وتوفر النموذج المنطقي بين يديك، حدد مدى دقة التصميم المطلوبة. عادةً ما تصبح التصميمات أكثر تطوراً مع نضج البرنامج، أو في وقت أقرب إذا كانت لديك بالفعل خبرة في التقييم أو مقيّم مخصص ضمن الفريق.

الخطوة 4: جمع أدلة موثوقة

بمجرد اعتماد التصميم، ابدأ بجمع البيانات. هذه هي الطرق الموحدة التي طورها معهد ECHO. استخدم النماذج المرتبطة كما هي أو قم بتكييفها لتناسب برنامجك.

بضع ملاحظات حول الأساليب الأقل شيوعاً:

• التأمل الذاتي لفريق Hub يتطرق إلى ما إذا كان فريقك يتبع أفضل ممارسات ECHO. خصص وقتاً لمراجعة البيانات المتوفرة لديك بالفعل بدلاً من انتظار التقرير. تجتمع العديد من الفرق بانتظام لمراجعة لوحات المعلومات الخاصة بها معاً.
• استبيان متابعة تقديم الحالة يُرسَل إلى المقدِّم بعد شهر أو شهرين من تقديم حالته، لمعرفة ما إذا كانت التوصيات مفيدة وما الذي تغير بالنسبة للمريض أو الطالب أو النظام.
• مجموعات التركيز المصغرة تُبرز الفوائد والعوائق والتغييرات في الممارسة والنظم التي قد يغفل عنها الاستبيان.

البيانات الموصى بها

كحد أدنى، نوصي بأن يقيس كل برنامج مدى الرضا والمعرفة والصلة بعد كل جلسة. الأسئلة أدناه مأخوذة من نماذج استبيانات الملاحظات المدمجة في iECHO (انظر إجراء استبيان ملاحظات الجلسة) وهي متاحة أيضًا في PERL.

قياس التغيير في الممارسة

ابدأ بسؤال واحد: ما الذي تريد من المشاركين أن يفعلوه بشكل مختلف بسبب ECHO؟ أجب عنه بشكل عام أولاً، ثم قسّم الإجابة إلى أجزاء محددة. "إدارة اضطراب استخدام المواد أفيونية المفعول في الرعاية الأولية" هي هدف؛ بينما "وصف البوبرينورفين" و"فحص كل مريض جديد باستخدام أداة معتمدة" هي ممارسات يمكنك قياسها.

إذا كنت تشعر أنه من المبكر جداً الإجابة، فهذا أمر طبيعي. فالبرامج تمر بمراحل مختلفة، وتحديد تغيير الممارسة الذي تريده هو جزء من تخطيط البرنامج. والقيام بذلك بشكل جيد يُعد تقدماً نحو التقييم. وتتضمن طرق جمع بيانات تغيير الممارسة ما يلي:

• الاستبيانات، ومجموعات التركيز أو المقابلات
• السجلات الصحية الإلكترونية
• مقاييس تحسين الجودة

الخطوة 5: التوصل إلى الاستنتاجات ودعمها

يتم التحليل، سواء كان نوعياً أم كمياً، بناءً على السؤال المطروح والبيانات المتاحة لديك. فسر النتائج وفقاً للمعايير التي حددتها مسبقاً:

• النتائج. هل حققت المعيار الذي حددته لنفسك، مثل زيادة كبيرة في المعرفة مقارنة بما قبل البرنامج وبعده؟
• القيم. حددها بوضوح. ما هي النتائج التي تُعتبر إيجابية أو سلبية في ضوء أهداف برنامجك؟
• أصحاب المصلحة. هل تعكس النتائج خبراتهم وتوقعاتهم؟ إذا لم تكن كذلك، فلماذا؟

ينبغي أن تكون التوصيات متسقة مع استنتاجاتك ومناسبة في حدود نتائجك. هل سيكون لبرنامجك نفس الأثر في سياق مختلف؟ وضح ما سيكون مهماً للنجاح، أو الفشل، في المستقبل.

الخطوة 6: استخدام البيانات للتعلم

من السهل تقديم التقارير إلى الجهات الممولة فقط. لكن تقديم البيانات إلى فريق برنامجك بشكل أكثر تكراراً يجعلها أكثر فائدة بكثير. لكل جمهور، حدد المحتوى والشكل والتكرار:

• الجمهور. الجهات المانحة، القيادة، فريق المركز، المشاركون، المنظمات الشريكة، المجتمع.
• المحتوى. ما يحتاج كل جمهور إلى معرفته لاتخاذ قرار أو الشعور بقيمة البرنامج.
• الشكل. لوحات المعلومات، التقارير المكتوبة، شريحة عرض في اجتماع الفريق، ملاحظة في جلسة.
• الوتيرة. ربع سنوياً للمراجعة مع الفريق، سنوياً للجهة المانحة، أو أي وتيرة تضمن استمرار استخدام البيانات.

أكمل الدائرة من خلال مشاركة ما تعلمته مع المشاركين ومؤسساتهم والمجتمعات التي تخدمها. لقد قدموا لك البيانات؛ فأرِهم ما الذي غيرته هذه البيانات.

لوحات المعلومات في iECHO

يوفر مركز تحليلات iECHO لفريق المحور لديك طرق عرض جاهزة لمراجعتها معًا: الحضور، ورؤى المشاركين، وملاحظات الجلسات. ابدأ بـ لوحة تحكم نظرة عامة، ثم تعمق في لوحات تحكم المشاركون و النماذج. إن وضع إحدى هذه اللوحات على جدول أعمال اجتماع الفريق المنتظم هو أسهل طريقة لبناء عادة التعلم من بياناتك.

البناء على التقييم: أبحاث ECHO

لا يوجد خط فاصل واضح بين التقييم والبحث العلمي. كلاهما يستخدم نفس الأدوات وغالبًا ما يطرحان نفس الأسئلة؛ إلا أن البحث يتسم عادة بقدر أكبر من التعقيد والدقة. تم فهرسة أكثر من 900 منشور محكَّم حول ECHO في لوحة تحكم منشورات ECHO، ويعكس توزيعها عبر مستويات مور (Moore) ما تقيسه معظم البرامج.

نتائج المرضى في الأدبيات الطبية

يتجه البحث نحو المقاييس الموضوعية: بيانات المطالبات التأمينية، والسجلات الصحية الإلكترونية، ومراجعة المخططات الطبية، واستبيانات المرضى، وغير ذلك من مجموعات البيانات البرامجية أو الإدارية. وتأتي معظم دراسات نتائج المرضى حتى الآن من مجالات التهاب الكبد C، وداء السكري، وفيروس نقص المناعة البشرية، وإدارة الألم. وقد تقترح مقاييس النتائج التي استخدموها ما يمكن لبرنامجك الخاص تتبعه.

فرص البحث

إذا كنت ترغب في الانتقال من التقييم إلى البحث، فهناك بعض الأمور التي تساعدك:

• ابنِ على أساس التقييم لديك. تعتمد الدراسات الدقيقة على هياكل تجمع البيانات بالفعل بشكل موثوق.
• بناء الشراكات. يتضمن معظم بحث ECHO أكثر من طرف واحد: المراكز تعمل معًا، أو مركز مقترن بباحث لديه خبرة في المحتوى. تعد مجموعات ECHO التعاونية مكانًا جيدًا للعثور على برامج تعمل على أسئلة مماثلة. لست مضطرًا لاكتشاف ذلك بمفردك.
• ابحث عن تمويل للبحوث. تتطلب التصاميم الدقيقة عادة دعمًا يتجاوز ميزانية البرنامج.
• إعطاء الأولوية للفجوات في قاعدة الأدلة. حتى مع وجود مئات الدراسات، لا يوجد سوى القليل حول نتائج المستفيدين النهائيين، والتجارب العشوائية المحكومة، وبرامج ECHO التعليمية، والبرامج في البلدان منخفضة ومتوسطة الدخل، والعناصر الأساسية لـ نموذج ECHO. إن سد الفجوة يعزز فرصك في الحصول على التمويل والنشر.

المراجع والموارد

• Centers for Disease Control and Prevention. (2024). إطار عمل لتقييم البرامج في الصحة العامة. MMWR Recommendations and Reports, 73(RR-6), 1–37.
• Moore, D. E., Green, J. S., & Gallis, H. A. (2009). تحقيق النتائج المرجوة وتحسين المخرجات: دمج التخطيط والتقييم في جميع الأنشطة التعليمية. Journal of Continuing Education in the Health Professions, 29(1), 1–15.
• New York Academy of Medicine. (2017). تقييم Project ECHO 101: دليل عملي لتقييم برنامجك.
• PERL: مكتبة معهد ECHO لنماذج التقييم، بما في ذلك النموذج المنطقي وأدوات الاستبيان الموضحة أعلاه.
• لوحة معلومات منشورات ECHO: أبحاث مراجعة من قبل الأقران حول ECHO، قابلة للبحث حسب الموضوع ومستوى النتيجة.

هل لديك أسئلة حول تقييم برنامجك؟ اتصل بفريق البحث والتقييم في معهد ECHO على jljones8@salud.unm.edu.