تتوسع الشركات السعودية في استخدام الذكاء الاصطناعي داخل خدمة العملاء، وتحليل المبيعات، وإدارة الموارد البشرية، وكشف الاحتيال، والتنبؤ بالطلب، وصناعة المحتوى، ودعم القرارات. ويمنح هذا التوسع المنشآت فرصًا كبيرة لرفع الكفاءة وتسريع الابتكار، لكنه ينقل إليها أيضًا مسؤوليات جديدة تتعلق بالبيانات والعدالة والشفافية والأمن والمساءلة. لذلك لا ينبغي أن تتعامل الإدارة مع حوكمة الذكاء الاصطناعي بوصفها مسألة تقنية تخص فرق الحاسب وحدها، بل يجب أن تضعها ضمن منظومة الحوكمة المؤسسية وإدارة المخاطر والامتثال.
تبدأ المراجعة الفعالة بحصر جميع الأنظمة والنماذج والأدوات التي تستخدمها الشركة، سواء طورتها داخليًا أو حصلت عليها من مورد خارجي. ويساعد هذا الحصر على تحديد الغرض من كل نظام، والبيانات التي يعتمد عليها، والقرارات التي يؤثر فيها، والأشخاص المتضررين من مخرجاته. كما ينبغي ربط عملية التدقيق الداخلي بسجل مركزي يوضح مالك النظام، والجهة المشغلة، ومستوى المخاطر، وضوابط الاعتماد، ونتائج الاختبارات، وخطط المعالجة.
خطر غياب المساءلة وتداخل الصلاحيات
يظهر أول خطر عندما لا تحدد الشركة من يتحمل مسؤولية القرار المدعوم بالذكاء الاصطناعي. فقد يعتقد فريق التقنية أن المسؤولية تقع على الإدارة المستفيدة، بينما ترى الإدارة المستفيدة أن المورد أو المطور مسؤول عن دقة النتائج. ويؤدي هذا التداخل إلى تأخر معالجة الأخطاء وصعوبة إثبات الالتزام عند وقوع ضرر. يجب أن تعين الشركة مالكًا واضحًا لكل استخدام، وأن تحدد صلاحيات الاعتماد والإيقاف والتعديل، وأن ترفع الاستخدامات مرتفعة التأثير إلى لجنة مختصة تضم الإدارة النظامية وإدارة المخاطر والأمن السيبراني والبيانات والقطاع التشغيلي.
ولا تكفي وثيقة عامة تعلن الالتزام بالاستخدام المسؤول، لأن الحوكمة تحتاج إلى إجراءات قابلة للتنفيذ والقياس. ينبغي أن توضح السياسات متى يسمح باستخدام الذكاء الاصطناعي، ومتى يلزم إشراف بشري، وما القرارات التي لا يجوز تفويضها للنظام، وكيف يسجل الموظفون الاعتراضات والحوادث. كما يجب أن تربط الشركة الحوافز الإدارية بجودة الضوابط، حتى لا تدفع أهداف السرعة أو خفض التكلفة الفرق إلى إطلاق نماذج غير مختبرة أو استخدام أدوات غير معتمدة.
مخاطر الخصوصية ومعالجة البيانات الشخصية
تعتمد أنظمة الذكاء الاصطناعي على كميات كبيرة من البيانات، وقد تشمل بيانات العملاء والموظفين والموردين وسلوك المستخدمين. ينشأ الخطر عندما تجمع الشركة بيانات أكثر من حاجتها، أو تستخدمها لغرض مختلف عن الغرض الذي جمعت من أجله، أو تحتفظ بها مدة أطول من اللازم. لذلك يجب أن تراجع المنشأة الأساس النظامي للمعالجة، وحدود الغرض، وضوابط الإفصاح، ومدد الاحتفاظ، وحقوق أصحاب البيانات، وآليات الإتلاف أو إخفاء الهوية.
ويجب أن تشمل المراجعة تدفقات البيانات كاملة، لا قواعد البيانات الداخلية فقط. فقد ترسل أداة خارجية المدخلات إلى بيئة سحابية، أو تحتفظ بالمحادثات، أو تستخدمها لتحسين خدماتها، أو تسمح لمتعهدين فرعيين بمعالجتها. وعلى الشركة أن تعرف أين تنتقل البيانات، ومن يستطيع الوصول إليها، وما الضمانات المطبقة عند النقل أو الاستضافة أو المشاركة. كما ينبغي منع الموظفين من إدخال معلومات سرية أو شخصية في أدوات عامة ما لم تعتمدها الشركة وتتحقق من شروط استخدامها.
جودة البيانات والتحيز والتمييز
تنتج النماذج قرارات ضعيفة عندما تعتمد على بيانات ناقصة أو قديمة أو غير ممثلة للواقع السعودي. وقد يظهر التحيز في التوظيف، أو منح الائتمان، أو التسعير، أو تصنيف العملاء، أو ترتيب الطلبات، أو تقييم الأداء. ولا يكفي أن تحقق الأداة دقة إجمالية مرتفعة، لأن الخطأ قد يتركز في فئة معينة أو منطقة جغرافية أو شريحة عمرية. يجب أن تختبر الشركة النتائج على مجموعات مختلفة، وأن تقارن نسب الخطأ والرفض والقبول، وأن تحقق في أي تفاوت لا يبرره هدف مشروع.
وتستطيع إنسايتس السعودية للاستشارات دعم المنشآت في بناء إطار مراجعة يربط مخاطر النماذج بمتطلبات الحوكمة والامتثال والرقابة، لكن المسؤولية النهائية تبقى على مجلس الإدارة والإدارة التنفيذية. ينبغي ألا تعتمد الشركة على رأي المورد وحده بشأن سلامة النموذج، بل يجب أن تطلب أدلة الاختبار، ومصادر البيانات، وحدود الاستخدام، وآلية التحديث، ومؤشرات الانحراف، وخطط الاستجابة عند ظهور نتائج ضارة أو غير متوقعة.
ضعف الشفافية وقابلية تفسير القرارات
تزداد المخاطر عندما يؤثر النظام في حقوق الأفراد أو فرصهم دون أن تستطيع الشركة شرح أسباب النتيجة. فالعميل الذي يرفض طلبه، أو الموظف الذي يتأثر تقييمه، يحتاج إلى مسار واضح للاعتراض والمراجعة. يجب أن تحدد الشركة مستوى التفسير المطلوب بحسب أثر القرار، وأن تحتفظ بسجلات المدخلات والإصدارات والقواعد والنتائج بالقدر الذي يسمح بالتحقق، مع مراعاة حماية الأسرار التجارية والبيانات الشخصية.
كما ينبغي أن تميز الإدارة بين تفسير تقني معقد وتفسير عملي يفهمه صاحب المصلحة. لا يحتاج العميل إلى تفاصيل رياضية، لكنه يحتاج إلى معرفة العوامل الأساسية التي أثرت في القرار والخطوات المتاحة لتصحيحه. ويجب أن تمنع الشركة استخدام عبارات مضللة توحي بأن النظام محايد أو معصوم من الخطأ، وأن توضح للمستخدمين متى يتفاعلون مع نظام آلي ومتى يستطيعون طلب تدخل بشري.
مخاطر الأمن السيبراني وسلامة النماذج
قد يتعرض نظام الذكاء الاصطناعي للتلاعب بالمدخلات، أو تسريب البيانات، أو سرقة النموذج، أو تسميم بيانات التدريب، أو استغلال نقاط الضعف في واجهات الربط. وقد يستخدم المهاجم أوامر خادعة لدفع الأداة إلى كشف معلومات محمية أو تجاوز القيود. لذلك يجب أن تدمج الشركة أمن الذكاء الاصطناعي ضمن برنامج الأمن السيبراني، وأن تطبق التحكم في الصلاحيات، والتشفير، والفصل بين البيئات، ومراقبة السجلات، واختبارات الاختراق، وإدارة الثغرات، وخطط الاستجابة للحوادث.
ولا ينبغي أن تفترض الشركة أن مزود الخدمة يتحمل جميع الضوابط الأمنية. يجب أن توزع المسؤوليات تعاقديًا، وأن تتحقق من مواقع الاستضافة، وإدارة المفاتيح، وعزل بيانات العملاء، وإجراءات النسخ الاحتياطي، واستمرارية الأعمال، والإبلاغ عن الحوادث. كما يلزم اختبار قدرة النظام على مقاومة المدخلات الضارة، ومنع استخراج المعلومات الحساسة، وضبط الأدوات التي تسمح للنموذج بتنفيذ أوامر أو الوصول إلى أنظمة أخرى.
الاعتماد المفرط على المخرجات الآلية
قد يثق الموظفون في إجابات النظام لمجرد أنها صيغت بلغة واثقة، مع أن النموذج قد ينتج معلومات غير صحيحة أو استنتاجات غير مدعومة. يصبح الخطر أكبر في الشؤون النظامية والمالية والصحية والهندسية والموارد البشرية. يجب أن تضع الشركة حدودًا واضحة للاستخدام، وأن تلزم المراجعة البشرية في القرارات الحساسة، وأن تدرب الموظفين على التحقق من المصادر والبيانات والحسابات قبل اعتماد المخرجات.
ويجب أن يكون الإشراف البشري فعليًا لا شكليًا. فإذا تلقى الموظف مئات القرارات الآلية يوميًا دون وقت أو صلاحية للاعتراض، فلن يحقق الإشراف غرضه. ينبغي أن تمنح الشركة المراجع معلومات كافية لفهم القرار، وأن تقيس نسبة التعديلات والاعتراضات، وأن تراقب ظاهرة الاعتماد التلقائي على توصية النظام. كما يجب أن تحدد الحالات التي تستوجب إيقاف الاستخدام فورًا، مثل ارتفاع الأخطاء أو ظهور أثر تمييزي أو تغير طبيعة البيانات.
مخاطر الموردين والعقود والملكية الفكرية
تعتمد منشآت كثيرة على حلول جاهزة لا تملك تفاصيل بنائها أو تدريبها. وينشأ الخطر عندما تكون العقود غامضة بشأن ملكية المدخلات والمخرجات، وسرية البيانات، وحقوق الاستخدام، ومسؤولية الخطأ، والتحديثات، والمتعهدين الفرعيين، وإنهاء الخدمة. يجب أن تجري الشركة تقييمًا مسبقًا للمورد، وأن تربط مستوى الفحص بحساسية الاستخدام، وأن تحتفظ بحق التدقيق والحصول على إشعارات التغيير والحوادث.
كما ينبغي مراجعة مخاطر الملكية الفكرية عند استخدام أدوات توليد النصوص والصور والبرمجيات. فقد تنتج الأداة محتوى يشابه أعمالًا محمية، أو يستخدم الموظف مواد لا يملك حق إدخالها، أو تنشأ منازعة حول ملكية المخرجات. لذلك يجب أن تعتمد الشركة قواعد للمراجعة والنشر، وأن توثق مساهمة الإنسان، وأن تمنع استخدام المحتوى المولد في المواد الحساسة قبل فحصه نظاميًا وفنيًا.
استمرارية الأداء وتغير النموذج بمرور الوقت
لا ينتهي التقييم عند إطلاق النظام، لأن جودة النموذج قد تنخفض مع تغير السوق أو سلوك العملاء أو مصادر البيانات. وقد يغير المورد النموذج دون إشعار كاف، فتتبدل النتائج أو تظهر مخاطر جديدة. يجب أن تحدد الشركة مؤشرات للأداء والإنصاف والاستقرار، وأن تراقبها دوريًا، وأن تقارن النتائج بخط أساس معتمد، وأن تعيد الاختبار بعد أي تحديث جوهري.
وتحتاج الإدارة إلى خطة خروج واضحة عند فشل النظام أو توقف المورد أو تعذر الوصول إلى البيانات. تشمل الخطة بدائل تشغيلية، ونسخًا قابلة للاسترجاع، وإجراءات للعودة إلى المعالجة اليدوية، وضمان نقل البيانات بصيغة قابلة للاستخدام. كما ينبغي اختبار الخطة عمليًا، لأن الاعتماد الكامل على حل واحد قد يعطل خدمة العملاء أو العمليات المالية أو سلاسل الإمداد عند حدوث انقطاع مفاجئ.
كيف تنفذ الشركات السعودية مراجعة ناضجة
تبدأ المراجعة الناضجة بتصنيف الاستخدامات وفق أثرها على الأفراد والعمليات والسمعة والالتزامات النظامية. ثم تحدد الشركة ضوابط أشد للأنظمة التي تتخذ قرارات حساسة أو تعالج بيانات عالية الحساسية أو تتصل بالبنية التقنية الحرجة. بعد ذلك تجمع الأدلة من السياسات والعقود وسجلات الاختبار والحوادث وشكاوى المستخدمين، وتقابل أصحاب المصلحة، وتختبر عينة من القرارات، وتوثق الفجوات بحسب شدتها واحتمال وقوعها.
ويجب أن تنتهي كل مراجعة بخطة معالجة محددة المسؤوليات والمواعيد ومؤشرات الإنجاز، مع متابعة مستقلة تضمن إغلاق الملاحظات فعليًا. كما ينبغي رفع النتائج الجوهرية إلى مجلس الإدارة أو اللجنة المختصة، وربطها بسجل المخاطر المؤسسية وخطط الأمن السيبراني وحوكمة البيانات واستمرارية الأعمال. بهذه الممارسة تحول الشركة حوكمة الذكاء الاصطناعي من التزام نظري إلى قدرة إدارية تحمي الثقة وتدعم الابتكار المسؤول داخل المملكة.
اقرأ أيضًا:
Finance Advisory 