كيف سنجري عمليات تدقيق حسابية في الاقتصاد الجديد

10

يجتاز مدراء تقنية المعلومات اليوم حقل ألغام من المخاطر والامتثال والحساسيات الثقافية عندما يتعلق الأمر بنشر الخوارزمية- عمليات تجارية مدفوعة.

Image: Montri - stock.adobe.com

الصورة: مونتري – stock.adobe.com

الخوارزميات هي قلب التطبيقات ، لكنها قد لا ينظر إليها المستفيدون المقصودون على أنها حميدة تمامًا.

يعرف معظم المتعلمين أن الخوارزمية هي ببساطة أي إجراء حسابي متدرج. معظم برامج الكمبيوتر هي خوارزميات من نوع إلى آخر. تتخذ الخوارزميات ، المضمنة في التطبيقات التشغيلية ، القرارات وتتخذ الإجراءات وتقدم النتائج بشكل مستمر وموثوق وغير مرئي. ولكن في المناسبة الغريبة التي تلسع فيها الخوارزمية – التعدي على خصوصية العملاء ، أو رفض منحهم قرضًا لشراء منزل ، أو ربما استهدافهم بوابل من التماس مرفوض – قد يكون رد فعل أصحاب المصلحة المفهومة هو رد الفعل الغاضب ، وربما بشكل قانوني. إجراء.

بدأت اللوائح التنظيمية تتطلب تدقيق الخوارزمية

يجتاز الرؤساء التنفيذيون اليوم حقل ألغام من المخاطر والامتثال والحساسيات الثقافية عندما يتعلق الأمر بنشر العمليات التجارية القائمة على الخوارزميات ، وخاصة تلك المدعومة بالذكاء الاصطناعي (AI) والتعلم العميق (DL) والتعلم الآلي (ML).

تدور العديد من هذه المخاوف حول احتمال أن العمليات الحسابية يمكن أن يتسبب عن غير قصد في إحداث تحيزات عنصرية ، وانتهاكات للخصوصية ، وأتمتة لقتل الوظائف على المجتمع ككل ، أو على شرائح ضعيفة منه. والمثير للدهشة أن بعض التنفيذيين البارزين في صناعة التكنولوجيا يعتبرون العمليات الحسابية تهديدًا وجوديًا محتملاً للبشرية. يرى مراقبون آخرون أن هناك احتمالية كبيرة لأن تزداد نتائج الخوارزميات عبثية وتؤدي إلى نتائج عكسية.

يميل الافتقار إلى المساءلة الشفافة لاتخاذ القرارات التي تحركها الخوارزمية إلى إثارة الإنذارات بين الأطراف المتأثرة. تم تأليف العديد من الخوارزميات الأكثر تعقيدًا من قبل مجموعة من المبرمجين المتغيرة باستمرار ، والتي تبدو مجهولة الهوية على مدار سنوات عديدة. إن إخفاء هوية الخوارزميات – إلى جانب حجمها الهائل وتعقيدها وغموضها – يقدم للجنس البشري مشكلة تبدو مستعصية على الحل: كيف يمكن للمؤسسات العامة والخاصة في مجتمع ديمقراطي أن تضع إجراءات للإشراف الفعال على قرارات الخوارزميات؟

بقدر ما تميل البيروقراطيات المعقدة إلى حماية المحرضين على اتخاذ قرارات غير حكيمة ، يمكن للخوارزميات المعقدة أن تحجب العوامل المحددة التي دفعت قطعة معينة من البرامج للعمل بطريقة معينة في ظل ظروف محددة. في السنوات الأخيرة ، نمت الدعوات الشائعة لتدقيق العمليات التجارية التي تعتمد على الخوارزمية في المؤسسات. قد تفرض لوائح مثل لائحة حماية البيانات العامة للاتحاد الأوروبي (EU) يدك في هذا الصدد. يحظر القانون العام لحماية البيانات (GDPR) أي “صنع قرار فردي آلي” يؤثر بشكل كبير على مواطني الاتحاد الأوروبي.

على وجه التحديد ، يقيد القانون العام لحماية البيانات أي نهج خوارزمي يتعامل مع مجموعة واسعة من البيانات الشخصية – بما في ذلك السلوك والموقع والحركات والصحة والمصالح والتفضيلات والوضع الاقتصادي وما إلى ذلك – في القرارات الآلية. تتطلب لائحة الاتحاد الأوروبي أن يكون لدى الأفراد المتأثرين خيار مراجعة التسلسل المحدد للخطوات والمتغيرات والبيانات وراء قرار خوارزمي معين. ويتطلب ذلك الاحتفاظ بسجل تدقيق للمراجعة وأن تدعم أدوات التدقيق تجميع عوامل القرار الخوارزمية.

بالنظر إلى مدى تأثير القانون العام لحماية البيانات (GDPR) على المبادرات التنظيمية الأخرى التي تركز على الخصوصية في جميع أنحاء العالم ، فلن يكون من المفاجئ رؤية القوانين واللوائح تفرض هذه الأنواع من التدقيق المتطلبات المفروضة على الشركات العاملة في معظم الدول الصناعية في وقت قريب.

على سبيل المثال ، أدخل المشرعون الفيدراليون في الولايات المتحدة قانون محاسبة الخوارزميات في عام 2019 لمطالبة الشركات بمسح وإصلاح الخوارزميات التي تؤدي إلى معاملة تمييزية أو غير عادلة.

توقعًا لهذا الاتجاه بعقد من الزمن ، فإن توجيهات مجلس الاحتياطي الفيدرالي الأمريكي SR-11 بشأن نموذج إدارة المخاطر ، والتي صدرت في عام 2011 ، تلزم المنظمات المصرفية بإجراء عمليات تدقيق لغسيل الأموال والنماذج الإحصائية الأخرى في من أجل التنبيه إلى احتمال الخسارة المالية بسبب القرارات الحسابية. كما توضح الجوانب الرئيسية لإطار عمل نموذجي فعال لإدارة المخاطر ، بما في ذلك تطوير نموذج قوي ، وتنفيذ واستخدام ؛ التحقق الفعال من النموذج ؛ وحوكمة وسياسات وضوابط سليمة.

حتى إذا كانت المؤسسة لا تستجيب لأي متطلبات قانونية أو تنظيمية محددة لاستئصال أدلة الإنصاف والتحيز و التمييز في الخوارزميات الخاصة بك ، قد يكون من الحكمة من وجهة نظر العلاقات العامة. إذا لم يكن هناك شيء آخر ، فسيشير ذلك إلى التزام المؤسسة بالإرشادات الأخلاقية التي تشمل تطوير التطبيقات وممارسات DevOps للتعلم الآلي.

لكن الخوارزميات يمكن أن تكون كيانات معقدة بشكل مخيف للتدقيق

يحتاج مدراء تقنية المعلومات إلى الحصول عليها قبل هذا الاتجاه من خلال إنشاء ممارسات داخلية تركز على تدقيق الخوارزميات والمحاسبة والشفافية. يجب أن تكون المؤسسات في كل صناعة على استعداد للاستجابة للمطالب المتزايدة بأن تقوم بمراجعة مجموعة كاملة من قواعد العمل ونماذج AI / DL / ML التي قام مطوروها بترميزها في أي عمليات تؤثر على العملاء والموظفين وأصحاب المصلحة الآخرين.

بالطبع ، يمكن أن يكون هذا أمرًا صعب التنفيذ. على سبيل المثال ، يتطلب “الحق في التفسير” الخاص باللائحة العامة لحماية البيانات درجة من الشفافية الخوارزمية التي قد يكون من الصعب للغاية ضمانها في ظل العديد من ظروف العالم الحقيقي. يمثل إخفاء الهوية الظاهر للخوارزميات – إلى جانب حجمها الهائل وتعقيدها وغموضها – مشكلة شائكة تتعلق بالمساءلة. ومما يضاعف الغموض حقيقة أن العديد من الخوارزميات – سواء كانت تعلم آليًا أو شبكات عصبية تلافيفية أو أيًا كان – تم تأليفها من قبل مجموعة من المبرمجين المتغيرة باستمرار ، والتي تبدو مجهولة الهوية على مدار سنوات عديدة.

)

قد تجد معظم المؤسسات – حتى أمثال أمازون وجوجل وفيسبوك – صعوبة في تتبع جميع المتغيرات المشفرة في عمليات الأعمال الخوارزمية الخاصة بها. ما يمكن أن يكون أكثر تعقيدًا هو مطلبهم بتجميع عمليات التدقيق هذه في روايات بلغة إنجليزية بسيطة تشرح للعميل أو المنظم أو هيئة المحلفين سبب اتخاذ عملية خوارزمية معينة إجراءً محددًا في ظل ظروف العالم الحقيقي. حتى إذا تحقق مسار التدقيق الحسابي الدقيق بالكامل بطريقة أو بأخرى ، فستحتاج إلى أن تكون راويًا رئيسيًا لتوضيحه بعبارات بسيطة بما يكفي لإرضاء جميع الأطراف في الإجراء.

إن طرح المزيد من خبراء الخوارزميات لحل المشكلة (حتى لو كان هناك عدد كافٍ من هؤلاء الأحادي القرن) لن يخفف بالضرورة من عبء تقييم مساءلة الخوارزميات. يعد شرح ما يجري داخل الخوارزمية مهمة معقدة حتى بالنسبة للخبراء. تعمل هذه الأنظمة من خلال تحليل ملايين أجزاء البيانات ، وعلى الرغم من أنها تعمل بشكل جيد ، فمن الصعب تحديد سبب عملها بشكل جيد. لا يمكن للمرء بسهولة تتبع مسارهم الدقيق للوصول إلى إجابة نهائية.

التدقيق الحسابي ليس لضعاف القلوب ، حتى بين المهنيين التقنيين الذين يعيشون ويتنفسون هذا أشياء. في العديد من التطبيقات الموزعة في العالم الحقيقي ، تتم أتمتة القرارات الحسابية عبر بيئات معقدة بشكل استثنائي. قد تتضمن هذه العمليات الحسابية المرتبطة التي يتم تنفيذها على عدد لا يحصى من محركات وقت التشغيل ، وتدفق الأقمشة ، ومنصات قواعد البيانات ، وأقمشة البرمجيات الوسيطة.

قد لا يعرف معظم الأشخاص الذين تقوم بتدريبهم لشرح هذه الأشياء خوارزمية التعلم الآلي من ثقب في الأرض. في كثير من الأحيان ، لن يكون هناك خبير بشري واحد – أو حتى أداة خوارزمية (تنبيه المفارقة) – يمكنها تأطير سرد محدد لأتمتة القرار بلغة إنجليزية بسيطة ، ولكن ليست مبسطة. حتى إذا كان بإمكانك إعادة تشغيل القرارات الآلية بكل التفاصيل الدقيقة وبوضوح سردي مثالي ، فقد لا تزال غير مجهز لتقييم ما إذا كان قد تم اتخاذ أفضل قرار حسابي.

نظرًا للعدد الذي لا يسبر غوره وسرعته وتعقيده لمعظم القرارات الخوارزمية ، فلن يتم تقديم سوى القليل جدًا من الناحية العملية لإعادة تقييم الطرف الثالث بعد الوفاة. فقط بعض الظروف غير العادية في المستقبل – مثل الإجراءات القانونية ، أو النزاع التعاقدي ، أو إظهار خلل فني – ستجبر الأطراف المتأثرة على إعادة النظر في تلك القرارات الآلية.

و قد تكون هناك قيود تقنية أساسية تمنع المحققين من تحديد ما إذا كانت خوارزمية معينة قد اتخذت القرار الأفضل. قد يكون هناك مثيل معين تم نشره من الخوارزمية غير قادر على النظر في جميع العوامل ذات الصلة في وقت اتخاذ القرار بسبب نقص الذاكرة قصيرة المدى والعاملة والعرضية.

وضع نهج معياري للتدقيق الحسابي

يجب أن يدرك مدراء تقنية المعلومات أنهم لا يحتاجون إلى العمل بمفردهم في محاسبة الخوارزمية. يجب أن تكون الشركات قادرة على استدعاء مدققي حسابات خوارزميات مستقلين تابعين لجهات خارجية. قد يُطلب من المدققين مراجعة الخوارزميات قبل النشر كجزء من عملية DevOps ، أو بعد النشر استجابةً للتحديات القانونية والتنظيمية وغيرها من التحديات غير المتوقعة.

) تقدم بعض الاستشارات المتخصصة خدمات تدقيق الخوارزميات لعملاء من القطاعين العام والخاص. وتشمل هذه:

BNH.ai

: تصف هذه الشركة نفسها بأنها “شركة محاماة صغيرة التي تستفيد من الخبرة القانونية والتقنية ذات المستوى العالمي لمساعدة عملائنا على تجنب التزامات الذكاء الاصطناعي والتحليلات واكتشافها والاستجابة لها “. يوفر تقييمات على مستوى المؤسسة لمسؤوليات الذكاء الاصطناعي في المؤسسة ونموذج ممارسات الحوكمة ؛ الكشف عن حوادث الذكاء الاصطناعي والاستجابة لها ، وشهادات المخاطر الخاصة بالنموذج والمشروع ؛ والإرشادات التنظيمية والامتثال. كما يقوم بتدريب العملاء الفنيين والقانونيين وموظفي إدارة المخاطر على كيفية إجراء عمليات تدقيق الخوارزميات.

 

    أونيل لاستشارات المخاطر والتدقيق الحسابي

: تصف ORCAA نفسها بأنها “شركة استشارية تساعد الشركات والمؤسسات على إدارة وتدقيق مخاطر الخوارزميات.” وهي تعمل مع العملاء لتدقيق استخدام خوارزمية معينة في السياق ، وتحديد قضايا الإنصاف والتحيز والتمييز والتوصية بخطوات المعالجة. يساعد العملاء على إنشاء “أنظمة إنذار مبكر” تحدد عندما تكون خوارزمية إشكالية (أخلاقية أو قانونية أو ذات سمعة أو غير ذلك) قيد التطوير أو الإنتاج ، وبالتالي تصعيد الأمر إلى الأطراف ذات الصلة لإصلاحها. إنهم بمثابة شهود خبراء لمساعدة الوكالات العامة وشركات المحاماة في الإجراءات القانونية المتعلقة بالتمييز الخوارزمي والضرر. تساعد المؤسسات على تطوير الاستراتيجيات والعمليات لتفعيل العدالة أثناء تطويرها و / أو دمج أدوات الخوارزمية. إنهم يعملون مع المنظمين لترجمة قوانين وقواعد الإنصاف إلى معايير محددة لمنشئي الخوارزميات. ويقومون بتدريب موظفي العميل على تدقيق الخوارزمية.

حاليًا ، هناك القليل من المعايير الصارمة والسريعة في تدقيق الخوارزمية. يتم تحديد ما يتم تضمينه في عملية التدقيق وكيفية إجراء عملية التدقيق بشكل أو بآخر من قبل كل مؤسسة تتعهد بها ، أو من خلال الاستشارات المحددة التي يتم تعيينها لإجراء ذلك. بالنظر إلى المعايير المستقبلية المحتملة في تدقيق الخوارزمية ، تعاونت Google Research و Open AI مع مجموعة واسعة من الجامعات والمعاهد البحثية العام الماضي لنشر دراسة بحثية توصي بمراجعة طرف ثالث لأنظمة الذكاء الاصطناعي. كما توصي الورقة المؤسسات بما يلي:

  • تطوير متطلبات مسار التدقيق “لتطبيقات السلامة الحرجة” لأنظمة الذكاء الاصطناعي ؛
  • إجراء عمليات تدقيق منتظمة وتقييمات للمخاطر المرتبطة بالأنظمة الحسابية القائمة على الذكاء الاصطناعي التي يطورونها ويديرونها ؛
  • معهد منح التحيز والسلامة لتعزيز الحوافز والعمليات للتدقيق ومعالجة المشكلات باستخدام أنظمة الذكاء الاصطناعي ؛

مشاركة سجلات التدقيق وغيرها من المعلومات حول الحوادث مع أنظمة الذكاء الاصطناعي من خلال عملياتها التعاونية مع الأقران ؛

  • مشاركة أفضل الممارسات والأدوات لتدقيق الخوارزمية وتقييم المخاطر ؛ و
  • إجراء بحث في قابلية تفسير وشفافية أنظمة الذكاء الاصطناعي لدعم عمليات تدقيق أكثر كفاءة وفعالية وتقييم المخاطر.

آخر حديث تشمل مبادرات صناعة الذكاء الاصطناعي ذات الصلة بتوحيد تدقيق الخوارزمية ما يلي:

  • نشرت Google إطار عمل للتدقيق الداخلي تم تصميمه لمساعدة فرق هندسة المؤسسات على تدقيق أنظمة الذكاء الاصطناعي للتحقق من الخصوصية والتحيز والقضايا الأخلاقية الأخرى قبل نشرها. Image: Montri - stock.adobe.com

نشر باحثو الذكاء الاصطناعي من Google و Mozilla و University of Washington ورقة توضح العمليات المحسنة لـ التدقيق وإدارة البيانات لضمان تضمين المبادئ الأخلاقية في عمليات سير عمل DevOps التي تنشر خوارزميات AI / DL / ML في التطبيقات.

  • نشرت الشراكة بشأن الذكاء الاصطناعي قاعدة بيانات لتوثيق الحالات التي تفشل فيها أنظمة الذكاء الاصطناعي في الالتزام بممارسات مقبولة لمكافحة التحيز والأخلاق وغيرها.

التوصيات

يجب على مدراء تقنية المعلومات استكشاف أفضل السبل لبدء التدقيق الحسابي i في ممارسات DevOps لمنظماتهم.

سواء اخترت تدريب الموظفين الداخليين وتوظيفهم لتقديم التدقيق الحسابي أو الاستعانة باستشارة خارجية في هذا الصدد ، فإن التوصيات التالية هي من المهم الانتباه:

    • يجب أن يتلقى المدققون المحترفون التدريب والشهادة وفقًا للمناهج والمعايير المقبولة عمومًا.

Image: Montri - stock.adobe.com يجب على المدققين استخدام أفضل الممارسات القوية والموثقة جيدًا والأخلاقية بناءً على بعض الإجماع المهني.

يجب منع المراجعين الذين يتلقون رشاوى و / أو لديهم تضارب في المصالح و / أو خوارزميات ختم مطاطي لإرضاء العملاء من ممارسة الأعمال التجارية. يجب تحديد نطاقات المراجعة بشكل واضح وشامل من أجل توضيح ما هي جوانب الخوارزميات المدققة التي ربما تم استبعادها وكذلك سبب عدم معالجتها (على سبيل المثال ، إلى p تدوير الملكية الفكرية الحساسة للشركة). يجب أن تكون عملية مستمرة تبدأ بشكل دوري أو في أي وقت بنموذج رئيسي أو تغيير بياناته الأساسية. يجب أن تتوافق عمليات التدقيق مع عمليات المعالجة المطلوبة اللازمة لتصحيح أي مشكلات يتم تحديدها مع الخوارزميات قيد التدقيق.

أخيرًا وليس آخرًا ، يجب الكشف عن تقارير التدقيق الحسابي النهائية للجمهور في كثير من الأحيان بنفس الطريقة التي تشارك بها الشركات المتداولة علنًا البيانات المالية. وبالمثل ، يجب على المؤسسات نشر ممارسات التدقيق الخوارزمي الخاصة بها بنفس الطريقة التي تنشر بها ممارسات الخصوصية. التفويضات خارج الموضوع. يجب أن يأخذ مدققو الخوارزميات دائمًا في الاعتبار تأثير السمعة على شركاتهم وعملائهم وأنفسهم إذا فشلوا في الحفاظ على أي شيء أقل من أعلى المعايير المهنية.

الشفافية الكاملة للتدقيق الممارسات ضرورية للحفاظ على ثقة أصحاب المصلحة في العمليات التجارية الخوارزمية لمؤسستك.

جيمس كوبيلوس محلل صناعة تكنولوجيا مستقل ، مستشار ، والمؤلف. يعيش في الإسكندرية بولاية فيرجينيا. عرض السيرة الذاتية الكاملة