يُنشئ باحث الذكاء الاصطناعي الغاضب قائمة بأوراق التعلم الآلي غير القابلة للتكرار

10

في 14 فبراير ، قام الباحث الذي شعر بالإحباط من إعادة إنتاج نتائج ورقة بحث عن التعلم الآلي بفتح حساب Reddit تحت اسم المستخدم ContributionSecure14 ونشر r / MachineLearning subbreddit: “لقد أمضيت أسبوعًا في تنفيذ ورقة كخط أساس وفشلت في إعادة إنتاج النتائج. أدركت اليوم بعد البحث على Google قليلاً أن قلة آخرين لم يتمكنوا أيضًا من إعادة إنتاج النتائج. هل توجد قائمة بهذه الأوراق؟ سيوفر على الناس الكثير من الوقت والجهد “.

أصاب المنشور وتوترًا لدى المستخدمين الآخرين على r / MachineLearning ، وهو أكبر مجتمع Reddit للتعلم الآلي.

أجاب أحد المستخدمين: “من الأسهل تجميع قائمة من تلك القابلة للتكرار …”.

من المحتمل أن 50٪ -75٪ من جميع الأوراق غير قابلة لإعادة الإنتاج. كتب مستخدم آخر ، إنه أمر محزن ، لكنه صحيح. “فكر في الأمر ، يتم” تحسين “معظم الأوراق للدخول في مؤتمر. في كثير من الأحيان ، يعرف المؤلفون أن الورقة التي يحاولون الدخول فيها إلى مؤتمر ليست جيدة جدًا! لذلك لا داعي للقلق بشأن إمكانية التكاثر لأن لا أحد سيحاول إعادة إنتاجها “.

نشر عدد قليل من المستخدمين الآخرين روابط لأوراق التعلم الآلي التي فشلوا في تنفيذها وأعربوا عن إحباطهم من عدم كون تنفيذ الكود مطلبًا في مؤتمرات تعلم الآلة.

في اليوم التالي ، تم إنشاء ContributionSecure14 “أوراق بدون كود، “موقع ويب يهدف إلى إنشاء قائمة مركزية بأوراق التعلم الآلي غير القابلة للتنفيذ.

“لست متأكدًا مما إذا كانت هذه هي أفضل فكرة أم أسوأها على الإطلاق ، لكنني اعتقدت أنه سيكون من المفيد جمع قائمة بالأوراق التي حاول الأشخاص إعادة إنتاجها وفشلوا في ذلك ،” ContributionSecure14 كتب على r / MachineLearning. سيعطي هذا المؤلفين فرصة إما لإصدار التعليمات البرمجية الخاصة بهم أو تقديم مؤشرات أو إلغاء البحث. آمل أن يحفز هذا ثقافة بحثية أكثر صحة في تعلم الآلة حول عدم نشر عمل غير قابل للإنتاج “.

إعادة إنتاج نتائج أوراق التعلم الآلي

التعلم الالي ينشر الباحثون أبحاثًا بانتظام على منصات الإنترنت مثل arXiv و OpenReview. تصف هذه الأوراق المفاهيم والتقنيات التي تسلط الضوء على التحديات الجديدة في أنظمة التعلم الآلي أو تقدم طرقًا جديدة لحل المشكلات المعروفة. تجد العديد من هذه الأوراق طريقها إلى مؤتمرات الذكاء الاصطناعي السائدة مثل NeurIPS و ICML و ICLR و CVPR.

يساعد وجود كود مصدر يتماشى مع ورقة بحثية كثيرًا في التحقق من صحة تقنية التعلم الآلي والبناء عليها. لكن هذا ليس شرطًا لمؤتمرات التعلم الآلي. نتيجة لذلك ، يعاني العديد من الطلاب والباحثين الذين قرأوا هذه الأوراق من إعادة إنتاج نتائجهم.

“العمل غير القابل للإنتاج يهدر وقت وجهد الباحثين ذوي النوايا الحسنة ، ويجب على المؤلفين السعي لضمان وجود تنفيذ عام واحد على الأقل لعملهم” ، قال ContributionSecure14 ، الذي فضل عدم الكشف عن هويته ، تيك تالكس في التعليقات المكتوبة. “إن نشر بحث بنتائج تجريبية في المجال العام لا طائل من ورائه إذا لم يتمكن الآخرون من البناء على الورق أو استخدامه كخط أساس.”

لكن ContributionSecure14 تقر أيضًا بوجود أسباب مشروعة في بعض الأحيان تمنع باحثي التعلم الآلي من إصدار التعليمات البرمجية الخاصة بهم. على سبيل المثال ، قد يقوم بعض المؤلفين بتدريب نماذجهم على البنية التحتية الداخلية أو استخدام مجموعات بيانات داخلية كبيرة للتدريب المسبق. في مثل هذه الحالات ، لا يحق للباحثين نشر الكود أو البيانات مع أوراقهم بسبب سياسة الشركة.

يقول ContributionSecure14: “إذا نشر المؤلفون بحثًا بدون رمز بسبب مثل هذه الظروف ، فأنا شخصيًا أعتقد أن لديهم المسؤولية الأكاديمية للعمل عن كثب مع باحثين آخرين يحاولون إعادة إنتاج أوراقهم”. “لا جدوى من نشر الورقة في المجال العام إذا لم يستطع الآخرون البناء عليها. يجب أن يكون هناك تطبيق مرجعي واحد على الأقل متاح للجمهور للآخرين للبناء عليه أو استخدامه كخط أساس “.

في بعض الحالات ، حتى لو نشر المؤلفون كلاً من الكود المصدري والبيانات في ورقتهم البحثية ، لا يزال باحثو التعلم الآلي الآخرون يكافحون لإعادة إنتاج النتائج. يمكن أن يكون هذا بسبب أسباب مختلفة. على سبيل المثال ، قد يختار المؤلفون أفضل النتائج من عدة تجارب ويقدمونها على أنها إنجازات متطورة. في حالات أخرى ، ربما استخدم الباحثون حيلًا مثل ضبط معلمات نموذج التعلم الآلي الخاص بهم على مجموعة بيانات الاختبار لتعزيز النتائج. في مثل هذه الحالات ، حتى إذا كانت النتائج قابلة للتكرار ، فإنها ليست ذات صلة ، لأن نموذج التعلم الآلي قد تم تعديله لظروف معينة ولن يعمل بشكل جيد على البيانات غير المرئية من قبل.

“أعتقد أنه من الضروري الحصول على رمز قابل لإعادة الإنتاج كشرط أساسي للتحقق بشكل مستقل من صحة النتائج المطالب بها في الورقة ، ولكن [code alone is] غير كافية ، “قال ContributionSecure14.

الجهود المبذولة لإمكانية استنساخ التعلم الآلي

توفر “أوراق مع رمز” مستودعًا لتنفيذ التعليمات البرمجية للأوراق العلمية

لا تقتصر مشكلة التكاثر على فرق بحث التعلم الآلي الصغيرة. حتى شركات التكنولوجيا الكبرى التي تنفق ملايين الدولارات على أبحاث الذكاء الاصطناعي كل عام غالبًا ما تفشل في التحقق من صحة نتائج أبحاثها. في أكتوبر 2020 ، كتبت مجموعة مؤلفة من 31 عالمًا أ مقال مشترك في طبيعة سجية، منتقدًا الافتقار إلى الشفافية وقابلية التكاثر في ورقة حول استخدام الذكاء الاصطناعي في التصوير الطبي ، نشرتها مجموعة من باحثي الذكاء الاصطناعي في جوجل. “[The] إن عدم وجود طرق موثقة بشكل كافٍ ورمز الكمبيوتر الكامن وراء الدراسة يقوض بشكل فعال قيمتها العلمية. هذا القصور يحد من الأدلة المطلوبة للآخرين للتحقق من صحة هذه التقنيات وتنفيذها سريريًا مستقبليًا ، كتب المؤلفون. “يعتمد التقدم العلمي على قدرة الباحثين المستقلين على فحص نتائج الدراسة البحثية ، وإعادة إنتاج النتائج الرئيسية للدراسة باستخدام موادها ، والبناء عليها في الدراسات المستقبلية.”

شهدت السنوات الأخيرة تركيزًا متزايدًا على أزمة استنساخ الذكاء الاصطناعي. يشمل العمل الملحوظ في هذا الصدد جهود جويل بينو ، عالمة التعلم الآلي في جامعة ماكجيل في مونتريال و Facebook AI ، التي كانت تدفع من أجل الشفافية وإعادة إنتاج أبحاث التعلم الآلي في مؤتمرات مثل NeurIPS.

“أفضل استنساخ يعني أنه من الأسهل بكثير البناء على الورق. غالبًا ما تكون عملية المراجعة قصيرة ومحدودة ، والتأثير الحقيقي للورقة هو شيء نراه لاحقًا. لا تزال الورقة موجودة ، وكمجتمع لدينا فرصة للبناء على العمل ، وفحص الكود ، وإلقاء نظرة نقدية على المساهمات ، ” أخبر طبيعة سجية في مقابلة عام 2019.

في NeurIPS ، ساعد Pineau في تطوير المعايير والعمليات التي يمكن أن تساعد الباحثين والمراجعين في تقييم إمكانية استنساخ أوراق التعلم الآلي. أدت جهودها إلى زيادة في تقديم التعليمات البرمجية والبيانات في NeurIPS.

https://www.youtube.com/watch؟v=wVkViYY_fwA

مشروع آخر مثير للاهتمام هو أوراق مع كود (من حيث يأتي اسم Papers Without Code) ، موقع ويب يوفر تطبيقات لأوراق البحث العلمي المنشورة والمقدمة في أماكن مختلفة. تستضيف Papers With Code حاليًا تنفيذ أكثر من 40.000 ورقة بحثية للتعلم الآلي.

تلعب PapersWithCode دورًا مهمًا في تسليط الضوء على الأوراق التي يمكن إعادة إنتاجها. ومع ذلك ، فإنه لا يعالج مشكلة الأوراق غير القابلة لإعادة الإنتاج ، “قال ContributionSecure14.

عندما لا تتضمن الورقة البحثية الخاصة بالتعلم الآلي رمز التنفيذ ، يجب على الباحثين الآخرين الذين قرأوها محاولة تنفيذها بأنفسهم ، وهي عملية غير تافهة يمكن أن تستغرق عدة أسابيع وتؤدي في النهاية إلى الفشل.

قالت شركة ContributionSecure14: “إذا فشلوا في تنفيذه بنجاح ، فقد يتواصلون مع المؤلفين (الذين قد لا يستجيبون) أو يستسلمون ببساطة”. “يمكن أن يحدث هذا للعديد من الباحثين الذين ليسوا على دراية بالمحاولات السابقة أو المستمرة لإعادة إنتاج الورقة ، مما يؤدي إلى إهدار عدة أسابيع من الإنتاجية بشكل جماعي.”

أوراق بدون كود

أوراق بدون كود
تتعقب “أوراق بدون رمز” أوراق التعلم الآلي التي لها نتائج غير قابلة للتكرار

تتضمن “أوراق بدون رمز” أ صفحة التقديم، حيث يمكن للباحثين إرسال أوراق التعلم الآلي غير القابلة لإعادة الإنتاج جنبًا إلى جنب مع تفاصيل جهودهم ، مثل مقدار الوقت الذي أمضوه في محاولة إعادة إنتاج النتائج. إذا كان التقديم صالحًا ، فستتصل “أوراق بدون رمز” بالمؤلفين الأصليين للورقة وتطلب توضيحًا أو نشر تفاصيل التنفيذ. إذا لم يرد المؤلفون في الوقت المناسب ، ستتم إضافة الورقة إلى قائمة أوراق التعلم الآلي غير القابلة لإعادة الإنتاج.

“PapersWithoutCode يحل مشكلة مركزية المعلومات حول المحاولات السابقة أو الجارية لإعادة إنتاج ورقة ويتيح للباحثين (بما في ذلك المؤلف الأصلي) الاجتماع معًا وتنفيذ تنفيذ عام ،” قال ContributionSecure14. “بمجرد إعادة إنتاج الورقة بنجاح ، يمكن نشرها على PapersWithCode أو GitHub حيث يمكن للباحثين الآخرين استخدامها. بهذا المعنى ، أود أن أقول إن أهداف PapersWithoutCode متآزرة مع ذلك أو PapersWithCode ومجتمع ML بشكل عام “.

يكمن الأمل في أن تساعد “أوراق بدون رمز” في إنشاء ثقافة تحفز قابلية التكرار في أبحاث التعلم الآلي. حتى الآن ، تلقى الموقع أكثر من 10 طلبات وتعهد مؤلف واحد بالفعل بتحميل الكود الخاص به.

“أدرك أن هذا يمكن أن يكون موضوعًا مثيرًا للجدل في الأوساط الأكاديمية وأن الأولوية القصوى هي حماية سمعة المؤلفين أثناء خدمة مجتمع ML الأوسع ،” قال ContributionSecure14.

يمكن أن تصبح “أوراق بدون رمز” مركزًا لإنشاء حوار بين المؤلفين الأصليين لأوراق التعلم الآلي والباحثين الذين يحاولون إعادة إنتاج أعمالهم.

قال ContributionSecure14 “بدلاً من أن تكون قائمة ثابتة للعمل غير القابل للإنتاج ، فإن الأمل هو خلق بيئة يمكن للباحثين أن يتعاونوا فيها لإعادة إنتاج ورقة”.

بحث التعلم الآلي القابل للتكرار

مجموعة التعلم
سيتطلب إنشاء ثقافة عمل التعلم الآلي القابل للتكرار جهودًا متضافرة من جميع الباحثين والعلماء.

على سبيل المثال ، إذا كنت تعمل على بناء بحث على العمل المنجز في ورقة أخرى ، فيجب أن تجرب الكود أو نموذج التعلم الآلي بنفسك.

تقول ContributionSecure14: “لا تبني ادعاءات أو” رؤى “قد لا أساس لها من الصحة لمجرد أن الورقة تقول ذلك” ، مضيفة أن هذا يتضمن أوراقًا من مختبرات كبيرة أو عمل تم قبوله في مؤتمر مرموق.

مصدر جيد آخر هو “قائمة التحقق من قابلية إعادة إنتاج التعلم الآلي. ” توفر قائمة المراجعة إرشادات واضحة حول كيفية جعل وصف ورقة التعلم الآلي ورمزها وبياناتها واضحة وقابلة للتكرار للباحثين الآخرين.

تؤمن ContributionSecure14 أن باحثي التعلم الآلي يمكن أن يلعبوا دورًا حاسمًا في تعزيز ثقافة التكاثر.

“هناك الكثير من الضغط للنشر على حساب العمق الأكاديمي وقابلية إعادة الإنتاج وليس هناك الكثير من الضوابط والتوازنات لمنع هذا السلوك ،” قال ContributionSecure14. “الطريقة الوحيدة التي سيتغير بها ذلك هي إذا أعطى الجيل الحالي والمستقبلي من باحثي تعلم الآلة الأولوية للجودة على الكمية في أبحاثهم.”

تم نشر هذه المقالة في الأصل من قبل أنا ديكسون تشغيل تيك تالكس، وهو منشور يدرس الاتجاهات في التكنولوجيا ، وكيف تؤثر على الطريقة التي نعيش ونؤدي بها أعمالنا ، والمشكلات التي تحلها. لكننا نناقش أيضًا الجانب الشرير للتكنولوجيا ، والآثار المظلمة للتكنولوجيا الجديدة وما نحتاج إلى البحث عنه. يمكنك قراءة المقال الأصلي هنا.

تم النشر في ٦ آذار (مارس) ٢٠٢١ – ٠٩:٠٠ بالتوقيت العالمي المنسق