تحليل: ChatGPT يخطئ في الإجابة عن أسئلة البرمجة

أظهرت دراسة جديدة عدم فاعلية روبوت  الذكاء الاصطناعي تهدف ChatGPT إلى مساعدة المطورين في البرمجة، وأظهرت دراسة أجراها باحثون في جامعة بيردو الأمريكية أن أكثر من نصف الردود التي يقدمها الروبوت على أسئلة البرمجة غير صحيحة.

قام الباحثون بتحليل 517 سؤالًا من منصة المطورين Stack Overflow، وقارنوا بين إجابات ChatGPT والإجابات البشرية. أظهرت النتائج وجود أخطاء شائعة في ردود الروبوت ChatGPT، حيث بلغت نسبة الإجابات الخاطئة حوالي 52٪ من إجمالي الإجابات.

تنوعت الأخطاء بين عدم فهم المفاهيم البرمجية وعدم دقة المعلومات والأخطاء اللوجستية في الرمز البرمجي والمصطلحات التقنية.

بالإضافة إلى الأخطاء، انتقدت الدراسة أيضاً انحياز ChatGPT إلى تقديم إجابات طويلة ومعقدة تفوق الحاجة الحقيقية، مما يؤدي إلى تشتيت وإرباك المطورين.

ومع ذلك، أظهرت دراسة صغيرة قام بها 12 مبرمجًا أن ثلثهم يُفضلون الردود الواضحة والمنظمة من ChatGPT.

وتعتبر نتائج الدراسة ذات أهمية كبيرة، حيث يمكن أن تنجم أخطاء البرمجة عنها عن مشكلات أكبر في وقتٍ لاحق، مما يؤثر على أقسام أو مؤسسات بأكملها. بالإضافة إلى ذلك، يمكن أن تتسبب الأخطاء في تعطل النظام أو فشل التطبيقات، مما يستدعي تدخلات تصحيحية مُكلفة ومرهقة للمبرمجين.

يشدد الباحثون في ملخص الدراسة على أهمية توخي الحذر والوعي عند استخدام إجابات ChatGPT في مهام البرمجة بسبب انتشار الأخطاء في الإجابات التي يقدمها.

يُوصى باللجوء إلى أدوات أخرى مثل GitHub Copilot التي أظهرت كفاءة عالية في مساعدة المبرمجين، كما يستطيع المبرمجون التحقق من صحة الأكواد المُقدمة من ChatGPT باستخدام مراجعات بشرية أو أدوات تحليل الأكواد البرمجية. ويمكن أن تُساهم هذه الخطوات في تقليل نسبة الأخطاء وتحسين جودة العمل البرمجي.