تستخدم المستشفيات أداة نسخ مدعومة بنموذج OpenAI المعرض للهلوسة

قبل بضعة أشهر، أظهر طبيبي أداة النسخ المدعومة بالذكاء الاصطناعي التي استخدمها لتسجيل وتلخيص اجتماعاته مع المرضى. في حالتي، كان الملخص جيدًا، لكن الباحثين استشهدوا به اي بي سي نيوز لقد وجدت أن هذا ليس هو الحال دائمًا مع Whisper من OpenAI، والذي يعمل على تشغيل أداة تستخدمها العديد من المستشفيات – وفي بعض الأحيان يقوم باختلاق الأمور بالكامل.

يتم استخدام الهمس من قبل الشركة تدعى نبلة لأداة النسخ الطبي التي تقدر أنها قامت بنسخ 7 ملايين محادثة طبية، وفقًا لـ اي بي سي نيوز. وكتبت الصحيفة أن أكثر من 30 ألف طبيب و40 نظامًا صحيًا يستخدمونه. ويقال إن نابلة تدرك أن ويسبر يمكن أن يصاب بالهلوسة، وتقوم “بمعالجة المشكلة”.

مجموعة من الباحثين من جامعة كورنيل، وجامعة واشنطن، وغيرهما وجدت في الدراسة أن Whisper كان يهلوس في حوالي 1 بالمائة من النسخ، ويشكل جملًا كاملة تحتوي في بعض الأحيان على مشاعر عنيفة أو عبارات لا معنى لها أثناء فترات الصمت في التسجيلات. الباحثون، الذين جمعوا عينات صوتية من AphasiaBank التابع لـ TalkBank كجزء من الدراسة، لاحظوا أن الصمت شائع بشكل خاص عندما يتحدث شخص يعاني من اضطراب لغوي يسمى الحبسة الكلامية.

قام أحد الباحثين، أليسون كوينكي من جامعة كورنيل، بنشر أمثلة مثل تلك الموجودة أدناه في ملف موضوع عن الدراسة.

ووجد الباحثون أن الهلوسة تشمل أيضًا حالات أو عبارات طبية مخترعة قد تتوقعها من مقطع فيديو على موقع يوتيوب، مثل “شكرًا لك على المشاهدة!” (يُقال إن OpenAI يستخدم لنسخ أكثر من مليون ساعة من مقاطع فيديو YouTube لتدريب GPT-4).

كانت الدراسة المقدمة في يونيو في مؤتمر جمعية آلات الحوسبة FAccT في البرازيل. ليس من الواضح ما إذا كانت قد تمت مراجعتها من قبل النظراء.

أرسلت المتحدثة باسم OpenAI تايا كريستيانسون بيانًا عبر البريد الإلكتروني إلى الحافة:

نحن نأخذ هذه المشكلة على محمل الجد ونعمل باستمرار على التحسين، بما في ذلك الحد من الهلوسة. بالنسبة لاستخدام Whisper على نظام واجهة برمجة التطبيقات (API) الخاص بنا، تحظر سياسات الاستخدام لدينا الاستخدام في بعض سياقات صنع القرار عالية المخاطر، وتتضمن بطاقتنا النموذجية للاستخدام مفتوح المصدر توصيات ضد الاستخدام في المجالات عالية المخاطر. ونحن نشكر الباحثين لتقاسم النتائج التي توصلوا إليها.