لتدريس مشفر صوتي لتفسير لنشاط الدماغ ، تعاون الدكتور Mesgarani مع أشيش دينيش ميهتا ، دكتوراه في الطب ، دكتوراه ، جراح الأعصاب في معهد نورث ويل للصحة وعلم الأعصاب وشارك في تأليف ورقة اليوم. يعالج الدكتور ميهتا مرضى الصرع ، وبعضهم يجب أن يخضع لعمليات جراحية منتظمة تحميل برنامج ترجمة بدون نت للاندرويد للموبايل "مع العمل مع الدكتور ميهتا ، طلبنا من مرضى الصرع خضوعه لعملية جراحية في الدماغ للاستماع إلى جمل يتكلمها أشخاص مختلفون ، بينما قمنا بقياس أنماط نشاط الدماغ" ، قال الدكتور مسارجاني. "هذه الأنماط العصبية قامت بتدريب المشفر الصوتي" برنامج الترجمة بدون نت للاندرويد بعد ذلك ، طلب الباحثون من هؤلاء المرضى أنفسهم الاستماع إلى مكبرات الصوت الذين يتابعون الأرقام بين 0 إلى 9 ، أثناء تسجيل إشارات الدماغ التي يمكن بعد ذلك تشغيلها عبر المشفر الصوتي. تم تحليل الصوت الناتج عن المشفر الصوتي استجابة لتلك الإشارات وتنظيفها بواسطة الشبكات العصبية ، وهو نوع من الذكاء الاصطناعي الذي يحاكي بنية الخلايا العصبية في الدماغ البيولوجي.

٪ مخزّنة
00:08
-00: 08
تمثيل نهج الدكتور Mesgarani الجديد الذي يستخدم المشفر والشبكة العصبية العميقة لإعادة بناء الكلام. الائتمان: نعمة Mesgarani / معهد زوكرمان في كولومبيا افضل برنامج ترجمة بدون انترنت offline translate كانت النتيجة النهائية صوتًا روبوتيًا يتلوها سلسلة من الأرقام. لاختبار دقة التسجيل ، كلف الدكتور مسارجاني وفريقه الأفراد بالاستماع إلى التسجيل والإبلاغ عن ما سمعوه.

"وجدنا أن الناس يمكن أن نفهم وتكرر الأصوات حول 75 ٪ من الوقت ، وهو ما يتجاوز بكثير أي محاولات سابقة" ، وقال الدكتور Mesgarani. كان التحسن في الوضوح واضحا بشكل خاص عند المقارنة بين التسجيلات الجديدة والمحاولات السابقة على الطيف. "إن المشفر الصوتي الحساس والشبكات العصبية القوية مثلت الأصوات التي استمع إليها أصلا بالدقة المدهشة".

ويعتزم الدكتور مسارجاني وفريقه اختبار الكلمات والجمل المعقدة التالية ، ويريدون إجراء نفس الاختبارات على إشارات الدماغ المنبعثة عندما يتكلم الشخص أو يتخيل الكلام. في نهاية المطاف ، يأملون أن يكون نظامهم جزءاً من عملية زرع ، شبيهة بتلك التي يرتديها بعض مرضى الصرع ، وهو ما يترجم أفكار المُرتدي مباشرة إلى الكلمات افضل برنامج ترجمة جوجل 2019 للاندرويد وللكمبيوتر"في هذا السيناريو ، إذا كان مرتديها يفكر" أحتاج إلى كوب من الماء ، "يمكن لنظامنا أن يأخذ إشارات الدماغ التي تولدها تلك الفكرة ، ويحولها إلى خطاب كلامي ،" قال الدكتور مسارجاني. "سيكون هذا تغيير قواعد اللعبة. سيعطي أي شخص فقد قدرته على الكلام ، سواء من خلال الإصابة أو المرض ، الفرصة المتجددة للاتصال بالعالم من حوله".

تحمل هذه الورقة عنوان "نحو إعادة بناء خطاب واضح من القشرة السمعية البشرية".