پروتز عصبی از فعالیت مغز برای رمزگشایی گفتار استفاده می کند

محققان دانشگاه HSE و دانشگاه دولتی پزشکی و دندانپزشکی مسکو یک مدل یادگیری ماشینی ایجاد کرده‌اند که می‌تواند بر اساس فعالیت عصبی آن‌ها که با مجموعه کوچکی از الکترودهای کم تهاجمی ثبت شده است، کلمه‌ای را که قرار است گفته شود، پیش‌بینی کند. مقاله آنها، “رمزگشایی گفتار از مجموعه کوچکی از الکترودهای EEG کم تهاجمی داخل جمجمه ای جداسازی شده فضایی با یک شبکه عصبی فشرده و قابل تفسیر” در مجله منتشر شده است. مجله مهندسی عصبی.

میلیون ها نفر در سراسر جهان تحت تأثیر اختلالات گفتاری قرار دارند و توانایی آنها در برقراری ارتباط را محدود می کند. علل از دست دادن گفتار می تواند متفاوت باشد و شامل سکته مغزی و برخی بیماری های مادرزادی باشد.

امروزه فناوری برای بازگرداندن عملکرد ارتباطی چنین بیمارانی در دسترس است، از جمله رابط‌های «گفتار بی‌صدا» که با ردیابی حرکت ماهیچه‌های مفصلی در زمانی که فرد بدون ایجاد صدا کلمات را به زبان می‌آورد، گفتار را تشخیص می‌دهد. با این حال، چنین دستگاه هایی به برخی از بیماران کمک می کند، اما به دیگران کمک نمی کند، مانند افراد مبتلا به فلج عضلات صورت.

پروتزهای عصبی گفتاری – رابط های مغز و رایانه که قادر به رمزگشایی گفتار بر اساس فعالیت مغز هستند – می توانند راه حلی قابل دسترس و قابل اعتماد برای بازگرداندن ارتباط به چنین بیمارانی ارائه دهند.

برخلاف رایانه‌های شخصی، دستگاه‌های دارای رابط مغز و رایانه (BCI) بدون نیاز به صفحه کلید یا میکروفون، مستقیماً توسط مغز کنترل می‌شوند.

مانع اصلی برای استفاده گسترده تر از BCI در پروتز گفتار این است که این فناوری به جراحی بسیار تهاجمی برای کاشت الکترود در بافت مغز نیاز دارد.

دقیق ترین تشخیص گفتار توسط پروتزهای عصبی با الکترودهایی که سطح وسیعی از سطح قشر مغز را پوشش می دهند به دست می آید. با این حال، این راه حل ها برای خواندن فعالیت مغز برای استفاده طولانی مدت در نظر گرفته نشده است و خطرات قابل توجهی برای بیماران ایجاد می کند.

محققان مرکز HSE برای رابط‌های بیوالکتریک و دانشگاه دولتی پزشکی و دندان‌پزشکی مسکو امکان ایجاد یک پروتز عصبی کارآمد را که قادر به رمزگشایی گفتار با دقت قابل‌قبول با خواندن فعالیت مغز از مجموعه کوچکی از الکترودهای کاشته‌شده در ناحیه محدود قشر مغز است، مطالعه کرده‌اند. نویسندگان پیشنهاد می کنند که در آینده، این روش کم تهاجمی حتی می تواند تحت بی حسی موضعی انجام شود.

در مطالعه حاضر، محققان داده‌هایی را از دو بیمار مبتلا به صرع که قبلاً با الکترودهای داخل جمجمه‌ای کاشته شده بودند، جمع‌آوری کردند تا نقشه‌برداری قبل از جراحی برای تعیین مناطق شروع تشنج انجام شود.

بیمار اول به صورت دو طرفه با مجموعا پنج شفت sEEG با شش تماس در هر یک و بیمار دوم با نه نوار الکتروکورتیکوگرافی (ECoG) با هشت تماس در هر یک کاشته شد. برخلاف ECoG، الکترودهای sEEG را می توان بدون کرانیوتومی کامل از طریق سوراخ مته در جمجمه کاشت. در این مطالعه، تنها از شش تماس یک شفت sEEG در یک بیمار و هشت تماس یک نوار ECoG در دیگری برای رمزگشایی فعالیت عصبی استفاده شد.

از آزمودنی ها خواسته شد که شش جمله را با صدای بلند بخوانند که هر کدام 30 تا 60 بار به ترتیب تصادفی ارائه شده بودند. جملات از نظر ساختار متفاوت بودند و اکثر کلمات در یک جمله با همان حرف شروع می شدند. جملات در مجموع شامل 26 کلمه مختلف بودند. هنگامی که آزمودنی ها مشغول خواندن بودند، الکترودها فعالیت مغزی آنها را ثبت کردند.

سپس این داده‌ها با سیگنال‌های صوتی هم‌تراز شدند تا ۲۷ کلاس شامل ۲۶ کلمه و یک کلاس سکوت را تشکیل دهند. مجموعه داده آموزشی حاصل (شامل سیگنال های ثبت شده در 40 دقیقه اول آزمایش) به یک مدل یادگیری ماشینی با معماری مبتنی بر شبکه عصبی وارد شد. وظیفه یادگیری شبکه عصبی پیش‌بینی کلمه بعدی (کلاس) بر اساس داده‌های فعالیت عصبی قبل از بیان آن بود.

در طراحی معماری شبکه عصبی، محققان می خواستند آن را ساده، فشرده و به راحتی قابل تفسیر کنند. آنها یک معماری دو مرحله ای ارائه کردند که ابتدا بازنمایی گفتار داخلی را از داده های فعالیت مغزی ضبط شده استخراج می کرد و ضرایب طیفی log-mel را تولید می کرد و سپس یک کلاس خاص، یعنی یک کلمه یا سکوت را پیش بینی می کرد.

بدین ترتیب، شبکه عصبی با استفاده از تنها شش کانال داده ثبت شده توسط یک الکترود sEEG در بیمار اول به دقت 55 درصد و تنها با استفاده از هشت کانال داده ثبت شده توسط یک نوار ECoG در بیمار دوم، 70 درصد دقت را به دست آورد. چنین دقتی با آنچه در مطالعات دیگر با استفاده از وسایلی که نیاز به کاشت الکترود در کل سطح قشر مغز نشان داده شده است، قابل مقایسه است.

مدل قابل تفسیر به دست آمده این امکان را فراهم می‌کند که با عبارات نوروفیزیولوژیکی توضیح دهیم که کدام اطلاعات عصبی بیشترین کمک را در پیش‌بینی کلمه‌ای که قرار است گفته شود دارد. محققان سیگنال‌هایی را که از جمعیت‌های عصبی مختلف می‌آمدند، بررسی کردند تا مشخص کنند کدام یک از آنها برای کار پایین‌دستی مهم هستند. یافته‌های آن‌ها با نتایج نگاشت گفتار مطابقت داشت و نشان می‌دهد که این مدل از سیگنال‌های عصبی استفاده می‌کند که محوری هستند و بنابراین می‌توانند برای رمزگشایی گفتار خیالی استفاده شوند.

مزیت دیگر این راه حل این است که نیازی به مهندسی ویژگی های دستی ندارد. این مدل یاد گرفته است که بازنمایی گفتار را مستقیماً از داده‌های فعالیت مغز استخراج کند. تفسیرپذیری نتایج همچنین نشان می‌دهد که شبکه سیگنال‌های مغز را به جای هر فعالیت همزمان، مانند سیگنال‌های الکتریکی از ماهیچه‌های مفصلی یا ناشی از اثر میکروفون، رمزگشایی می‌کند.

محققان تاکید می‌کنند که پیش‌بینی همیشه بر اساس داده‌های فعالیت عصبی قبل از گفته بود. آنها استدلال می کنند که این تضمین می کند که قانون تصمیم گیری از پاسخ قشر شنوایی به گفتاری که قبلاً گفته شده استفاده نمی کند.

الکسی می گوید: “استفاده از چنین رابط هایی حداقل خطرات را برای بیمار به همراه دارد. اگر همه چیز درست شود، می توان گفتار خیالی را از فعالیت عصبی ضبط شده توسط تعداد کمی از الکترودهای کم تهاجمی که در یک محیط سرپایی با بی حسی موضعی کاشته شده اند رمزگشایی کرد.” Ossadtchi، نویسنده اصلی این مطالعه، مدیر مرکز رابط های بیوالکتریک موسسه HSE برای علوم اعصاب شناختی.

ارائه شده توسط دانشکده عالی اقتصاد دانشگاه تحقیقات ملی