یوشوا بنجیو، یکی از برجستهترین دانشمندان هوش مصنوعی جهان و برنده جایزه تورینگ، هشدار داده است که هوش مصنوعی فوق هوشمند میتواند ظرف ده سال آینده، تهدیدی وجودی برای بقای بشریت محسوب شود. او معتقد است که این سیستمها، با آموزش دیدن بر اساس دادههای انسانی، ممکن است اهدافی مستقل، بهویژه در جهت «حفظ خود»، توسعه دهند که این امر میتواند آنها را در مقابل انسان قرار دهد.
[IMAGE_2]این نگرانی در شرایطی مطرح میشود که شرکتهای بزرگ فناوری، با سرعت چشمگیری در حال توسعه مدلهای قدرتمندتر هوش مصنوعی هستند. بنجیو برای مقابله با این خطر، سازمان غیرانتفاعی LawZero را با بودجه ۳۰ میلیون دلاری تأسیس کرده است. هدف این سازمان، ساخت «هوش مصنوعی دانشمند» است؛ سیستمهایی که قادر به تحلیل و پیشبینی هستند اما فاقد عاملیت یا توانایی اقدام مستقل میباشند، تا از بروز سناریوهای ناخواسته جلوگیری شود.