أصدر Jack Dorsey's Block نموذجًا صوتيًا جديدًا من معمل أبحاث الشركة يعمل محليًا ويبدو إنسانيًا بشكل مخيف بتعابيره مثل الضحك والتوقف المؤقت والصراخ. وقالت الشركة إن النموذج، المسمى Dessa، تم تدريبه بالكامل على الكلام البشري ووحدة معالجة الرسومات NVIDIA واحدة. Dessa هو نموذج مزدوج الاتجاه، مما يعني أنه يمكنه التحدث والاستماع في نفس الوقت، تمامًا مثل نموذج GPT-Live OpenAI الذي تم إصداره في وقت سابق من هذا العام. عادة، ترتبط نماذج الكلام بنموذج لغوي كبير لاسترجاع المعرفة. وقالت بلوك إن معرفة ديسا تأتي من بيانات المحادثة التي لديها.

قال بلوك إن النماذج الحالية يمكن أن تبدو غير طبيعية ومملة لأنها تحتوي على نص في المسار الذي يحفز توليد الكلام. تستخدم العديد من النماذج مثل ElevenLabs v4 أو Fish Audio Drama 3 العلامات الصوتية لتوليد المشاعر في توليد الصوت. تقول شركة دورسي إن العاطفة مدمجة في نموذجها. ومن غير الواضح ما إذا كانت هذه المشاعر مدفوعة بنوع من المنارة.

"إن التفاعل مع الذكاء الاصطناعي الصوتي الحالي يمكن أن يكون أمرًا سيئًا للغاية. فهو يحول صوتك إلى نص ويتخلص من قدر لا يصدق من المعلومات التي لا يمكن أن يحتويها النص وحده. وقالت الشركة في منشور على مدونة: "لا تستطيع أقوى أنظمة الذكاء الاصطناعي في العالم سماع ما تشعر به. نعتقد أن هذا أمر مثير للسخرية، ويؤدي إلى تجربة أسوأ، ويحتمل أن يكون خطيرًا".

نشر باحثو الشركة عدة أمثلة لمحادثات مع ديسا كان فيها للعميل أصوات وإيقاعات وعواطف مختلفة. على سبيل المثال، في المحادثة، قال الروبوت إنه متعب من العمل، وفي تلك اللحظة بدا متعبا.

في المثال أدناه، كان الروبوت يتحدث عن الشخص الذي جعله يشعر بالراحة بينما يبدو عاطفيًا ومنكسرًا تقريبًا.

يُظهر مقطع آخر أحد أعضاء فريق Team Block وهو يلعب لعبة باستخدام المساعد الصوتي.

قالت الشركة إن النموذج يمكن تشغيله محليًا على جهاز كمبيوتر عادي مثل MacBook M4 Max أو أعلى. ومع ذلك، فإن Dessa غير متاح للعامة في الوقت الحالي، وقد وجه Block دعوة للباحثين الأمنيين لاختبار النموذج. من المحتمل أن يتضمن ذلك حالات اختبار حيث يمكن للوكيل الصوتي خداع الأشخاص على الطرف الآخر من الخط.

تنشط الكتلة في المجال المالي وتبيع حلولها للشركات الصغيرة. يستخدم Square بالفعل الذكاء الاصطناعي الصوتي لإدارة الطلبات. ولكن مع نموذجها الصوتي الخاص الذي يمكن تشغيله على الجهاز، يمكنها تقديم العديد من التجارب التجارية والاستهلاكية بتكلفة أقل.