Meta’nın Sesli Çeviri Yapan Yapay Zeka Modeli “Seamless Streaming”

Meta'nın Sesli Çeviri Yapan Yapay Zeka Modeli "Seamless Streaming"

Facebook’un ana şirketi Meta, yapay zeka çalışmalarına tüm hızıyla devam ediyor ve en son paylaştıkları şey, son dönemdeki yapay zeka çalışmalarının en iyisi, en faydalısı! Meta’nın duyurduğu yapay zeka çalışmasının adı, Seamless Communication.

Altında 4 adet model barındıran bu çalışma, yapay zeka ile iletişim çözümlerine odaklanıyor.

Bahsi geçen çalışmanın alt modelleri ise şunlardan oluşuyor;

  • Seamless Expressive: Diller arası konuşmanın ifadesini ve inceliklerini korumayı amaçlayan bir model. Çeviriler insan ifadesinin nüanslarını yakalamalıdır. Mevcut çeviri araçları, bir konuşmanın içeriğini yakalama konusunda yetenekli olsa da çıktıları için genellikle monoton, robotik metin-konuşma sistemlerine güveniyorlar. SeamlessExpressive, konuşmanın inceliklerini korumayı amaçlar; Vokal stili ve duygusal tona ek olarak duraklamalar ve konuşma hızı gibi.
  • Seamless Streaming: Konuşma ve metin çevirilerini yaklaşık iki saniyelik gecikmeyle sunabilen bir model. SeamlessStreaming, çevirileri yaklaşık iki saniyelik bir gecikmeyle ve çevrimdışı bir modelle neredeyse aynı doğrulukla sunan ilk büyük çapta çok dilli modeldir. SeamlessM4T v2 üzerine inşa edilen SeamlessStreaming, yaklaşık 100 giriş ve çıkış dili için otomatik konuşma tanımayı ve konuşmadan metne çeviriyi, ayrıca yaklaşık 100 giriş dili ve 36 çıkış dili için konuşmadan konuşmaya çeviriyi destekler.
  • SeamlessM4T v2: İnsanların konuşma ve metin yoluyla zahmetsizce iletişim kurmasına olanak tanıyan temel, çok dilli ve çok görevli bir model. Ağustos 2023’te, konuşma ve metin genelinde çeviri ve transkripsiyon için en son teknolojiye sahip sonuçlar sunan, çok dilli ve çok görevli temel bir model olan SeamlessM4T’nin ilk sürümü tanıtıldı. Bu çalışmanın üzerine inşa edilen geliştirilmiş model ise SeamlessM4T v2 oldu. Yeni SeamlessExpressive ve SeamlessStreaming modellerinin temelini oluşturan bu model, metin ve konuşma çıkışı arasında gelişmiş tutarlılık sağlayan, otomatik gerilemeli olmayan metinden birim kod çözücüye sahip yeni bir mimariye sahip.
  • Seamless: SeamlessExpressive, SeamlessStreaming ve SeamlessM4T v2’nin özelliklerini tek bir modelde birleştiren bir model.

Seamless Streaming isimli model, bizi en çok ilgilendireni.. Çünkü bu model, iki saniyeden kısa bir sürede toplam 100 dilden 38 adet dile sesli çeviri yapabiliyor! Yani bu yapay zeka teknolojisini kullanmaya başladığımızda, dünyanın herhangi bir yerindeki biriyle yabancı dil bilgimiz olmasa dahi rahatça iletişim kurabileceğiz.


SeamlessStreaming, şuan toplam 100 giriş dili ve toplam 36 çıkış dilini destekliyor. Bu giriş ve çıkış dilleri arasında Türkçe dilinin olması ise işin en güzel tarafı! Yani bu sistemi yakın gelecekte kullanmaya başladığımızda, sadece Türkçe konuşarak dünyanın dört bir yanındaki milyarlarca insan ile anlık iletişim kurabileceğiz.

Hatta, dünyanın dört bir yanında yaşayan ve bu sistemde yer alan 100 dilden birini bilen herhangi birisi de, doğrudan kendi diliyle konuşarak bizimle Türkçe iletişim kurabilecek!

Harika değil mi? Bu yapay zekanın her alanda ve tamamen ücretsiz kullanıldığı bir dünya düşünsenize? Dil kaynaklı iletişimsizlik duvarları yıkılacak, hiç akla hayale gelmeyecek değişimlerin önü açılacak!

Peki Bu Teknolojiyi Ne Zaman Kullanmaya Başlayacağız? 

Kesintisiz iletişim yapay zeka teknolojisi, şuan için sadece 4 dil destekli bir demo olarak kullanılabiliyor. Tam sürümün ne zaman, ne şekilde ve hangi ücretlendirme ile kullanıma açılacağı ise açıklanmadı.

Demo olarak kullanıma sunulan yapay zeka çeviri sistemini, desteklenen 4 dilden birini biliyorsanız aşağıdaki bağlantıdan hemen deneyebiliyorsunuz.

Desteklenen diller; giriş ve çıkış için İngilizce, Fransızca, Almanca, İspanyolca..

https://seamless.metademolab.com/expressive/

Daha fazla detay için;

https://ai.meta.com/research/seamless-communication/
https://www.facebook.com/AIatMeta/
https://twitter.com/aiatmeta/
https://www.youtube.com/@aiatmeta

Altyazı seçeneklerinden Türkçe aktif ederek videoyu Türkçe altyazılı izleyebilirsiniz.