Dua mahasiswa dari Universitas Beihai Beijing telah mengembangkan sebuah aplikasi untuk membantu para penyandang tunarungu di China. Aplikasi itu disebut Shouyin, yang secara harfiah berarti "suara tangan". Hal ini memungkinkan terjemahan real-time dari tanda-tanda bahasa tuli dan bisu ke dalam pidato.

Aplikasi ini bekerja bersama dengan gelang pintar dan saat ini dapat mengenali lebih dari 200 karakter, setiap karakter telah direkam seribu kali dari orang yang berbeda untuk meningkatkan akurasi terjemahan. Sekarang tingkat pengakuan adalah 95%.

Nana Wang muda, yang merupakan salah satu pengembang, mengatakan bahwa dia terinspirasi oleh seorang teman tunarungu dan bisu, yang dengannya dia hanya dapat berkomunikasi melalui pesan di telepon genggam. Di Cina, sekitar 5% dari populasi atau 70 juta orang tuli. Tidak diragukan lagi, aplikasi akan sukses besar. Rilis resmi aplikasi ini dijadwalkan pada akhir Mei. Program serupa sudah ada di belahan dunia lain. Misalnya, Uni dari MotionSavvy dan penerjemah tuli dan bisu dari Google Chats.

Teknologi saat ini berkembang dengan pesat, termasuk di bidang sosial dan dalam kedokteran. Mereka membantu tidak hanya untuk mengatasi berbagai jenis penyakit, tetapi juga untuk lebih memahami tetangga Anda, bahkan jika persepsinya tentang dunia berbeda dari Anda. Berbicara dengan orang tuli akan membantu Anda aplikasi khusus, sedangkan teknologi VR dapat membantu, misalnya, dengan memahami autisme, yang berarti mendekatkan Anda dengan mereka yang menderita penyakit ini.

Berbagai penelitian telah menunjukkan bahwa lebih dari 99% orang pernah mendengar tentang autisme, tetapi hanya 16% yang benar-benar memahami apa arti kondisi mental ini. Dan menurut survei yang dilakukan di Inggris, lebih dari 25% penyandang autisme pernah meminta untuk meninggalkan tempat umum seperti restoran atau toko saat melihat gejala penyakitnya.

Untuk mengatasi masalah misinformasi ini, "Masyarakat Autistik Nasional" Inggris memutuskan untuk membuat Film VR, yang akan membantu semua orang untuk mengetahui bagaimana rasanya hidup dengan diagnosis seperti itu. Gmbox menulis tentang itu.

Video virtual ini membawa Anda ke dalam tubuh seorang anak laki-laki dengan autisme dan menunjukkan dunia melalui matanya. Dalam film, Anda berjalan ke mal dan mengalami beban sensorik yang sangat besar yang dirasakan saat berjalan melalui tempat yang ramai ini. Kebisingan, banyaknya berbagai benda, warna, kedipan orang, suara mereka - semua ini menyebabkan bocah itu panik, yang sangat sulit untuk dia atasi.

Komunitas Alzheimer lainnya juga telah merilis film VR yang menempatkan Anda pada posisi seseorang dengan demensia. Film A Walk Through Dementia akan membuat Anda memahami bagaimana beberapa aktivitas sehari-hari yang sederhana, seperti membuat secangkir teh, dapat menjadi masalah nyata bagi pemilik penyakit ini.

Aktivitas sederhana seperti berbicara di telepon, berjalan menuruni tangga, atau bahkan memeriksa tanggal kedaluwarsa susu dapat menjadi tantangan bagi penyandang disabilitas. Namun, beberapa masalah ini dapat berhasil diatasi dengan menggunakan smartphone.

Kami menghadirkan pilihan aplikasi seluler yang membuat hidup lebih mudah bagi penyandang disabilitas.

Aplikasi yang mengenali ucapan

Yandex.Percakapan

Yandex baru-baru ini merilis sebuah aplikasi yang membantu orang tuli dan sulit mendengar berkomunikasi dengan teman dan orang asing dengan menerjemahkan bahasa lisan ke dalam teks dan sebaliknya.

Aplikasi ini mampu mendengarkan dan mengenali ucapan - semua yang dikatakan kepada Anda ditampilkan di layar ponsel cerdas sebagai teks, serta mengucapkan kata-kata yang dicetak dengan keras.

Aplikasi ini dirancang dan dikembangkan oleh sekelompok siswa MIPT dan didukung oleh teknologi pengenalan ucapan Yandex SpeechKit.

RogerSuara

RogerVoice adalah aplikasi yang dapat digunakan orang tuli untuk berbicara dengan lawan bicara mereka di telepon. Aplikasi ini menggunakan teknologi pengenalan suara untuk mengubah suara menjadi teks sehingga orang tuli dapat membaca apa yang dikatakan orang lain.

Aplikasi ini muncul berkat kampanye Kickstarter yang sukses – aplikasi saat ini dalam versi beta dan dapat diunduh dari situs web RogerVoice.

Sebuah aplikasi yang membantu Anda mendengar

DengarkanAndaSekarang

Dengan aplikasi ini, pengguna tunarungu dapat mengatur suara sesuai dengan situasi yang mereka hadapi Tempat umum, dalam rapat, dll. Untuk melakukan ini, headphone terhubung ke smartphone, di mana suara disuplai dengan pengaturan yang sesuai untuk mengoptimalkan latar belakang atau latar depan.

Aplikasi ini dikembangkan oleh ExSilent, produsen alat bantu dengar Belanda, untuk orang yang dapat menggunakan alat bantu dengar tetapi belum siap menggunakannya.

Ide

Halo! Nama saya Vitaly, saya seorang pengembang dan salah satu pendiri startup Diperingatkan. Sejak kecil, pendengaran saya sangat buruk, dan istri saya tidak mendengar sama sekali, untuk waktu yang lama saya ingin masuk ke pengembangan aplikasi dan perangkat lunak bagi orang tuli dan tuli. Semua masalah yang mereka hadapi sudah tidak asing lagi bagi saya.

Saya dan istri saya Natalia

Sebelumnya, saya mengembangkan perangkat lunak untuk maskapai penerbangan sipil Ukraina, saya membuat aplikasi augmented reality SIMO. Saya selalu tertarik dengan segala sesuatu yang berhubungan dengan teknologi. Dan beberapa tahun yang lalu, saya bertemu Sergey Malyukov, sekarang CEO kami, melalui seorang guru di Institut Politeknik Kyiv, yang pernah belajar dengan saya.

Ide membuat aplikasi untuk orang tuli dan tuna rungu datang ke Sergey pada 2013. Suatu malam dia berjalan di sepanjang jalan di malam hari, dan sebuah mobil mulai membunyikan klakson di punggungnya, Sergey dengan cepat melompat ke samping, tetapi pasangan yang berjalan di dekatnya tidak bergeming. Dia memanggil mereka untuk pergi, tetapi mereka tetap di tempat yang sama di mana mereka berdiri. Segera Sergei menyadari bahwa itu adalah sepasang orang tuli, mereka berkomunikasi satu sama lain dalam bahasa isyarat. Sergey yakin ada aplikasi yang membantu mengenali suara berbahaya. Setelah menganalisis aplikasi dan gadget yang ada untuk orang tuli dan tidak menemukan solusi tunggal yang membantu mengenali suara berbahaya, ia mulai membuat aplikasi semacam itu. Dalam prosesnya, beberapa mitra bergabung dengannya dan sekarang BeWarned diinvestasikan sendiri oleh pencipta startup.

Segera setelah saya mendengar tentang proyek tersebut dan melihat perkembangannya, saya langsung terbawa oleh ide tersebut dan segera menjadi salah satu pendiri. Saat ini saya terlibat dalam pengembangan teknis sebuah startup.

Penerapan

Pada tahun 2014, prototipe pertama aplikasi BeWarned dirilis dengan fitur Sound Monitor, yang memungkinkan pengenalan suara berbahaya secara real-time. Itu adalah kesuksesan kecil pertama. Tapi itu hanya permulaan.

Sejak kecil, saya menyukai teknologi, saya sering merakit atau membongkar sesuatu, saya ingin melihat apa yang akan terjadi.

Dari ratusan surat dan ulasan, jelas bahwa orang tuli membutuhkan sesuatu yang lebih dari sekadar aplikasi yang mengenali suara berbahaya. Orang tuli memiliki seribu masalah yang belum terselesaikan yang bisa diselesaikan. Berdasarkan surat-surat dan umpan balik ini, platform BeWarned dibuat, yang menyatukan 4 asisten teknis untuk tunarungu: Sound Monitor, Connect, Emergency Call dan Dance.

Sound Monitor memecahkan masalah keamanan dengan mengidentifikasi suara berbahaya (jeritan, klakson mobil, gonggongan anjing, sirene). Jika terjadi bahaya, aplikasi memperingatkan pengguna dengan menggetarkan dan mem-flash flash pada smartphone. Connect membantu orang tuli untuk berkomunikasi dengan orang lain - ini mengubah teks menjadi ucapan dan sebaliknya. Dance memungkinkan Anda menikmati trek musik dengan mengubahnya menjadi getaran, cahaya, dan denyut EQ visual. Panggilan Darurat membantu panggilan pengguna mendengar orang yang dicintai untuk bantuan ketika mereka berada dalam situasi berbahaya.

Anda dapat menemukan lebih banyak video di saluran kami

Pada musim panas 2016, kami menguji beta platform di AS. Hasilnya, 88,9% pengguna melaporkan bahwa mereka akan merekomendasikan aplikasi tersebut kepada teman.

Bagian tersulit dalam mengembangkan BeWarned adalah Sound Monitor, yang kami kembangkan selama beberapa tahun. Program pengenalan suara berbahaya didasarkan pada jaringan saraf. Kami mencoba dua jenis jaringan saraf: perceptron multilayer klasik dan convolutional jaringan syaraf. Tapi kemudian kami memutuskan untuk mencoba Model Markov Tersembunyi, itu yang paling cocok untuk tugas kami.

Untuk membuat database yang menjadi dasar algoritme, kami sendiri merekam banyak varian dari satu jenis suara berbahaya, misalnya, sinyal mobil, yang menjadi dasar algoritme mengenali suara yang masuk dan menentukannya terkait dengan jenis tertentu. Namun, dalam pengerjaannya, kami memiliki masalah bahwa algoritme pengenalan menghubungkan semua suara yang masuk hanya dengan kategori yang ada: sinyal mobil, jeritan, suara sirene polisi, dan gonggongan anjing. Misalnya, jika seseorang tertawa, maka program tersebut mengenalinya sebagai salah satu kategori ini. Untuk mengatasi masalah ini, kami harus mengelompokkan suara, misalnya, berdasarkan frekuensi dan karakteristik lainnya. Akibatnya, itu memungkinkan untuk memperkenalkan jenis suara tambahan yang tidak terbatas.

Beberapa waktu setelah rilis platform BeWarned, kami memutuskan untuk membuat perubahan penting untuk meningkatkan kegunaan: kami secara radikal menyederhanakan segalanya dan menyesuaikannya dengan persepsi orang tuli. Itu sebabnya kami merilis ulang aplikasi satu per satu.

Pada bulan Desember, BW Dance (Android, iOS) dirilis, yang berubah dari fungsi platform BeWarned menjadi aplikasi independen. BW Dance memungkinkan orang yang tuli dan sulit mendengar untuk menari mengikuti lagu favorit mereka. Pengguna menambahkan lagu favorit ke daftar putar dan aplikasi mengubah musik menjadi getaran, kilatan, dan animasi di layar. Pengguna juga dapat merasakan musik melalui visual player. BW Dance diterima secara positif oleh pengguna baik di Ukraina maupun di luar negeri.

Sejak itu, kami telah merilis Connect by Bewarnid (Android, iOS), sebuah aplikasi yang memungkinkan orang tuli dan tunarungu berkomunikasi dengan orang yang bisa mendengar. Untuk mulai mengobrol dengan satu orang atau lebih dalam aplikasi, Anda hanya perlu menekan tombol MULAI dan membiarkan lawan bicara berbicara, setelah itu aplikasi akan mengubah ucapan menjadi pesan teks yang dapat dibaca oleh orang tuli. Aplikasi ini juga mengubah teks menjadi ucapan, orang tuli perlu menulis apa yang ingin dia katakan. Selain itu, kami telah mengembangkan serangkaian templat yang mensimulasikan situasi sederhana yang sering berulang, seperti memesan kopi di kedai kopi. Dengan pola-pola ini, seorang tunarungu dapat dengan cepat mengkomunikasikan sesuatu kepada orang yang mendengar. Kami juga menyediakan kemampuan untuk membuat template tambahan untuk keperluan pribadi setiap penyandang tunarungu.

hasil

Di Ukraina, jurnalis mulai aktif menulis kepada kami, cerita tentang kami difilmkan oleh STB, 1 + 1, Channel 5, dan lainnya. Kami melihat bahwa orang-orang peduli dengan non-pendengaran, dan juga memastikan bahwa kepedulian terhadap kesederhanaan dan kegunaan adalah langkah ke arah yang benar. Kami menyadari bahwa kami berada di jalur yang benar.

Saya dan istri saya berkomunikasi dengan jurnalis Channel 5

Kami meluncurkan Connect by Bewarnid di Product Hunt pada 30 Januari dan masuk TOP 5 hari itu, serta masuk ke milis resmi. Dalam komentar tentang produk kami di Product Hunt, kami menerima tawaran untuk membantu mengembangkan pelokalan dalam bahasa Prancis dan bahkan Farsi. Bersama dengan empat lokalisasi yang sudah ada - Spanyol, Rusia, Ukraina, dan Inggris, kami akan dapat lebih dekat dengan tujuan global kami: untuk membuat hidup lebih mudah bagi orang tuli.

Saya yakin bahwa orang TI harus menggunakan keterampilan yang diberikan kepada mereka untuk kepentingan orang lain. Pengalaman kecil namun sukses kami menunjukkan bahwa aplikasi baru dapat secara signifikan mengubah kehidupan orang lain. Itulah sebabnya kami akan terus bekerja pada ide yang terkandung dalam Connect by Bewarned: mengatasi hambatan dalam komunikasi antara tunarungu dan pendengaran, ada sekitar 400 juta di dunia.

Tim BeWarned dari kiri ke kanan: Saya, Evgeny, Evgeniya, Ivan, Yulia, Sergey, Andrey, Ilona, ​​​​Ira, Anton, Andrey (sekarang ada lebih banyak dari kita daripada di foto ini :))

Orang-orang seperti saya sering mengalami masalah ketika mereka perlu berkomunikasi dengan orang yang dapat mendengar: polisi, dokter, bankir. Secara legislatif, kami dijamin hak yang sama dan akses ke layanan dan layanan atas dasar kesetaraan dengan mereka yang mendengar. Namun pada kenyataannya, kemungkinan kita sangat terbatas. Itulah sebabnya kami memutuskan untuk mengambil tugas yang benar-benar global: penciptaan infrastruktur elektronik global yang akan memfasilitasi akses penyandang tunarungu ke semua layanan yang tersedia bagi penyandang pendengaran: bank, rumah sakit, taksi, dll. Kami sedang mengerjakan masalah ini.

Halo!

"Roti menyehatkan tubuh, tetapi buku menyehatkan pikiran"...

Buku adalah salah satu kekayaan manusia modern yang paling berharga. Buku muncul di zaman kuno dan sangat mahal (satu buku bisa ditukar dengan kawanan sapi!). Di dunia sekarang ini, buku tersedia untuk semua orang! Dengan membacanya, kita menjadi lebih melek, wawasan dan kecerdikan kita berkembang. Dan secara umum, mereka belum menemukan sumber pengetahuan yang lebih sempurna untuk ditransfer satu sama lain!

Dengan perkembangan teknologi komputer (terutama dalam 10 tahun terakhir), menjadi mungkin tidak hanya untuk membaca buku, tetapi juga untuk mendengarkannya (yaitu, Anda akan membacanya program khusus, suara pria atau wanita). Saya ingin memberi tahu Anda tentang perangkat lunak untuk akting suara.

Kemungkinan Masalah Perekaman

Sebelum melanjutkan ke daftar program, saya ingin membahas masalah umum dan mempertimbangkan kasus ketika sebuah program tidak dapat membaca teks.

Faktanya adalah bahwa ada mesin suara, mereka dapat memiliki standar yang berbeda: SAPI 4, SAPI 5 atau Microsoft Speech Platform (sebagian besar program pemutaran teks memiliki pilihan alat ini). Jadi, masuk akal bahwa selain program untuk membaca dengan suara, Anda memerlukan mesin (itu akan tergantung pada bahasa apa Anda akan membaca, suara apa: pria atau wanita, dll.).

mesin bicara

Mesin bisa gratis dan komersial (tentu saja, kualitas terbaik reproduksi suara disediakan oleh mesin komersial).

SAPI 4. Versi alat yang usang. Tidak direkomendasikan untuk PC modern. versi usang. Lebih baik melihat SAPI 5 atau Microsoft Speech Platform.

SAPI 5. Mesin pidato modern, baik gratis maupun berbayar. Anda dapat menemukan lusinan mesin pidato SAPI 5 di Internet (dengan suara wanita dan pria).

Salah satu yang paling program terbaik untuk membaca teks. Memungkinkan PC Anda membaca lebih dari sekadar file sederhana dalam format txt, tetapi juga berita, RSS, halaman web apa pun di Internet, surel dll.

Selain itu, ini memungkinkan Anda untuk mengonversi teks menjadi file mp3 (yang kemudian dapat Anda unduh ke ponsel atau pemutar mp3 dan mendengarkan di jalan, misalnya). Itu. Anda dapat membuat buku audio sendiri!

Suara program IVONA sangat mirip dengan yang asli, pengucapannya tidak cukup buruk, mereka tidak gagap. Omong-omong, program ini dapat bermanfaat bagi mereka yang belajar bahasa asing. Berkat itu, Anda dapat mendengarkan pengucapan yang benar dari kata-kata tertentu, bergantian.

Mendukung SAPI5, ditambah bekerja sama dengan baik dengan aplikasi eksternal(Misalnya, Apple iTunes, Skype).

Contoh (rekaman salah satu artikel terbaru saya)

Dari kekurangannya: dia membaca beberapa kata yang tidak dikenal dengan tekanan dan intonasi yang salah. Secara umum, tidak cukup buruk untuk mendengarkan, misalnya, paragraf dari buku sejarah saat Anda pergi ke kuliah / kelas - bahkan lebih dari itu!

Balabolka

Program luar biasa untuk bekerja dengan buku: membaca, membuat katalog, mencari yang tepat, dll. Selain dokumen standar yang dapat dibaca oleh program lain (TXT-HTML, HTML-TXT, TXT-DOC, DOC-TXT, PDB-TXT , LIT-TXT , FB2-TXT, dll.) ICE Book Reader mendukung format file .LIT, .CHM, dan .ePub.

Selain itu, ICE Book Reader memungkinkan Anda tidak hanya membaca, tetapi juga perpustakaan desktop yang luar biasa:

• memungkinkan Anda untuk menyimpan, memproses, katalog buku (hingga 250.000 eksemplar!);
• pemesanan otomatis koleksi Anda;
• pencarian cepat untuk buku dari "buangan" Anda (terutama benar jika Anda memiliki banyak literatur non-katalog);
• Mesin basis data ICE Book Reader lebih unggul dari sebagian besar program sejenis.

Program ini juga memungkinkan Anda untuk menyuarakan teks.

Untuk melakukan ini, buka pengaturan program dan konfigurasikan dua tab: "Mode" (pilih membaca dengan suara) dan "Mode sintesis ucapan" (pilih mesin ucapan itu sendiri secara langsung).

Pembicara

Dengan Sakrament Talker Anda dapat mengubah komputer Anda menjadi buku audio "berbicara"! Pembicara Sakramen mendukung format RTF dan TXT, ia dapat secara otomatis mengenali pengkodean file (mungkin, terkadang Anda memperhatikan bahwa beberapa program membuka file dengan "retak" alih-alih teks, tetapi ini tidak mungkin di Sakrament Talker!).

Selain itu, Sakrament Talker memungkinkan Anda memutar file yang cukup besar, dengan cepat menemukan file tertentu. Teks bersuara tidak hanya dapat didengarkan di komputer, tetapi juga disimpan ke file mp3 (yang nantinya dapat disalin ke pemutar atau telepon mana pun dan didengarkan dari PC).

Secara umum, program yang cukup bagus yang mendukung semua mesin suara populer.

Itu saja untuk hari ini. Terlepas dari kenyataan bahwa program hari ini masih tidak dapat sepenuhnya (100% kualitatif) membaca teks sehingga seseorang tidak dapat menentukan siapa yang membacanya: sebuah program atau seseorang ... Tapi saya pikir suatu hari nanti program akan mencapai ini: kekuatan komputer tumbuh, mesin tumbuh dalam volume (termasuk semakin banyak pergantian bicara yang paling kompleks) - yang berarti bahwa segera suara dari program tidak akan dapat dibedakan dari ucapan manusia biasa?!

Masalah utama dengan aplikasi semacam itu adalah bahwa ceruk ini kurang berkembang. Saat mencari, saya melihat lebih dari 30 aplikasi, dan hampir semuanya dirancang untuk audiens berbahasa Inggris atau orang yang tinggal di Eropa atau Amerika Serikat. Namun, enam aplikasi di bawah ini adalah pengecualian dan, saya harap, akan bermanfaat bagi seseorang.

Mode Ajaib

Miracle Modus adalah aplikasi yang dibuat oleh pengembang autistik. Dilihat dari kata-kata dan komentarnya di Pasar bermain aplikasi benar-benar berfungsi. Prinsip pengoperasiannya sederhana dan sekaligus rumit: Miracle Modus menggambar berbagai garis dan pola dan memainkan suara santai yang memiliki efek menenangkan pada penderita autisme.

Buku Catatan Diabetes

Sebuah aplikasi yang membantu penderita diabetes tipe 1 dan tipe 2. Di sini Anda dapat memasukkan semua informasi tentang makanan yang Anda makan di siang hari. Laporan lengkap kemudian dapat diekspor ke Excel untuk ditunjukkan kepada dokter Anda.

teman migrain

Memungkinkan penderita migrain untuk menganalisis gaya hidup mereka dan memahami faktor apa yang menyebabkan sakit kepala. Aplikasi ini juga melacak tidur Anda sehingga Anda dapat melihat korelasi antara migrain dan kualitas tidur.

benjolan

Benjolan membantu orang buta belajar Braille. Aplikasi ini hanya mendukung bahasa Inggris, jadi hanya cocok untuk mereka yang ingin belajar membaca tidak hanya dalam bahasa Rusia. Selain mempelajari alfabet, Bumps memungkinkan Anda memasukkan kata yang berbeda dan melihat cara penulisannya dalam Braille.

Ada aplikasi serupa untuk Android yang disebut Braile Guide.

Tanda Penyebaran

Spread Signs memiliki perpustakaan besar gerakan untuk membantu orang tuli dan bisu berkomunikasi. Basis aplikasi mencakup lebih dari selusin bahasa, termasuk Rusia, Ukraina, dan Inggris. Anda dapat mempelajari kedua gerakan yang menunjukkan huruf individual, dan seluruh kata.