Is ELSA Speak a Good App?
Is ELSA Speak a Good App?
ELSA Speak is a very popular app that corrects English pronunciation.
Most of the app’s features are locked behind a pay wall, but the basic functions are free to test out.
The app centers around having a conversation with an AI bot. It records the audio interaction, grades the pronunciation, and allows you to re-listen to how you sounded. The main idea is that you check your pronunciation, find errors, and correct any issues you might have.
In theory this sounds like a great idea, however, as we tested it out we began to have some doubts about how accurate the software actually was.
Rather than using a Smartphone, we set up our studio, PC, and professional microphones to record various tests in a quiet environment.
We used three different speakers, two American native English speakers and one non-native Japanese speaker, to see how the app’s scoring system worked. The results might just surprise you.
*Check out the video at the bottom of the page.
ELSA Speakは、とても人気がある英語発音矯正アプリです。
自分の声を録音し、どのような発音なのかを客観的に聞くことができる、またネイティブスピーカーの発音もあわせて確認できるため、その誤差を明確に意識できる点では非常に優秀なアプリです。
しかし、自分が利用していくなかで、スコアの出し方に若干疑問を感じたことがありました。
今回はこのアプリがどこまで正確に機能しているのかを確認をしたく、様々な実験を行い、動画にまとめました。
アメリカネイティブスピーカーにも協力いただき、また環境を安定させるため録音データを豊富にとりながら、ELSAに流したところ、下記問題点がみえてきました。
※動画はページ一番下にありますので、ご確認願います。
◆ Problem 1 ｜ Scoring is Unstable
We conducted a test where the same recorded voice was repeatedly played back under the same conditions to see how ELSA would grade the audio.
To our surprise, there were variations in the score that ranged as high as 14%.
The recorded audio was feed through a PC, to eliminate any environmental issues or noise. So, the same sound was fed into the app each time.
Even more surprising was that ELSA pointed out different issues on each play back, suggestion that the app’s corrections were randomized.
We also ran a less scientific version of this test on our Smartphone and found that the results fluctuated even more. The outcomes were greatly affected by how far the Smartphone was away from the speaker’s mouth and environmental noise, like traffic.
◆問題点1. 安定したスコアがでない
録音した音声を同じ条件で繰り返し再生し、ELSAにスコアを出してもらう実験を行いました。
結果最大14％のブレがありました。
同じ音声を同じ条件で流して14％のゆれはかなり大きいです。また、一番の懸念点は、毎回、どこが悪いかの指摘箇所もゆれることです。
これだけ整えた環境の中でもゆれるので、スマホを使って練習されている方は、スマホのもつ位置や周囲の音によっても大きく左右されることが想定され、悪いと指摘された箇所が実は問題がなかったという結果になりかねません。
◆ ELSA Problem 2 ｜ The Advice Is Difficult to Understand
The next issue we found was that it wasn’t always clear what you should do to improve your score. ELSA would point out the areas were your pronunciation was ‘wrong’ and give you a recording of how a native speaker would say the word. However, if you followed the pronunciation the app gives you, it doesn’t always result in a better score.
It would have been more helpful to get some advice on sounds that aren’t right, rather than words.
We also have to keep in mind that there are many accents in English, and ELSA doesn’t seem to account for that. Just to give you an idea, in New York state alone there are dozens of accents. This creates a whole subset of issues with the app disliking certain accents.
◆問題点2. アドバイスが理解しづらい
間違った発音を指摘されたときのアドバイスがわかりづらく、そのとおりに行っても合格点に達しないことがあります。ネイティブの発音を聞き、自分なりにその音に近づけながら発音をしていく使い方でしたら問題はありませんが、発音矯正をうたったアプリですので、もう少し丁寧なアドバイスがあるとよりよいと感じます。
◆ ELSA Problem 3 ｜ The Score System is Unclear
Lastly, we were left frustrated and confused by ELSA’s scoring system. The app evaluates users by using stars and a score, which seems baffling. On top of that, the criteria for each aren’t clear. There is nothing on the app itself that explains either system. A Google search also revealed nothing.
When looking over our test results, which can be seen in the video, we found that Bearington got two stars and Naomi scored three. However, Bearington achieved a higher point score. We could not understand why that was and even after all our research it remains a mystery.
◆問題点3. スコアのシステムが不透明
星とスコアで評価されますが、それぞれの評価基準が明確ではありません。今回の動画では、Bearington、Naomi、Hughでスコアを競いあいますが、BearingtonはスコアがNaomiより高いにもかかわらず星が2つ、Naomiは星が3つの結果となっています。ネット上で探しても、それぞれ何を意味して採点されているのかがわかりませんでした。もうう少し丁寧なスコアについてのアドバイスがあるとよいと感じます。
How We Tested ELSA
We did the following tests:
- TEST 01: Baseline Test
We simply tested how ELSA judged our three voices (Bearington, Naomi, and Hugh).
- TEST 02: Iterative Test
The same recorded voice was repeatedly run through ELSA under identical conditions to see if the app would return comparable scores.
- TEST 03: Stress Test
We recorded the same sentences over and over again using a wide range of intonation and differ stress points, from natural to unnatural, to see how ELSA would judge the data.
So, how did ELSA do?
Was it able to make the right decisions on every test?
Don’t take our word for, see for yourself in our video.
ELSAのテスト動画
下記の順番でテストを行っていきました。
- TEST 01: ベースラインテスト
Bearington、Naomi、Hughの3名の音声をどうELSAが判断するのか、テストしました。
- TEST 02: 反復テスト
同じ録音音声を繰り返し同じ条件でELSAに判定させました。
- TEST 03: ストレステスト
自然な言い方から不自然な言い方まで、幅広くネイティブスピーカーの音声を録音、その録音データをELSAに判断させました。
ELSAはすべてのテストに的確に判断をくだすことができるでしょうか。
ぜひご自身の目で確かめてください。
Keep Studying
Don’t stop learning now. Check out one of our other lessons in the follow categories and keep studying.
勉強を続けていきましょうね！カテゴリーごとに他のレッスンもまとめてありますので、よろしければぜひご確認ください。
You can also check out our sister websites! Both are fully in English, so it’s a good opportunity to practice your reading skills!!!
If you want to improve your cooking or learn a new recipe, you should explore our cooking website and discover more about cooking.
If you like traveling, check out our travel page and read tips how to travel adventurously and safely.
私たちの他のウェブサイトもぜひどうぞ！英語ですべて記載されていますので、リーディングスキルをさらに鍛えるためにご活用ください。
料理の腕をさらにあげたい、もしくは新しいレシピを学びたいようでしたら、私たちのクッキングWEBサイトへぜひお越しください。
旅行が好きな方は、私たちの旅行のWEBサイトをぜひチェックしてみてくださいね。わくわくするような旅行の仕方、また安全にも考慮したさまざまなお役立ち情報を提供しています。