複数形式公開リスニングテスト @ 96 kbps (2014年7月)

このテストの目的はAAC、Vorbis、Opus 96kbpsの音質をMP3 128kbpsと比較し、どのコーデックが最良の音質となるかを調査することです。

テストは終了し、結果が開示されした。

どのコーデックと設定がテストされますか?
- AAC iTunes 11.2.2, CoreAudioToolbox 7.9.8.5 qaac 2.41 経由
  --cvbr 96 (iTunes AAC エンコーダ設定カスタムの96 kbps VBRオン相当)
- Opus 1.1 with opus-tools-0.1.9-win32
  --bitrate 96
- Ogg Vorbis aoTuV Beta6.03
  -q2.2
- MP3 LAME 3.99.5 ※ビットレートは約 136 kbps
  -V 5
- AAC FAAC v1.28 (Mid-low Anchor)
  -b 96
- AAC FAAC v1.28 (Low Anchor) ※ビットレートは約 52 kbps
  -q 30
ビットレートが一部のサンプルで非常に高くなっていますが、正常ですか？ (最大 176 kbps)

はい、これがVBRエンコードの美点です。VBRは品質に問題が発生しそうなサンプルをエンコードする場合には、可能な限りビットレート制限を無視して、ビットを多く割り当てます。

これは公平性の問題をおこすかもしれませんが、VBRモードに最適化されたモダンなコーデックをテストする場合には最良の方法です。音声1トラックごとにVBR設定をいじって必要とするビットレートに調整するのは、公平かもしれませんが、一般的に行われているエンコードの慣習からは懸け離れています。普通、ユーザーは品質設定を固定して、どの特定のトラックがどのくらいのビットレートになったか、ということはあまり気にしないでしょう。

VBRコーデックの品質設定は、多数のアルバムに対して平均約96kbpsで出力するようなものが選ばれました。
誰がテストに参加するべきですか?

非可逆音声コーデックの品質に興味がある方、または興味がなくても、テストに協力していただける方を歓迎します。特段優れた聴覚がないと参加できないわけではありませんが、良い機材での参加を歓迎します。ヘッドホンは必須です。
Linuxですが、参加できますか?

Java 6以降が動作可能なOSがあれば参加できます。 java -versionと入力して、 java version "1.6.0_30"以降であることをご確認ください。
どのようにテストに参加できますか?

テスターが家にいながらにしてブラインドテストができるよう、音声サンプルとソフトのパッケージを配布しています。

音声パッケージを下からダウンロードしてください。

1つのパッケージのみのテストでも歓迎です。もちろん、多くテストすればするほどよりはっきりした結果が得られます。

もっとテストする

ダウンロード元を変更する

sampleXX.7z(またはsampleXX.zip) を展開してください。 7z圧縮を解凍できない場合は、7-Zipアーカイバをダウンロードしてください。

ABC/HRを実行するには、Sun Java Runtime Environmentが必要かもしれません。インストールされていない場合には、Java websiteからダウンロードしてください。
- Windows/Macユーザーは、abchr.jarをダブルクリック。
- *NIXユーザーは、java -jar abchr.jarをシェルから実行してください。
ABC/HRを行うアプリケーションのウィンドウが開いたら、"Open ABC/HR Config..."をクリックして、configXX.ecfを読み込んでください。(日本語が文字化けするかもしれませんが、気にせず勘で使ってください。)

これでテストの準備が整いました。

画面上に6つのグループ、12のボタン、そして6つのボタンがあります。これらの6つのグループはAAC, Opus, Ogg Vorbis, MP3, Mid-Low anchor(下から2番目基準), Low anchor(ビリ基準)を表します。これらの6グループはランダムな順番に並び替えられているので、どのグループがどのコーデックであるかを知ることはできません。

それぞれのグループ内に、ボタンが2つあります。これらの左右のボタンのどちらかがエンコードされた音源を再生し、もう一方が基準となるオリジナルの音源を再生します。ボタンは基準となるオリジナルの音源を再生します。

推奨される手順では、まずビリ基準を12のボタンの中から探します。ビリ基準は、元音源を電話の向こうから再生したような音に聞こえるはずです。音がこもったり、ぱちぱちした雑音が追加されたり、全体的に悪く聞こえるかもしれません。探し当てたボタンのすぐ上のスライダーを下げてください。採点基準は、5.0:元音源と区別できない、4.0:区別できるが、気にならない、 3.0:わずかに気になる、2.0:気になる、1.0:非常に気になる、です。ビリ基準に全体の中で最低の点数をつけてください。

次に、下から2番目基準を探してください。下から2番目基準は元音源に似ていますが、かなり煌びやかさが失われたり、ぼやけたり、ステレオの音像が異なって聞こえます。基準となるオリジナル音源と聞き比べて、ビリ基準よりは高い、中間的な点数をつけてください。

ここから難しくなってきます。他のボタンを押して、残り4つのエンコードされた音声を探し当ててください。どちらがエンコードされた方であるかについて絶対の自信がない場合は、常にを行うことが推奨されます。

初心者の方はビリ基準の（練習モード）から始めるのがよいでしょう。 XがAとBのどちらであるかを当てて、Next Trialを押してください。正解なら、画面にとでるでしょう。このp値は、正解をまぐれで出す確率です。少ないp値であるほど、全くの偶然によりその正答数以上を得た可能性が少ないことを意味します。つまり、まぐれではなく、あなたは確かにAとBを区別することができるということです。何度もABXテストを行い、p値を以下に下げてみてください。これで、あなたが偶然とはいえない確率でAとBを区別できることがはっきりしました。

次に、（本番モード）に切り替えてください。 p値は伝えてもらえませんが、代わりに回答数と、ABXテスト合格に必要な正答数が示されます。それ以上の正答を得た状態でを押すと、元音源のスライダーを無効にできます。これが推奨される手順です。

時として、元音源とエンコードされた音源を区別することが難しいことがあります。そのような場合、耳が疲れるため、音量を上げることは推奨しません。代わりに、
- 簡単な方の元音源のスライダーを無効にする訓練をしてみます。
- 可能であれば、部屋を静寂に保ちます。不必要な電気機器を止めると静かになるかもしれません。
- テスト中に適宜休憩をとります。
- 5.0のままにしておきます。
元音源の方のスライダーを下げて提出する危険を冒すべきではないことに注意してください。その場合、あなたの結果は無効とされます。テストに合格すると、基準音のスライダーをロックできます。
- ビリ基準に点数5.0をつけた結果は無効です。
- 下から2番目基準に点数5.0をつけた結果は無効です。
- 下から2番目基準にビリ基準よりも低い点数をつけた結果は無効です。
- 基準となるオリジナル音源に4.5未満の点数をつけた結果は無効です。
- 基準となるオリジナル音源に5.0より悪い点数がつけられた結果が25%以上ある場合、あなたの全ての結果は無効です。
- 無効な結果が25%以上ある場合、あなたの全ての結果は無効です。
テストを終えたら、あなたの結果にresultXX, Encrypted Result Files (*.erf)と名前をつけて保存してください。

erfファイルをメールでこちらに送ってください。
- listening.tests.ha@gmail.com
あなたの全ての結果とコメントは公開されます。もし名前の公開も希望する場合、あなたの(ニック)ネームを"Show name in results file"の部分に入力して、チェックを入れてください。そうしていない場合、あなたの結果は匿名として処理されます。

あなたのご協力に感謝しています。
何も音が聞こえません　／　Javaが例外(exception)を出力します。

デフォルトでABC/HRのアプリケーションが、普段の出力先デバイスを選ばないこともあるかもしれません。その場合はABC/HRのアプリケーションの Options, Settings..., Playbackからうまくいく出力先を選んでください。
いつテストは終了しますか?

テストは2014年8月30日に終わります。その日以降の結果は受理されませんので注意してください。テストを延長する場合はこのページで広報されます。

テストは2014年9月12日に終わります。