公開リスニングテストの結果 (2014年7月)
このページは2014年に行われた マルチフォーマットのリスニングテスト 結果まとめである。テストの目的は、Opus、AAC、Ogg Vorbis の 96 kbps を MP3 128 kbps と比較し、どれが音質が最も良いのかを調べることであった。
概要
Opus、AAC、Ogg Vorbis、MP3の音質が、銘柄を伏せた公開リスニングテストで評価された。評価は標準的なABC/HR法に則って、ロスレスの原音と非可逆圧縮の音声ファイルをペアにした状態で行われた。非可逆音源の原音への忠実度は、公に集められた38名の参加者によって主観評価により採点された。35種の多様な音楽と、5種のスピーチがテスト音源として使われた。
Opusエンコーダー1.1、iTunesのAACエンコーダー、aoTuV の 96 kbps、加えて LAME の 128 kbps がテストされた。「区別できない」~「区別できるが、気にならない」という評価が最も多かった。
Opusコーデックは明確な勝者だった。Apple の iTunes でエンコードされた AAC が二位を得た。Ogg Vorbisは三位であった。他のコーデックより30kbps多くビットレートを使わせたMP3は、Ogg Vorbisと並んで三位タイとなった。
テストの前から音質の悪いことが知られていたFAAC (libfaac)は、ビリ基準として使われた。
目次
グラフの読み方
グラフは横軸に6コーデックが載せられ、縦軸に評点が与えられている。
それぞれのコーデックの平均評点は、Iの形をした線区間の中央にある点として示されている。
Iの形をした区間は、それぞれのコーデックの平均評点の、95%信頼区間を示す。
全音源の評点 (40 音源)
1
非常に
気になる
2
気になる
3
わずかに
気になる
4
気にな
らない
5
区別で
きない
95%
信頼区間
0.1.9-win32
iTunes 11, qaac 2.41
aoTuV b6.03
LAME 3.99.5
faac-1.28-mod from rarewares
--bitrate 96
--cvbr 96
-q2.2
-V5
-b 96
-q 30
107kbps
104kbps
106kbps
136kbps
98kbps
52kbps
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
評点
3.2
3.4
3.6
3.8
4.0
4.2
4.4
4.6
4.8
5.0
Opus
AAC
Ogg
MP3
全音源セット (5セット×8音源)
音源セットごとの評点
1
非常に
気になる
2
気になる
3
わずかに
気になる
4
気にな
らない
5
区別で
きない
0.1.9-win32
iTunes 11, qaac 2.41
aoTuV b6.03
LAME 3.99.5
faac-1.28-mod from rarewares
--bitrate 96
--cvbr 96
-q2.2
-V5
-b 96
-q 30
107kbps
104kbps
106kbps
136kbps
98kbps
52kbps
C
C
C
C
C
C
T
T
T
T
T
T
M
M
M
M
M
M
R
R
R
R
R
R
A
A
A
A
A
A
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
セット名 Opus 1.1 AAC Apple OggVorbis MP3 LAME FAAC 96k FAAC q30
セット名 Opus 1.1 AAC Apple OggVorbis MP3 LAME FAAC 96k FAAC q30
Chrisの音源セット 4.66 4.26 4.22 4.22 2.62 1.15
アルバムコレクションからの音源セット 4.70 4.42 4.41 4.29 2.82 1.22
MPEGシークエンスの音源セット 4.75 4.48 4.03 4.24 2.76 1.17
前回2011年のAACリスニングテストからの音源セット 4.60 4.39 4.25 4.28 2.48 1.21
新しい HydrogeuAudio のスレッド 103989 からの音源セット 4.56 4.45 4.28 4.16 2.58 1.23
音源ごとの評点
1
1
2
2
3
3
4
4
5
5
Chrisの音源セット
SinceAlways
ギター
Waiting
ポップス
velvet
打楽器
trumpet
管楽器
girl
テクノ
Can't Wait Until Tonight (Dry Wurlitzer Mix)
ポップス
35_SQAM_glockenspiel_cut
インスト
Robots_old
テクノ
アルバムコレクションからの音源セット
Asleep__4.11-4.31_
弦楽器
Greatest_Love_of_All_2min57
ポップス
Hey Tonight
ロック
Severance__1.31-1.51_
ポップス
Shinsho_pool_3min45_4min4
ポップス
SlavesOfFear
メタル
The Chastising of Renegade
ロック
TrosYGareg
ポップス
MPEGシークエンスの音源セット
4-Sound-English-male.441
スピーチ
9-Have-big-expensive-car.441
ポップス
12-German-male-speech.441
スピーチ
15-Good-evening.441
スピーチ
21-classic.441
クラシック
24-Greensleeves-Korean-male-speech.441
スピーチ
25-This-is-the-end.441
スピーチ
27-last-song-drums-and-trampets.441
打楽器
前回2011年のAACリスニングテストからの音源セット
bonhemian_rhapsody
ロック
clapton_44k
ギター
Coral
ポップス
ExitMusic
ボーカル
liberate
メタル
NewYorkCity
ポップス
sandman
ロック
take_your_finger_from_my_hair
ロック
新しい HydrogeuAudio のスレッド 103989 からの音源セット
Changes
ロック
Girl_In_The_Fire__Sample_
ロック
Hotel California
ロック
Jupiter, the Bringer of Jolity
クラシック
Last_Of_The_Mohicanz__Sample_
エレクトロ
Only Time
ニューエイジ
Through The Fire And Flames
メタル
With Love (Outro)
テクノ
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Chrisの音源セット
SinceAlways
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Waiting
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
velvet
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
trumpet
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
girl
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Can't Wait Until Tonight (Dry Wurlitzer Mix)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
35_SQAM_glockenspiel_cut
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Robots_old
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
アルバムコレクションからの音源セット
Asleep__4.11-4.31_
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Greatest_Love_of_All_2min57
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Hey Tonight
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Severance__1.31-1.51_
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Shinsho_pool_3min45_4min4
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
SlavesOfFear
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
The Chastising of Renegade
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
TrosYGareg
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
MPEGシークエンスの音源セット
4-Sound-English-male.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
9-Have-big-expensive-car.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
12-German-male-speech.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
15-Good-evening.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
21-classic.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
24-Greensleeves-Korean-male-speech.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
25-This-is-the-end.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
27-last-song-drums-and-trampets.441
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
前回2011年のAACリスニングテストからの音源セット
bonhemian_rhapsody
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
clapton_44k
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Coral
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
ExitMusic
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
liberate
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
NewYorkCity
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
sandman
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
take_your_finger_from_my_hair
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
新しい HydrogeuAudio のスレッド 103989 からの音源セット
Changes
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Girl_In_The_Fire__Sample_
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Hotel California
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Jupiter, the Bringer of Jollity
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Last_Of_The_Mohicanz__Sample_
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Only Time
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Through The Fire And Flames
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
With Love (Outro)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
参加者と貢献度合い (363 結果, 339 有効な結果)
参加者ごとの評点
1
1
2
2
3
3
4
4
5
5
kiavan92
(38)
Alexxander
(35)
anonymous2
(35)
win32vb
(32)
Kamedo2
(25)
Steve Forte Rio
(24)
IgorC
(21)
Caspian
(16)
Gainless
(13)
Joungmin Lee
(11)
2Bdecided
(10)
singlethread
(10)
Hex144
(8)
anonymous9
(7)
timuer
(7)
anonymous3
(5)
anonymous5
(4)
HS
(4)
naylor83
(4)
Panther025
(4)
anonymous1
(3)
anonymous10
(3)
psychoticmeow
(3)
TL
(3)
yourlord
(3)
anonymous7
(2)
johnb
(2)
NeoteriX
(2)
anonymous11
(1)
anonymous12
(1)
anonymous4
(1)
anonymous8
(1)
DH
(1)
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
多くの結果を頂いた 12 名の評点
kiavan92 の評点 (38 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Alexxander の評点 (35 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
anonymous2 の評点 (35 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
win32vb の評点 (32 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Kamedo2 の評点 (25 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Steve Forte Rio の評点 (24 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
IgorC の評点 (21 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Caspian の評点 (16 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Gainless の評点 (13 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
Joungmin Lee の評点 (11 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
2Bdecided の評点 (10 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
singlethread の評点 (10 個の結果)
1
Very
annoying
2
Annoying
3
Slightly
annoying
4
Perceptible,
but not
annoying
5
Impercep-
tible
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
音源ごとのビットレート
コーデックの設定は、多数の音楽に対して平均して約 96kbpsとなるように調整された(MP3とビリ基準は除く)。
音源のビットレート [kbps]
0
20
40
60
80
100
120
140
160
0.1.9-win32
iTunes 11, qaac 2.41
aoTuV b6.03
LAME 3.99.5
faac-1.28-mod from rarewares
--bitrate 96
--cvbr 96
-q2.2
-V5
-b 96
-q 30
107kbps
104kbps
106kbps
136kbps
98kbps
52kbps
Opus
AAC
Ogg
MP3
FAAC 96k
FAAC q30
これらは、ファイルサイズを元に計算されたビットレートである。
Sample Length Opus AAC Ogg MP3 FAAC 96 FAAC q30
--------------------------------------------------------------------------
1 18.191 82 103 97 144 98 58 SinceAlways
2 20.155 111 106 107 137 98 54 Waiting
3 11.879 112 114 124 169 98 55 velvet
4 10.031 133 101 101 156 98 60 trumpet
5 15.957 122 101 134 155 98 51 girl
6 29.933 116 99 111 144 97 54 Can't Wait Until Tonight (Dry Wurlitzer Mix)
7 23.45 131 85 79 77 83 41 35_SQAM_glockenspiel_cut
8 30 100 108 105 128 98 44 Robots_old
9 20 103 109 116 148 98 48 Asleep__4.11-4.31_
10 20.178 103 100 89 120 98 54 Greatest_Love_of_All_2min57
11 20 92 102 96 131 98 55 Hey Tonight
12 20 120 100 94 131 98 54 Severance__1.31-1.51_
13 18.924 104 109 88 108 98 48 Shinsho_pool_3min45_4min4
14 22 90 100 107 131 98 56 SlavesOfFear
15 20 104 109 122 146 98 49 The Chastising of Renegade
16 22.304 124 99 96 127 98 55 TrosYGareg
17 9.028 96 95 99 121 98 46 4-Sound-English-male.441
18 9.707 119 104 113 154 99 48 9-Have-big-expensive-car.441
19 7.84 100 95 104 116 98 47 12-German-male-speech.441
20 8.566 94 99 100 129 98 52 15-Good-evening.441
21 9.656 112 105 89 133 98 52 21-classic.441
22 8.72 133 101 121 176 99 45 24-Greensleeves-Korean-male-speech.441
23 9.184 98 99 95 125 98 53 25-This-is-the-end.441
24 9.966 104 105 112 128 99 48 27-last-song-drums-and-trampets.441
25 28.505 101 106 94 120 98 53 bonhemian_rhapsody
26 14.986 104 107 122 145 98 53 clapton_44k
27 12.701 104 107 102 135 98 48 Coral
28 20.106 111 101 85 141 98 47 ExitMusic
29 5.007 97 116 143 160 98 54 liberate
30 29.849 93 103 102 131 98 55 NewYorkCity
31 30.002 97 99 106 134 98 49 sandman
32 22.092 114 109 133 138 98 60 take_your_finger_frin_my_head
33 29.932 113 106 119 137 98 51 Changes
34 13.742 121 111 108 126 98 53 Girl_In_The_Fire__Sample_
35 30.762 106 110 112 143 98 52 Hotel California
36 29.234 105 103 89 123 98 56 Jupiter, the Bringer of Jollity
37 25.481 104 110 114 147 98 48 Last_Of_The_Mohicanz__Sample_
38 24.671 96 110 100 130 98 48 Only Time
39 29.789 97 99 117 135 98 59 Through The Fire And Flames
40 16.403 103 103 99 144 98 56 With Love (Outro)
--------------------------------------------------------------------------
Mean 18.973 106.7 103.7 106.1 135.5 97.6 51.7
Unit second kbps kbps kbps kbps kbps kbps
Sample Length Opus AAC Ogg MP3 FAAC 96 FAAC q30
ビットレート 対 評点 2D 散布図
Opus 3.2 3.4 3.6 3.8 4.0 4.2 4.4 4.6 4.8 5.0 64 80 96 112 128 144 160 176 192 bitrate [kbps] Ratings AAC 3.2 3.4 3.6 3.8 4.0 4.2 4.4 4.6 4.8 5.0 64 80 96 112 128 144 160 176 192 bitrate [kbps] Ogg 3.2 3.4 3.6 3.8 4.0 4.2 4.4 4.6 4.8 5.0 64 80 96 112 128 144 160 176 192 bitrate [kbps] Ratings MP3 3.2 3.4 3.6 3.8 4.0 4.2 4.4 4.6 4.8 5.0 64 80 96 112 128 144 160 176 192 bitrate [kbps]
テストに使用された音源の試聴とダウンロード
左側のリンクがロスレスの原音、右側の点数のリンクが圧縮音源である。
テスト後の選別
以下のような基準で、無効な結果は除却された。これはテスト前から決定され、公表されていたものである。
ビリ基準に点数5.0をつけた結果は無効である。
下から2番目基準に点数5.0をつけた結果は無効である。
下から2番目基準にビリ基準よりも低い点数をつけた結果は無効である。
基準となる原音に4.5未満の点数をつけた結果は無効である。
基準となる原音に5.0より悪い点数がつけられた結果が25%以上ある場合、その参加者の全ての結果は無効である。
無効な結果が25%以上ある場合、その参加者の全ての結果は無効である。
除却された結果は全体の7%未満であった。
ブートストラップ 分析
bootstrap.py --compare-all -p 1000000 -s 1000000 aq23.txt
bootstrap.py v1.0 2011-02-03
Copyright (C) 2011 Gian-Carlo Pascutto
License Affero GPL version 3 or later <http://www.gnu.org/licenses/agpl.html>
Reading from: C:\Users\PCC\Downloads\friedman124\aq23.txt
Read 6 treatments, 40 samples => 15 comparisons
Means:
AppleAAC Opus Ogg MP3V5 FAAC96k FAACq30
4.400 4.653 4.235 4.237 2.652 1.194
Unadjusted p-values:
Opus Ogg MP3V5 FAAC96k FAACq30
AppleAAC 0.000* 0.023* 0.016* 0.000* 0.000*
Opus - 0.000* 0.000* 0.000* 0.000*
Ogg - - 0.981 0.000* 0.000*
MP3V5 - - - 0.000* 0.000*
FAAC96k - - - - 0.000*
Opus is better than AppleAAC (p=0.000)
Ogg is worse than AppleAAC (p=0.023)
Ogg is worse than Opus (p=0.000)
MP3V5 is worse than AppleAAC (p=0.016)
MP3V5 is worse than Opus (p=0.000)
FAAC96k is worse than AppleAAC (p=0.000)
FAAC96k is worse than Opus (p=0.000)
FAAC96k is worse than Ogg (p=0.000)
FAAC96k is worse than MP3V5 (p=0.000)
FAACq30 is worse than AppleAAC (p=0.000)
FAACq30 is worse than Opus (p=0.000)
FAACq30 is worse than Ogg (p=0.000)
FAACq30 is worse than MP3V5 (p=0.000)
FAACq30 is worse than FAAC96k (p=0.000)
p-values adjusted for multiple comparison:
Opus Ogg MP3V5 FAAC96k FAACq30
AppleAAC 0.000* 0.044* 0.043* 0.000* 0.000*
Opus - 0.000* 0.000* 0.000* 0.000*
Ogg - - 0.981 0.000* 0.000*
MP3V5 - - - 0.000* 0.000*
FAAC96k - - - - 0.000*
Opus is better than AppleAAC (p=0.000)
Ogg is worse than AppleAAC (p=0.044)
Ogg is worse than Opus (p=0.000)
MP3V5 is worse than AppleAAC (p=0.043)
MP3V5 is worse than Opus (p=0.000)
FAAC96k is worse than AppleAAC (p=0.000)
FAAC96k is worse than Opus (p=0.000)
FAAC96k is worse than Ogg (p=0.000)
FAAC96k is worse than MP3V5 (p=0.000)
FAACq30 is worse than AppleAAC (p=0.000)
FAACq30 is worse than Opus (p=0.000)
FAACq30 is worse than Ogg (p=0.000)
FAACq30 is worse than MP3V5 (p=0.000)
FAACq30 is worse than FAAC96k (p=0.000)
ANOVA 分析
FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis
Number of listeners: 40
Critical significance: 0.05
Significance of data: 0.00E+000 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings
Source of Degrees Sum of Mean
variation of Freedom squares Square F p
Total 239 385.20
Testers (blocks) 39 4.52
Codecs eval'd 5 369.44 73.89 1282.39 0.00E+000
Error 195 11.24 0.06
---------------------------------------------------------------
Fisher's protected LSD for ANOVA: 0.106
Means:
Opus AppleAAC MP3V5 Ogg FAAC96k FAACq30
4.65 4.40 4.24 4.24 2.65 1.19
---------------------------- p-value Matrix ---------------------------
AppleAAC MP3V5 Ogg FAAC96k FAACq30
Opus 0.000* 0.000* 0.000* 0.000* 0.000*
AppleAAC 0.003* 0.002* 0.000* 0.000*
MP3V5 0.976 0.000* 0.000*
Ogg 0.000* 0.000*
FAAC96k 0.000*
-----------------------------------------------------------------------
Opus is better than AppleAAC, MP3V5, Ogg, FAAC96k, FAACq30
AppleAAC is better than MP3V5, Ogg, FAAC96k, FAACq30
MP3V5 is better than FAAC96k, FAACq30
Ogg is better than FAAC96k, FAACq30
FAAC96k is better than FAACq30
フォーマット済みの評点
ANOVA分析、ブートストラップ 分析とgraphmaker 5 向けにパースされた評点。
Opus AAC Ogg MP3 FAAC96k FAACq30
%feature 10 0.1.9-win32 iTunes 11, qaac 2.41 aoTuV b6.03 LAME 3.99.5 faac-1.28-mod from rarewares faac-1.28-mod from rarewares
%feature 11 --bitrate 96 --cvbr 96 -q2.2 -V5 -b 96 -q 30
%feature 12 107kbps 104kbps 106kbps 136kbps 98kbps 52kbps
%genre Chris's set of tracks
4.960 4.860 4.660 4.420 2.630 1.330
4.580 4.490 4.030 4.290 2.610 1.070
4.345 4.382 4.373 4.373 2.464 1.127
4.840 4.270 4.240 3.910 2.440 1.040
4.492 3.238 3.954 4.077 2.577 1.238
4.433 3.767 3.378 4.578 2.567 1.056
4.700 4.558 4.425 4.492 3.067 1.242
4.911 4.533 4.667 3.611 2.633 1.056
%genre Tracks randomly picked from album libraries
4.885 4.908 4.785 4.885 2.946 1.062
4.667 4.367 4.322 4.267 2.967 1.100
4.400 4.567 4.133 4.056 2.811 1.200
4.650 3.950 4.000 4.283 2.717 1.367
4.811 4.544 4.289 3.878 2.922 1.400
4.913 4.313 4.850 4.738 2.850 1.225
4.760 4.430 4.710 4.270 2.880 1.180
4.488 4.250 4.150 3.963 2.488 1.238
%genre Mpeg Sequences
4.970 4.820 3.770 4.470 3.010 1.220
4.711 4.044 4.278 4.167 2.589 1.122
4.820 4.800 3.590 4.090 2.710 1.190
4.314 4.514 4.243 4.186 2.486 1.186
4.686 4.571 3.957 3.943 2.886 1.429
5.000 4.317 4.233 4.400 2.917 1.000
4.888 4.413 4.200 4.563 2.700 1.225
4.571 4.343 3.971 4.057 2.771 1.000
%genre Tracks picked from previous 2011 AAC test
4.629 4.529 4.043 3.714 2.486 1.257
4.286 4.214 4.457 4.300 2.414 1.043
4.940 4.500 4.530 4.620 2.570 1.290
4.933 4.433 4.133 3.800 2.333 1.000
4.243 4.429 4.614 4.500 2.486 1.486
4.800 4.067 4.133 4.483 2.383 1.000
4.925 4.325 4.400 4.725 2.663 1.363
4.043 4.657 3.700 4.129 2.529 1.214
%genre Tracks picked from new HA thread 103989
4.363 4.213 4.425 4.250 2.538 1.188
4.363 4.500 4.125 4.025 2.938 1.100
4.814 4.586 4.129 4.457 2.729 1.229
4.483 4.417 3.800 4.100 2.733 1.300
4.678 4.211 4.667 4.322 2.267 1.178
4.514 4.686 4.200 4.186 2.529 1.114
4.650 4.475 4.675 3.913 2.375 1.513
4.650 4.500 4.175 3.988 2.488 1.175
%samples SinceAlways Guitar
%samples Waiting Pops
%samples velvet Perc.
%samples trumpet Wind
%samples girl Techno
%samples Can't Wait Until Tonight (Dry Wurlitzer Mix) Pops
%samples 35_SQAM_glockenspiel_cut Inst.
%samples Robots_old Techno
%samples Asleep__4.11-4.31_ Strings
%samples Greatest_Love_of_All_2min57 Pops
%samples Hey Tonight Rock
%samples Severance__1.31-1.51_ Pops
%samples Shinsho_pool_3min45_4min4 Pops
%samples SlavesOfFear Metal
%samples The Chastising of Renegade Rock
%samples TrosYGareg Pops
%samples 4-Sound-English-male.441 Voice
%samples 9-Have-big-expensive-car.441 Pops
%samples 12-German-male-speech.441 Voice
%samples 15-Good-evening.441 Voice
%samples 21-classic.441 Classic
%samples 24-Greensleeves-Korean-male-speech.441 Voice
%samples 25-This-is-the-end.441 Voice
%samples 27-last-song-drums-and-trampets.441 Perc.
%samples bonhemian_rhapsody Rock
%samples clapton_44k Guitar
%samples Coral Pops
%samples ExitMusic Vocal
%samples liberate Metal
%samples NewYorkCity Pops
%samples sandman Rock
%samples take_your_finger_from_my_hair Rock
%samples Changes Rock
%samples Girl_In_The_Fire__Sample_ Rock
%samples Hotel California Rock
%samples Jupiter, the Bringer of Jollity Classic
%samples Last_Of_The_Mohicanz__Sample_ Electro
%samples Only Time Newage
%samples Through The Fire And Flames Metal
%samples With Love (Outro) Techno
%link_path tracks/ .wav .opus1.1.b96k.opus .qaac.cvbr96k.mp4 .aotuv.q2.2.ogg .lame3.99.5.v5.mp3 .faac.abr96k.mp4 .faac.vbr30q.mp4
ログのダウンロード
ログ全部を収めたZIPファイル をダウンロードできる。暗号化鍵とパースされたテキストも同梱されている。
連絡先
Kamedo2: Twitter@kamedo2