Представляем вашему вниманию результаты открытого тестирования форматов за март / апрель 2011 года.

Вы можете скачать ZIP-архив, содержащий все результаты для всех образцов.

Ключи шифрования можно загрузить здесь и здесь.

Интерпретация результатов. По оси X представлены кодеки, по оси Y их рейтинг. 95% доверительные интервалы приведены для каждого кодека. Для каждого кодека рассчитывается средний рейтинг и отмечается середина этого интервала. Вертикальные отрезки построены с использованием дисперсионного анализа для каждого кодека. Этот анализ идентичен тем, которые были использованы в предыдущих тестах.

Можно сказать, что кодек будет лучше, чем другой с более чем 95% вероятностью, если нижняя граница интервала кодека выше или находится на уровне верхней границы интервала конкурирующего кодека. Стоит отметить, что это приблизительный анализ с некоторыми допущениями и доверие может быть намного больше во многих случаях.

Обратите внимание, что кодек CELT называется Opus, так как это имя будет использоваться при стандартизации формата.

Важное примечание: Эти участки представляют группу предпочтений (для определенной группы людей, которые участвовали в тесте). Индивидуальные предпочтения могут несколько отличаться. Лучший кодек для человека зависит от его собственных предпочтений и типа музыки, которую он предпочитает.

График полных результатов (30 образцов, 531 результат):

Крупным планом интересные результаты (30 образцов, 531 результатов):

Результаты для каждого образца

Страница с отдельными графиками для каждого образца здесь.

Таблица битрейтов

Настройки кодеков были откалиброваны, чтобы обеспечить ~64 кбит/с на большом разнообразии музыки.

Образцы были сжаты при следующих битрейтах:

Bootstrap анализ:

        Read 5 treatments, 531 samples => 10 comparisons
        Means:
              Vorbis   Nero_HE-AAC  Apple_HE-AAC          Opus    AAC-LC@48k
               3.513         3.547         3.817         3.999         1.656

    Unadjusted p-values:
              Nero_HE-AAC   Apple_HE-AAC  Opus          AAC-LC@48k
    Vorbis        0.488         0.000*        0.000*        0.000*
    Nero_HE-AAC   -             0.000*        0.000*        0.000*
    Apple_HE-AAC  -             -             0.000*        0.000*
    Opus          -             -             -             0.000*

    Apple_HE-AAC лучше чем Vorbis (p=0.000)
    Apple_HE-AAC лучше чем Nero_HE-AAC (p=0.000)
    Opus лучше чем Vorbis (p=0.000)
    Opus лучше чем Nero_HE-AAC (p=0.000)
    Opus лучше чем Apple_HE-AAC (p=0.000)
    AAC-LC@48k хуже чем Vorbis (p=0.000)
    AAC-LC@48k хуже чем Nero_HE-AAC (p=0.000)
    AAC-LC@48k хуже чем Apple_HE-AAC (p=0.000)
    AAC-LC@48k хуже чем Opus (p=0.000)

    p-values adjusted for multiple comparison:
              Nero_HE-AAC   Apple_HE-AAC  Opus          AAC-LC@48k
    Vorbis        0.490         0.000*        0.000*        0.000*
    Nero_HE-AAC   -             0.000*        0.000*        0.000*
    Apple_HE-AAC  -             -             0.000*        0.000*
    Opus          -             -             -             0.000*

    Apple_HE-AAC лучше чем Vorbis (p=0.000)
    Apple_HE-AAC лучше чем Nero_HE-AAC (p=0.000)
    Opus лучше чем Vorbis (p=0.000)
    Opus лучше чем Nero_HE-AAC (p=0.000)
    Opus лучше чем Apple_HE-AAC (p=0.000)
    AAC-LC@48k хуже чем Vorbis (p=0.000)
    AAC-LC@48k хуже чем Nero_HE-AAC (p=0.000)
    AAC-LC@48k хуже чем Apple_HE-AAC (p=0.000)
    AAC-LC@48k хуже чем Opus (p=0.000)

Дисперсионный анализ:

        FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
        Blocked ANOVA analysis

    Number of listeners: 531
    Critical significance:  0.05
    Significance of data: 0.00E+00 (highly significant)
    ---------------------------------------------------------------
    ANOVA Table for Randomized Block Designs Using Ratings

    Source of         Degrees     Sum of    Mean
    variation         of Freedom  squares   Square    F      p

    Total             2654        4521.67
    Testers (blocks)   530        1498.18
    Codecs eval'd        4        1893.65  473.41   888.29  0.00E+00
    Error             2120        1129.85    0.53
    ---------------------------------------------------------------
    Fisher's protected LSD for ANOVA:   0.088

    Means:

    Opus     Apple_HE Nero_HE- Vorbis   AAC-LC@4
      4.00     3.82     3.55     3.51     1.66

    ---------------------------- p-value Matrix ---------------------------

             Apple_HE Nero_HE- Vorbis   AAC-LC@4
    Opus     0.000*   0.000*   0.000*   0.000*
    Apple_HE          0.000*   0.000*   0.000*
    Nero_HE-                   0.439    0.000*
    Vorbis                              0.000*
    -----------------------------------------------------------------------

    Opus лучше чем Apple_HE-AAC, Nero_HE-AAC, Vorbis, AAC-LC@48k
    Apple_HE-AAC лучше чем Nero_HE-AAC, Vorbis, AAC-LC@48k
    Nero_HE-AAC лучше чем AAC-LC@48k
    Vorbis лучше чем AAC-LC@48k

Примечания:

Графики основаны на простом дисперсионном анализе по всем достоверным результатам. Графики совместимы с результатами предыдущих тестов, но тем не менее, их следует рассматривать только как визуальное подтверждение реального анализа.

Для правильного расчета статистических вероятностей, и, чтобы можно было с уверенностью делать выводы, необходимо обратиться к Bootstrap анализу. Вы можете видеть, что результаты являются весьма значимыми, кроме одного сравнения (Vorbis против Nero HE-AAC).

По итогам тестирования:

Неверные результаты были отброшены в соответствии со следующими критериями, которые были обнародованы в начале испытания:

  • Если слушатель отметил эталонный образец хуже чем 4.5, результаты слушателя для этого образца были отброшены.
  • Если слушатель отметил нижний предел как 5.0 в образце, результаты слушателя для этого образца были отброшены.
  • Если слушатель отметил эталонные образцы хуже, чем 5.0 в более чем 4 образцах, все результаты этого слушателя были отброшены.