Носитель записи, устройство воспроизведения и интегральная схема
Изобретение относится к средствам распределения видеопотока на носителе записи при воспроизведении трехмерного видео. Техническим результатом является обеспечение непрерывности воспроизведения за счет исключения опустошения буфера. Устройство содержит блок считывания блоков экстентов с носителя записи, блок переключения, выделяющий потоки главного и дополнительного ракурсов из блоков экстентов. В устройстве каждый поток сохраняется в буфере считывания, блок декодирования считывает и декодирует каждый поток из соответствующего буфера считывания, время (t), необходимое блоку декодирования для декодирования всех блоков данных в одном блоке экстентов, больше или равно сумме (t1+t2+t3) времени (t1), необходимого для считывания блоков данных, кроме начального блока данных в блоке экстентов, времени (t2), необходимого для считывания начальной части следующего блока экстентов с момента окончания считывания конца блока экстентов, времени (t3), необходимого для считывания начального блока данных в следующем блоке экстентов. 4 н. и 1 з.п. ф-лы, 85 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к технологии стереоскопического, т.е. трехмерного (3-мерного, 3D), воспроизведения видео и, в частности, к распределению видеопотока на носителе записи.
Уровень техники
В последние годы усилился общий интерес к 3-мерному видео. Например, в парках развлечений популярны аттракционы, которые включают в себя 3-мерные видеоизображения. Кроме того, повсеместно растет число кинотеатров, демонстрирующих 3-мерные кинофильмы. Вместе с упомянутым повышением интереса к 3-мерному видео совершенствовалась также технология, которая создавала возможность воспроизведения 3-мерных видеоизображений в домашних условиях. Существует потребность в технологии хранения 3-мерного видеоконтента на портативном носителе записи, например на оптическом диске, при сохранении высокого качества 3-мерного видеоконтента. Кроме того, существует потребность в носителе записи, совместимом с устройством двумерного (2-мерного, 2D) воспроизведения. То есть, в предпочтительном варианте осуществления устройство 2-мерного воспроизведения должно содержать возможность воспроизведения 2-мерных видеоизображений, и устройство 3-мерного воспроизведения должно содержать возможность воспроизведения 3-мерных видеоизображений из одного и того же 3-мерного видеоконтента, записанного на носителе записи. В данном случае термин «устройство 2-мерного воспроизведения» относится к обычному устройству воспроизведения, которое может воспроизводить только моноскопические видеоизображения, т.е. 2-мерные видеоизображения, тогда как термин «устройство 3-мерного воспроизведения» относится к устройству воспроизведения, которое может воспроизводить 3-мерные видеоизображения. Следует отметить, что в настоящем описании предполагается, что устройство 3-мерного воспроизведения способно также воспроизводить обычные 2-мерные видеоизображения.
На фиг.84 представлена блок-схема, поясняющая технологию обеспечения совместимости оптического диска, хранящего 3-мерный видеоконтент, с устройствами 2-мерного воспроизведения (см. документ 1 патентной литературы). Оптический диск 7601 хранит файлы видеопотоков двух типов. Один тип файла является файлом видеопотока 2-мерного левого ракурса, и другой тип файла является файлом видеопотока правого ракурса. «Видеопоток 2-мерного левого ракурса» представляет 2-мерное видеоизображение, подлежащее демонстрации для левого глаза зрителя во время 3-мерного воспроизведения, т.е. «левый ракурс». Во время 2-мерного воспроизведения данный поток создает 2-мерное видеоизображение. «Видеопоток правого ракурса» представляет 2-мерное видеоизображение, которое подлежит демонстрации для правого глаза зрителя во время 3-мерного воспроизведения, т.е. «правый ракурс». Левый и правый видеопотоки характеризуются одинаковой частотой кадров, но разными интервалами времени воспроизведения, сдвинутыми один относительно другого на половину периода кадровой развертки. Например, когда частота кадров каждого видеопотока составляет 24 кадра в секунду, кадры видеопотока 2-мерного левого ракурса и видеопотока правого ракурса поочередно выводятся на экран через каждые 1/48 секунды.
Как показано на фиг.84, видеопотоки левого ракурса и правого ракурса разделены на множество экстентов 7602A-C и 7603A-C, соответственно, на оптическом диске 6701. Каждый экстент содержит, по меньшей мере, одну группу картинок (GOP), при этом GOP считываются совместно с оптического диска. В дальнейшем, экстенты, принадлежащие видеопотоку 2-мерного левого ракурса, называются «экстентами 2-мерного левого ракурса», и экстенты, принадлежащие видеопотоку правого ракурса, называются «экстентами правого ракурса». Экстенты 7602A-C 2-мерного левого ракурса и экстенты 7603A-C правого ракурса поочередно расположены на дорожке 7601A оптического диска 7601. Каждая пара смежных экстентов 7602A-7603A, 7602B-7603B и 7602C-7603C характеризуется одинаковой продолжительностью воспроизведения. Упомянутая схема расположения экстентов называется схемой расположения с чередованием. Группа экстентов, записанных по схеме расположения с чередованием на носителе записи, используется как при воспроизведении 3-мерного видео, так и при воспроизведении 2-мерного видео, как поясняется ниже.
Из экстентов, записанных на оптическом диске 7601, устройство 7604 2-мерного воспроизведения назначает дисководу 7604A оптических дисков считывать только экстенты 7602A-C 2-мерного левого ракурса последовательно с начала, с пропусками считывания экстентов 7603A-C правого ракурса. Кроме того, декодер 7604B изображений последовательно декодирует экстенты, считываемые дисководом 7604A оптических дисков, в видеокадры 7606L. При этом дисплей 7607 выводит на экран только левые ракурсы, и зрители могут смотреть обычные 2-мерные видеоизображения.
Устройство 7605 3-мерного воспроизведения назначает дисководу 7605A оптических дисков поочередно считывать экстенты 2-мерного левого ракурса и экстенты правого ракурса с оптического диска 7601. При выражении в кодах экстенты считываются в порядке 7602A, 7603A, 7602B, 7603B, 7602C и 7603C. Кроме того, из считанных экстентов, экстенты, принадлежащие видеопотоку 2-мерного левого ракурса, подаются в видеодекодер 7605L левого ракурса, тогда как экстенты, принадлежащие видеопотоку правого ракурса, подаются в видеодекодер 7605R правого ракурса. Видеодекодеры 7605L и 7605R поочередно декодируют каждый видеопоток в видеокадры 7606L и 7606R, соответственно. В результате, левые ракурсы и правые ракурсы поочередно выводятся на экран дисплея 7608. Синхронно с переключением ракурсов дисплеем 7608 затворные очки 7609 создают состояние непрозрачности поочередно левой и правой линз. Поэтому, зритель с надетыми затворными очками 7609 наблюдает ракурсы, выводимые на экран дисплея 7608, как 3-мерные видеоизображения.
Когда 3-мерный видеоконтент записывают на любой носитель записи, а не только на оптический диск, используют вышеописанную схему расположения экстентов с чередованием. При этом носитель записи можно использовать для воспроизведения как 2-мерных видеоизображений, так и 3-мерных видеоизображений.
Список процитированных источников
Патентная литература
Документ 1 патентной литературы: Японский патент № 3935507
Сущность изобретения
Техническая задача
Как показано на фиг.84, когда из группы экстентов, записанных по схеме расположения с чередованием, воспроизводятся 2-мерные видеоизображения, дисковод 7605A оптических дисков выполняет «переход» через область записи каждого экстента 7603A-C правого ракурса, чтобы пропускать считывание данных из области записи. Поскольку во время перехода не подается никаких данных из дисковода 7604A оптических дисков в буфер, содержащийся в устройстве 7604 2-мерного воспроизведения, то данные, накопленные в буфере, убывают по мере того, как декодер 7604B изображений обрабатывает данные. Соответственно, непрерывное воспроизведение 2-мерных видеоизображений требует, чтобы каждый из экстентов 7602A-C 2-мерного левого ракурса содержал объем данных, то есть имел размер, достаточный, чтобы не допускать наступления опустошения буфера во время перехода.
Когда из одной и той же группы экстентов воспроизводят 3-мерные видеоизображения, экстенты 7603A-C правого ракурса не считываются в то время, когда считываются экстенты 7602A-C 2-мерного левого ракурса. Данные экстентов 7603A-C правого ракурса, накопленные в буфере, содержащемся в устройстве 7605 3-мерного воспроизведения, убывают по мере того, как видеодекодер 7605R правого ракурса обрабатывает данные. И, наоборот, пока считываются экстенты 7603A-C правого ракурса, данные экстентов 7602A-C 2-мерного левого ракурса, накопленные в буфере, убывают по мере того, как видеодекодер 7605L левого ракурса обрабатывает данные. Соответственно, непрерывное воспроизведение 3-мерных видеоизображений требует, чтобы каждый из экстентов 7602A-C левого ракурса и экстентов 7603A-C правого ракурса имел размер, достаточный, чтобы не допускать выработки данных одного из экстентов левого ракурса и правого ракурса, накопленных в буфере, в то время, когда считываются данные экстента другого ракурса.
Кроме того, чтобы эффективно использовать области данных на носителе записи, иногда целесообразно разделить область записи для последовательности потоковых данных на, по меньшей мере, две области записи и записывать другие данные между разделенными, по меньшей мере, двумя областями записи. Кроме того, некоторые оптические диски содержат множество слоев записи данных, например, так называемые двухслойные диски. В одном случае последовательность потоковых данных записывают на два слоя данных оптических дисков. В данном случае, когда видеоизображения воспроизводят из последовательности потоковых данных, дисковод оптических дисков выполняет переход для пропуска считывания других данных или переключения между слоями записи данных. Для непрерывного воспроизведения видеоизображений, несмотря на переход, каждый экстент должен иметь размер, достаточный, чтобы не допускать наступления опустошения буфера во время перехода или не допускать выработки данных экстентов левого ракурса, либо правого ракурса.
Задачей настоящего изобретения является создание носителя записи, содержащего записанные на нем потоковые данные, которые расположены так, чтобы не происходило опустошения буфера, содержащегося в устройстве воспроизведения, при воспроизведении моноскопических видеоизображений, равно как стереоскопических видеоизображений в устройстве воспроизведения, а также создание устройства воспроизведения, допускающего непрерывное воспроизведение любых из моноскопических видеоизображений, равно как стереоскопических видеоизображений.
Решение проблемы
Носитель записи в соответствии с вариантами осуществления настоящего изобретения содержит записанные на нем поток главного ракурса и поток дополнительного ракурса. Поток главного ракурса служит для воспроизведения моноскопического видео. Поток дополнительного ракурса служит для воспроизведения стереоскопического видео в сочетании с потоком главного ракурса. На носителе записи поток главного ракурса разделен на множество блоков данных главного ракурса, и поток дополнительного ракурса разделен на множество блоков данных дополнительного ракурса. Упомянутые блоки данных содержат множество блоков экстентов. Каждый из множества блоков экстентов состоит из блоков данных главного ракурса и блоков данных дополнительного ракурса, которые последовательно записаны по схеме расположения с чередованием, и, при воспроизведении стереоскопического видео, адресуется как один экстент. Когда происходит переход от одного блока экстентов к следующему блоку экстентов во время воспроизведения стереоскопического видео, каждый из блоков экстентов имеет такой нижний предельный размер, что опустошения буфера, содержащегося в устройстве воспроизведения, с момента, когда начинается переход, до момента, когда считывается начальный блок данных в следующем блоке экстентов, не происходит.
Устройство воспроизведения в соответствии с вариантами осуществления настоящего изобретения содержит блок считывания, блок переключения, первый буфер считывания, второй буфер считывания и блок декодирования. Блок считывания считывает блоки экстентов с вышеупомянутого носителя записи в соответствии с вариантами осуществления настоящего изобретения. Блок переключения выбирает поток главного ракурса и поток дополнительного ракурса из блоков экстентов. Первый буфер считывания сохраняет поток главного ракурса, выбранный блоком переключения. Второй буфер считывания сохраняет поток дополнительного ракурса, выбранный блоком переключения. Блок декодирования считывает и декодирует поток главного ракурса и поток дополнительного ракурса из первого буфера считывания и второго буфера считывания, соответственно. Время (t), необходимое блоку декодирования, чтобы декодировать все блоки данных в одном блоке экстентов, больше чем или равно сумме (t1+t2+t3) времени (t1), необходимого блоку считывания, чтобы считать блоки данных, кроме начального блока данных, в блоке экстентов, времени (t2), необходимого блоку считывания, чтобы начать считывание начальной части следующего блока экстентов с момента окончания считывания конца блока экстентов, и времени (t3), необходимого блоку считывания, чтобы считать начальный блок данных в следующем блоке экстентов.
Положительные эффекты изобретения
В соответствии с вышеупомянутым носителем записи, относящимся к вариантам осуществления настоящего изобретения, нижний предельный размер для каждого блока экстентов является точно определенным. Упомянутое свойство облегчает соответствующее проектирование размера блока экстентов. В результате, возможна несложная запись потока данных на носитель записи таким образом, чтобы не происходило опустошения буфера, содержащегося в устройстве воспроизведения, при воспроизведении моноскопических, равно как стереоскопических видеоизображений с носителя записи.
В соответствии с устройством воспроизведения, относящимся к вариантам осуществления настоящего изобретения, время, необходимое блоку декодирования, чтобы декодировать все блоки данных в одном блоке экстентов, больше чем или равно времени, необходимого блоку считывания, чтобы считать начальный блок данных в следующем блоке экстентов с момента времени начала считывания 2-го блока данных в блоке экстентов. Соответственно, когда устройство воспроизведения безостановочно воспроизводит видеоизображения из двух блоков экстентов, опустошения буфера, содержащегося в устройстве воспроизведения, не происходит. Данная особенность допускает непрерывное воспроизведение видеоизображений из упомянутых блоков экстентов.
Краткое описание чертежей
Фиг.1 - схематическое представление системы домашнего кинотеатра, который использует носитель записи в соответствии с вариантом осуществления 1 настоящего изобретения;
фиг.2 - схематическое представление структуры данных диска BD-ROM (формата Blu-ray только для чтения) 101, показанного на фиг.1;
фиг.3A, 3B и 3C - списки элементарных потоков, мультиплексированные в основном TS, первом вспомогательном TS и втором вспомогательном TS, соответственно, на диске BD-ROM 101, показанном на фиг.1;
фиг.4 - схематическое представление расположения TS-пакетов в мультиплексированных потоковых данных 400;
фиг.5B - схематическое представление формата последовательности TS в мультиплексированных потоковых данных, показанных на фиг.4, на фиг.5A схематически представлена структура данных заголовка TS 501H, показанного на фиг.5B, на фиг.5C схематически представлена форма последовательности исходных пакетов, сформированной из последовательности TS-пакетов, показанной на фиг.5B, и на фиг.5D схематически представлена группа секторов в области 202B тома данных диска BD-ROM 101, где последовательно записан ряд исходных пакетов, показанных на фиг.5C;
фиг.6 - схематическое представление картинок в видеопотоке 601 основного ракурса и в видеопотоке 602 правого ракурса в порядке времени представления;
фиг.7 - схематическое представление картинок в видеопотоке 601 основного ракурса и в потоке 701 карт глубины в порядке времени представления;
фиг.8 - детальное схематическое представление структуры данных видеопотока 800;
фиг.9 - детальное схематическое представление способа записи видеопотока 901 в последовательность 902 PES-пакетов (элементарного пакетизированного потока);
фиг.10 - схематическое представление взаимосвязи между метками PTS и DTS, присвоенными каждой картинке в видеопотоке 1001 основного ракурса и в видеопотоке 1002 зависимого ракурса;
фиг.11 - схематическое представление структуры данных для дополнительных данных 831D, показанных на фиг.8;
фиг.12A и 12B - схематические представления двух разных примеров счетчиков декодирования, присвоенных каждой картинке в видеопотоке 1201 основного ракурса и в видеопотоке 1202 зависимого ракурса;
фиг.13 - схематическое представление физического расположения на диске BD-ROM 101 каждого из основного TS, первого дополнительного TS и второго дополнительного TS, показанных на фиг.3;
фиг.14A - схематическое представление расположения основного TS 1401 и дополнительного TS 1402, записанных раздельно и последовательно на диске BD-ROM, и на фиг.14B схематически представлено расположение с чередованием блоков D[0], D[1], D[2], … данных зависимого ракурса и блоков B[0], B[1], B[2], … данных основного ракурса, записанных на диске BD-ROM 101 в соответствии с вариантом 1 осуществления настоящего изобретения;
фиг.15A и 15B - схематические представления разных примеров значений времени по ATC для каждого экстента в группе D[n] блоков зависимого ракурса и группе B[n] блоков основного ракурса, записанных по схеме расположения с чередованием (n=0, 1, 2);
фиг.16 - схематическое представление маршрута 1601 воспроизведения для блоков 1301-1303 экстентов в режиме 2-мерного воспроизведения и маршрута 1602 воспроизведения для блоков 1301-1303 экстентов в L/R-режиме;
фиг.17 - блок-схема, представляющая систему обработки воспроизведения, работающую в режиме 2-мерного воспроизведения, в устройстве 102 воспроизведения;
фиг.18A - график, отражающий изменения объема данных DA, хранящихся в буфере 1721 считывания, показанном на фиг.17, во время работы в режиме 2-мерного воспроизведения, и фиг.18B схематически представляет взаимосвязь между блоком 1810 экстентов, подлежащим воспроизведению, и маршрутом 1820 воспроизведения в режиме 2-мерного воспроизведения;
фиг.19 - примерная таблица соответствия между расстоянием SJUMP перехода и максимальным временем TJUMP_MAX перехода, относящаяся к диску BD-ROM;
фиг.20 - блок-схема системы обработки воспроизведения, работающей в режиме 3-мерного воспроизведения, в устройстве 102 воспроизведения;
фиг.21A и 21B - графики, отражающие изменения объемов DA1 и DA2 данных, накопленных в буферах 2021 и 2022 считывания, показанных на фиг.20, когда 3-мерные изображения непрерывно воспроизводятся из одного блока экстентов, и фиг.21C схематически представляет взаимосвязь между блоком 2110 экстентов и маршрутом 2120 воспроизведения в режиме 3-мерного воспроизведения;
фиг.22A - график, отражающий изменения объемов DA1 и DA2 данных, накопленных в буферах 2021 и 2022 считывания, показанных на фиг.20, когда 3-мерные изображения непрерывно воспроизводятся безостановочно из множества блоков экстентов, и изменения их суммы DA1+DA2, и фиг.22B схематически представляет M-й (M является целым числом, большим чем или равным 2) блок 2201 экстентов и (M+1)-й блок 2202 экстентов и показывает взаимосвязь между упомянутыми двумя блоками 2201 и 2202 экстентов и маршрутом 2220 воспроизведения в режиме 3-мерного воспроизведения;
фиг.23 - схематическое представление структуры данных PMT (таблицы карты программ) 2310;
фиг.24 - схематическое представление структуры данных первого файла (01000.clpi) информации о клипах, показанного на фиг.2, то есть файла 231 информации о 2-мерных клипах;
фиг.25A - схематическое представление структуры данных карты 2430 отображения точек входа, показанной на фиг.24, на фиг.25B схематически представлен участок исходных пакетов 2510, принадлежащих файлу 241 2-мерного видео, показанному на фиг.2, который связывается с каждым EP_ID (идентификатором точки входа) 2505 при посредстве карты 2430 отображения точек входа, показанной на фиг.25A, и на фиг.25C схематически представлены блоки D[n] и B[n] (n=0, 1, 2, 3, …) данных, соответствующие исходным пакетам 2510, на диске BD-ROM 101;
фиг.26A - схематическое представление структуры данных таблицы 2441 смещений, показанной на фиг.24, и на фиг.26B схематически представлен действующий сегмент элемента данных смещения, показанного на фиг.26A;
фиг.27A - схематическое представление структуры данных начальной точки 2442 экстента, показанной на фиг.24, и на фиг.27B схематически представлена структура данных начальной точки 2720 экстента, содержащейся во втором файле (02000.clpi) информации о клипах, показанном на фиг.2, т.е. содержащемся в файле 232 информации о клипах правого ракурса, на фиг.27C схематически представлены блоки B[0], B[1], B[2], … данных основного ракурса, извлекаемые устройством 102 воспроизведения в L/R-режиме из первого SS-файла 244A, на фиг.27D схематически представлена взаимосвязь между экстентами EXT2[0], EXT2[1], … правого ракурса, принадлежащими первому DEP-файлу (02000.m2ts) 242, и начальными точками 2720 экстента, указанными посредством SPN 2722, и на фиг.27E схематически представлена взаимосвязь между SS-экстентом EXTSS[0], принадлежащим первому SS-файлу 244A, и блоками экстентов на диске BD-ROM 101;
фиг.28 - схематическое представление взаимосвязи между одним блоком 2800 экстентов, записанным на диск BD-ROM 101, и каждым из экстентов в файле 2810 2-мерного видео, основанием 2811 файла, DEP-файлом 2812 и SS-файлом 2820;
фиг.29 - схематическое представление примерных точек входа, выбранных в видеопотоке 2910 основного ракурса и видеопотоке 2920 зависимого ракурса;
фиг.30 - схематическое представление структуры данных файла списка файлов для 2-мерного воспроизведения;
фиг.31 - схематическое представление структуры данных PI № N, показанной на фиг.30;
фиг.32A и 32B - схематические представления взаимосвязи между двумя сегментами 3201 и 3202 воспроизведения, подлежащими соединению, когда условие 3104 соединения, показанное на фиг.31, составляет «5» или «6», соответственно;
фиг.33 - схематическое представление взаимосвязи между PTS, показанными в файле (00001.mpls) 221 списка файлов для 2-мерного воспроизведения, и участками, подлежащими воспроизведению из файла (01000.m2ts) 241 2-мерного видео;
фиг.34 - схематическое представление структуры данных файла списка файлов для 3-мерного воспроизведения;
фиг.35 - схематическое представление структуры данных таблицы STN SS 3430, показанной на фиг.34;
фиг.36A, 36B и 36C - схематические представления структур данных последовательности 3512 регистрационной информации о потоке в видеопотоке зависимого ракурса, последовательности 3513 регистрационной информации о потоке в потоке PG и последовательности 3514 регистрационной информации о потоке в потоке IG, которые показаны вместе на фиг.35;
фиг.37 - схематическое представление взаимосвязи между PTS в файле (00002.mpls) 222 списка 3-мерного воспроизведения и участками, подлежащими воспроизведению из первого SS-файла (01000.ssif) 244A;
фиг.38 - схематическое представление таблицы 3810 оглавления в индексном файле (index.bdmv) 211, показанном на фиг.2;
фиг.39 - блок-схема последовательности операций процедуры выбора файла списка воспроизведения, подлежащего воспроизведению, при этом процедура выполняется, когда выбрано 3-мерное видеоприложение;
фиг.40 - функциональная блок-схема устройства 4000 2-мерного воспроизведения;
фиг.41 - таблица SPRM (системных параметров), сохраняемых в запоминающем устройстве 4036 для параметров плеера, показанном на фиг.40;
фиг.42 - блок-схема последовательности операций процедуры воспроизведения списка 2-мерного воспроизведения, выполняемой блоком 4035 управления воспроизведения, показанным на фиг.40;
фиг.43 - функциональная блок-схема выходного декодера 4023 системы, показанного на фиг.40;
фиг.44 - функциональная блок-схема устройства 4400 3-мерного воспроизведения;
фиг.45 - блок-схема последовательности операций процедуры воспроизведения списка 3-мерного воспроизведения, выполняемой блоком 4435 управления воспроизведением;
фиг.46 - функциональная блок-схема выходного декодера 4423 системы, показанного на фиг.44;
фиг.47 - функциональная блок-схема сумматора 4424 плоскостей, показанного на фиг.44;
фиг.48 - блок-схема последовательности операций обработки кадрирования, выполняемой каждым из блоков 4731-4734 кадрирования, показанных на фиг.47;
фиг.49A и 49B - схематические представления обработки кадрирования, выполняемой вторым блоком 4732 обработки кадрирования;
фиг.50A, 50B и 50C - схематическое представление, соответственно, 2-мерных изображений, представляющих данные плоскости PG левого ракурса и правого ракурса, показанных на фиг.49A и 49B, то есть леворакурсной и праворакурсной плоскостей PG и 3-мерных изображений, воспринимаемых с их помощью зрителем;
на фиг.51A - схематическое представление блоков 5101 и 5102 экстентов, записанных до и после границы LB слоев, и на фиг.51B схематически представлен маршрут 5130 воспроизведения в режиме 2-мерного воспроизведения и маршрут 5140 воспроизведения в режиме 3-мерного воспроизведения, соответствующие блокам 5101 и 5102 экстентов;
фиг.52 - схематическое представление схемы 1 расположения блоков данных, записанных на диске 101 BD-ROM до и после границы LB слоев;
фиг.53 - схематическое представление маршрута 5310 воспроизведения в режиме 2-мерного воспроизведения и маршрута 5320 воспроизведения для блоков данных в режиме 3-мерного воспроизведения в схеме 1 расположения, показанной на фиг.52;
фиг.54 - схематическое представление схемы 2 расположения блоков данных, записанных на диске 101 BD-ROM до и после границы LB слоев;
фиг.55 - схематическое представление маршрута 5510 воспроизведения в режиме 2-мерного воспроизведения и маршрута 5520 воспроизведения в режиме 3-мерного воспроизведения для блоков данных в схеме 2 расположения, показанной на фиг.54;
фиг.56 - график, показывающий изменения объемов DA1 и DA2 данных, накопленных в буферах 4421 и 4422 считывания, когда 3-мерные изображения непрерывно безостановочно воспроизводятся из блоков 5401-5403 экстентов, показанных на фиг.54, и изменения их суммы DA1+DA2;
фиг.57 - схематическое представление взаимосвязи между тремя типами блоков Dn, Rn и Ln (n=0, 1, 2, …) данных, расположенных на диске 101 BD-ROM, и файлами AV-потока, которые обращаются к упомянутым блокам данных;
фиг.58 - схематическое представление маршрутов 5801, 5802 и 5803 воспроизведения, соответственно, представляющих режим 2-мерного воспроизведения, L/R-режим и суперрежим, соответствующий блокам 5700 суперэкстентов, показанным на фиг.57;
фиг.59A - график, показывающий изменения объема DA данных, накопленных в буфере 1721 считывания во время работы в режиме 2-мерного воспроизведения, и на фиг.59B схематически представлена взаимосвязь между блоками 5910 суперэкстентов, подлежащими воспроизведению, и маршрутом 5920 воспроизведения в 2-мерном режиме;
фиг.60A и 60B - графики, показывающие изменения объемов DA1 и DA2 данных, накопленных в буферах 2021 и 2022 считывания, когда устройство воспроизведения непрерывно воспроизводит 3-мерные изображения из блока 6010 суперэкстентов в L/R-режиме, и на фиг.60С схематически представлена взаимосвязь между блоками 6010 суперэкстентов и маршрутом 6020 воспроизведения в L/R-режиме;
фиг.61 - блок-схема, представляющая систему обработки воспроизведения в устройстве воспроизведения в суперрежиме;
фиг.62A, 62B и 62C - графики, показывающие изменения объемов DA1, DA2 и DA3 данных, накопленных в буферах 6121, 6122 и 6123 считывания, показанных на фиг.61, когда 3-мерные изображения непрерывно воспроизводятся из одного блока суперэкстентов, и на фиг.62D схематически представлена взаимосвязь между блоками 6210 суперэкстентов и маршрутом 6220 воспроизведения в суперрежиме;
фиг.63A - график, показывающий изменения объемов DA1, DA2 и DA3 данных, накопленных в буферах 6121, 6122 и 6133 считывания, показанных на фиг.61, и изменения их суммы DA1+DA2+DA3, когда 3-мерные изображения непрерывно безостановочно воспроизводятся из двух разных блоков 6301 и 6302 суперэкстентов, и на фиг.63B схематически представлена взаимосвязь между упомянутыми двумя блоками 6301 и 6302 суперэкстентов и маршрутом 6320 воспроизведения в суперрежиме;
фиг.64 - схематическое представление расположения блоков данных трех типов, записанных на диске BD-ROM 101 до или после границы LB слоев;
фиг.65 - функциональная блок-схема устройства 6500 воспроизведения в суперрежиме;
фиг.66 - функциональная блок-схема выходного декодера 6524 системы, показанного на фиг.65;
фиг.67A - схематическое представление маршрута воспроизведения, когда значения времени по ATC экстентов различаются между блоками данных основного ракурса и блоками данных зависимого ракурса, которые являются смежными между собой, и значения времени воспроизведения видеопотоков также различаются, и на фиг.67B схематически представлен маршрут воспроизведения, когда значения времени воспроизведения видеопотока являются одинаковыми для блоков данных основного ракурса и блоков данных зависимого ракурса, которые являются смежными между собой;
фиг.68 - схематическое представление взаимосвязи между точками входа и блоками данных, когда пара из блока данных основного ракурса и блока данных зависимого ракурса, которые являются смежными в блоках суперэкстентов, содержит такое же число точек входа;
фиг.69A - схематическое представление маршрута воспроизведения мультиплексированных потоковых данных, соответствующих нескольким углам, на фиг.69B схематически представлены блоки 6901 данных, записанных на диске BD-ROM, и маршрут 6902 воспроизведения, соответствующий упомянутым блокам в L/R-режиме, и на фиг.69C показаны блоки суперэкстентов, содержащиеся в потоковых данных Ak, Bk и Ck, каждый из которых относится к отличающемуся углу наблюдения;
фиг.70 - блок-схема, представляющая внутреннюю структуру записывающего устройства в соответствии с вариантом 2 осуществления настоящего изобретения;
фиг.71A и 71B - схематические представления картинки левого видеоизображения и картинки правого видеоизображения, используемых для отображения одной сцены 3-мерного видеоизображения, и на фиг.71C схематически представлена информация о глубине, вычисленная по упомянутым картинкам видеокодером 6301, показанным на фиг.70;
фиг.72 - схематическое представление способа выравнивания значений времени по ATC экстентов между смежными блоками данных;
фиг.73 - блок-схема последовательности операций способа записи киноконтента на диск BD-ROM с использованием записывающего устройства, показанного на фиг.70;
фиг.74 - функциональная блок-схема, представляющая интегральную схему 3 в соответствии с вариантом 3 осуществления настоящего изобретения;
фиг.75 - функциональная блок-схема, представляющая типичную структуру блока 5 обработки потоков, показанного на фиг.74;
фиг.76 - схематическое представление окружающей конфигурации, когда блок 53 переключения, показанный на фиг.75, представляет собой DMAC (контроллер прямого доступа к памяти);
фиг.77 - функциональная блок-схема, представляющая типичную структуру блока 8 вывода AV-сигналов, показанного на фиг.74;
фиг.78 - более детальное схематическое представление вывода данных устройством 102 воспроизведения, которое содержит блок 8 вывода AV-сигналов, показанный на фиг.77;
фиг.79A и 79B - схематические представления примеров топологии шины управления и шины данных в интегральной схеме 3, показанной на фиг.74;
фиг.80 - блок-схема последовательности операций обработки воспроизведения устройством 102 воспроизведения, которое использует интегральную схему 3, показанную на фиг.74;
фиг.81 - блок-схема последовательности операций, представляющая более подробно этапы S1-5, показанные на фиг.80;
фиг.82A, 82B и 82C - схемы, поясняющие принцип воспроизведения 3-мерных видеоизображений в соответствии со способом, использующим параллаксные видеоизображения;
фиг.83 - схематическое представление примера построения левого ракурса 7503L и правого ракурса 7503R из комбинации 2-мерного видеоизображения 7501 и карты 7502 глубины;
фиг.84 - схематическое представление технологии, гарантирующей совместимость оптического диска, на котором записан 3-мерный видеоконтент, с устройством 2-мерного воспроизведения, и
фиг.85 - схематическое представление взаимосвязи между участками файла 2-мерного видео, заданного двумя последовательными PI, показанными на фиг.34, участками DEP-файла, заданного соответствующим SUB_PI, участками SS-файла, принадлежащими упомянутым участкам, и блоками экстентов, указанными каждым из упомянутых файлов.
Описание вариантов осуществления
Ниже, со ссылкой на чертежи, представлено описание носителя записи и устройства воспроизведения, имеющих отношение к предпочтительным вариантам осуществления настоящего изобретения.
<<Вариант осуществления 1>>
На фиг.1 схематически представлена система домашнего кинотеатра, использующая носитель записи в соответствии с вариантом осуществления 1 настоящего изобретения. Представленная система домашнего кинотеатра применяет способ воспроизведения 3-мерных видеоизображений (стереоскопических видеоизображений), который использует параллаксные видеоизображения, и, в частности, применяет способ последовательного чередования кадров в качестве способа вывода на экран (подробно см. <Дополнительное объяснение>). Как показано на фиг.1, представленная система домашнего кинотеатра содержит носитель 101 записи в качестве объекта воспроизведения и содержит устройство 102 воспроизведения, дисплей 103, затворные очки 104 и пульт 105 дистанционного управления.
Носитель 101 записи представляет собой диск формата Blu-ray (BD)™ только для чтения, т.е. диск BD-ROM. Носитель 101 записи может быть другим портативным носителем записи, например, оптическим диском в другом формате, например, DVD или подобном формате, дисководом со съемным жестким диском (HDD) или полупроводниковым запоминающим устройством, например, картой памяти стандарта SD (Secure digital). Упомянутый носитель записи, т.е. диск BD-ROM 101, хранит киноконтент в виде 3-мерных видеоизображений. Упомянутый контент содержит видеопотоки, представляющие левый ракурс и правый ракурс 3-мерных видеоизображений. Контент может дополнительно содержать видеопоток, представляющий карту глубины для 3-мерных видеоизображений. Упомянутые видеопотоки, как поясняется ниже, расположены на диске BD-ROM 101 в виде блоков данных и выбираются с использованием нижеописанной файловой структуры. Видеопотоки, представляющие левый ракурс или правый ракурс, используются как устройством 2-мерного воспроизведения, так и устройством 3-мерного воспроизведения для воспроизведения контента в виде 2-мерных видеоизображений. И, наоборот, пара видеопотоков, представляющих левый ракурс и правый ракурс, или пара видеопотоков, представляющих либо левый ракурс, либо правый ракурс и карту глубин, используются устройством 3-мерного воспроизведения для воспроизведения контента в виде 3-мерных видеоизображений.
Дисковод 121 дисков BD-ROM установлен в устройстве 102 воспроизведения. Дисковод 121 дисков BD-ROM является дисководом оптических дисков, соответствующих формату BD-ROM. Устройство 102 воспроизведения использует дисковод 121 дисков BD-ROM для считывания контента с диска BD-ROM 101. Устройство 102 воспроизведения дополнительно декодирует контент в видеоданные/аудиоданные. В этом случае устройство 102 воспроизведения является устройством 3-мерного воспроизведения и может воспроизводить контент в виде как 2-мерных видеоизображений, так и 3-мерных видеоизображений. В дальнейшем, режимы работы устройства 102 воспроизведения, при воспроизведении 2-мерных видеоизображений и 3-мерных видеоизображений, соответственно называются «режимом 2-мерного воспроизведения» и «режимом 3-мерного воспроизведения». В режиме 2-мерного воспроизведения видеоданные содержат только кадр либо левого ракурса, либо правого ракурса. В режиме 3-мерного воспроизведения видеоданные содержат кадры как левого ракурса, так и правого ракурса.
Режим 3-мерного воспроизведения дополнительно делится на режим левого/правого (L/R) ракурсов (L/R-режим) и режим глубины. В L/R-режиме пара видеокадров левого ракурса и правого ракурса формируется из комбинации видеопотоков, представляющих левый ракурс и правый ракурс. В «режиме глубины» пара видеокадров левого ракурса и правого ракурса формируется из комбинации видеопотоков, представляющих либо левый ракурс, либо правый ракурс и карту глубины. Устройство 102 воспроизведения обеспечено L/R-режимом. Устройство 102 воспроизведения может быть дополнительно обеспечено режимом глубины.
Устройство 102 воспроизведения соединено с дисплеем 103 кабелем HDMI (интерфейса для мультимедиа высокой четкости) 122. Устройство 102 воспроизведения преобразует видеоданные/аудиоданные в видеосигнал/аудиосигнал в формате HDMI и передает сигналы в дисплей 103 по кабелю HDMI 122. В режиме 2-мерного воспроизведения в видеосигнале мультиплексирован только один из видеокадров либо левого ракурса, либо правого ракурса. В режиме 3-мерного воспроизведения в видеосигнале с разделением по времени мультиплексированы видеокадры как левого ракурса, так и правого ракурса. Кроме того, устройство 102 воспроизведения обменивается сообщениями CEC (в стандарте управления потребительской электроникой) с дисплеем 103 по кабелю HDMI 122. Таким образом, устройство 102 воспроизведения может запрашивать дисплей 103, поддерживает ли он воспроизведение 3-мерных видеоизображений.
Дисплей 103 является жидкокристаллическим дисплеем. В альтернативном варианте осуществления дисплей 103 может быть другим плоскопанельным дисплеем другого типа, например, плазменным дисплеем, органическим EL (электролюминесцентным) дисплеем и т.п., или проектором. Дисплей 103 выводит на экран 131 видео в соответствии с видеосигналом и обеспечивает выдачу динамиками звука в зависимости от аудиосигнала. Дисплей 103 поддерживает воспроизведение 3-мерных видеоизображений. Во время воспроизведения 2-мерных видеоизображений на экран 131 выводится либо левый ракурс, либо правый ракурс. Во время воспроизведения 3-мерных видеоизображений на экран 131 попеременно выводятся левый ракурс и правый ракурс.
Дисплей 103 содержит блок 132 передачи левого/правого сигналов. Блок 132 передачи сигналов включения левого/правого ракурсов передает сигнал LR включения левого/правого ракурсов в затворные очки 104 в инфракрасном излучении или радиосигналом. Сигнал LR включения левого/правого ракурсов указывает, является ли текущее изображение, выведенное на экран 131, изображением левого ракурса или правого ракурса. Во время воспроизведения 3-мерных видеоизображений дисплей 103 обнаруживает переключение кадров распознаванием разницы между кадром левого ракурса и кадром правого ракурса по сигналу управления, который сопровождает видеосигнал. Кроме того, дисплей 103 переключает сигнал LR включения левого/правого ракурсов синхронно с обнаружением переключения кадров.
Затворные очки 104 содержат две жидкокристаллические дисплейные панели 141L и 141R и блок 142 приема сигнала LR включения левого/правого ракурсов. Каждая из жидкокристаллических дисплейных панелей 141L и 141R образует каждую из частей левой и правой линз. Блок 142 приема сигнала LR включения левого/правого ракурсов принимает сигнал LR включения левого/правого ракурсов и, в соответствии с его изменениями, передает сигнал в левую и правую жидкокристаллические дисплейные панели 141L и 141R. В соответствии с сигналом каждая из жидкокристаллических дисплейных панелей 141L и 141R либо допускает прохождение света сквозь всю панель, либо блокирует свет. Например, когда сигнал LR включения левого/правого ракурсов означает показ левого ракурса, жидкокристаллическая дисплейная панель 141L для левого глаза пропускает свет, а жидкокристаллическая дисплейная панель 141R для правого глаза блокирует свет. Когда сигнал LR включения левого/правого ракурсов означает показ правого ракурса, дисплейные панели действуют противоположно. Таким образом, две жидкокристаллические дисплейные панели 141L и 141R поочередно пропускают свет синхронно с переключением кадров. В результате, когда зритель смотри на экран 131 через надетые затворные очки 104, левый ракурс представляется только для левого глаза зрителя, и правый ракурс представляется только для правого глаза. Тогда, зритель вынужден воспринимать различие между изображениями, наблюдаемыми каждым глазом, как бинокулярный параллакс в одном и том же стереоскопическом изображении, и, следовательно, видеоизображение представляется стереоскопическим.
Пульт 105 дистанционного управления содержит функциональный блок и передающий блок. Функциональный блок содержит множество кнопок. Кнопки соответствуют каждой из функций устройства 102 воспроизведения и дисплея 103, например, включению или выключению питания, запуску или прекращению воспроизведения диска BD-ROM 101 и т.п. Операционный блок определяет, когда пользователь нажимает кнопку, и подает идентификационные данные кнопки в передающий блок в виде сигнала. Передающий блок преобразует упомянутый сигнал в ИК (инфракрасный) сигнал и выдает его посредством инфракрасного излучения или радиопередачей в устройство 102 воспроизведения или дисплей 103. С другой стороны, как устройство 102 воспроизведения, так и дисплей 103 принимают упомянутый ИК сигнал, определяют кнопку, обозначенную упомянутым ИК сигналом, и исполняют функцию, соответствующую кнопке. Таким образом, пользователь может дистанционно управлять устройством 102 воспроизведения или дисплеем 103.
<Структура данных диска BD-ROM>
На фиг.2 схематически представлена структура данных диска BD-ROM 101. Как показано на фиг.2, в самой внутренней части области записи данных на диске BD-ROM 101 обеспечена BCA (Burst Cutting Area - зона нарезки идентификационного пакета или служебная зона привода) 201. Возможностью допуска к BCA располагает только дисковод 121 дисков BD-ROM, и доступ прикладных программ запрещен. Таким образом, BCA 201 можно применять как технологию для защиты авторских прав. В области записи данных снаружи BCA 201 дорожки расходятся по спирали из внутренней к внешней окружности. На фиг.2 дорожка 202 схематически растянута в поперечном направлении. Левая сторона представляет внутреннюю окружную часть диска 101, и правая сторона представляет внешнюю окружную часть. Как показано на фиг.2, дорожка 202 содержит вводную область 202A, область 202B тома данных и выводную область 202C в порядке от внутренней окружности. Вводную область 202A обеспечивают непосредственно на внешнем краю BCA 201. Вводная область 202A содержит информацию, необходимую для доступа дисковода 121 диска BD-ROM к области 202B тома данных, например, размер, физический адрес и т.п. данных, записанных в области 202B тома данных. Выводная область 202C обеспечивается на крайней внешней окружной части области записи данных и обозначает начало области 202B тома данных. Область 202B тома данных содержит прикладные данные, например, видеоизображения, аудио и т.п.
Область 202B тома данных разделена на небольшие области 202D, называемые «секторами». Сектора имеют стандартный размер, например, 2048 байтов. Каждому сектору 202D последовательно присваивается номер по порядку от начала области 202B тома данных. Упомянутые последовательные номера называются логическими номерами блоков (LBN) и применяются в логических адресах на диске BD-ROM 101. Во время считывания данных с диска BD-ROM 101 данные, намеченные для считывания, задаются посредством указания LBN для сектора назначения. Таким образом, можно получать доступ к области 202B тома данных по элементам секторов. Кроме того, на диске BD-ROM 101 логические адреса являются, по существу, идентичными физическим адресам. В частности, в области, в которой LBN являются последовательными, физические адреса также являются, по существу, последовательными. Соответственно, дисковод 121 диска BD-ROM может последовательно считывать порции данных, имеющие последовательные LBN, без осуществления поиска оптической головкой считывания.
Управление данными, записанными в области 202B тома данных, осуществляется предварительно заданной файловой системой. В качестве таковой принята файловая система стандарта UDF (универсальный формат диска). В альтернативном варианте осуществления файловая система может соответствовать стандарту ISO9660. Данные, записанные в области 202B тома данных, представляются в формате каталога/файла в соответствии с файловой системой (подробно см. «Дополнительное объяснение»). Иначе говоря, данные доступны в виде каталогов или файлов.
<<Структура каталогов/файлов на диске BD-ROM>>
На фиг.2 дополнительно схематически представлена структура каталогов/файлов данных, содержащихся в области 202B тома данных на диске BD-ROM 101. Как показано на фиг.2, в настоящей структуре каталогов/файлов каталог 210 кинофильмов диска BD (BDMV) расположен непосредственно под КОРНЕВЫМ каталогом 203. Под каталогом BDMV 210 находятся индексный файл (index.bdmv) 211 и объектный файл (MovieObject.bdmv) 212 кинофильмов.
Индексный файл 211 содержит информацию для управления, в целом, контентом, записанным на диске BD-ROM 101. В частности, приведенная информация содержит информацию для распознавания устройством 102 воспроизведения контента, а также таблицей оглавления. Таблица оглавления является таблицей соответствия между видеоприложением, составляющим контент, и программой для управления работой устройства 102 воспроизведения. Упомянутая программа называется «объектом». Типы объектов представляют собой объект-кинофильм и объект BD-J (BD Java™).
Объектный файл 212 кинофильмов, в общем, хранит множество объектов-кинофильмов. Каждый объект-кинофильм хранит последовательность навигационных команд. Навигационная команда представляет собой команду управления, предписывающую устройству 102 воспроизведения выполнять процессы воспроизведения аналогично обычным DVD-плеерам. Типы навигационных команд представляют собой, например, команду считывания для считывания файла списка файлов для воспроизведения (далее, списка воспроизведения), соответствующего видеоприложению, команду воспроизведения для воспроизведения потоковых данных из файла AV-потока (аудиовизуального потока), указанного файлом списка воспроизведения, и команду перехода для выполнения перехода к другому файлу. Навигационные команды записаны в интерпретируемом языке и интерпретируются интерпретатором, т.е. программой управления заданиями, содержащимся в устройстве воспроизведения, чтобы блок управления исполнил искомое задание. Навигационная команда состоит из кода операции и операнда. Код операции описывает тип операции, которую должно исполнить устройство воспроизведения, например, разделение на части, воспроизведение или вычисление видеоприложения и т.п. Операнд указывает идентификационные данные, являющиеся целью операции, например, номер видеоприложения и т.п. Блок управления устройства 102 воспроизведения вызывает объект-кинофильм в ответ, например, на операцию пользователя и исполняет навигационные команды, содержащиеся в вызванном объекте-кинофильме, в порядке очередности. Таким образом, подобно обычным DVD-плеерам, устройство 102 воспроизведения сначала назначает дисплею 103 представить меню, чтобы пользователь имел возможность выбрать команду. Затем устройство 102 воспроизведения исполняет запуск/останов видеоприложения, переключается на другое видеоприложение и т.п. в соответствии с выбранной командой, с динамическим изменением, тем самым, ходом воспроизведения видео.
Как показано на фиг.2, каталог BDMV 210 дополнительно содержит каталог 220 списка воспроизведения (PLAYLIST); каталог 230 информации о клипах (CLIPINF); каталог 240 потока (STREAM); каталог 250 объектов BD-J (BDJO: объект BD Java); и каталог 260 Java-архива (JAR: Java-архив).
Под каталогом STREAM 240 расположены три типа файлов AV-потока, (01000.m2ts) 241, (02000.m2ts) 242 и (03000.m2ts) 243, а также каталог 244 стереоскопических чередующихся файлов (SSIF). Два типа файлов AV-потока (01000.ssif) 244A и (02000.ssif) 244B расположены непосредственно под каталогом SSIF 244.
«Файл AV-потока» означает файл из фактического видеоконтента, записанного на диске BD-ROM 101, который соответствует формату файлов, заданному файловой системой. Упомянутый фактический видеоконтент относится, в общем, к потоковым данным, в которых мультиплексированы потоковые данные разных типов, представляющие видео, аудио, субтитры и т.п., то есть элементарные потоки. Упомянутые мультиплексированные потоковые данные можно разделить, в общем, на основной транспортный поток (TS) и дополнительный транспортный поток (дополнительный TS) в зависимости от типа внутреннего первичного видеопотока. «Основной TS» означает мультиплексированные потоковые данные, содержащие видеопоток основного ракурса в качестве первичного видеопотока. «Видеопоток основного ракурса» допускает независимое воспроизведение и относится к видеопотоку, который представляет 2-мерные видеоизображения. Следует отметить, что основной ракурс называется также «главным ракурсом». «Дополнительный TS» означает мультиплексированные потоковые данные, содержащие видеопоток зависимого ракурса в качестве первичного видеопотока. «Видеопоток зависимого ракурса» означает видеопоток, который нуждается в видеопотоке основного ракурса для воспроизведения и представляет 3-мерные видеоизображения при объединении с видеопотоком основного ракурса. Следует отметить, что зависимый ракурс называется также «дополнительным ракурсом». Типы видеопотоков зависимого ракурса представляют собой видеопоток правого ракурса, видеопоток левого ракурса и поток карты глубин. Когда 2-мерные видеоизображения, представляемые видеопотоком основного ракурса, применяются как левый ракурс 3-мерных видеоизображений устройством воспроизведения в режиме L/R ракурсов, «видеопоток правого ракурса» применяется как потоковые данные, представляющие правый ракурс 3-мерных видеоизображений. Для «видеопотока левого ракурса» справедливо обратное. Когда 2-мерные видеоизображения, представляемые видеопотоком основного ракурса, применяются для проецирования 3-мерных видеоизображений на виртуальном 2-мерном экране устройством воспроизведения в режиме глубины, «поток карты глубин» служит видеопотоком, представляющим карту глубины для 3-мерных видеоизображений. В частности, поток карты глубин, используемый, когда видеопоток основного ракурса представляет левый ракурс, называется «потоком карт глубины левого ракурса», и поток карт глубины, используемый, когда видеопоток основного ракурса представляет правый ракурс, называется «потоком карт глубины правого ракурса».
В зависимости от типа внутренних мультиплексированных потоковых данных файл AV-потока может подразделяться на три типа: файл 2-мерного видео, зависимый файл (далее сокращенно называемый «DEP-файлом») и чередующийся файл (далее сокращенно называемый «SS-файлом»). «Файл 2-мерного видео» является файлом AV-потока для воспроизведения 2-мерного видео в режиме 2-мерного воспроизведения и содержит основной TS. Термин «DEP-файл» относится к файлу AV-потока, содержащему дополнительный TS. Термин «SS-файл» относится к файлу AV-потока, содержащему пару из основного TS и дополнительного TS, представляющую одни 3-мерные видеоизображения. В частности, SS-файл содержит свой основной TS как общую часть с некоторым файлом 2-мерного видео и содержит свой дополнительный TS как общую часть с некоторым DEP-файлом. Иначе говоря, в файловой системе на диске BD-ROM 101 основной TS может быть выбран как SS-файлом, так и файлом 2-мерного видео, и дополнительный TS может быть выбран как SS-файлом, так и DEP-файлом. Приведенная схема, в которой последовательность данных, записанных на диске BD-ROM 101, является общей для разных файлов и может быть выбрана всеми файлами, называется «перекрестной связью между файлами».
В примере, показанном на фиг.2, первый файл (01000.m2ts) 241 AV-потока является файлом 2-мерного видео, и как второй файл (02000.m2ts) 242 AV-потока, так и третий файл (03000.m2ts) 243 AV-потока являются DEP-файлами. Таким образом, файлы 2-мерного видео и DEP-файлы расположены непосредственно под каталогом STREAM 240. Первый файл AV-потока, т.е. видеопоток основного ракурса, который содержит файл 241 2-мерного видео, представляет левый ракурс 3-мерных видеоизображений. Второй файл AV-потока, т.е. видеопоток зависимого ракурса, который содержит первый DEP-файл 242, является видеопотоком правого ракурса. Третий файл AV-потока, т.е. видеопоток зависимого ракурса, который содержит второй DEP-файл 243, является потоком карты глубин.
В примере, показанном на фиг.2, как четвертый файл (01000.ssif) 244A AV-потока, так и пятый файл (02000.ssif) 244B AV-потока являются SS-файлом. Таким образом, SS-файлы расположены непосредственно под каталогом SSIF 244. Четвертый файл AV-потока, т.е. первый SS-файл 244A, содержит основной TS и, в частности, видеопоток основного ракурса как общую часть с файлом 241 2-мерного видео и содержит дополнительный TS, в частности, видеопоток правого ракурса как общую часть с первым DEP-файлом 242. Пятый файл AV-потока, т.е. второй SS-файл 244B, содержит основной TS и, в частности, видеопоток основного ракурса как общую часть с файлом 241 2-мерного видео и содержит дополнительный TS, в частности, поток карты глубин как общую часть со вторым DEP-файлом 243.
Три типа файлов информации о клипах (01000.clpi) 231, (02000.clpi) 232 и (03000.clpi) 233 являются файлами, расположенными в каталоге CLIPINF 230. Термин «файл информации о клипах» относится к файлу, который взаимно однозначно связан с файлом 2-мерного видео и DEP-файлом и, в частности, содержит карту отображения точек входа для каждого файла. «Карта отображения точек входа» является таблицей соответствия между временем воспроизведения каждой сцены, представленной файлом 2-мерного видео или DEP-файлом, и адресом в каждом файле, по которому записана сцена. Из файлов информации о клипах, файл информации о клипах, соответствующий файлу 2-мерного видео, называется «файлом информации о 2-мерных клипах», и файл информации о клипах, соответствующий DEP-файлу, называется «файлом информации о клипах зависимого ракурса». Кроме того, когда DEP-файл содержит видеопоток правого ракурса, соответствующий файл информации о клипах зависимого ракурса называется «файлом информации о клипах правого ракурса». Когда DEP-файл содержит поток карты глубин, соответствующий файл информации о клипах зависимого ракурса называется «файлом информации о клипах карты глубин». В примере, показанном на фиг.2, первый файл (01000.clpi) 231 информации о клипах является файлом информации о 2-мерных клипах и связан с файлом 241 2-мерного видео. Второй файл (02000.clpi) 232 информации о клипах является файлом информации о клипах правого ракурса и связан с первым DEP-файлом 242. Третий файл (03000.clpi) 233 информации о клипах является файлом информации о клипах карт глубины и связан со вторым DEP-файлом 243.
Три типа файлов списка воспроизведения (00001.mpls) 221, (00002.mpls) 222 и (00003.mpls) 223 расположены в каталоге PLAYLIST 220. «Файл списка воспроизведения» задает маршрут воспроизведения файла AV-потока, т.е. часть файла AV-потока, подлежащую декодированию, и порядок декодирования. Типы файлов списка воспроизведения представляют собой файл списка 2-мерного воспроизведения и файл списка 3-мерного воспроизведения. «Файл списка 2-мерного воспроизведения» задает маршрут воспроизведения файла 2-мерного видео. «Файл списка 3-мерного воспроизведения» задает, для устройства воспроизведения в режиме 2-мерного воспроизведения, маршрут воспроизведения файла 2-мерного видео, а для устройства воспроизведения в режиме 3-мерного воспроизведения - маршрут воспроизведения SS-файла. Как показано в примере на фиг.2, первый файл (00001.mpls) 221 списка воспроизведения представляет собой файл списка 2-мерного воспроизведения и задает маршрут воспроизведения файла 241 2-мерного видео. Второй файл (00002.mpls) 222 списка воспроизведения представляет собой файл списка 3-мерного воспроизведения, который задает, для устройства воспроизведения в режиме 2-мерного воспроизведения, маршрут воспроизведения файла 241 2-мерного видео, а для устройства воспроизведения в режиме L/R ракурсов - маршрут воспроизведения первого SS-файла 244A. Третий файл (00003.mpls) 223 списка воспроизведения представляет собой файл списка 3-мерного воспроизведения, который задает, для устройства воспроизведения в режиме 2-мерного воспроизведения, маршрут воспроизведения файла 241 2-мерного видео, а для устройства воспроизведения в режиме глубины - маршрут воспроизведения второго SS-файла 244B.
Файл (XXXXX.bdjo) 251 объекта BD-J расположен в каталоге BDJO 250. Файл 251 объекта BD-J содержит единственный объект BD-J. Объект BD-J является программой на байт-коде и предписывает виртуальной машине Java, замонтированной на устройстве 102 воспроизведения, выполнять процессы воспроизведения видеоприложений и представления графики. Объект BD-J записан во входном языке транслятора, например Java или подобном языке. Объект BD-J содержит таблицу управления приложениями и идентификационные данные файла списка воспроизведения, на который дается отсылка. «Таблица управления приложениями» является таблицей соответствия прикладных программ Java, подлежащих исполнению виртуальной машиной, и их периодом исполнения, то есть жизненным циклом. Выражение «идентификационные данные файла списка воспроизведения, на который дается отсылка» означает файл списка воспроизведения, который соответствует видеоприложению, подлежащему воспроизведению. Виртуальная машина Java вызывает объект BD-J в соответствии с операцией пользователя или прикладной программой и исполняет прикладную программу Java в соответствии с таблицей управления приложениями, содержащейся в объекте BD-J. Следовательно, устройство 102 воспроизведения динамически изменяет ход исполнения видео для каждого воспроизводимого видеоприложения или предписывает дисплею 103 выводить на экран графику независимо от видео видеоприложения.
Файл JAR (YYYYY.jar) 261 расположен в каталоге JAR 260. Каталог JAR 260 обычно содержит множество актуальных прикладных программ Java, подлежащих исполнению в соответствии с таблицей управления приложениями, приведенной в объекте BD-J. Прикладная программа Java является программой на байт-коде, записанной во входном языке транслятора, например, Java или подобном языке, подобно объекту BD-J. Типы прикладных программ Java содержат программы, предписывающие виртуальной машине Java выполнять воспроизведение процесса видеоприложения, и программы, предписывающие виртуальной машине Java выполнять представление графики. Файл JAR 261 является файлом архива Java, и, когда данный файл считывается устройством 102 воспроизведения, данный файл выбирается во внутренней памяти. Таким образом, прикладная программа Java хранится в памяти.
<<Структура мультиплексированных потоковых данных>>
Фиг.3A является таблицей, представляющей элементарные потоки, мультиплексированные в основном TS на диске BD-ROM 101. Основной TS представляет собой цифровой поток в формате транспортного потока (TS) MPEG-2 и содержит файл 241 2-мерного видео, показанный на фиг.2. Как показано на фиг.3A, основной TS содержит первичный видеопоток 301 и первичные аудиопотоки 302A и 302B. Основной TS может дополнительно содержать потоки 303A и 303B сопроводительной графики (PG), поток 304 интерактивной графики (IG), вспомогательный аудиопоток 305 и вспомогательный видеопоток 306.
Первичный видеопоток 301 представляет первичное видео кинофильма, и вспомогательный видеопоток 306 представляет вспомогательное видео кинофильма. Первичное видео является главным видео контента, например, основным объектом кинофильма, и представляется, например, на полном экране. С другой стороны, вспомогательное видео представляется одновременно с первичным видео с использованием, например, способа вписывания картинки в картинку таким образом, что вспомогательные видеоизображения выводятся на экран в окне меньшего размера, представляемом на полном экране, представляющем первичное видеоизображение. Первичный видеопоток 301 и вспомогательный видеопоток 306 представляют собой вместе видеопоток основного ракурса. Каждый из видеопотоков 301 и 306 кодирован способом кодирования со сжатием видеосигнала, например, MPEG-2, MPEG-4 AVC или SMPTE VC-1.
Первичные аудиопотоки 302A и 302B представляют первичное звуковое сопровождение кинофильма. В данном случае два первичных аудиопотока 302A и 302B составлены на разных языках. Вспомогательный аудиопоток 305 представляет собой вспомогательное звуковое сопровождение, подлежащее наложению на первичное звуковое сопровождение (смешению с ним), например, звуковые эффекты, сопровождающие операции на интерактивном экране. Каждый из аудиопотоков 302A, 302B и 305 кодирован таким способом, как AC-3, Dolby Digital Plus («Dolby Digital» является зарегистрированным товарным знаком), Meridian Lossless Packing™ (MLP), Digital Theater System™ (DTS), DTS-HD или линейная импульсно-кодовая комбинация (PCM).
Каждый из потоков PG 303A и 303B (сопроводительной графики) представляет субтитры и т.п. графическими средствами и образован графическими видеоизображениями, подлежащими выводу на экран с наложением на видеоизображения, представляемые первичным видеопотоком 301. Два потока PG 303A и 303B представляют, например, субтитры на разных языках. Поток IG 304 (интерактивной графики) представляет графические компоненты графического пользовательского интерфейса (GUI) и их схему расположения для создания интерактивного экрана на экране 131 дисплея 103.
Элементарные потоки 301-306 идентифицируются идентификаторами (ID) пакета (PID). Присвоение PID осуществляется, например, следующим образом. Поскольку один основной TS содержит только один первичный видеопоток, то первичному видеопотоку 301 присваивается шестнадцатеричное значение 0×1011. Когда в одном основном TS можно мультиплексировать по типам до 32 других элементарных потоков, каждому из первичных аудиопотоков 302A и 302B присваивается любое значение из 0×1100-0×111F. Каждому из потоков PG 303A и 303B присваивается любое значение из 0×1200-0×121F. Потоку IG 304 присваивается любое значение из 0×1400-0×141F. Вспомогательному аудиопотоку 305 присваивается любое значение из 0×1A00-0×1A1F. Вспомогательному видеопотоку 306 присваивается любое значение из 0×1B00-0×1B1F.
Фиг.3B графически изображает элементарные потоки, мультиплексированные в первом дополнительном TS на диске BD-ROM 101. Первый дополнительный TS представляет собой мультиплексированные потоковые данные в формате TS (транспортного потока) MPEG-2 и содержится в первом DEP-файле 242, показанном на фиг.2. Как показано на фиг.3B, первый дополнительный TS содержит первичный видеопоток 311. Первый дополнительный TS может дополнительно содержать потоки PG 312A и 312B левого ракурса, потоки PG 313A и 313B правого ракурса, поток IG 314 левого ракурса и поток IG 315 правого ракурса и вспомогательный видеопоток 316. Первичный видеопоток 311 является видеопотоком правого ракурса, и, когда первичный видеопоток 301 в основном TS представляет левый ракурс для 3-мерных видеоизображений, первичный видеопоток 311 представляет правый ракурс для 3-мерных видеоизображений. Когда графические видеоизображения для субтитров или чего-то подобного представляются как 3-мерные видеоизображения, пары, сформированные левым ракурсом или правым ракурсом и потоком PG, т.е. 312A+313A и 312B+313B, представляют соответствующие левый ракурс и правый ракурс. Когда графические видеоизображения для интерактивного дисплея представляются как 3-мерные видеоизображения, пары, сформированные левым ракурсом или правым ракурсом и потоками IG 314 и 315, представляют соответствующие левый ракурс и правый ракурс. Вспомогательный видеопоток 316 является видеопотоком правого ракурса, и, когда вспомогательный видеопоток 306 в основном TS представляет левый ракурс для 3-мерных видеоизображений, вспомогательный видеопоток 316 представляет правый ракурс для 3-мерных видеоизображений.
PID присваиваются элементарным потокам 311-316, например, следующим образом. Первичному видеопотоку 311 присваивается значение 0×1012. Когда в одном дополнительном TS можно мультиплексировать по типам до 32 других элементарных потоков, потокам PG 312A и 312B левого ракурса присваивается любое значение из 0×1220-0×123F, и потокам PG 313A и 313B правого ракурса присваивается любое значение из 0×1240-0×125F. Потоку IG 314 левого ракурса присваивается любое значение из 0×1420-0×143F, и потоку IG 315 правого ракурса присваивается любое значение из 0×1440-0×145F. Вспомогательному видеопотоку 316 присваивается любое значение из 0×1B20-0×1B3F.
Фиг.3C графически изображает элементарные потоки, мультиплексированные во втором дополнительном TS на диске BD-ROM 101. Второй дополнительный TS представляет собой мультиплексированные потоковые данные в формате TS (транспортного потока) MPEG-2 и содержится во втором DEP-файле 243, показанном на фиг.2. Как показано на фиг.3C, второй дополнительный TS содержит первичный видеопоток 321. Второй дополнительный TS может дополнительно содержать потоки PG 323A и 323B карты глубин, поток IG 324 карты глубин и вспомогательный видеопоток 326. Первичный видеопоток 321 является потоком карт глубины и представляет 3-мерные видеоизображения в комбинации с первичным видеопотоком 301 в основном TS. Когда 2-мерные видеоизображения, представляемые потоками PG 323A и 323B в основном TS, используются для проецирования 3-мерных видеоизображений на виртуальном 2-мерном экране, потоки PG 323A и 323B карт глубины используются как потоки PG, представляющие карты глубины для 3-мерных видеоизображений. Когда 2-мерные видеоизображения, представляемые потоком IG 304 в основном TS, используются для проецирования 3-мерных видеоизображений на виртуальном 2-мерном экране, поток IG 324 карт глубины используется как поток IG, представляющий карты глубины для 3-мерных видеоизображений. Вспомогательный видеопоток 326 является картой глубины и представляет 3-мерные видеоизображения в комбинации с вспомогательным видеопотоком 306 в основном TS.
PID присваиваются элементарным потокам 321-326, например, следующим образом. Первичному видеопотоку 321 присваивается значение 0×1013. Когда в одном дополнительном TS можно мультиплексировать по типам до 32 других элементарных потоков, потокам PG 323A и 323B карт глубины присваивается любое значение из 0×1260-0×127F. Потоку IG 324 карт глубины присваивается любое значение из 0×1460-0×147F. Вспомогательному видеопотоку 326 присваивается любое значение из 0×1B40-0×1B5F.
На фиг.4 представлена принципиальная схема расположения TS-пакетов в мультиплексированных потоковых данных 400. Как основные TS, так и дополнительные TS совместно используют показанную пакетную структуру. Элементарные потоки 401, 402, 403 и 404 из мультиплексированных потоковых данных 400 преобразуются в последовательность TS-пакетов 421, 422, 423 и 424. Например, в видеопотоке 401 каждый кадр 401A или каждое поле сначала преобразуется в пакет 411 элементарного пакетизированного потока (PES-пакет). Затем, каждый PES-пакет 411 обычно преобразуется во множество TS-пакетов 421. Аналогично, аудиопоток 402, поток PG 403 и поток IG 404 преобразуются, каждый, в последовательность PES-пакетов 412, 413 и 414, которые затем преобразуются в TS-пакеты 422, 423 и 424. И, наконец, TS-пакеты 421, 422, 423 и 424, полученные из элементарных потоков 401, 402, 403 и 404, мультиплексируются с разделением по времени в сплошные потоковые данные 400.
На фиг.5B схематически изображена последовательность TS-пакетов, содержащая мультиплексированные потоковые данные. Каждый TS-пакет 501 является пакетом длиной 188 байтов. Как показано на фиг.5B, каждый TS-пакет 501 содержит, по меньшей мере, что-то одно из полезной нагрузки TS 501P и поля 501A адаптации (в дальнейшем сокращенно называемого AD-полем) и содержит заголовок TS 501H. Полезная нагрузка TS 501P и AD-поле 501A, при слиянии, составляют область данных длиной 184 байта. Полезная нагрузка TS 501P служит областью памяти для PES-пакетов. PES-пакеты 411-414, показанные на фиг.4, обычно делятся, каждый, на множество сегментов, при этом каждый сегмент помещается в разную полезную нагрузку TS 501P. AD-поле 501A является областью для записи байтов стаффинга (то есть фиктивных данных), когда объем данных полезной нагрузки TS 501P меньше, чем 184 байта. Кроме того, когда TS-пакет 501 представляет собой, например, описанную в дальнейшем PCR (временную отметку программы), AD-поле 501A можно дополнительно использовать как область памяти для информации PCR. Заголовок TS 501H является областью данных длиной четыре байта.
На фиг.5A схематически представлена структура данных заголовка TS 501H. Как показано на фиг.5A, заголовок TS 501H содержит приоритет TS (transport_priority) 511, PID 512 и флаг (adaption_field_control) 513 AD-поля. PID 512 указывает PID элементарного потока, которому принадлежат данные, записанные в полезную нагрузку TS 501P в том же самом TS-пакете 501. Приоритет TS 511 указывает приоритет TS-пакета 501 среди TS-пакетов, имеющих общее значение, указанное посредством PID 512. Флаг 513 AD-поля указывает, существует ли или нет AD-поле 501A в TS-пакете 501, и существует ли или нет полезная нагрузка TS 501P в TS-пакете 501. Например, когда флаг 513 AD-поля указывает «1», TS-пакет 501 не содержит AD-поля 501A и содержит полезную нагрузку TS 501P. Обратное справедливо, когда флаг 513 AD-поля указывает «2». Когда флаг 513 AD-поля указывает «3», TS-пакет 501 содержит как AD-поле 501A, так и полезную нагрузку TS 501P.
На фиг.5C схематически показан формат последовательности исходных пакетов, составленной из последовательности TS-пакетов для мультиплексированных потоковых данных. Как показано на фиг.5C, каждый из исходных пакетов 502 является пакетом длиной 192 байта и содержит один из TS-пакетов 501, показанных на фиг.5B, и заголовок 502H длиной 4 байта (TP_Extra_Header - дополнительный заголовок транспортного пакета). Когда на диске BD-ROM 101 записан TS-пакет 501, исходный пакет 502 формируется присоединением заголовка 502H к TS-пакету 501. Заголовок 502H содержит временную метку Arrival_Time_Stamp (ATS). «ATS» представляет собой информацию о времени и применяется следующим образом. Когда исходный пакет 502 передается с диска BD-ROM 101 в выходной декодер системы в устройстве 102 воспроизведения, ATS в заголовке 502H указывает момент времени, когда TS-пакет 502P следует извлекать из исходного пакета 502 и начинать передавать в фильтр PID в выходной декодер системы. В данном случае «выходной декодер системы» означает устройство, которое декодирует мультиплексированные потоковые данные для каждого элементарного потока. Подробности, касающиеся выходного декодера системы и использования ATS выходным декодером системы, представлены ниже.
На фиг.5D схематически представлена группа секторов, в которой записана сплошная последовательность исходных пакетов 502, в области 202B тома данных диска BD-ROM 101. Как показано на фиг.5D, 32 исходных пакета 502 записаны подряд в виде последовательности в трех последовательных секторах 521, 522 и 523. Объясняется это тем, что объем данных в 32 исходных пакетах, т.е. 192 байта×32=6144 байта, идентичен суммарному размеру трех секторов, т.е. 2048 байтов×3=6144 байта. 32 исходных пакета 502, которые записаны таким образом в трех последовательных секторах 521, 522 и 523, называются «упорядоченным структурным элементом» 520. Устройство 102 воспроизведения считывает исходные пакеты 502 с диска BD-ROM 101 по каждому упорядоченному структурному элементу 520, т.е. по 32 исходных пакета подряд. Кроме того, группа секторов 521, 522, 523, … разделена на 32 части в порядке от начала, и каждая образует один блок 530 кода с исправлением ошибок. Дисковод 121 дисков BD-ROM выполняет обработку с исправлением ошибок для каждого блока ECC 530.
<<Структура данных видеопотока>>
На фиг.6 схематически представлены картинки в видеопотоке 601 основного ракурса и в видеопотоке 602 правого ракурса в порядке времени представления. Как показано на фиг.6, видеопоток 601 основного ракурса содержит картинки 610, 611, 612, …, 619 (далее по тексту называемые картинками основного ракурса), и видеопоток 602 правого ракурса содержит картинки 620, 621, 622, …, 629 (далее по тексту называемые картинками правого ракурса). Каждая из картинок 610-619 и 620-629 представляет один кадр или одно поле и сжата способом кодирования со сжатием видеосигнала, например, MPEG-2, MPEG-4 AVC и т.п.
Сжатие каждой картинки вышеупомянутым способом кодирования использует пространственную или временную избыточность кадра. В данном случае кодирование картинок, которое использует только пространственную избыточность картинки, называется «внутрикадровым кодированием». С другой стороны, кодирование картинок, которое использует сходство между данными нескольких последовательно представляемых картинок, называется «межкадровым кодированием с предсказанием». При межкадровом кодировании с предсказанием, во-первых, картинке, подлежащей кодированию, присваивается, в качестве опорной картинки, картинка, более ранняя или поздняя по времени представления. После этого определяется вектор движения между картинкой, подлежащей кодированию, и опорной картинкой, и затем выполняется компенсация движения с использованием вектора движения. Кроме того, отыскивается значение разности между картинкой после компенсации движения и картинкой, подлежащей кодированию, и временная избыточность сокращается с использованием значения разности. Таким образом, объем данных для каждой картинки сжимается.
Как показано на фиг.6, картинки 610-619 основного ракурса обычно делятся на множество GOP 631 и 632. При этом сокращение «GOP» означает последовательность картинок, начинающуюся с I-картинки (сокращенно от intra-). Термин «I-картинка» относится к картинке, сжатой способом внутрикадрового кодирования. GOP обычно содержит P-картинку (сокращенно от predictive) и B-картинку (сокращенно от bi-directionally predictive) в дополнение к I-картинке. Термин «P-картинка» относится к картинке, сжатой способом межкадрового кодирования с предсказанием, при использовании в качестве опорной картинки либо I-картинки, либо другой P-картинки, которые имеют более раннее время представления. Термин «B-картинка» относится к картинке, сжатой способом межкадрового кодирования с предсказанием, при использовании двух опорных картинок, которые являются I- или P-картинками с более ранним или поздним временем представления. B-картинки, которые служат опорными картинками для других картинок при межкадровом кодировании с предсказанием, именуются, в частности, «Br-картинками» («опорными B-картинками»).
В примере, показанном на фиг.6, картинки основного ракурса в GOP 631 и 632 сжимаются в следующем порядке. В первой GOP 631, во-первых, начальная картинка основного ракурса сжимается как I0-картинка 610. В данном случае подстрочный индекс указывает порядковый номер, выделенный каждой картинке в порядке времени представления. Затем, четвертая картинка основного ракурса сжимается как P3-картинка 613 с использованием I0-картинки 610 в качестве опорной картинки. Стрелки, показанные на фиг.6, означают, что картинка при острие стрелки является опорной картинкой для картинки при хвостовом конце стрелки. Затем, вторая и третья картинки основного ракурса сжимаются как Br1-картинка 611 и Br2-картинка 612, соответственно, с использованием I0-картинки 610 и P3-картинки 613 в качестве опорных картинок. Кроме того, седьмая картинка основного ракурса сжимается как P6-картинка 616 с использованием P3-картинки 613 в качестве опорной картинки. Затем, четвертая и пятая картинки основного ракурса сжимаются как Br4-картинка 614 и Br5-картинка 615, соответственно, с использованием P3-картинки 613 и P6-картинки 616 в качестве опорных картинок. Аналогично, во второй GOP 632 начальная картинка основного ракурса сжимается первой как I7-картинка 617. Затем, третья картинка основного ракурса сжимается как P9-картинка 619 с использованием I7-картинки 617 в качестве опорной картинки. Затем, вторая картинка основного ракурса сжимается как Br8-картинка 618 с использованием I7-картинки 617 и P9-картинки 619 в качестве опорных картинок.
В видеопотоке 601 основного ракурса каждая GOP 631 и 632 всегда содержит вначале I-картинку, и, следовательно, картинки основного ракурса можно декодировать по GOP. Например, в первой GOP 631 сначала независимо декодируется I0-картинка 610. Затем, декодируется P3-картинка 613 с использованием декодированной I0-картинки 610. Затем декодируются Br1-картинка 611 и Br2-картинка 612 с использованием декодированных I0-картинки 610 и P3-картинки 613. Последующая группа картинок 614, 615, … декодируется аналогичным образом. Таким образом, видеопоток 601 основного ракурса можно декодировать независимо и, кроме того, можно произвольно выбирать по GOP.
Как дополнительно показано на фиг.6, картинки 620-629 правого ракурса сжимаются по способу межкадрового кодирования. Однако способ кодирования отличается от способа кодирования картинок 610-619 основного ракурса, поскольку, в дополнение к избыточности во временном направлении видеоизображений, используют также избыточность между левым и правым видеоизображениями. В частности, опорные картинки для картинок 620-629 правого ракурса выбираются не только из видеопотока 602 правого ракурса, но также из видеопотока 601 основного ракурса, как показано стрелками на фиг.6. В частности, моменты времени представления для картинок 620-629 правого ракурса и картинок основного ракурса, выбранных в качестве их опорных картинок, являются, по существу, одними и теми же. Упомянутые картинки представляют пару из правого ракурса и левого ракурса для одного и того же 3-мерного видеоизображения, т.е. параллаксного видеоизображения. Таким образом, картинки 620-629 правого ракурса находятся во взаимно однозначном соответствии с картинками 610-619 основного ракурса. В частности, структура GOP для упомянутых картинок идентична.
В примере, показанном на фиг.6, картинка правого ракурса, которая является начальной в первой GOP 631, сжимается как P0-картинка 620 с использованием I0-картинки 610 из видеопотока 601 основного ракурса в качестве опорной картинки. Упомянутые картинки 610 и 620 представляют левый ракурс и правый ракурс начального кадра в 3-мерных видеоизображениях. Затем, сжимается четвертая картинка правого ракурса как P3-картинка 623 с использованием P3-картинки 613 из видеопотока 601 основного ракурса и P0-картинки 620 в качестве опорных картинок. Затем, сжимается вторая картинка правого ракурса как B1-картинка 621 с использованием Br1-картинки 611 из видеопотока 601 основного ракурса, в дополнение к P0-картинке 620 и P3-картинке 623, в качестве опорных картинок. Аналогично, третья картинка правого ракурса сжимается как B2-картинка 622 с использованием Br2-картинки 612 в видеопотоке 601 основного ракурса, в дополнение к P0-картинке 620 и P3-картинке 623, в качестве опорных картинок. Аналогично, для последующих картинок 624-629 правого ракурса в качестве опорных картинок используются картинки основного ракурса, имеющие, по существу, такое же время представления.
Доработанные стандарты для MPEG-4 AVC/H.264, называемые многоракурсным видеокодированием (MVC), известны как способ кодирования со сжатием видеосигнала, который использует корреляцию между левым и правым видеоизображениями, как изложено выше. Технология MVC создана в июле 2008 г. группой Joint Video Team (JVT) как объединенный проект групп ISO/IEC MPEG и ITU-T VCEG и представляет собой стандарт для совместного кодирования видео, которое можно наблюдать как множество перспективных видов. С использованием технологии MVC, для внутрикадрового видеокодирования с предсказанием применяют не только временное сходство в видеоизображениях, используемое для межкадрового видеокодирования с предсказанием, но также сходство между видеоизображениями в разных перспективных видах. Упомянутый тип кодирования с предсказанием характеризуется более высоким коэффициентом сжатия видеосигнала, чем кодирование с предсказанием, которое индивидуально сжимает видеоизображения, наблюдаемые с разных перспективных направлений.
Как изложено выше, картинки основного ракурса используются как опорные картинки для сжатия картинок 620-629 правого ракурса. Поэтому, в отличие от видеопотока 601 основного ракурса, видеопоток 602 правого ракурса нельзя декодировать независимо. Однако, с другой стороны, разность между параллаксными картинками обычно очень мала, то есть между левым ракурсом и правым ракурсом имеет место высокая корреляция. Соответственно, картинки правого ракурса обычно характеризуются значительно более высокой степенью сжатия, чем картинки основного ракурса, что подразумевает значительно меньший объем данных.
На фиг.7 схематически представлены картинки в видеопотоке 601 основного ракурса и в потоке 701 карт глубины в порядке времени представления. Как показано на фиг.7, видеопоток 601 основного ракурса является таким же, как видеопоток основного ракурса, показанный на фиг.6. Соответственно, за подробным описанием упомянутого видеопотока можно обратиться к описанию, приведенному со ссылкой на фиг.6. С другой стороны, поток 701 карт глубины содержит карты 710, 711, …, 719 глубины. Карты 710-719 глубины находятся во взаимно однозначном соответствии с картинками 610-619 основного ракурса и представляют карты глубины для 2-мерного видеоизображения для одного кадра или поля, представляемого каждой картинкой основного ракурса.
Карты 710-719 глубины сжимаются способом кодирования со сжатием видеосигнала, например, MPEG-2, MPEG-4 AVC и т.п., таким же образом, как картинки 610-619 основного ракурса. В частности, в упомянутом способе кодирования применяется межкадровое кодирование. Иначе говоря, каждая картинка сжимается с использованием другой карты глубины в качестве опорной картинки. В примере, показанном на фиг.7, во-первых, начало группы карт глубины, соответствующей первой GOP 631, сжимается как I0-картинка 710. Подстрочный индекс указывает порядковый номер, выделенный каждой картинке в порядке времени представления. Затем, четвертая карта глубины сжимается как P3-картинка 713 с использованием I0-картинки 710 в качестве опорной картинки. Стрелки, показанные на фиг.7, означают, что картинка при острие стрелки является опорной картинкой для картинки при хвостовом конце стрелки. Затем, вторая и третья карты глубины сжимаются как B1-картинка 711 и B2-картинка 712, соответственно, с использованием I0-картинки 710 и P3-картинки 713 в качестве опорных картинок. Кроме того, седьмая карта глубины сжимается как P6-картинка 716 с использованием P3-картинки 713 в качестве опорной картинки. Затем, четвертая и пятая карты глубины сжимаются как B4-картинка 714 и B5-картинка 715, соответственно, с использованием P3-картинки 713 и P6-картинки 716 в качестве опорных картинок. Аналогично, во второй группе карт глубины, соответствующей GOP 632, начальная карта глубины сжимается первой как I7-картинка 717. Затем, третья карта глубины сжимается как P9-картинка 719 с использованием I7-картинки 717 в качестве опорной картинки. Затем, вторая карта глубины сжимается как B8-картинка 718 с использованием I7-картинки 717 и P9-картинки 719 в качестве опорных картинок.
Поток 701 карт глубины разделен на GOP таким же образом, как видеопоток 601 основного ракурса, и каждая GOP всегда содержит I-картинку впереди. Соответственно, карты глубины можно декодировать по GOP. Например, сначала независимо декодируется I0-картинка 710. Затем, декодируется P3-картинка 713 с использованием декодированной I0-картинки 710. Затем декодируются B1-картинка 711 и B2-картинка 712 с использованием декодированных I0-картинки 710 и P3-картинки 713. Последующая группа картинок 714, 715, … декодируется аналогичным образом. Однако, поскольку карта глубины сама по себе является всего лишь информацией, представляющей глубину каждой части 2-мерного видеоизображения по пикселям, то поток 701 карт глубины нельзя использовать независимо для воспроизведения видеоизображений.
Для сжатия видеопотока 602 правого ракурса и потока 701 карт глубины применяется одинаковый способ кодирования. Например, если видеопоток 602 правого ракурса кодируется в формате MVC, то поток 701 карт глубины также кодируется в формате MVC. При этом во время воспроизведения 3-мерных видеоизображений устройство 102 воспроизведения может плавно переключаться между L/R-режимом и режимом глубины, при сохранении без изменения способа кодирования.
На фиг.8 схематически представлены элементы структуры данных видеопотока 800. Приведенная структура данных является, по существу, одинаковой как в видеопотоке 601 основного ракурса, так и в видеопотоках 602 и 701 зависимого ракурса. Как видно на фиг.8, видеопоток 800 составлен, в общем, из множества видеопоследовательностей № 1, № 2, …. «Видеопоследовательности» формируются сочетанием дополнительной информации, например, заголовков и т.п., по отдельности, с картинками 811, 812, 813, 814, …, содержащимися в одной GOP 810. Сочетание упомянутой дополнительной информации и каждой картинки называется «структурным элементом доступа к видеосигналу» (VAU). То есть, для каждой картинки в GOP 810 и 820 содержится по одному VAU с номерами VAU № 1, VAU № 2, …. Каждую картинку можно считывать из видеопотока 800 по VAU.
На фиг.8 дополнительно показана структура VAU № 1 831, расположенного в начале каждой видеопоследовательности в видеопотоке основного ракурса. VAU № 1 831 содержит идентификационный код 831A структурного элемента доступа (AU), заголовок 831B последовательности, заголовок 831C картинки, дополнительные данные 831D и сжатые данные 831E картинки. Второй VAU № 2 и последующие VAU имеют такую же структуру, как VAU № 1 831, с тем исключением, что не содержат заголовка 831B последовательности. Идентификационный код AU 831A является предварительно заданным кодом, указывающим начало каждого VAU. Заголовок 831B последовательности, называемый также заголовком GOP, содержит идентификационный номер видеопоследовательности № 1, содержащей VAU № 1 831. Заголовок 831B последовательности дополнительно содержит информацию, совместно используемую всей GOP 810, например, разрешение, частоту кадров, формат экрана изображения и битрейт. Заголовок 831C картинки содержит уникальный идентификационный номер видеопоследовательности № 1 и информацию, необходимую для декодирования картинки, например, тип способа кодирования. Дополнительные данные 831D содержат дополнительную информацию, имеющую отношение к другим задачам, кроме декодирования картинки, например, информацию для ввода текста кодированными титрами, информацию, имеющую отношение к структуре GOP, и информацию покадрового временного адресного кода. В частности, дополнительные данные 831D содержат информацию о параметре декодирования, описанную в дальнейшем. Сжатые данные 831E картинки содержат картинки основного ракурса. Кроме того, VAU № 1 831 может содержать, по меньшей мере, одно или все поля, заполненные незначащими данными 831F, код 831G конца последовательности и код 831H конца потока, при необходимости. Незначащие данные 831F являются фиктивными данными. Настройкой размера соответственно размеру сжатых данных 831E картинки можно поддерживать предварительно заданное значение битрейта VAU № 1 831. Код 831G конца последовательности указывает, что VAU № 1 831 находится в конце видеопоследовательности № 1. Код 831 конца последовательности указывает конец видеопотока 800 основного ракурса.
На фиг.8 показана также структура VAU № 1 832, расположенного в начале каждой видеопоследовательности в видеопотоке зависимого ракурса. VAU № 1 832 содержит заголовок 832B подпоследовательности, заголовок 832C картинки, дополнительные данные 832D и сжатые данные 832E картинки. Второй VAU № 2 и последующие VAU имеют структуру, аналогичную VAU № 1 832, с тем исключением, что не содержат заголовка 832B подпоследовательности. Заголовок 832B подпоследовательности содержит идентификационный номер видеопоследовательности № 1, содержащей VAU № 1 832. Заголовок 832B подпоследовательности дополнительно содержит информацию, совместно используемую всей GOP 810, например, разрешение, частоту кадров, формат экрана изображения и битрейт. В частности, упомянутые значения являются такими же, как значения, назначенные для GOP, соответствующие потоку основного ракурса, то есть значению, указанному в заголовке 831B последовательности в VAU № 1 831. Заголовок 832C картинки указывает уникальный идентификационный номер, идентификационный номер видеопоследовательности № 1 и информацию, необходимую для декодирования картинки, например, тип способа кодирования. Дополнительные данные 832D содержат дополнительную информацию, имеющую отношение к другим задачам, кроме декодирования картинки, например, информацию для ввода текста кодированными титрами, информацию, имеющую отношение к структуре GOP, и информацию покадрового временного адресного кода. В частности, дополнительные данные 832D содержат информацию о параметре декодирования, описанную в дальнейшем. Сжатые данные 832E картинки содержат картинки основного ракурса. Кроме того, VAU № 1 832 может содержать, по меньшей мере, одно или все поля, заполненные незначащими данными 832F, код 832G конца последовательности и код 832H конца потока, при необходимости. Незначащие данные 832F являются фиктивными данными. Настройкой размера соответственно размеру сжатых данных 832E картинки можно поддерживать предварительно заданное значение битрейта VAU № 1 832. Код 832G конца последовательности указывает, что VAU № 1 832 находится в конце видеопоследовательности № 1. Код 832 конца последовательности указывает конец видеопотока 800 основного ракурса.
Фактический контент каждого элемента в VAU изменяется соответственно способу кодирования видеопотока 800. Например, когда способ кодирования представляет собой MPEG-4 AVC, каждый элемент в VAU, показанном на фиг.8, состоит из одного структурного элемента уровня сетевой абстракции (NAL). В частности, идентификационный код AU 831A, заголовок 831B последовательности, заголовок 831C картинки, дополнительные данные 831D, сжатые данные 831E картинки, незначащие данные 831F, код 831G конца последовательности и код 831H конца потока представляют собой, соответственно, разграничитель структурных элементов доступа (разграничитель AU), набор параметров последовательности (SPS), набор параметров картинки (PPS), дополнительную корректирующую информацию (SEI), компонент ракурса, данные заполнения, конец последовательности и конец потока.
На фиг.9 схематически представлены особенности способа сохранения видеопотока 901 в последовательности 902 PES-пакетов. Упомянутый способ сохранения совместно используется в видеопотоке основного ракурса и видеопотоке зависимого ракурса. Как показано на фиг.9, в фактическом видеопотоке 901 картинки мультиплексируются в порядке кодирования, а не в порядке времени представления. Например, как показано на фиг.9, в каждом VAU в видеопотоке основного ракурса I0-картинка 910, P3-картинка 911, B1-картинка 912, B2-картинка 913, … записываются по порядку от начала. Подстрочный индекс указывает порядковый номер, выделенный каждой картинке в порядке времени представления. I0-картинка 910 служит опорной картинкой для кодирования P3-картинки 911, и I0-картинка 910 и P3-картинка 911 служат опорными картинками для кодирования B1-картинки 912 и B2-картинки 913. Каждый из упомянутых VAU сохраняется как одиночный PES-пакет 920, 921, 922, 923, …, и каждый PES-пакет 920, … содержит полезную нагрузку PES 920P и PES-заголовок (заголовок элементарного пакетизированного потока) 920H. VAU записываются в полезной нагрузке PES 920P. PES-заголовки 920H содержат время представления, то есть метку времени представления (PTS) и время декодирования, то есть метку времени декодирования (DTS), для картинки, записанной в полезной нагрузке PES 920P в том же самом PES-пакете 920.
Подобно видеопотоку 901, показанному на фиг.9, другие элементарные потоки, показанные на фиг.3 и 4, записываются в полезных нагрузках PES в последовательности PES-пакетов. Кроме того, заголовок PES в каждом PES-пакете содержит PTS для данных, записанных в полезной нагрузке PES для PES-пакета.
На фиг.10 схематически представлена взаимосвязь между PTS и DTS, присвоенными каждой картинке в видеопотоке 1001 основного ракурса и в видеопотоке 1002 зависимого ракурса. Как показано на фиг.10, в видеопотоках 1001 и 1002 одинаковые PTS и DTS присваиваются паре картинок, представляющих один и тот же кадр или одно и то же поле в 3-мерном видеоизображении. Например, начальный кадр или начальное поле в 3-мерном видеоизображении представляется сочетанием I1-картинки 1011 в видеопотоке 1001 основного ракурса и P1-картинки 1021 в видеопотоке 1002 зависимого ракурса. Соответственно, PTS и DTS для упомянутых двух картинок 1011 и 1021 являются одинаковыми. Подстрочные индексы указывают порядковый номер, выделенный каждой картинке в порядке меток DTS. Кроме того, когда видеопоток 1002 зависимого ракурса является потоком карт глубины, P1-картинка 1021 заменяется I-картинкой, изображающей карту глубины для I1-картинки 1011. Аналогично, PTS и DTS для пары вторых картинок в видеопотоках 1001 и 1002, т.е. P2-картинок 1012 и 1022, являются одинаковыми. Как PTS, так и DTS являются одинаковыми для пары третьих картинок в видеопотоках 1001 и 1002, т.е. Br3-картинки 1013 и B3-картинки 1023. То же самое справедливо для пары из Br4-картинки 1014 и B4-картинки 1024.
Пара VAU, которая содержит картинки, для которых PTS и DTS являются одинаковыми в видеопотоке 1001 основного ракурса и видеопотоке 1002 зависимого ракурса, называется «3-мерным VAU». При использовании распределения меток PTS и DTS, показанного на фиг.10, декодер в устройстве 102 воспроизведения в 3-мерном режиме легко настроить на параллельную обработку видеопотока 1001 основного ракурса и видеопотока 1002 зависимого ракурса по 3-мерным VAU. Таким образом, декодер точно обрабатывает параллельно пару картинок, представляющих один и тот же кадр или одно и то же поле в 3-мерном видеоизображении. Кроме того, заголовок последовательности в 3-мерном VAU в начале каждой GOP содержит одинаковое разрешение, одинаковую частоту кадров и одинаковый формат экрана изображения. В частности, упомянутая частота кадров равна значению в случае, когда видеопоток 1001 основного ракурса декодируется независимо в режиме 2-мерного воспроизведения.
На фиг.11 схематически представлена детальная структура данных для дополнительных данных 831D, показанных на фиг.8. Дополнительные данные 831D соответствуют типу структурного элемента NAL, в частности, «SEI» в MPEG-4 AVC. Как показано на фиг.11, дополнительные данные 831D содержат информацию 1101 о параметре декодирования. Информация 1101 о параметре декодирования содержится в каждом VAU, как в видеопотоке основного ракурса, так и в видеопотоке зависимого ракурса. Информация 1101 о параметре декодирования является информацией, предназначенной для декодера в устройстве 102 воспроизведения, чтобы декодер быстро назначал следующий VAU для декодирования. Как поясняется ниже, декодер попеременно декодирует видеопоток основного ракурса и видеопоток зависимого ракурса по VAU. При этом декодер обычно назначает следующий VAU для декодирования точно во время, указанное посредством DTS, присвоенного каждому VAU. Однако декодеры многих типов продолжают декодировать VAU по порядку, с игнорированием DTS. В случае с подобными декодерами целесообразно, чтобы каждый VAU содержал информацию 1101 о параметре декодирования в дополнение к DTS.
Как показано на фиг.11, информация 1101 о параметре декодирования содержит тип 1111 последующего структурного элемента доступа, размер 1112 последующего структурного элемента доступа и счетчик 1113 декодирования. Тип 1111 последующего структурного элемента доступа указывает, принадлежит ли следующий VAU, подлежащий декодированию, видеопотоку основного ракурса или видеопотоку зависимого ракурса. Например, когда значение типа 1111 последующего структурного элемента доступа равно «1», следующий VAU, подлежащий декодированию, принадлежит видеопотоку основного ракурса, и когда значение типа 1111 последующего структурного элемента доступа равно «2», следующий VAU, подлежащий декодированию, принадлежит видеопотоку зависимого ракурса. Когда значение типа 1111 последующего структурного элемента доступа равно «0», текущий VAU расположен в начале потока, заданного для декодирования, и следующего VAU, подлежащего декодированию, не существует. Размер 1112 последующего структурного элемента доступа указывает размер следующего VAU, который подлежит декодированию. Посредством обращения к размеру 1112 последующего структурного элемента доступа декодер в устройстве 102 воспроизведения может задавать размер VAU, без анализа его фактической структуры. Соответственно, декодер может легко извлекать VAU из буфера. Счетчик 1113 декодирования показывает очередность декодирования того VAU, к которому упомянутый счетчик относится. Очередность отсчитывается от VAU, который содержит I-картинку в видеопотоке основного ракурса.
На фиг.12A схематически представлен пример счетчиков 1210 и 1220 декодирования, присвоенных каждой картинке в видеопотоке 1201 основного ракурса и в видеопотоке 1202 зависимого ракурса. Как показано на фиг.12A, счетчики 1210 и 1220 декодирования наращивают значения попеременно между двумя видеопотоками 1201 и 1202. Например, для VAU 1211, который содержит I-картинку в видеопотоке 1201 основного ракурса, значение «1» присваивается счетчику 1210 декодирования. Затем, значение «2» присваивается счетчику 1220 декодирования для VAU 1221, который содержит следующую P-картинку, подлежащую декодированию, в видеопотоке 1202 зависимого ракурса. Кроме того, значение «3» присваивается счетчику 1210 декодирования для VAU 1212, который содержит следующую P-картинку, подлежащую декодированию, в видеопотоке 1201 основного ракурса. При присвоении значений описанным способом, даже когда декодер в устройстве 102 воспроизведения не считывает один из VAU из-за какой-то ошибки, декодер может немедленно задать пропущенную картинку с использованием счетчиков 1210 и 1220 декодирования. Соответственно, декодер может правильно и своевременно выполнять обработку ошибок.
В примере, показанном на фиг.12A, ошибка происходит во время считывания третьего VAU 1213 в видеопотоке 1201 основного ракурса, и Br-картинка пропускается. Однако, во время декодирующей обработки P-картинки, содержащейся во втором VAU 1222 в видеопотоке 1202, декодер считал счетчик 1220 декодирования для упомянутого VAU 1222 и восстановил значение. Соответственно, декодер может прогнозировать счетчик 1210 декодирования для следующего VAU, подлежащего обработке. В частности, счетчик 1220 декодирования в VAU 1222, который содержит P-картинку, имеет значение «4». Поэтому можно прогнозировать, что счетчик 1210 декодирования для следующего VAU, подлежащего считыванию, имеет значение «5». Однако, следующий VAU, который фактически считывается, представляет собой четвертый VAU 1214 в видеопотоке 1201 основного ракурса, счетчик 1210 декодирования которого имеет значение «7». Следовательно, декодер обнаруживает, что он не считал VAU. Соответственно, декодер может выполнять следующую обработку: «исправляющая пропуск декодирующая обработка B-картинки, извлеченной из третьего VAU 1223 в видеопотоке 1202 зависимого ракурса, так как Br-картинка, подлежащая использованию в качестве опорной, пропущена». Таким образом, декодер проверяет счетчики 1210 и 1220 декодирования во время каждой процедуры декодирования. Следовательно, декодер может своевременно определять ошибки во время считывания VAU и может своевременно выполнять соответствующую обработку ошибок. В результате, декодер может предотвращать вредное влияние шумов на воспроизведение видео.
На фиг.12B схематически представлен другой пример счетчиков 1230 и 1240 декодирования, присваиваемых каждой картинке в видеопотоке 1201 основного ракурса и в видеопотоке 1202 зависимого ракурса. Как показано на фиг.12B, счетчики 1230 и 1240 декодирования наращиваются по отдельности в видеопотоках 1201 и 1202. Поэтому, счетчики 1230 и 1240 декодирования являются одинаковыми для пары картинок в одном и том же 3-мерном VAU. В данном случае, после того как декодер декодировал VAU в видеопотоке 1201 основного ракурса, декодер может спрогнозировать, что «счетчик 1230 декодирования идентичен счетчику 1240 декодирования для следующего VAU, подлежащего декодированию в видеопотоке 1202 зависимого ракурса». И, наоборот, после того как декодер декодировал VAU в видеопотоке 1202 зависимого ракурса, декодер может спрогнозировать, что «счетчик 1230 декодирования для следующего VAU, подлежащего декодированию в видеопотоке 1201 основного ракурса, равен счетчику 1240 декодирования плюс один». Соответственно, в любой момент времени декодер может своевременно обнаруживать ошибку при считывании VAU с использованием счетчиков 1230 и 1240 декодирования и может своевременно выполнять соответствующую обработку ошибок. В результате, декодер может предотвращать вредное влияние шумов на воспроизведение видео.
<<Схема расположения с чередованием мультиплексированных потоковых данных>>
Для непрерывного воспроизведения 3-мерных видеоизображений важна схема физического размещения видеопотока основного ракурса и видеопотока зависимого ракурса на диске BD-ROM 101. Под «непрерывным воспроизведением» понимается непрерывное воспроизведение видео и звука из мультиплексированных потоковых данных.
На фиг.13 схематически представлено физическое расположение на диске BD-ROM 101 групп блоков данных, принадлежащих какому-то одному из основного TS, первого дополнительного TS и второго дополнительного TS, показанных на фиг.3. Как показано на фиг.13, каждый TS расположен на диске BD-ROM 101 с разделением на множество блоков данных D[n], B[n] (n=0, 1, 2, 3, …). «Блоком данных» называется последовательность данных, записанных в непрерывной области на диске BD-ROM 101, т.е. во множестве физически смежных секторов. Поскольку физические адреса и логические адреса на диске BD-ROM 101 являются, по существу, одинаковыми, то LBN внутри каждого блока данных также являются продолжающими. Соответственно, дисковод 121 дисков BD-ROM может безостановочно считывать блок данных, при этом оптической головке считывания не приходится выполнять поиск. В дальнейшем, блоки B[n] данных, принадлежащие основному TS, называются «блоками данных основного ракурса», и блоки D[n] данных, принадлежащие дополнительному TS, называются «блоками данных зависимого ракурса». В частности, блоки данных, принадлежащие первому дополнительному TS, называются «блоками данных правого ракурса», и блоки данных, принадлежащие второму дополнительному TS, называются «блоками данных карты глубины».
В файловой системе на диске BD-ROM 101 каждый блок B[n] и D[n] данных может выбираться как один экстент в файлах 2-мерного видео или DEP-файлах. Другими словами, логический адрес для каждого блока данных можно узнать из элемента описания файла для файла 2-мерного видео или DEP-файла (подробно см. <Дополнительное объяснение>).
В примере, показанном на фиг.13, элемент 1310 описания файла в файле 241 2-мерного видео (01000.m2ts) указывает размеры блоков B[n] данных основного ракурса и LBN их начальных частей. Соответственно, блоки B[n] данных основного ракурса могут выбираться как экстент EXT2D[n] в файле 241 2-мерного видео. В дальнейшем, экстенты EXT2D[n], принадлежащие файлу 241 2-мерного видео, называются «2-мерными экстентами». При этом элемент 1320 описания файла первого DEP-файла (02000.m2ts) 242 указывает размеры блоков D[n] данных зависимого ракурса и LBN их начальных частей. Соответственно, блоки данных зависимого ракурса являются блоками данных правого ракурса и могут выбираться как экстент EXT2[n] первого DEP-файла 242. В дальнейшем, экстент EXT2[n], принадлежащий первому DEP-файлу 242, называется «экстентом правого ракурса». Аналогично случаю, когда блоки D[n] данных зависимого ракурса являются блоками данных карт глубины, каждый блок данных карты глубины можно выбирать как экстент второго DEP-файла (03000.m2ts) 243. В дальнейшем, экстент, принадлежащий второму DEP-файлу 243, называется «экстентом карты глубины». Кроме того, экстент, принадлежащий одному из DEP-файлов, называется, в общем, «экстентом зависимого ракурса» подобно случаю с экстентами правого ракурса и экстентами карт глубины.
Как показано на фиг.13, группа блоков данных записана непрерывно по дорожке на диске BD-ROM 101. Кроме того, блоки B[n] данных основного ракурса и блоки D[n] данных зависимого ракурса расположены поочередно один за другим. Упомянутый тип расположения блоков данных называется «схемой расположения с чередованием». В частности, один набор блоков данных, записанных по схеме расположения с чередованием, называется «блоком экстентов». Три блока 1301, 1302 и 1303 экстентов показаны на фиг.13. Как показано для блоков 1301 и 1302 экстентов на фиг.13, блоки экстентов разделены областью памяти для данных NAV, отличающихся от мультиплексированных потоковых данных, которые существуют между блоками экстентов. Кроме того, когда диск BD-ROM 101 является многослойным диском, другими словами, когда диск BD-ROM 101 содержит множество слоев записи данных, блоки экстентов разделены также границей LB слоев между слоями записи данных, как в блоках 1302 и 1303 экстентов, показанных на фиг.13. Таким образом, один набор мультиплексированных потоковых данных обычно расположен с разделением на множество блоков экстентов. В таком случае, чтобы устройство 102 воспроизведения непрерывно воспроизводило видеоизображения из мультиплексированных потоковых данных, необходимо, чтобы имело место бесшовное соединение видеоизображений, подлежащих воспроизведению из блоков экстентов. В дальнейшем, обработка, которая требуется от устройства 102 воспроизведения для вышеупомянутой цели, называется «бесшовным соединением между блоками экстентов».
В блоках 1301-1303 экстентов в соответствии с вариантом 1 осуществления настоящего изобретения число одно и то же в обоих типах блоков D[n] и B[n] данных. Кроме того, время по ATC (по часам времени поступления) экстентов является одним и тем же для n-й пары смежных блоков D[n] и B[n] данных. В упомянутом контексте «часами времени поступления (ATC)» называются часы, которые выполняют функцию эталонных часов для ATS. Кроме того, «время по ATC экстентов» задается значением по ATC и представляет диапазон ATS, присвоенных исходным пакетам в экстенте, т.е. интервал времени от ATS исходного пакета в начале экстента до ATS исходного пакета в начале следующего экстента. Другими словами, время по ATC экстентов является таким же, как время, необходимое для передачи всех исходных пакетов в экстенте из буфера считывания в устройстве 102 воспроизведения в выходной декодер системы. «Буфер считывания» представляет собой буферную память в устройстве 102 воспроизведения, в которой блоки данных, считанные с диска BD-ROM 101, записываются для временного хранения перед передачей в выходной декодер системы. Более подробные сведения о буфере считывания приведены в дальнейшем. Поскольку в примере, показанном на фиг.13, три блока 1301-1303 экстентов соединены между собой бесшовно, то значения времени по ATC экстентов являются одними и теми же для пар блоков D[n], B[n] (n=0, 1, 2, …) данных.
VAU, расположенные в начале смежных блоков D[n] и B[n] данных, принадлежат одному и тому же 3-мерному VAU и, в частности, содержат начальную картинку в GOP, представляющую то же самое 3-мерное видеоизображение. Например, на фиг.13 начало блока D[n] данных правого ракурса содержит P-картинку для видеопотока правого ракурса, и начало блока B[n] данных основного ракурса содержит I-картинку для видеопотока основного ракурса. P-картинка для видеопотока правого ракурса представляет правый ракурс, когда 2-мерное видеоизображение, представленное I-картинкой в видеопотоке основного ракурса, используется как левый ракурс. В частности, P-картинка, как показано на фиг.6, сжимается с использованием I-картинки для видеопотока основного ракурса в качестве опорной картинки. Соответственно, устройство 102 воспроизведения в режиме 3-мерного воспроизведения может начинать воспроизведение 3-мерных видеоизображений с любой пары блоков D[n] и B[n] данных. То есть, возможна обработка, которая требует произвольного доступа к видеопотокам, например, воспроизведения с поиском.
Кроме того, в схеме расположения с чередованием в соответствии с вариантом 1 осуществления настоящего изобретения, среди пар D[n] и B[n] смежных блоков данных, блоки D[n] данных зависимого ракурса расположены перед блоками B[n] данных основного ракурса. Упомянутое расположение обусловлено тем, что в блоке D[n] данных зависимого ракурса объем данных меньше, чем в блоке B[n] данных основного ракурса, то есть битрейт ниже. Например, на фиг.13 картинка, содержащаяся в n-м блоке D[n] данных правого ракурса, сжата с использованием картинки, содержащейся в n-м блоке B[n] данных основного ракурса, в качестве опорной картинки, как показано на фиг.6. Соответственно, размер Sext2[n] блока D[n] данных правого ракурса равен или меньше, чем размер Sext1[n] блока B[n] данных основного ракурса: Sext2[n]≤Sext1[n]. С другой стороны, объем данных на один пиксель в карте глубины, т.е. число битов значения глубины, в общем, меньше, чем объем данных на один пиксель картинки основного ракурса, т.е. сумма числа бит значения цветовой координаты и значения α (степени непрозрачности). Кроме того, как показано на фиг.3A и 3C, основной TS, в отличие от второго дополнительного TS, содержит другие элементарные потоки, например, первичный аудиопоток, в дополнение к первичному видеопотоку. Поэтому, размер блока данных карты глубины Sext3[n] меньше чем или равен размеру блока B[n] данных основного ракурса Sext1[n]: Sext3[n]≤Sext1[n].
<<Значение разделения мультиплексированных потоковых данных на блоки данных>>
Для непрерывного воспроизведения 3-мерных видеоизображений с диска BD-ROM 101 устройство 102 воспроизведения должно параллельно обрабатывать основной TS и дополнительный TS. Однако, емкость буфера считывания, годная к использованию при такой обработке данных, как правило, ограничена. В частности, ограничен объем данных, которые можно безостановочно считывать в буфер считывания с диска BD-ROM 101. Соответственно, устройство 102 воспроизведения должно считывать сегменты основного TS и дополнительного TS с одинаковым временем по ATC экстентов посредством деления сегментов.
На фиг.14A схематически представлено расположение основного TS 1401 и дополнительного TS 1402, записанных раздельно и последовательно на диск BD-ROM. Когда устройство 102 воспроизведения параллельно обрабатывает основной TS 1401 и дополнительный TS 1402, как показано стрелками (1)-(4), изображенными сплошными линиями на фиг.14A, дисковод 121 дисков BD-ROM поочередно считывает сегменты основного TS 1401 и дополнительного TS 1402, которые имеют одинаковое время по ATC экстентов. При этом, как показано стрелками, изображенными пунктирными линиями на фиг.14A, во время процедуры считывания дисковод 121 дисков BD-ROM должен выполнять большой переход в области, подлежащей считыванию на диске BD-ROM. Например, после того как считан начальный сегмент основного TS 1401, показанный стрелкой (1), дисковод 121 дисков BD-ROM временно приостанавливает операцию считывания оптической головкой считывания и повышает скорость вращения диска BD-ROM. Таким образом, дисковод 121 дисков BD-ROM быстро перемещает сектор на диске BD-ROM, в котором записан начальный сегмент дополнительного TS 1402, показанный стрелкой (2), в позицию оптической головки считывания. Описанная операция временной приостановки считывания оптической головкой считывания и, во время приостановки считывания, позиционирования оптической головки считывания над следующей областью, подлежащей считыванию, называется «переходом». Пунктирные линии со стрелкой, показанные на фиг.14A, указывают дальность переходов, необходимых во время процедуры считывания. В течение промежутка времени каждого перехода процедура считывания оптической головкой считывания приостанавливается, и продолжается выполнение только декодирующей обработки декодером. Поскольку переход в примере, показанном на фиг.14A, является слишком большим, то сложно обеспечить, чтобы процедура считывания не отставала от декодирующей обработки. В результате, сложно стабильно поддерживать непрерывное воспроизведение.
На фиг.14B схематически представлено расположение блоков D[0], D[1], D[2], … данных зависимого ракурса и блоков B[0], B[1], B[2], … данных основного ракурса, поочередно записанных на диске 101 BD-ROM в соответствии с вариантом 1 осуществления настоящего изобретения. Как показано на фиг.14B, основной TS и дополнительный TS разделены на множество блоков данных и расположены с чередованием. В таком случае, во время воспроизведения 3-мерных видеоизображений устройство 102 воспроизведения считывает блоки D[0], B[0], D[1], B[1], … данных по порядку от начала, как показано стрелками (1)-(4) на фиг.14B. Благодаря считыванию упомянутых блоков данных просто по порядку, устройство 102 воспроизведения может плавно считывать основной TS и дополнительный TS поочередно. В частности, поскольку во время процедуры считывания не происходит никаких переходов, то можно стабильно обеспечивать непрерывное воспроизведение 3-мерных видеоизображений.
[Значение обеспечения смежных блоков данных с одинаковым временем по ATC экстентов]
На фиг.15A схематически представлены разные примеры значений времени по ATC для каждого экстента в группе D[n] блоков данных зависимого ракурса и группе B[n] блоков данных основного ракурса (n=0, 1, 2), записанных по схеме расположения с чередованием. Как показано на фиг.15A, время по ATC экстентов является одинаковым в каждой паре блока D[n] данных зависимого ракурса и следующего сразу же блока B[n] данных основного ракурса. Например, время по ATC экстента равно одной секунде для каждого из D[0] и B[0] в начальной паре блоков данных. Соответственно, когда блоки D[0] и B[0] данных считываются буфером считывания в устройстве 102 считывания, все TS-пакеты из них пересылаются из буфера считывания в выходной декодер системы в течение того же односекундного интервала. Аналогично, поскольку время по ATC экстентов равно 0,7 секунды для каждого из D[1] и B[1] во второй паре блоков данных, то все TS-пакеты из каждого блока данных передаются из буфера считывания в выходной декодер системы в течение того же 0,7-секундного интервала.
На фиг.15B схематически представлены другие примеры значений времени по ATC для каждого экстента в группе D[n] блоков данных зависимого ракурса и группе B[n] блоков данных основного ракурса, записанных по схеме расположения с чередованием. Как показано на фиг.15B, значения времени по ATC экстентов во всех блоках D[n] и B[n] данных равны одной секунде. Соответственно, в течение того же самого односекундного интервала, на протяжении которого любые блоки D[n] и B[n] данных считываются буфером считывания в устройстве 102 считывания, все TS-пакеты из каждого из упомянутых блоков данных передаются из буфера считывания в выходной декодер системы.
Как изложено выше, коэффициент сжатия блоков данных зависимого ракурса выше, чем коэффициент сжатия блоков данных основного ракурса. Соответственно, декодирующая обработка блоков данных зависимого ракурса обычно имеет меньшую скорость, чем декодирующая обработка блоков данных основного ракурса. С другой стороны, когда значения времени по ATC экстентов равны, блоки данных зависимого ракурса содержат меньший объем данных, чем блоки данных основного ракурса. Поэтому, когда значения времени по ATC экстентов являются одинаковыми для смежных блоков данных, как показано на фиг.15A и 15B, скорость, с которой данные, подлежащие декодированию, подаются в выходной декодер системы, можно легко поддерживать одинаковой со скоростью обработки декодером. Другими словами, выходной декодер системы способствует синхронизации между декодирующей обработкой блоков данных основного ракурса и декодирующей обработкой блоков данных зависимого ракурса, в частности, при воспроизведении с поиском.
[Значение размещения первыми блоков данных с меньшим объемом данных]
При считывании блока данных, расположенного в начале или в позиции начала воспроизведения каждого блока 1301-1303 экстентов, устройство 102 воспроизведения в режиме 3-мерного воспроизведения сначала считывает полный блок данных в буфер считывания. В указанный промежуток времени блок данных не пересылается в выходной декодер системы. По окончании считывания блока данных устройство 102 воспроизведения пересылает блок данных в выходной декодер системы параллельно со следующим блоком данных. Описанная обработка данных называется «предварительной загрузкой».
В техническом отношении предварительная загрузка имеет следующее значение. Во-первых, в L/R-режиме блоки данных основного ракурса необходимы для декодирования блоков данных зависимого ракурса. Поэтому, чтобы обеспечить емкость буфера, минимально необходимую для сохранения декодированных данных до выходной обработки данных, целесообразно одновременно предоставлять в выходной декодер системы блоки данных для декодирования. С другой стороны, в режиме глубины необходима обработка данных для формирования пары видеоплоскостей, представляющих параллаксные изображения из пары из декодированной картинки основного ракурса и декодированной картинки карты глубины. Соответственно, чтобы обеспечить емкость буфера, минимально необходимую для сохранения декодированных данных до упомянутой обработки данных, целесообразно предоставлять для декодирования блоки данных основного ракурса в выходной декодер системы одновременно с блоками данных карт глубины. Поэтому, предварительная загрузка приводит к тому, что полный блок данных в начале блока экстентов или позиции начала воспроизведения заранее считывается в буфер считывания. Описанное решение дает возможность передавать блок данных и последующий блок данных из буфера считывания в выходной декодер системы и декодировать одновременно. Кроме того, последующие пары блоков данных также могут быть одновременно декодированы выходным декодером системы.
Во время предварительной загрузки полный блок данных, который считывается первым, сохраняется в буфере считывания. Соответственно, буфер считывания нуждается в емкости, по меньшей мере, равной размеру блока данных. Чтобы обеспечить минимальную емкость буфера считывания, размер блока данных, подлежащего предварительной загрузке, должен быть как можно меньше. При этом, для воспроизведения с произвольным доступом и т.п., любая пара блоков данных может быть выбрана в качестве позиции начала воспроизведения. По приведенной причине в каждой паре блоков данных первым размещают блок данных, имеющий наименьший объем данных. Такое решение дает возможность обеспечивать минимальную емкость буфера считывания.
<<Перекрестная связь файлов AV-потока с блоками данных>>
В группе блоков данных, показанной на фиг.13, файлы AV-потока перекрестно связаны следующим образом. Элемент 1340 описания файла первого SS-файла (01000.ssif) 244A рассматривает каждый блок 1301-1303 экстентов как один экстент и указывает размер каждого и LBN его начала. Соответственно, блоки 1301-1303 экстентов могут выбираться как экстенты EXTSS[0], EXTSS[1] и EXTSS[2] первого SS-файла 244A. В дальнейшем, экстенты EXTSS[0], EXTSS[1] и EXTSS[2], принадлежащие первому SS-файлу 244A, называются «SS-экстентами». Каждый из SS-экстентов EXTSS[0], EXTSS[1] и EXTSS[2] содержит блоки B[n] данных основного ракурса как общие части с файлом 241 2-мерного видео и содержит блоки D[n] данных правого ракурса как общие части с первым DEP-файлом 242.
<<Маршрут воспроизведения для блоков экстентов>>
На фиг.16 схематически представлен маршрут 1601 воспроизведения для блоков 1301-1303 экстентов в режиме 2-мерного воспроизведения. Устройство 102 воспроизведения в режиме 2-мерного воспроизведения воспроизводит файл 241 2-мерного видео. Соответственно, как показано маршрутом 1601 воспроизведения в режиме 2-мерного воспроизведения, блоки B[n] (n=0, 1, 2, …) данных основного ракурса считываются по порядку из блоков 1301-1303 экстентов в виде 2-мерных экстентов EXT2D[0], EXT2D[1] и EXT2D[2]. В частности, в первую очередь считывается начальный блок B[0] данных основного ракурса из начального блока 1301 экстентов, после чего считывание непосредственно следующего блока D[1] данных правого ракурса пропускается выполнением первого перехода J2D1. Затем считывается второй блок B[1] данных основного ракурса, и после этого считывание непосредственно следующих данных NAV и блока D[1] данных правого ракурса пропускается выполнением второго перехода JNAV. Затем, считывание блоков данных основного ракурса и переходы повторяются аналогичным образом для второго и последующего блоков 1302 и 1303 экстентов.
Переход JLY, происходящий между вторым блоком 1302 экстентов и третьим блоком 1303 экстентов, является длинным переходом через границу LB слоев. «Длинный переход» является собирательным термином для переходов с продолжительным временем поиска и, в частности, относится к расстоянию перехода, которое превосходит предварительно заданное пороговое значение. «Расстояние перехода» относится к длине области на диске BD-ROM 101, считывание которой пропускается в течение промежутка времени перехода. Расстояние перехода обычно выражается числом секторов соответствующего сегмента. Пороговое значение, используемое для определения длинного перехода, задается, например, как 2220 секторов в стандарте BD-ROM. Однако упомянутое пороговое значение зависит от типа диска BD-ROM и от производительности процедуры считывания дисководом дисков BD-ROM. Длинные переходы содержат, в частности, переходы по фокусировке и переходы по дорожке. «Переход по фокусировке» представляет собой переход, обусловленный переключением слоев записи данных, и содержит обработку данных для изменения фокусного расстояния оптической головки считывания. «Переход по дорожке» содержит обработку данных для перемещения оптической головки считывания вдоль диска BD-ROM 101.
На фиг.16 схематически представлен маршрут 1602 воспроизведения для блоков 1301-1303 экстентов в L/R-режиме. Устройство 102 воспроизведения в L/R-режиме воспроизводит первый SS-файл 244. Соответственно, как обозначено маршрутом 1602 воспроизведения в L/R-режиме, блоки 1301-1303 экстентов считываются по порядку как 3D SS-экстенты EXTSS [0], EXTSS[1] и EXTSS[2]. В частности, сначала последовательно считываются блоки D[0], B[0], D[1] и B[1] данных из начального блока 1301 экстентов, затем пропускается считывание непосредственно следующих данных NAV выполнением первого перехода JNAV. После этого последовательно считываются блоки D[2], …, B[3] данных из второго блока 1302 экстентов. Сразу после этого происходит длинный переход JLY вместе с переключением слоя для записи данных, и затем последовательно считываются блоки D[4], B[4], … данных из третьего блока 1303 экстентов.
При считывании блоков 1301-1303 экстентов в качестве экстентов первого SS-файла 244A устройство 102 воспроизведения считывает начальный LBN SS-экстентов EXTSS[0], EXTSS[1], … и их размер и затем выдает LBN и размеры в дисковод 121 дисков BD-ROM. Дисковод 121 дисков BD-ROM безостановочно считывает данные, имеющие входной размер, по входному LBN. При такой обработке данных управление дисководом 121 дисков BD-ROM проще, чем обработка данных для считывания групп блоков данных в виде экстентов в первом DEP-файле 242 и файле 241 2-мерного видео по следующим причинам (A) и (B): (A) устройство 102 воспроизведения может обращаться по порядку к экстентам с использованием элемента описания файла в одной ячейке, и (B) поскольку суммарное число экстентов, подлежащих считыванию, по существу, сокращается вдвое, то суммарное число пар из LBN и размера, которые требуется выдавать в дисковод 121 дисков BD-ROM, сокращается вдвое. Однако, после того как устройство 102 воспроизведения считало SS-экстенты 3-мерного видео EXTSS[0], EXTSS[1], …, требуется разделить каждый экстент на блок данных правого ракурса и блок данных основного ракурса и выдать упомянутые блоки в декодер. Файл информации о клипах служит для упомянутой разделяющей обработки данных. Более подробные сведения представлены ниже.
Как показано на фиг.13, во время фактического считывания блоков 1301-1303 экстентов дисковод 121 дисков BD-ROM выполняет нулевой межсекторный переход J0 в течение некоторого времени от начала блока данных до начала следующего блока данных. «Нулевой межсекторный переход» представляет собой перемещение оптической головки считывания между двумя последовательными блоками данных. В течение промежутка времени, за который выполняется нулевой межсекторный переход (именуемого в дальнейшем «промежутком времени нулевого межсекторного перехода»), оптическая головка считывания приостанавливает свою операцию считывания и ожидает. В настоящем смысле, нулевой межсекторный переход считается «переходом, для которого расстояние перехода составляет 0 секторов». Длительность промежутка времени нулевого межсекторного перехода, то есть промежуток времени нулевого межсекторного перехода, может содержать, в дополнение к времени для сдвига позиции оптической головки считывания посредством вращения диска BD-ROM 101, непроизводительные издержки, обусловленные обработкой с исправлением ошибок. «Непроизводительными издержками, обусловленными обработкой с исправлением ошибок» называют добавочное время, обусловленное выполнением дважды обработки с исправлением ошибок, с использованием блока ECC (кода с исправлением ошибок), когда граница между блоками ECC не согласуется с границей между двумя блоками данных. Для обработки с исправлением ошибок требуется весь блок ECC. Соответственно, когда два последовательных блока данных имеют как общую часть один блок ECC, весь блок ECC считывается и используется для обработки с исправлением ошибок во время считывания каждого блока данных. В результате, каждый раз, когда считывается один из упомянутых блоков данных, дополнительно считывается максимум 32 сектора добавочных данных. Непроизводительные издержки, обусловленные обработкой с исправлением ошибок, оцениваются как суммарное время, необходимое для считывания добавочных данных, т.е. 32 сектора × 2048 байтов × 8 битов/байт × 2 события/скорость считывания. Следует отметить, что при конфигурировании каждого блока данных блоками ECC непроизводительные издержки, обусловленные обработкой с исправлением ошибок, можно вычесть из времени нулевого межсекторного перехода.
<<Размеры блоков данных и блоков экстентов>>
Как показано на фиг.13, для непрерывного воспроизведения любых 2-мерных изображений и 3-мерных изображений из множества блоков 1301-1303 экстентов, расположенных раздельно один от другого, размеры блоков данных и блоков 1301-1303 экстентов должны удовлетворять следующим условиям, основанным на производительности устройства 102 воспроизведения.
[Условие, основанное на производительности в режиме 2-мерного воспроизведения]
На фиг.17 представлена блок-схема, изображающая систему обработки воспроизведения в устройстве 102 воспроизведения в режиме 2-мерного воспроизведения. Как показано на фиг.17, система обработки воспроизведения содержит дисковод 121 дисков BD-ROM, буфер 1721 считывания и выходной декодер 1723 системы. Дисковод 121 дисков BD-ROM считывает 2-мерные экстенты с диска BD-ROM 101 и затем передает 2-мерные экстенты в буфер 1721 считывания со скоростью RUD54 считывания. Буфер 1721 считывания является буферной памятью внутри устройства 102 воспроизведения. Буфер 1721 считывания принимает и накапливает 2-мерные экстенты из дисковода 121 дисков BD-ROM. Выходной декодер 1723 системы считывает исходные пакеты из 2-мерных экстентов, накопленных в буфере 1721 считывания, со средней скоростью REXT2D передачи и затем декодирует исходные пакеты в данные VD видеоизображений и аудиоданные AD.
Средняя скорость REXT2D передачи составляет 192/188 от средней скорости передачи при обработке для извлечения TS-пакетов из исходных пакетов выходным декодером 1723 системы. В общем, упомянутая средняя скорость REXT2D передачи изменяется для каждого 2-мерного экстента. Минимальное значение RMAX2D средней скорости REXT2D передачи составляет 192/188 от системной скорости RTS для файла 2-мерного видео. В настоящем случае, «системная скорость» означает максимальную скорость вышеописанной обработки выходным декодером 1723 системы. Кроме того, вышеприведенный коэффициент 192/188 равен отношению числа байтов в исходном пакете к числу байтов в TS-пакете. Средняя скорость REXT2D передачи обычно представляется в бит/секунду и, в частности, равна отношению размера 2-мерного экстента, выраженному в битах, к времени по ATC экстента. «Размер экстента, выраженный в битах» равен произведению числа исходных пакетов в экстенте на число битов на один исходный пакет (=192[байта]×8[бит/байт]).
Для точного вычисления времени по ATC экстента, при оценке средней скорости REXT2D передачи, размер каждого 2-мерного экстента можно отрегулировать как фиксированное число, кратное длине исходного пакета. Кроме того, когда конкретный 2-мерный экстент содержит исходных пакетов больше, чем упомянутое кратное число, то время по ATC экстента 2-мерного экстента может быть вычислено следующим образом: во-первых, из общего числа исходных пакетов вычитается кратное число, затем время передачи на один исходный пакет (=188×8/системная скорость) умножается на разность. Затем, время по ATC экстента, соответствующее кратному числу, добавляется к результату умножения. Упомянутая сумма считается равной времени по ATC экстента для вышеописанного 2-мерного экстента. Кроме того, время по ATC экстента можно вычислить следующим образом: сначала для одного 2-мерного экстента получают интервал времени от ATS начала его исходного пакета до ATS его последнего исходного пакета. Затем, к полученному таким образом интервалу времени добавляют время передачи на один исходный пакет. Упомянутая сумма считается временем по ATC экстента 2-мерного экстента. В настоящем случае для вычисления времени по ATC экстента не обязательно обращаться к следующему экстенту, и, следовательно, вычисление можно упростить. Следует отметить, что в вышеописанном вычислении времени по ATC экстента необходимо учитывать возможность циклического возврата ATS.
Скорость RUD54 обычно выражается в бит/секунду и устанавливается в значение, например, 54 Мбит/секунду, большее, чем максимальное значение RMAX2D средней скорости REXT2D передачи: RUD54>RMAX2D. Тем самым предотвращается опустошение буфера 1721 считывания вследствие декодирующей обработки выходным декодером 1723 системы в то время, как дисковод 121 дисков BD-ROM считывает 2-мерный экстент с диска BD-ROM 101.
На фиг.18A представлен график, отражающий изменения объема данных DA, хранящихся в буфере 1721 считывания, во время работы в режиме 2-мерного воспроизведения. На фиг.18B схематически представлена взаимосвязь между блоком 1810 экстентов, подлежащим воспроизведению, и маршрутом 1820 воспроизведения в режиме 2-мерного воспроизведения. Как показано на фиг.18B, блок 1810 3-мерных экстентов содержит блоки данных основного ракурса и блоки данных зависимого ракурса D[n] (n=…, 0, 1, 2, …), расположенные по схеме с чередованием. В соответствии с маршрутом 1820 воспроизведения блоки B[n] данных основного ракурса интерпретируются, каждый, как один 2-мерный экстент EXT2D[n] и считываются с диска BD-ROM 101 в буфер 1721 считывания. Как показано на фиг.18A, в течение промежутка PR2D[n] времени считывания блока B[n] данных основного ракурса, т.е. 2-мерного экстента EXT2D[n], накопленный объем данных DA увеличивается со скоростью, равной RUD54-REXT2D[n], т.е. разности между скоростью RUD-2D считывания и средней скоростью REXT2D[n] передачи.
Операция считывания/передачи, выполняемая дисководом 121 дисков BD-ROM, является фактически прерывистой, а не непрерывной, как предполагается на графике, показанном на фиг.18A. Таким образом, не допускается, чтобы объем DA данных, накопленных за промежуток PR2D[n] времени считывания каждого 2-мерного экстента, превысил емкость буфера 1721 считывания. То есть, переполнение буфера 1721 считывания не допускается. Иначе говоря, график на фиг.18A отражает описанные изменения, приблизительно, линейным образом, хотя, фактически, изменения являются ступенчатыми.
При этом первый переход J2D[n] происходит между двумя последовательными 2-мерными экстентами EXT2D[n-1] и EXT2D[n]. В течение промежутка PJ2D[n] времени перехода считывание блоков D[n] данных зависимого ракурса пропускается, и считывание данных с диска BD-ROM 101 приостанавливается. Соответственно, в течение промежутка PJ2D[n] времени перехода накопленный объем DA данных уменьшается со средней скоростью REXT2D[n] передачи.
Для непрерывного воспроизведения 2-мерных видеоизображений из блоков 1810 экстентов, показанных на фиг.18B, должны выполняться нижеописанные условия [1] и [2].
[1] При поддержке подачи данных из буфера 1721 считывания в выходной декодер 1723 системы в течение каждого промежутка PJ2D[n] времени перехода необходимо обеспечивать непрерывный вывод данных из выходного декодера 1723 системы. Для этого должно быть выполнено следующее условие: размер SEXT2D[n] каждого 2-мерного экстента является таким, как объем данных, передаваемый из буфера 1721 считывания в выходной декодер 1723 системы в течение промежутка PR2D[n] времени считывания и следующего промежутка PJ2D[n+1] времени перехода. При этом, когда промежуток PJ2D[n+1] времени перехода заканчивается, накопленный объем DA данных не становится меньше объема в начале периода PR2D[n] считывания, как показано на фиг.18A. То есть, в течение каждого промежутка PJ2D[n] времени перехода подача данных из буфера 1721 считывания в выходной декодер 1723 системы непрерывно продолжается, и, в частности, опустошения буфера 1721 считывания не происходит. При этом длительность промежутка времени PR2D[n] считывания равна значению SEXT2D[n]/RUD54, то есть размеру SEXT2D[n] 2-мерного экстента EXT2D[n], деленному на скорость RUD54 считывания. Соответственно, размер SEXT2D[n] каждого 2-мерного экстента EXT2D[n] должен удовлетворять выражению 1.
Выражение 1:
В выражении 1 время TJUMP-2D[n] перехода представляет длительность промежутка PJ2D[n] времени перехода в секундах. Как скорость RUD54 считывания, так и средняя скорость REXT2D передачи выражаются в битах в секунду. Соответственно, в выражении 1 средняя скорость REXT2D передачи делится на 8 для преобразования размера SEXT2D[n] 2-мерного экстента из битов в байты. То есть, размер SEXT2D[n] 2-мерного экстента выражается в байтах. Функция CEIL() является операцией округления в большую сторону дробных чисел после десятичной запятой для величины в скобках. В дальнейшем, размер, выраженный в левой части выражения 1, является «минимальным размером экстента 2-мерного экстента».
[2] Поскольку емкость буфера 1721 считывания ограничена, то максимальное значение промежутка TJUMP-2D[n] времени перехода ограничено. Иначе говоря, даже если объем DA данных, накопленный непосредственно перед промежутком PJ2D[n] времени перехода, является максимальной емкостью буфера 1721 считывания, слишком продолжительное время TJUMP-2D[n] перехода вызовет уменьшение накопленного объема DA данных до нуля в течение промежутка времени PJ2D[n] перехода, и существует опасность явления опустошения буфера 1721 считывания. В дальнейшем, время, за которое накопленный объем DA данных уменьшается от максимальной емкости буфера 1721 считывания до нуля, пока приостановлена подача данных с диска BD-ROM 101 в буфер 1721 считывания, то есть максимальная величина времени TJUMP-2D перехода, которая гарантирует непрерывное воспроизведение, называется «максимальным временем TJUMP_MAX перехода».
В стандартах оптических дисков взаимосвязь между расстояниями переходов и максимальными значениями времени переходов определяют по скорости выборки дисковода оптических дисков и другим факторам. На фиг.19 представлен пример таблицы соответствия между расстояниями SJUMP переходов и максимальными значениями TJUMP_MAX времени переходов для диска BD-ROM. На фиг.19 расстояния SJUMP переходов представлены числом секторов, и максимальные значения TJUMP_MAX времени переходов представлены в миллисекундах. Один сектор равен 2048 байтам. Как показано на фиг.19, когда расстояние SJUMP перехода равно нулю секторов или находится в диапазоне 1-10000 секторов, 10001-20000 секторов, 20001-40000 секторов, 40001 секторов - 1/10 хода, и 1/10 хода или больше, соответствующее максимальное время TJUMP_MAX перехода равно 0 миллисекунд, 250 миллисекундам, 300 миллисекундам, 350 миллисекундам, 700 миллисекундам и 1400 миллисекундам, соответственно. Максимальное время TJUMP_MAX перехода, когда расстояние SJUMP перехода равно 0 секторам, является таким же, как время TJUMP0 нулевого межсекторного перехода. Следует отметить, что в примере, показанном на фиг.19, время TJUMP0 нулевого межсекторного перехода считается равным «0».
Вследствие вышеизложенного, время TJUMP-2D[n] перехода, подлежащее подстановке в выражение 1, является максимальным временем TJUMP_MAX перехода, задаваемым расстоянием перехода в стандартах оптических дисков. В частности, в таблице, показанной на фиг.19, максимальное время TJUMP_MAX перехода, соответствующее расстоянию SJUMP перехода между 2-мерными экстентами EXT2D[n-1] и EXT2D[n], то есть числу секторов от начала n-го 2-мерного экстента EXT2D[n] до конца (n+1)-го 2-мерного экстента EXT2D[n+1], подставляют в выражение 1 как время TJUMP-2D[n] перехода.
При переходе J2D[n] между двумя 2-мерными экстентами EXT2D[n] и EXT2D[n+1] ограничение времени TJUMP-2D[n] перехода максимальным временем TJUMP_MAX перехода ограничивает также расстояние SJUMP перехода, то есть промежуток между двумя 2-мерными экстентами EXT2D[n] и EXT2D[n+1]. Например, когда время TJUMP-2D[n] перехода ограничено значением максимального времени TJUMP_MAX перехода, меньшим чем или равным 700 миллисекундам, допустимое расстояние SJUMP перехода между двумя 2-мерными экстентами EXT2D[n] и EXT2D[n+1] составляет, самое большее, 1/10 хода (приблизительно, 1,2 Гбайтов). Подобно приведенному максимальному значению расстояния SJUMP перехода, расстояние SJUMP перехода, когда время TJUMP перехода является таким же, как максимальное время TJUMP_MAX перехода, называется «максимальным расстоянием SJUMP_MAX перехода». Непрерывное воспроизведение 2-мерных изображений требует, чтобы, в дополнение к размеру 2-мерных экстентов, удовлетворяющих выражению 1, расстояние между 2-мерными экстентами было меньше чем или равно максимальному расстоянию SJUMP_MAX перехода.
При бесшовном соединении между двумя блоками экстентов, расположенными в разных слоях записи данных, длинный переход происходит от n-го 2-мерного экстента EXT2D[n], находящегося в начале предшествующего блока экстентов, к (n+1)-му 2-мерному экстенту EXT2D[n+1], находящемуся в начале последующего блока экстентов. Длинный переход связан с операциями для переключения между слоями записи данных, например, переходом по фокусировке и т.п. Соответственно, в дополнение к максимальному времени TJUMP_MAX перехода, заданному в таблице на фиг.19, время, необходимое для длинного перехода, дополнительно содержит время, необходимое для операции переключения между слоями, то есть «время переключения между слоями». «Время переключения между слоями» составляет, например, 350 миллисекунд. В результате, когда размер n-го 2-мерного экстента EXT2D[n] должен удовлетворять выражению 1, устанавливается, что время TJUMP-2D[n] перехода должно составлять сумму двух параметров TJ[n] и TL[n]: TJUMP-2D[n]=TJ[n]+TL[n]. Первый параметр TJ[n] отражает максимальное время TJUMP_MAX перехода, задаваемое для каждого расстояния перехода стандартами на диски BD-ROM. Первый параметр TJ[n] равен, например, максимальному времени TJUMP_MAX перехода, указанному в таблице на фиг.19, которое соответствует числу секторов, от конца n-го 2-мерного экстента EXT2D[n] до начала (n+1)-го 2-мерного экстента EXT2D[n+1], т.е. расстоянию SJUMP перехода длинного перехода. Второй параметр TL[n] представляет время переключения между слоями, т.е. 350 миллисекунд. С другой стороны, промежуток между двумя 2-мерными экстентами EXT2D[n] и EXT2D[n+1], т.е. промежуток между двумя блоками экстентов, устанавливается равным значению, меньшему чем или равному максимальному расстоянию SJUMP_MAX перехода, соответствующему первому параметру TJ[n]. Например, когда время TJUMP-2D[n] перехода ограничено значением, меньшим чем или равным максимальному времени TJUMP_MAX перехода = 700 миллисекунд, максимальное расстояние SJUMP_MAX перехода составляет 40000 секторов (= приблизительно 78,1 Мбайт).
[Условие, основанное на производительности в режиме 3-мерного воспроизведения]
На фиг.20 представлена блок-схема системы обработки воспроизведения в устройстве 102 воспроизведения, работающем в режиме 3-мерного воспроизведения. Как показано на фиг.20, система обработки воспроизведения содержит дисковод 121 дисков BD-ROM, переключатель 2020, пару буферов 2021 и 2022 считывания и выходной декодер 2023 системы. Дисковод 121 дисков BD-ROM считывает SS-экстенты с диска BD-ROM 101 и затем передает SS-экстенты в переключатель 2020 со скоростью RUD72. Переключатель 2020 разделяет SS-экстенты на блоки данных основного ракурса и блоки данных зависимого ракурса. Подробное описание упомянутого разделения приведено ниже. Блоки данных основного ракурса сохраняются в первом буфере 2021 считывания, и блоки данных зависимого ракурса сохраняются во втором буфере 2022 считывания. Буферы 2021 и 2022 считывания являются внутренними буферными памятями в составе устройства 102 воспроизведения. Буферы 2021 и 2022 считывания получают блоки данных из дисковода 121 дисков BD-ROM и затем накапливают блоки данных. Данные, накопленные во втором буфере 2022 считывания, состоят из блоков данных правого ракурса в L/R-режиме и блоков данных карт глубины в режиме глубины. Выходной декодер 2023 системы считывает исходные пакеты с первой средней скоростью REXT1 передачи из блоков данных основного ракурса, накопленных в первом буфере 2021 считывания. Выходной декодер 2023 системы в L/R-режиме считывает исходные пакеты со второй средней скоростью REXT2 передачи из блоков данных правого ракурса, накопленных во втором буфере 2022 считывания. Выходной декодер 2023 системы в режиме глубины считывает исходные пакеты с третьей средней скоростью REXT3 передачи из блоков данных карты глубины, накопленных во втором буфере 2022 считывания. Затем выходной декодер 2023 системы декодирует считанные пары блоков данных основного ракурса и блоков данных зависимого ракурса в видеоданные VD и аудиоданные AD.
Первая средняя скорость REXT1 передачи называется «скоростью передачи основного ракурса». Скорость REXT1 передачи основного ракурса равна 192/188 от средней скорости обработки для извлечения TS-пакетов из исходных пакетов в блоках данных основного ракурса. В общем, упомянутая скорость REXT1 передачи основного ракурса изменяется для каждого блока данных основного ракурса. Максимальное значение RMAX1 скорости REXT1 передачи основного ракурса равняется 192/188 от системной скорости RTS1 для файла 2-мерного видео. Файл информации о 2-мерных клипах задает системную скорость. Скорость REXT1 передачи основного ракурса обычно представляется в бит/секунду и, в частности, равна отношению размера блока данных основного ракурса, выраженному в битах, к времени по ATC экстента. Время по ATC экстента равно времени, необходимому для передачи всех исходных пакетов в блоке данных основного ракурса из первого буфера 2021 считывания в выходной декодер 2023 системы.
Вторая средняя скорость REXT2 передачи называется «скоростью передачи правого ракурса», и третья средняя скорость REXT3 передачи называется «скоростью передачи карт глубины». Кроме того, скорости REXT2 и REXT3 передачи собирательно называются «скоростями передачи зависимого ракурса». Обе скорости REXT2 и REXT3 передачи зависимого ракурса равны 192/188 от средней скорости обработки выходным декодером 2023 системы по извлечению TS-пакетов из исходных пакетов в блоках данных зависимого ракурса. В общем, скорости REXT2 и REXT3 передачи зависимого ракурса изменяются для каждого блока данных зависимого ракурса. Максимальное значение RMAX2 скорости REXT2 передачи правого ракурса равно 192/188 от системной скорости RTS2 для первого DEP-файла, и максимальное значение RMAX3 скорости REXT3 передачи карт глубины равно 192/188 от системной скорости RTS3 для второго DEP-файла. Скорости REXT2 и REXT3 передачи зависимого ракурса обычно выражаются в битах в секунду и, в частности, равны отношению размера каждого блока зависимого ракурса, выраженного в битах, к времени по ATC экстента. Время по ATC экстента равно времени, необходимому для передачи всех исходных пакетов в блоках данных зависимого ракурса из второго буфера 2022 считывания в выходной декодер 2023 системы.
Скорость RUD72 считывания обычно выражается в бит/секунду и устанавливается в значение, например, 72 Мбит/секунду, большее, чем максимальные значения RMAX1, RMAX2 и RMAX3 первой, второй и третьей средних скоростей REXT1, REXT2 и REXT3 передачи: RUD72>RMAX1, RUD72>RMAX2, RUD72>RMAX3. Тем самым предотвращается опустошение буферов 2021 и 2022 считывания вследствие декодирующей обработки выходным декодером 2023 системы, в то время как дисковод 121 дисков BD-ROM считывает один SS-экстент с диска BD-ROM 101.
На фиг.21A и 21B представлены графики, отражающие изменения объемов DA1 и DA2, накопленных в буферах 2021 и 2022 считывания, когда 3-мерные изображения непрерывно воспроизводятся из одного блока 2110 экстентов. На фиг.21C схематически представлена взаимосвязь между блоком 2110 экстентов и маршрутом 2120 воспроизведения в 3-мерном режиме. Как показано на фиг.21C, блок 2110 3-мерных экстентов состоит из блоков данных D[k], B[k] (k=…, n-1, n, n+1, n+2, …), которые расположены с чередованием таким же образом, как блоки 1810 экстентов, показанные на фиг.18B. В соответствии с маршрутом 2120 воспроизведения все блоки 2110 экстентов совместно считываются как один SS-экстент. Затем, блоки данных зависимого ракурса и блоки данных основного ракурса выделяются из SS-экстента переключателем 2020.
Операция считывания/передачи, выполняемая дисководом 121 дисков BD-ROM, является фактически прерывистой, а не непрерывной, как предполагается на графиках, показанных на фиг.21A и фиг.21B. Тем самым не допускается переполнения буферов 2021 и 2022 считывания за промежутки PRD[n] и PRB[n] времени, в течение которых считываются блоки D[n] и B[n] данных. Иначе говоря, графики на фиг.21A и 21B отражают описанные изменения, приблизительно, линейным образом, хотя, фактически, изменения являются ступенчатыми.
Как показано на фиг.21A и 21B, в течение промежутка PRD[n] времени считывания n-го блока D[n] данных зависимого ракурса накопленный объем DA2 данных во втором буфере 2022 считывания увеличивается со скоростью, равной разности RUD72-REXTm[n] между скоростью RUD72 считывания и скоростью REXTm[n] (m=2 или 3) зависимого ракурса, и накопленный объем DA1 данных в первом буфере 2021 считывания уменьшается со скоростью передачи REXT1[n-1] основного ракурса. Как показано на фиг.21C, нулевой межсекторный переход J0[2n] происходит от n-го блока D[n] данных зависимого ракурса к n-му блоку B[n] данных основного ракурса. В течение промежутка PJ0[n] времени нулевого межсекторного перехода, как показано на фиг.21A и 21B, накопленный объем DA1 данных в первом буфере 2021 считывания продолжает уменьшаться со скоростью REXT1[n-1] передачи основного ракурса, и накопленный объем DA2 данных во втором буфере 2022 уменьшается со скоростью REXTm[n] передачи зависимого ракурса.
Как дополнительно показано на фиг.21A и 21B, в течение промежутка PRB[n] времени считывания n-го блока B[n] данных основного ракурса накопленный объем DA1 данных в первом буфере 2021 считывания увеличивается со скоростью, равной разности RUD72-REXT1[n] между скоростью RUD72 считывания и скоростью REXT1[n] передачи основного ракурса. При этом накопленный объем DA2 данных во втором буфере 2022 считывания продолжает уменьшаться со скоростью REXTm[n] передачи зависимого ракурса. Как дополнительно показано на фиг.21C, нулевой межсекторный переход J0[2n+1] происходит между n-м блоком B[n] данных основного ракурса и следующим блоком D[n+1] данных зависимого ракурса. Как показано на фиг.21A и 21B, в течение промежутка J0[2n+1] времени нулевого межсекторного перехода накопленный объем DA1 данных в первом буфере 2021 считывания уменьшается со скоростью REXT1[n] передачи основного ракурса, и накопленный объем DA2 данных во втором буфере 2022 считывания продолжает уменьшаться со скоростью REXTm[n] передачи зависимого ракурса.
Для непрерывного воспроизведения 3-мерных изображений из одного блока 2110 экстентов должны выполняться нижеописанные условия [3], [4], [5] и [6]. Для простоты, в последующем описании предполагается случай использования L/R-режима. Соответственно, блоки D[n] данных зависимого ракурса являются блоками данных правого ракурса. Следует отметить, что нижеследующее описание можно аналогичным образом применить к режиму глубины. Например, «размер блоков данных правого ракурса» в нижеследующем описании можно читать как «размер блоков данных карты глубины», и «скорость передачи правого ракурса» в нижеследующем описании можно читать как «скорость передачи карты глубины».
[3] Размер SEXT1[n] n-го блока B[n] данных основного ракурса, по меньшей мере, равен объему данных, передаваемому из первого буфера 2021 считывания в выходной декодер 2023 системы за время от промежутка PRB[n] времени считывания до момента непосредственно перед промежутком PRB[n+1] времени считывания следующего блока B[n+1] данных основного ракурса. В таком случае, как показано на фиг.21A, накопленный объем DA1 данных в первом буфере 2021 считывания непосредственно перед промежутком PRB[n+1] времени считывания следующего блока B[n+1] данных основного ракурса не меньше, чем объем непосредственно перед промежутком PRB[n] времени считывания n-го блока B[n] данных основного ракурса. Следует отметить, что длительность промежутка PRB[n] времени считывания n-го блока B[n] данных основного ракурса равна значению SEXT1[n]/RUD72, т.е. размеру SEXT1[n] блоков B[n] данных основного ракурса, поделенному на скорость RUD72 считывания. При этом длительность промежутка PRD[n+1] времени считывания (n+1)-го блока D[n+1] данных зависимого ракурса равна значению SEXT2[n+1]/RUD72, т.е. размеру SEXT2[n+1] блока D[n+1] данных зависимого ракурса, поделенному на скорость RUD72 считывания. Соответственно, размер SEXT1[n] блока B[n] данных основного ракурса должен удовлетворять выражению 2.
Выражение 2:
В дальнейшем, размер, выраженный правой частью выражения 2, называется «минимальным размером экстентов блока данных основного ракурса». Следует отметить, что когда блоки данных основного ракурса расположены в конце блоков 2110 экстентов, размер блоков данных не обязательно должен удовлетворять выражению 2.
[4] Размер SEXT2[n] n-го блока D[n] данных зависимого ракурса, по меньшей мере, равен объему данных, передаваемому из второго буфера 2022 считывания в выходной декодер 2023 системы за время от промежутка PRD[n] времени считывания до момента непосредственно перед промежутком PRD[n+1] времени считывания следующего блока D[n+1] данных зависимого ракурса. В таком случае, как показано на фиг.21B, накопленный объем DA2 данных во втором буфере 2022 считывания непосредственно перед промежутком PRD[n+1] времени считывания следующего блока D[n+1] данных зависимого ракурса не меньше, чем объем непосредственно перед промежутком PRD[n] времени считывания n-го блока D[n] данных зависимого ракурса. Следует отметить, что длительность промежутка PRD[n] времени считывания n-го блока D[n] данных зависимого ракурса равна значению SEXT2[n]/RUD72, т.е. размеру SEXT2[n] блока D[n] данных зависимого ракурса, поделенному на скорость RUD72 считывания. Соответственно, размер SEXT2[n] блока D[n] данных зависимого ракурса должен удовлетворять выражению 3.
Выражение 3:
В дальнейшем, размер, выраженный правой частью выражения 3, называется «минимальным размером экстентов блока данных зависимого ракурса».
[5] Как показано на фиг.21C, блоки B[n] данных основного ракурса в блоке 2101 экстентов являются общими для файла 2-мерного видео и SS-файла. Соответственно, размер SEXT1[n] блока B[n] данных основного ракурса должен удовлетворять выражению 1. В этом контексте, чтобы как можно значительнее уменьшить емкость первого буфера 2021, размер SEXT1[n] блока B[n] данных основного ракурса должен быть меньше чем или равен нижнему пределу минимального размера экстента 2-мерного экстента. Другими словами, размер SEXT1[n] удовлетворяет следующему выражению 4.
Выражение 4:
Время TJUMP-2D_MIN перехода является минимальным временем перехода, необходимым для воспроизведения 2-мерных видеоизображений из блока 2110 экстентов, и составляет, например, 199 миллисекунд.
[6] Время по ATC экстента TEXT[n] является одинаковым в n-ных блоках D[n] и B[n] данных. При этом время по ATC экстента TEXT[n] равно размеру SEXTm[n] (m=1, 2, 3) блоков D[n] и B[n] данных, деленному на среднюю скорость REXTm[n] передачи: TEXT[n]=SEXTm[n]/REXTm[n]. Соответственно, размер SEXTm[n] блоков D[n] и B[n] данных удовлетворяет следующему выражению 5.
Выражение 5:
На фиг.22A представлен график, отражающий изменения объемов DA1 и DA2 данных, накопленных в буферах 2021 и 2022 считывания, когда 3-мерные изображения непрерывно безостановочно воспроизводятся из множества блоков экстентов, и изменения их суммы DA1+DA2. На фиг.22B схематически изображен M-й (целое число M больше или равно 2) блок 2201 экстентов и (M+1)-й блок 2202 экстентов и показана взаимосвязь между двумя упомянутыми блоками 2201 и 2202 экстентов и маршрутом 2220 воспроизведения в режиме 3-мерного воспроизведения. Как показано на фиг.22B, блоки 2201 и 2202 экстентов состоят из блоков D данных зависимого ракурса и блоков B данных основного ракурса, которые расположены с чередованием по схеме расположения, аналогичной блоку 1810 экстентов, показанному на фиг.18B. Два смежных блока 2201 и 2202 экстентов разделены границей LB слоев или областью памяти для других данных между ними. В соответствии с маршрутом 2220 воспроизведения сначала весь M-й блок 2201 экстентов совместно считывается из SS-экстента EXTSS[M]. Впоследствии, немедленно происходит переход J[M]. Затем, второй блок 2202 экстентов совместно считывается как (M+1)-й SS-экстент EXTSS[M+1].
На фиг.22A штрихпунктирная линия показывает изменения объема DA1 данных, накопленных в первом буфере 2021 считывания, и пунктирная линия показывает изменения объема DA2 данных, накопленных во втором буфере 2022 считывания. Сплошная линия показывает изменения суммы DA1+DA2. Сумма DA1+DA2 фактически изменяется каждый раз, когда считывается один блок данных. Однако сплошная линия является линейной аппроксимацией упомянутых точных изменений. Кроме того, поскольку время TJUMP0 нулевого межсекторного перехода является пренебрежимо малым по сравнению с длительностью промежутка времени PRBLK[M] считывания для одного полного блока экстентов, показанных на фиг.22A, то время TJUMP0 нулевого межсекторного перехода считается равным «0».
Как показано на фиг.22A, оба объема DA1 и DA2 данных, накопленных в буферах 2021 и 2022 считывания, увеличиваются в течение промежутка PRBLK[M] времени считывания, когда весь M-й блок 2201 экстентов считывается с диска BD-ROM 101 в буферы 2021 и 2022 считывания. В частности, сумма DA1+DA2 накопленных объемов данных увеличивается со скоростью, равной разности RUD72-REXTSS[M] между скоростью RUD72 считывания и средней скоростью REXTSS[M] передачи в течение промежутка PRBLK[M] времени считывания всего M-го блока 2201 экстентов. Средняя скорость REXTSS[M] передачи оценивается как имеющая значение, равное размеру всего M-го блока 2201 экстентов, то есть размеру SEXTSS[M] M-го SS-экстента EXTSS[M], деленному на время по ATC экстента TEXTSS. Упомянутые увеличения накопленных объемов DA1 и DA2 данных могут быть реализованы посредством проектирования размеров блоков D и B данных таким образом, чтобы они были больше или равны минимальному размеру экстента.
В момент времени, когда блок данных основного ракурса в конце M-го блока 2201 экстентов считывается в первый буфер 2021 считывания, сумма DA1+DA2 накопленных объемов данных достигает максимального значения. Во время промежутка PJ[M] времени непосредственно следующего перехода J[M] сумма DA1+DA2 накопленных объемов данных уменьшается со средней скоростью REXTSS[M] передачи. Соответственно, установка достаточного большого максимального значения суммы DA1+DA2 накопленных объемов данных дает возможность предотвращать опустошение обоих буферов 2021 и 2022 считывания во время перехода J[M]. В результате, возможно бесшовное соединение двух блоков 2201 и 2202 экстентов.
Максимальное значение суммы DA1+DA2 накопленных объемов данных определяется по размеру M-го блока 2201 экстентов. Соответственно, для бесшовного соединения M-го блока 2201 экстентов с (M+1)-м блоком 2202 экстентов размер M-го блока 2201 экстентов, то есть размер SEXTSS[M] M-го SS-экстента EXTSS[M], должен удовлетворять следующему условию [7].
[7] Предварительная загрузка выполняется в промежуток PRD[m] времени считывания блока D данных зависимого ракурса, расположенного в начале M-го блока 2201 экстентов (целое число m больше или равно 1). Блок D данных зависимого ракурса не может передаваться из второго буфера 2022 считывания в выходной декодер 2023 системы в течение промежутка PRD[m] времени предварительной загрузки, поскольку блок B данных основного ракурса, соответствующий блоку D данных зависимого ракурса, еще не записан в первый буфер 2021 считывания. Соответственно, необходимо, чтобы данные (M-1)-го блока экстентов передавались из второго буфера 2022 считывания в выходной декодер 2023 системы в течение промежутка PRD[m] времени предварительной загрузки, продолжающегося от непосредственно предшествующего промежутка времени перехода J[M-1]. Упомянутая передача позволяет поддерживать подачу данных в выходной декодер 2023 системы. Аналогично, предварительная загрузка выполняется также в течение промежутка PRD[n] времени считывания блока D данных зависимого ракурса, расположенного в начале (M+1)-го блока 2202 экстентов (целое число n больше или равно m+1). Соответственно, необходимо, чтобы данные M-го блока 2201 экстентов передавались из второго буфера 2022 считывания в выходной декодер 2023 системы в течение промежутка PRD[n] времени предварительной загрузки, продолжающегося от непосредственно предшествующего промежутка времени перехода J[M]. Упомянутая передача позволяет поддерживать подачу данных в выходной декодер 2023 системы.
Как пояснялось выше, требуется, чтобы данные (M-1)-го блока экстентов передавались из второго буфера 2022 считывания в выходной декодер 2023 системы в течение промежутка PRD[m] времени предварительной загрузки M-го блока 2201 экстентов, и чтобы данные M-го блока экстентов передавались из второго буфера 2022 считывания в выходной декодер 2023 системы в течение промежутка PRD[n] времени предварительной загрузки (M+1)-го блока 2202 экстентов. Соответственно, для предотвращения наступления опустошения обоих буферов 2021 и 2022 считывания во время перехода J[M] время по ATC экстента TEXTSS M-го SS-экстента EXTSS[M] должно быть, по меньшей мере, равным длительности промежутка времени от момента времени T0 конца промежутка PRD[m] времени предварительной загрузки M-го блока 2201 экстентов до момента времени T1 конца промежутка PRD[n] времени предварительной загрузки (M+1)-го блока 2202 экстентов. Другими словами, размер SEXTSS[M] M-го SS-экстента EXTSS[M] должен быть, по меньшей мере, равен сумме объемов данных, передаваемых из буферов 2021 и 2022 считывания в выходной декодер 2023 системы в течение промежутка времени от T0 до T1.
Как видно из фиг.22A, длительность промежутка времени от T0 до T1 равна сумме t1+t2+t3, где первый параметр t1 является длительностью промежутка PRBLK[M] времени считывания M-го блока 2201 экстентов, отличающегося от промежутка PRD[m] времени считывания начального блока D данных зависимого ракурса, второй параметр t2 является временем TJUMP[M] перехода для перехода J[M], и третий параметр t3 является длительностью промежутка PRD[n] времени считывания для начального блока D данных зависимого ракурса (M+1)-го блока 2201 экстентов. То есть, длительность промежутка времени от T0 до T1 является такой же, как сумма длительности промежутка PRBLK[M] времени считывания M-го блока 2201 экстентов, времени TJUMP[M] перехода для перехода J[M] и разности TDIFF[M] между длительностями промежутков PRD[n] и PRD[m] времени предварительной загрузки блоков 2201 и 2202 экстентов. Кроме того, длительность промежутка PRBLK[M] времени считывания M-го блока 2201 экстентов равна значению SEXTSS[M]/RUD72, то есть размеру SEXTSS[M] M-го SS-экстента EXTSS[M], деленному на скорость RUD72 считывания. Соответственно, размер SEXTSS[M] M-го SS-экстента EXTSS[M] должен удовлетворять следующему выражению 6.
Выражение 6:
Длительности промежутков PRD[m] и PRD[n] времени предварительной загрузки, соответственно, равны значениям SEXT2[m]/RUD72 и SEXT2[n]/RUD72, то есть размерам SEXT2[m] и SEXT2[n] блоков D данных зависимого ракурса, расположенным в началах блоков 2201 и 2202 экстентов, деленным на скорость RUD72 считывания. Соответственно, разность TDIFF между длительностями промежутков PRD[m] и PRD[n] времени предварительной загрузки равна разности между вышеупомянутыми значениями: TDIFF=SEXT2[n]/RUD72-SEXT2[m]/RUD72. В дальнейшем, размер, выраженный правой частью выражения 6, называется «минимальным размером экстента SS-экстента». Следует отметить, что правая часть выражения 6, подобно правым частям выражений 1-4, может быть выражена целочисленным значением в байтах.
[Заключение]
Чтобы непрерывно воспроизводить любые 2-мерные видеоизображения и 3-мерные видеоизображения из множества блоков экстентов, следует выполнить все вышеприведенные условия [1]-[7]. В частности, размеры блоков данных и блоков экстентов должны удовлетворять следующим условиям 1-4.
Условие 1: размер SEXT2D 2-мерного экстента должен удовлетворять выражению 1.
Условие 2: размер SEXT1 блока данных основного ракурса должен удовлетворять выражению 2.
Условие 3: размер SEXT2 блока данных зависимого ракурса должен удовлетворять выражению 3.
Условие 4: размер SEXTSS блока экстентов должен удовлетворять выражению 6.
Таким образом, очевидно, что, кроме нижнего предела размера блоков данных, для диска BD-ROM 101 в соответствии с вариантом 1 осуществления настоящего изобретения задан нижний предел размера блока экстентов. Следовательно, можно легко рассчитать надлежащим образом размеры блоков данных и блоков экстентов. В результате, легко предотвратить опустошение буферов 2021 и 2022 считывания во время воспроизведения 3-мерных изображений. В частности, разность длительностей промежутков времени предварительной загрузки между блоками экстентов, подлежащих бесшовному соединению, отражается в условии 4. Данное условие способствует надежной реализации бесшовного соединения между блоками экстентов.
<<Другие TS-пакеты, содержащиеся в файлах AV-потока>>
Типы TS-пакетов, содержащихся в файле AV-потока, содержат не только пакеты, которые преобразуются из элементарных потоков, показанных на фиг.3, но также таблицу связей программы (PAT), таблицу карты программы (PMT) и временную отметку программы (PCR). PCR, PMT и PAT определяются Европейским стандартом цифрового вещания и предназначены для регламентации частичного транспортного потока, составляющего одну программу. При использовании PCR, PMT и PAT файл AV-потока можно регламентировать таким же образом, как частичный транспортный поток. В частности, PAT показывает PID таблицы PMT, содержащейся в том же файле AV-потока. PID самой таблицы PAT равен 0. PMT содержит отдельные PID для элементарных потоков, представляющих видео, звук, субтитры и т.п., содержащихся в одном файле AV-потока, а также атрибутивную информацию для элементарных потоков. PMT содержит также различные дескрипторы, относящиеся к файлу AV-потока. Дескрипторы содержат, в частности, информацию для контроля копирования, указывающую, допускается или нет копирование файла AV-потока. PCR содержит информацию, указывающую значение по часам системного времени (STC), которое должно соответствовать ATS, присвоенной самой PCR. «STC» в контексте настоящего описания означает часы, используемые для привязки PTS и DTS декодером в устройстве 102 воспроизведения. Декодер использует PCR для синхронизации STC с ATC.
На фиг.23 схематически представлена структура данных PMT 2310. PMT 2310 содержит заголовок PMT 2301, множество дескрипторов 2302 и множество порций информации 2303, относящейся к потоку. Заголовок PMT 2301 указывает длину данных и т.п., хранящихся в PMT 2310. Каждый дескриптор 2302 относится ко всему файлу AV-потока, который содержит PMT 2310. Информация для контроля копирования содержится в одном из дескрипторов 2302. Каждая порция информации 2303, относящейся к потоку, относится к одному из элементарных потоков, содержащихся в файле AV-потока, и присваивается отличающемуся элементарному потоку. Каждая порция информации 2303, относящейся к потоку, содержит тип 2331 потока, PID 2332 и дескриптор 2333 потока. Тип 2331 потока содержит идентификационные данные для кодека, используемого для сжатия элементарного потока. PID 2332 указывает PID элемент. Дескриптор 2333 потока содержит атрибутивную информацию об элементарном потоке, например, частоту кадров и формат экрана изображения.
Благодаря использованию PCR, PMT и PAT, декодер в устройстве 102 воспроизведения получает возможность обработки файла AV-потока таким же образом, как частичный транспортный поток в соответствии с Европейским стандартом цифрового вещания. Таким образом, можно обеспечивать совместимость между устройством воспроизведения для диска BD-ROM 101 и оконченным устройством, соответствующим Европейскому стандарту цифрового вещания.
<<Файл информации о клипах>>
На фиг.24 схематически представлена структура данных первого файла (01000.clpi) информации о клипах, т.е. файла 231 информации о 2-мерных клипах. Файлы (02000.clpi, 03000.clpi) 232 и 233 информации о клипах зависимого ракурса имеют такую же структуру данных. Ниже, с использованием, в качестве примера, структуры данных файла 231 информации о 2-мерных клипах, сначала приведено описание структуры данных, общей для всех файлов о клипах. После этого приведено описание различий между структурами данных файла информации о 2-мерных клипах и файла информации о клипах зависимого ракурса.
Как показано на фиг.24, файл 231 информации о 2-мерных клипах содержит информацию 2410 о клипах, атрибутивную информацию 2420 о потоке, карту 2430 отображения точек входа и 3-мерные метаданные 2440. 3-мерные метаданные 2440 содержат таблицу 2441 смещений и начальную точку 2442 экстента.
Как показано на фиг.24, информация 2410 о клипах содержит системную скорость 2411, время 2412 начала воспроизведения и время 2413 окончания воспроизведения. Системная скорость 2411 устанавливает системную скорость RTS для файла (01000.m2ts) 241 2-мерного видео. Как показано на фиг.17, устройство 102 воспроизведения в режиме 2-мерного воспроизведения передает «TS-пакеты», принадлежащие файлу (01000.m2ts) 241 2-мерного видео из буфера 1721 считывания в устройстве 102 воспроизведения в выходной декодер 1723 системы. Интервал между ATS исходных пакетов в файле 241 2-мерного видео устанавливается таким, чтобы скорость передачи TS-пакетов была ограничена системной скоростью RTS или ниже этой скорости. Время 2412 начала воспроизведения указывает PTS для VAU, расположенного в начале файла 241 2-мерного видео, например, PTS начального видеокадра. Время 2413 окончания воспроизведения указывает значение задержки по STC на предварительно заданное время после PTS для VAU, расположенного в конце файла 241 2-мерного видео, например, сумму PTS последнего видеокадра и времени воспроизведения одного кадра.
Как показано на фиг.24, атрибутивная информация 2420 о потоке является таблицей соответствия между PID 2421 для каждого элементарного потока, содержащегося в файле 241 2-мерного видео, и порциями атрибутивной информации 2422. Каждая порция атрибутивной информации 2422 является различной для видеопотока, аудиопотока, потока PG и потока IG. Например, атрибутивная информация, соответствующая PID 0×1011 для первичного видеопотока, содержит тип кодека, используемого для сжатия видеопотока, а также разрешение, формат экрана изображения и частоту кадров для каждой картинки, составляющей видеопоток. С другой стороны, атрибутивная информация, соответствующая PID 0×1100 для первичного аудиопотока, содержит тип кодека, используемого для сжатия аудиопотока, число каналов, содержащихся в аудиопотоке, язык и частоту дискретизации. Устройство 102 воспроизведения использует упомянутую атрибутивную информацию 2422 для инициализации декодера.
[Карта отображения точек входа]
На фиг.25A схематически представлена структура данных карты 2430 отображения точек входа. Как показано на фиг.25A, карта 2430 отображения точек входа содержит таблицы 2500. Имеющееся число таблиц 2500 равно существующему числу видеопотоков, мультиплексированных в основном TS, и таблицы однозначно присвоены каждому видеопотоку. Как показано на фиг.25A, каждая таблица 2500 характеризуется посредством PID видеопотока, которому таблица присвоена. Каждая таблица 2500 содержит заголовок 2501 карты отображения точек входа и точку 2502 входа. Заголовок 2501 карты отображения точек входа содержит PID, соответствующий таблице 2500 и общему числу точек 2502 входа, содержащихся в таблице 2500. Точка 2502 входа связывает пару из PTS 2503 и номера исходного пакета (SPN) 2504 с одной из совершенно разных ID точек входа (EP_ID) 2505. PTS 2503 соответствует PTS для одной из I-картинок, содержащихся в видеопотоке для PID, указанного заголовком 2501 карты отображения точек входа. SPN 2504 соответствует SPN для начала группы исходных пакетов, хранящихся в соответствующей I-картинке. «SPN» означает номер, присваиваемый по порядку от начала группы исходных пакетов, принадлежащей одному файлу AV-потока. SPN служит адресом для каждого исходного пакета в файле AV-потока. В карте 2430 отображения точек входа в файле 231 информации о 2-мерных клипах SPN относится к номеру, присвоенному группе исходных пакетов, принадлежащей файлу 241 2-мерного видео, т.е. группе исходных пакетов, составляющей основной TS. Соответственно, точка 2502 входа выражает взаимосвязь между PTS и адресом, т.е. SPN, каждой I-картинки, содержащейся в файле 241 2-мерного видео.
Точку 2502 входа не требуется устанавливать для всех I-картинок в файле 241 2-мерного видео. Однако, когда I-картинка расположена в начале GOP, и TS-пакет, который содержит начало упомянутой I-картинки, расположен в начале 2-мерного экстента, то для упомянутой I-картинки следует устанавливать точку 2502 входа.
На фиг.25B схематически представлены исходные пакеты в группе 2510 исходных пакетов, принадлежащей файлу 241 2-мерного видео, которые связаны с каждым EP_ID 2505 посредством карты 2430 отображения точек входа. На фиг.25C схематически представлена группа блоков данных D[n], B[n] (n=0, 1, 2, 3, …), соответствующая группе 2510 исходных пакетов на диске BD-ROM 101. Когда устройство 102 воспроизведения воспроизводит 2-мерные видеоизображения из файла 241 2-мерного видео, упомянутое устройство обращается к карте 2430 отображения точек входа, чтобы назначить SPN для исходного пакета, который содержит кадр, представляющий произвольно выбранную сцену, по PTS для упомянутого кадра. В частности, когда, например, указана PTS=360000 в качестве PTS для конкретной точки входа для позиции начала воспроизведения, устройство 102 воспроизведения сначала вызывает SPN=3200, распределенный упомянутой PTS в карте 2430 отображения точек входа. Затем, устройство 102 воспроизведения производит поиск частного SPN×192/2048, т.е. значения SPN, умноженного на 192 байта, составляющих объем данных на один исходный пакет, и деленного на 2048 байтов, составляющих объем данных на один сектор. Как следует из фиг.5B и 5C, упомянутое значение идентично общему числу секторов, записанному в основном TS перед исходным пакетом, которому присвоен SPN. В примере, показанном на фиг.25B, упомянутое значение равно 3200×192/2048=300 и равно суммарному числу секторов, в которых записаны группы 2510 исходных пакетов с SPN 0-3199. Затем, устройство 102 воспроизведения обращается к дескриптору распределения в элементе описания файла в файле 241 2-мерного видео и задает LBN (общее число + 1)-го сектора с отсчетом от начала группы секторов, в которых записаны группы 2-мерных экстентов. В примере, показанном на фиг.25C, внутри группы секторов, в которых записаны блоки B[0], B[1], B[2], … данных основного ракурса, к которым можно обращаться как к 2-мерным экстентам EXT2D[0], EXT2D[1], EXT2D[2], задан LBN 301-го сектора, отсчитываемого от начала. Устройство 102 воспроизведения указывает упомянутый LBN дисководу 121 дисков BD-ROM. Таким образом, группы блоков данных основного ракурса считываются как упорядоченные структурные элементы по порядку от сектора для упомянутого LBN. Кроме того, начиная с первого упорядоченного структурного элемента, который считывается, устройство 102 воспроизведения выбирает исходный пакет, указанный точкой входа как позиция для начала воспроизведения, извлекает и декодирует его как I-картинку. С этого момента последующие картинки декодируются по порядку с привязкой к декодированным картинкам. Таким образом, устройство 102 воспроизведения может воспроизводить 2-мерные видеоизображения из файла 241 2-мерного видео, от заданной PTS и далее.
Кроме того, карта 2430 отображения точек входа пригодна для эффективной обработки данных во время специального воспроизведения, например, ускоренной «перемотки» вперед, назад и т.п. Например, устройство 102 воспроизведения в режиме 2-мерного воспроизведения сначала обращается к карте 2430 отображения точек входа для считывания SPN, начинающихся в позиции для начала воспроизведения, например, для SPN=3200, 4800, … по порядку от точек входа EP_ID=2, 3, …, которые содержат PTS, начинающиеся с PTS=360000. Затем, устройство 102 воспроизведения обращается к элементу описания файла в файле 241 2-мерного видео, чтобы задать LBN секторов, соответствующих каждому SPN. Затем, устройство 102 воспроизведения указывает каждый LBN дисководу 121 дисков BD-ROM. Упорядоченные структурные элементы считываются, таким образом, из сектора для каждого LBN. Кроме того, из каждого упорядоченного структурного элемента устройство 102 воспроизведения выбирает исходный пакет, указанный каждой точкой входа, извлекает и декодирует его как I-картинку. Таким образом, устройство 102 воспроизведения может избирательно воспроизводить I-картинку из файла 241 2-мерного видео, без анализа самой группы EXT2D[n] 2-мерных экстентов.
[Таблица смещений]
На фиг.26A схематически представлена структура данных таблицы 2441 смещений. Таблица 2441 смещений является информацией, используемой для обработки кадрирования в устройстве 102 воспроизведения в режиме 3-мерного воспроизведения. «Обработкой кадрирования» называется обработка для формирования из таблицы, представляющей 2-мерное видеоизображение, пары порций данных плоскостей, которые представляют левый ракурс и правый ракурс. Порцией «данных плоскости» называется двумерный массив пиксельных данных. Размер массива эквивалентен разрешению видеокадра. Порция данных пикселя состоит из значения цветовой координаты и значения α. Значение цветовой координаты выражается в виде значения RGB или значения YCrCb. Задача обработки кадрирования включает в себя порции данных плоскостей, формируемых их потоков PG, потоков IG и вспомогательных видеопотоков в основном TS, а также порции данных плоскостей изображений, формируемых в соответствии с объектом BD-J. Обработка кадрирования изменяет горизонтальную позицию каждого пикселя данных пикселя в порции данных плоскости. Соответственно, в паре порций данных плоскостей, полученных посредством обработки кадрирования, позиции представления в левом ракурсе и правом ракурсе сдвинуты влево и вправо от начальной позиции представления в 2-мерном видеоизображении. Зритель получает возможность восприятия пары из левого ракурса и правого ракурса в качестве одного 3-мерного видеоизображения благодаря бинокулярному параллаксу, создаваемому упомянутыми сдвигами.
Как показано на фиг.26A, таблица 2441 смещений содержит таблицу 2610 для каждого PID в потоках PG, потоках IG и вспомогательных видеопотоках. Каждая таблица 2610 является таблицей соответствия между PTS 2601 и величинами 2602 смещений. PTS 2601 представляет каждую порцию данных плоскости, формируемых из потоков PG, потоков IG и вспомогательных видеопотоков. Величина 2602 смещения представляет снабженное знаком число пикселей, на которое каждая порция данных пикселя сдвигается по горизонтали обработкой кадрирования. Например, положительный знак означает сдвиг вправо, и отрицательный знак означает сдвиг влево. Знак величины 2602 смещения определяется по тому, глубже ли 3-мерное видеоизображение, чем экран, или ближе к зрителю. В дальнейшем, пара 2603 из PTS 2601 и величины 2602 смещения называется «элементом данных смещения».
На фиг.26B схематически представлен действующий сегмент элемента данных смещения. Действующий сегмент элемента данных смещения является, в промежутке времени, измеряемого по STC, интервалом от момента времени, указанного посредством PTS элемента данных смещения, до момента времени, указанного посредством PTS следующего элемента данных смещения. Когда PTS для порции данных плоскости принадлежит действующему сегменту некоторого элемента данных смещения, то во время обработки кадрирования позиция представления данных пикселя в упомянутой порции данных плоскости сдвигается на величину смещения в элементе данных смещения. В примере, показанном на фиг.26A, PTS элемента № 1 данных смещения равняется 180000, PTS элемента № 2 данных смещения равняется 270000, и PTS элемента № 3 данных смещения равняется 360000. В настоящем случае, как показано на фиг.26B, величина смещения «+5» в элементе № 1 данных смещения действует в диапазоне 2604 по STC от 180000 до 270000, и величина смещения «+3» в элементе № 2 данных смещения действует в диапазоне 2605 по STC от 270000 до 360000.
[Начальная точка экстента]
На фиг.27A схематически представлена структура данных начальных точек 2442 экстентов. Как показано на фиг.27A, «начальная точка 2442 экстента» содержит ID экстента основного ракурса (EXT1_ID) 2711 и SPN 2712. EXT1_ID 2711 является порядковым номером, последовательно присваиваемым с начала блокам данных основного ракурса, принадлежащим первому SS-файлу (01000.ssif) 244A. Один SPN 2712 присваивается каждому EXT1_ID 2711 и является таким же, как SPN для исходного пакета, расположенного в начале блока данных основного ракурса, идентифицированного EXT1_ID 2711. Упомянутый SPN является порядковым номером, присваиваемым с начала исходным пакетам, содержащимся в группе блоков данных основного ракурса, принадлежащей первому SS-файлу 244A.
В блоках 1301-1303 экстентов, показанных на фиг.13, файл 241 2-мерного видео и первый SS-файл 244A содержат блоки B[0], B[1], B[2], … данных основного ракурса как общие части. Однако, группы блоков данных, расположенные на участках, требующих наступления длинного перехода, например, на границах между слоями записи данных, обычно содержат блоки данных основного ракурса, принадлежащие только какому-то одному из файла 241 2-мерного видео или первого SS-файла 244A (подробно см. модификацию [E]). Соответственно, SPN 2712, который указывает начальную точку 2442 экстента, обычно отличается от SPN для исходного пакета, расположенного в начале 2-мерного экстента, принадлежащего файлу 241 2-мерного видео.
На фиг.27B схематически представлена структура данных начальных точек 2720 экстентов, содержащихся во втором файле (02000.clpi) информации о клипах, т.е. в файле 232 информации о клипах правого ракурса. Как показано на фиг.27B, начальная точка 2720 экстента содержит ID (идентификаторы) экстентов правого ракурса (EXT2_ID) 2721 и SPN 2722. EXT2_ID 2721 представляют собой порядковые номера, присваиваемые от начала блоков данных правого ракурса, принадлежащих первому SS-файлу 244A. Один SPN 2722 присваивается каждому EXT2_ID 2721 и является таким же, как SPN для исходного пакета, расположенного в начале блока данных правого ракурса, идентифицированного посредством EXT2_ID 2721. Упомянутый SPN является порядковым номером, присваиваемым по порядку от начала исходным пакетам, содержащимся в группе блоков данных правого ракурса, принадлежащей первому SS-файлу 244A.
На фиг.27D схематически представлена взаимосвязь между экстентами EXT2[0], EXT2[1], … правого ракурса, принадлежащими первому DEP-файлу (02000.m2ts) 242 и SPN 2722, показанными начальными точками 2720 экстента. Как показано на фиг.13, первый DEP-файл 242 и первый SS-файл 244A содержат блоки данных правого ракурса как общие части. Соответственно, как видно из фиг.27D, каждый SPN 2722, показанный начальной точкой 2720 экстента, является таким же, как SPN для исходного пакета, расположенного в начале каждого экстента EXT2[0], EXT2[1], … правого ракурса.
Как поясняется ниже, начальная точка 2442 экстента в файле 231 информации о 2-мерных клипах и начальная точка 2720 экстента в файле 232 информации о клипах правого ракурса служат для обнаружения границы блоков данных, содержащихся в каждом SS-экстенте во время воспроизведения 3-мерных видеоизображений из первого SS-файла 244A.
На фиг.27E схематически представлен пример взаимосвязи между SS-экстентом EXTSS[0], принадлежащим первому SS-файлу 244A, и блоком экстентов на диске BD-ROM 101. Как показано на фиг.27E, блок экстентов содержит группы D[n] и B[n] (n=0, 1, 2, …) блоков данных по схеме расположения с чередованием. Следует отметить, что последующее описание справедливо также для других схем расположения. К блоку экстентов можно обращаться как к одному SS-экстенту. Кроме того, в SS-экстенте EXTSS[0] число исходных пакетов, содержащихся в n-м блоке B[n] данных основного ракурса, равняется, в начальной точке 2442 экстента, разности A(n+1)-An между SPN, соответствующими EXT1_ID=n+1 и n (здесь, A0=0). С другой стороны, число исходных пакетов, содержащихся в блоке D(n+1) данных правого ракурса, равняется, в начальной точке 2720 экстента, разности B(n+1)-Bn между SPN, соответствующими EXT2_ID=n+1 и n. Здесь, B0=0.
Когда устройство 102 воспроизведения в L/R-режиме воспроизводит 3-мерные видеоизображения из первого SS-файла 244A, то, в дополнение к картам отображения точек входа в файлах 231 и 232 информации о клипах, устройство 102 воспроизведения обращается также к начальным точкам 2442 и 2720 экстентов. Тем самым, устройство 102 воспроизведения задает, по PTS для кадра, представляющего правый ракурс произвольной сцены, LBN для сектора, в котором записан блок данных правого ракурса, который содержит кадр. В частности, например, устройство 102 воспроизведения сначала отыскивает SPN, соответствующий PTS, в карте отображения точек входа в файле 232 информации о клипах правого ракурса. Предположим, что исходный пакет, указанный посредством SPN, содержится в третьем экстенте EXT2[2] правого ракурса в первом DEP-файле 242, т.е. в блоке D[2] данных правого ракурса. Затем, устройство 102 воспроизведения извлекает «B2», наибольший SPN перед заданным SPN, из SPN 2722, представляемых начальными точками 2720 экстента в файле 232 информации о клипах правого ракурса. Устройство 102 воспроизведения извлекает также соответствующий EXT2_ID «2». Затем устройство 102 воспроизведения извлекает значение «A2» для SPN 2712, соответствующего EXT1_ID, который является таким же, как EXT2_ID «2». Далее, устройство 102 воспроизведения отыскивает сумму B2+A2 извлеченных SPN. Как можно видеть из фиг.27E, упомянутая сумма B2+A2 идентична общему числу исходных пакетов, содержащихся в блоках данных, расположенных перед третьим блоком D[2] данных правого ракурса, среди блоков данных, содержащихся в группе EXTSS[0], EXTSS[1], … SS-экстентов. Соответственно, упомянутая сумма B2+A2, умноженная на 192 байта, объем данных в одном исходном пакете и деленная на 2048 байтов, объем данных на один сектор, т.е. (B2+A2)×192/2048, дает число секторов от начала группы SS-экстентов до позиции непосредственно перед третьим блоком D[2] данных правого ракурса. При использовании приведенного частного LBN для сектора, в котором записано начало блока D[2] данных правого ракурса, может быть задан посредством обращения к элементу описания файла для первого SS-файла 244A.
После задания LBN в соответствии с вышеприведенным описанием устройство 102 воспроизведения указывает LBN дисководу 121 дисков BD-ROM. Таким образом, участок SS-экстента EXTSS[0], записанный, начиная с сектора для упомянутого LBN, т.е. блоков D[2], B[2], D[3], B[3], … данных, начинающихся с третьего блока D[2] данных правого ракурса, считывается как упорядоченные структурные элементы.
Устройство 102 воспроизведения далее обращается к начальным точкам 2442 и 2720 экстентов для извлечения блоков данных зависимого ракурса и блоков данных основного ракурса поочередно из считываемых SS-экстентов. Например, допустим, что блоки D[n] и B[n] (n=0, 1, 2, …) данных считываются по порядку из SS-экстента EXTSS[0], показанного на фиг.27E. Устройство 102 воспроизведения сначала извлекает B1 исходных пакетов от начала SS-экстента EXTSS[0] в качестве блока D[0] данных зависимого ракурса. Затем, устройство 102 воспроизведения извлекает B1-й исходный пакет и следующие (A1-1) исходных пакетов, всего A1 исходных пакетов, в качестве первого блока B[0] данных основного ракурса. Затем устройство 102 воспроизведения извлекает (B1+A1)-й исходный пакет и следующие (B2-B1-1) исходных пакетов, всего (B2-B1) исходных пакетов, в качестве второго блока D[1] данных зависимого ракурса. Устройство 102 воспроизведения дополнительно извлекает (A1+B2)-й исходный пакет и следующие (A2-A1-1) исходных пакетов, всего (A2-A1) исходных пакетов, в качестве второго блока B[1] данных основного ракурса. После этого устройство 102 воспроизведения продолжает таким образом обнаруживать границу между блоками данных в SS-экстенте по числу считанных исходных пакетов, с поочередным извлечением, тем самым, блоков данных зависимого ракурса и основного ракурса. Извлекаемые блоки данных основного ракурса и зависимого ракурса передаются в выходной декодер системы для параллельного декодирования.
Таким образом, устройство 102 воспроизведения в L/R-режиме может воспроизводить 3-мерные видеоизображения из первого SS-файла 244A, начиная с определенной PTS. В результате, устройство 102 воспроизведения может, фактически, извлекать пользу из вышеописанных преимуществ (A) и (B), касающихся управления дисководом 121 дисков BD-ROM.
<<Основание файла>>
На фиг.27C схематически представлены блоки B[0], B[1], B[2], … данных основного ракурса, извлекаемые из первого SS-файла 244A устройством 102 воспроизведения в L/R-режиме. Как показано на фиг.27C, при распределении SPN по порядку от начала исходным пакетам, содержащимся в блоке B[n] (n=0, 1, 2, …) данных базового ракурса, SPN исходного пакета, расположенного в начале блока B[n] данных, равен SPN 2712, указывающему начальную точку 2442 экстента. Группа блоков данных основного ракурса, извлекаемая из одного SS-файла посредством обращения к начальным точкам экстента, подобная группе B[n] блоков данных основного ракурса, называется «основанием файла». Кроме того, блоки данных основного ракурса, содержащиеся в основании файла, называются «экстентами основного ракурса». Как показано на фиг.27E, каждый экстент EXT1[0], EXT1[1], … основного ракурса обозначается начальной точкой 2442 или 2720 экстента в файле информации о клипах.
Экстент EXT1[n] основного ракурса содержит тот же блок B[n] данных основного ракурса как общую часть с 2-мерным экстентом EXT2D[n]. Соответственно, основание файла содержит такой же основной TS, как файл 2-мерного видео. Однако, в отличие от 2-мерного экстента EXT2D[n], экстент EXT1[n] основного ракурса не указывается элементом описания какого-либо файла. Как пояснялось выше, экстент EXT1[n] основного ракурса извлекается из SS-экстента EXTSS [.] в SS-файле с использованием начальной точки экстента в файле информации о клипах. Таким образом, основание файла отличается от обычного файла отсутствием в нем элемента описания файла и необходимостью в начальной точке экстента в качестве ссылки на экстент основного ракурса. В этом смысле, основание файла является «виртуальным файлом». В частности, основание файла не распознается файловой системой и не появляется в структуре каталогов/файлов, показанной на фиг.2.
На фиг.28 схематически представлена взаимосвязь между одним блоком 2800 экстентов, записанным на диск BD-ROM 101, и каждым из блоков экстентов в файле 2810 2-мерного видео, основанием 2811 файла, DEP-файлом 2812 и SS-файлом 2820. Как показано на фиг.28, блок 2800 экстентов содержит блок D[n] данных зависимого ракурса и блок B[n] (n=…, 0, 1, 2, 3, …) данных основного ракурса. Блок B[n] данных основного ракурса принадлежит файлу 2810 2-мерного видео как 2-мерный экстент EXT2D[n]. Блок D[n] данных зависимого ракурса принадлежит DEP-файлу 2812 как экстент EXT2[n] зависимого ракурса. Весь блок 2800 экстентов принадлежит SS-файлу 2820 как один SS-экстент EXTSS[0]. Соответственно, SS-экстент EXTSS[0] содержит блок B[n] данных основного ракурса как общую часть с 2-мерным экстентом EXT2D[n] и содержит блок D[n] данных зависимого ракурса как общую часть с экстентом EXT2[n] зависимого ракурса. После того как SS-экстент EXTSS[0] считывается в устройство 102 воспроизведения, считанный SS-экстент EXTSS[0] разделяется на блок D[n] данных зависимого ракурса и блок B[n] данных основного ракурса. Упомянутые блоки B[n] данных основного ракурса принадлежат основанию 2811 файла в виде экстентов EXT1[n] основного ракурса. Граница внутри SS-экстента EXTSS[0] между экстентом EXT1[n] основного ракурса и экстентом EXT2[n] зависимого ракурса задается с помощью начальной точки экстента в файле информации о клипах, соответствующем каждому файлу из файла 2810 2-мерного видео и DEP-файла 2812.
<<Файл информации о клипах зависимого ракурса>>
Файл информации о клипах зависимого ракурса имеет такую же структуру данных, как файл информации о 2-мерных клипах, показанный на фиг.24-27. Соответственно, нижеприведенное описание относится к различиям между файлом информации о клипах зависимого ракурса и файлом информации о 2-мерных клипах, со ссылками на вышеприведенное описание в том, что касается сходства.
Файл информации о клипах зависимого ракурса отличается от файла информации о 2-мерных клипах, в основном, по следующим трем пунктам: (i) на атрибутивную информацию о потоках налагаются условия, (ii) на точки входа налагаются условия, и (iii) 3-мерные метаданные не содержат таблиц смещений.
(i) Когда видеопоток основного ракурса и видеопоток зависимого ракурса должны служить для воспроизведения 3-мерных видеоизображений устройством 102 воспроизведения в L/R-режиме, как показано на фиг.6, видеопоток зависимого ракурса сжимается с использованием видеопотока основного ракурса. При этом атрибуты видеопотока для видеопотока зависимого ракурса эквивалентны атрибутам для видеопотока основного ракурса. Атрибутивная информация о видеопотоке для видеопотока основного ракурса соответствует PID=0×1011 в атрибутивной информации 2420 о потоках в файле информации о 2-мерных клипах. При этом атрибутивная информация о видеопотоке для видеопотока зависимого ракурса соответствует PID=0×1012 или 0×1013 в атрибутивной информации о потоках в файле информации о клипах зависимого ракурса. Соответственно, позиции, показанные на фиг.24, т.е. кодек, разрешение, формат экрана изображения и частота кадров, должны согласовываться между упомянутыми двумя порциями атрибутивной информации о видеопотоках. Если тип кодека согласуется, то, во время кодирования, между картинками основного ракурса и картинками зависимого ракурса устанавливается исходная взаимосвязь, и, следовательно, каждую картинку можно декодировать. Если согласуются как разрешение, так и формат экрана изображения и частота кадров, то представление левого и правого видео на экране можно синхронизировать. Поэтому, упомянутые видео можно представлять как 3-мерные видеоизображения, без появления у зрителя ощущения дискомфорта.
(ii) Карта отображения точек входа в файле информации о клипах зависимого ракурса содержит таблицу, назначенную видеопотоку зависимого ракурса. Подобно таблице 2500, показанной на фиг.25A, упомянутая таблица содержит заголовок карты отображения точек входа и точки входа. Заголовок карты отображения точек входа указывает PID для видеопотока зависимого ракурса, назначенного таблице, т.е. либо 0×1012 или 0×1013. В каждой точке входа пара PTS и SPN соответствует одному EP_ID. PTS для каждой точки входа является такой же, как PTS для начальной картинки в одной из GOP, содержащихся в видеопотоке зависимого ракурса. SPN для каждой точки входа является таким же, как начальный SPN группы исходных пакетов, сохраненных в картинке, указанной PTS, принадлежащей той же самой точке входа. Упомянутый SPN указывает порядковый номер, присваиваемый последовательно с начала группе исходных пакетов, принадлежащей DEP-файлу, т.е. группе исходных пакетов, составляющих дополнительный TS. PTS для каждой точки входа должна согласовываться с PTS, содержащейся в карте отображения точек входа в файле информации о 2-мерных клипах для точки входа в таблице, назначенной видеопотоку основного ракурса. Иначе говоря, всякий раз, когда точка входа присваивается началу группы исходных пакетов, которая содержит одну из набора картинок, содержащихся в одном 3-мерном VAU, началу группы исходных пакетов, которая содержит другую картинку, всегда должна присваиваться точка входа.
На фиг.29 схематически представлен пример точек входа, установленных в видеопотоке 2910 основного ракурса и видеопотоке 2920 зависимого ракурса. В двух видеопотоках 2910 и 2920 GOP, которые имеют одинаковый номер от начала, представляют видео для одного и того же периода воспроизведения. Как показано на фиг.29, в видеопотоке 2910 основного ракурса точки 2901B, 2903B и 2905B видеопотока 2910 основного ракурса присвоены началу GOPS с нечетными номерами, если считать от начала, т.е. GOP № 1, GOP № 3 и GOP № 5. Соответственно, в видеопотоке 2920 зависимого ракурса точки 2901D, 2903D и 2905D также присвоены началу GOPS с нечетными номерами, если считать от начала, т.е. GOP № 1, GOP № 3 и GOP № 5. В таком случае, когда устройство 102 3-мерного воспроизведения начинает воспроизведение 3-мерных видеоизображений из, например, GOP № 3, упомянутое устройство может немедленно вычислить адрес позиции для начала воспроизведения в SS-файле по SPN соответствующих точек 2903B и 2903D входа. В частности, когда обе точки 2903B и 2903D входа присвоены началу блока данных, то, как можно понять из фиг.27E, сумма SPN точек 2903B и 2903D входа является такой же, как SPN позиции начала воспроизведения в SS-файле. Как пояснялось со ссылкой на фиг.27E, по упомянутому номеру исходных пакетов можно вычислить LBN сектора, в котором записана часть SS-файла, относящаяся к позиции начала воспроизведения. Таким образом, даже во время воспроизведения 3-мерных видеоизображений можно повысить быстродействие для обработки, которая нуждается в произвольном доступе к видеопотоку, например, воспроизведению с перерывами или в подобном режиме.
<<Файл списка 2-мерного воспроизведения>>
На фиг.30 схематически представлена структура данных файла списка 2-мерного воспроизведения. Первый файл (00001.mpls) 221 списка 2-мерного воспроизведения, показанный на фиг.2, имеет такую структуру данных. Как показано на фиг.30, файл 221 списка 2-мерного воспроизведения содержит главный маршрут 3001 и два дополнительных маршрута 3002 и 3003.
Главный маршрут 3001 представляет собой последовательность порций информации о позициях воспроизведения (PI), которая задает главный маршрут воспроизведения для файла 241 2-мерного видео, т.е. сегмент для воспроизведения и порядок воспроизведения сегмента. Каждая PI идентифицируется уникальным ID позиции воспроизведения, равным № N (N=1, 2, 3, …). Каждая PI № N задает собственный сегмент воспроизведения вдоль главного маршрута воспроизведения посредством пары PTS. Одна из PTS в паре представляет время начала воспроизведения (время входа) сегмента воспроизведения, и другая представляет конечное время воспроизведения (время выхода). Кроме того, порядок PI в главном маршруте 3001 представляет порядок соответствующих сегментов воспроизведения в маршруте воспроизведения.
Каждый из дополнительных маршрутов 3002 и 3003 представляет собой последовательность порций информации (SUB_PI) о дополнительных позициях воспроизведения, которая задает маршрут воспроизведения, который может быть параллельно связан с главным маршрутом воспроизведения для файла 241 2-мерного видео. Упомянутый маршрут воспроизведения является сегментом файла 241 2-мерного видео, отличающимся от сегмента, представленного главным маршрутом 3001, или является сегментом потоковых данных, мультиплексированных в другом файле 2-мерного видео, с соответствующим порядком воспроизведения. Упомянутые потоковые данные представляют другие 2-мерные видеоизображения, подлежащие воспроизведению одновременно с 2-мерными видеоизображениями, воспроизводимыми из файла 241 2-мерного видео в соответствии с главным маршрутом 3001. Упомянутые другие 2-мерные видеоизображения содержат, например, дополнительное видео в формате картинка в картинке, окно просмотра, меню во временном окне или субтитры. Порядковые номера «0» и «1» присваиваются дополнительным маршрутам 3002 и 3003 в порядке регистрации в файле 221 списка 2-мерного воспроизведения. Упомянутые порядковые номера служат в качестве ID дополнительных маршрутов для идентификации дополнительных маршрутов 3002 и 3003. В дополнительных маршрутах 3002 и 3003 каждая SUB_PI идентифицируется уникальным ID дополнительной позиции воспроизведения, равным № M (M=1, 2, 3, …). Каждая SUB_PI № M задает собственный сегмент воспроизведения вдоль маршрута воспроизведения посредством пары PTS. Одна из PTS в паре представляет время начала воспроизведения сегмента воспроизведения, и другая представляет конечное время воспроизведения. Кроме того, порядок SUB_PI в дополнительных маршрутах 3002 и 3003 представляет порядок соответствующих сегментов воспроизведения в маршруте воспроизведения.
На фиг.31 схематически представлена структура данных PI № N. Как показано на фиг.31, PI № N содержит порцию ссылочной информации 3101 о клипах, время 3102 начала (время входа - In_Time) воспроизведения, конечное время 3103 (время выхода - Out-Time) воспроизведения, CC (условие соединения) 3104 и таблицу 3105 выбора потоков (именуемую в дальнейшем «таблицей STN» (таблицей номеров потоков)). Ссылочная информация 3101 о клипах представляет собой информацию для идентификации файла 231 информации о 2-мерных клипах. Время 3102 начала воспроизведения и конечное время 3103 воспроизведения соответственно указывают PTS для начала и конца сегмента для воспроизведения файла 241 2-мерного видео. CC 3104 задает условие для соединения видео в сегменте воспроизведения, заданном временем 3102 начала воспроизведения и конечным временем 3103 воспроизведения для видео в сегменте воспроизведения, заданном предыдущим PI № (N-1). Таблица STN 3105 является списком элементарных потоков, которые могут быть выбраны из файла 241 2-мерного видео декодером в устройстве 102 воспроизведения, от момента времени 3102 начала воспроизведения до конечного момента времени 3103 воспроизведения.
Структура данных SUB_PI идентична структуре данных PI, показанной на фиг.31, поскольку она содержит ссылочную информацию о клипах, время начала воспроизведения и конечное время воспроизведения. В частности, время начала воспроизведения и конечное время воспроизведения в SUB_PI выражаются в виде значений по той же временной оси, как в PI. SUB_PI дополнительно содержит поле «условия соединения SP». Условие соединения SP имеет такой же смысл, как условие соединения для PI.
[Условие соединения]
Условие 3104 соединения (сокращенно именуемое в дальнейшем как CC) может быть одним из трех значений, например, «1», «5» и «6». Когда CC 3104 равно «1», то видео, подлежащее воспроизведению из сегмента файла 241 2-мерного видео, заданного PI № N, не нуждается в бесшовном соединении с видео, воспроизводимым из сегмента файла 241 2-мерного видео, заданного непосредственно предшествующим PI № N. С другой стороны, когда CC 3104 означает «5» или «6», оба видеоизображения нуждаются в бесшовном соединении.
На фиг.32A и 32B схематически представлена взаимосвязь между сегментами 3201 и 3202 воспроизведения, которые подлежат соединению, когда CC 3104 соответственно указывает «5» и «6». В этом случае PI № N(N-1) задает первый сегмент 3201 в файле 241 2-мерного видео, и PI № N задает второй сегмент 3202 в файле 241 2-мерного видео. Как видно из фиг.32A, когда CC 3104 указывает «5», PI № (N-1) и PI № N по STC могут быть непоследовательными. То есть, PTS № 1 в конце первого сегмента 3201 и PTS № 2 в начале второго сегмента 3202 могут быть непоследовательными. Однако необходимо удовлетворить несколько ограничительных условий. Например, первый сегмент 3201 и второй сегмент 3202 необходимо создавать так, чтобы декодер мог плавно продолжать декодирование данных, даже когда второй сегмент 3202 подается в декодер последовательно после первого сегмента 3201. Кроме того, последний кадр аудиопотока, содержащегося в первом сегменте 3201, должен налагаться на начальный кадр аудиопотока, содержащегося в втором сегменте 3202. С другой стороны, как показано на фиг.32B, когда CC 3104 указывает «6», то первый сегмент 3201 и второй сегмент 3202 должны быть пригодными для обработки по типу последовательных сегментов, чтобы декодер декодировал надлежащим образом. То есть, значения по STC и ATC должны быть последовательными от первого сегмента 3201 к второму сегменту 3202. Аналогично, когда условие соединения SP обозначено «5» или «6», то значения по STC и ATC должны быть последовательными в сегментах файла 2-мерного видео, заданного двумя последовательными SUB_PI.
[Таблица STN]
Как также показано на фиг.31, таблица STN 3105 является массивом регистрационной информации о потоке. «Регистрационная информация о потоке» является информацией, составляющей список отдельных элементарных потоков, которые могут быть выбраны для воспроизведения из основного TS между временем 3102 начала воспроизведения и конечным временем 3103 воспроизведения. Номер потока (STN) 3106 является последовательным номером, присвоенным отдельно регистрационной информации о потоке, и используется устройством 102 воспроизведения для идентификации каждого элементарного потока. STN 3106 дополнительно указывает приоритет для выбора из элементарных потоков одинакового типа. Регистрационная информация о потоке содержит элемент 3109 описания потока и атрибутивную информацию 3110 о потоке. Элемент 3109 описания потока содержит маршрутную информацию 3107 о потоке и идентификационную информацию 3108 о потоке. Маршрутная информация 3107 о потоке является информацией, указывающей файл 2-мерного видео, которому принадлежит выбранный элементарный поток. Например, если маршрутная информация 3107 о потоке указывает «главный маршрут», то файл 2-мерного видео соответствует файлу информации о 2-мерных клипах, указанному ссылочной информацией 3101 о клипах. С другой стороны, если маршрутная информация 3107 о потоке указывает «sub-path ID=1» («ID=1 дополнительного маршрута»), то файл 2-мерного видео, которому принадлежит выбранный элементарный поток, соответствует файлу информации о 2-мерных клипах, указанному ссылочной информацией SUB_PI о клипах, содержащейся в дополнительном маршруте с ID=1 дополнительного маршрута. Как время начала воспроизведения, так и конечное время воспроизведения, заданные упомянутой SUB_PI, содержатся в интервале от момента времени 3102 начала воспроизведения до конечного момента времени 3103 воспроизведения, заданном посредством PI, содержащейся в таблице STN 3105. Идентификационная информация 3108 о потоке указывает PID для элементарного потока, мультиплексированного в файле 2-мерного видео, заданном маршрутной информацией 3107 о потоке. Элементарный поток, указанный упомянутым PID, может быть выбран от момента времени 3102 начала воспроизведения до конечного момента времени 3103 воспроизведения. Атрибутивная информация 3110 о потоке указывает атрибутивную информацию для каждого элементарного потока. Например, атрибутивная информация для аудиопотока, потока PG и потока IG указывает тип языка потока.
[Воспроизведение 2-мерных видеоизображений в соответствии с файлом списка 2-мерного воспроизведения]
На фиг.33 схематически представлены взаимосвязи между PTS, указываемыми файлом (00001.mpls) 221 списка 2-мерного воспроизведения, и сегментами, воспроизводимыми из файла (01000.m2ts) 241 2-мерного видео. Как показано на фиг.33, в главном маршруте 3001 в файле 221 списка 2-мерного воспроизведения PI № 1 задает PTS № 1, которая указывает время IN1 начала воспроизведения, и PTS № 2, которая указывает конечное время OUT1 воспроизведения. Ссылочная информация 3101 о клипах для PI № 1 указывает файл (01000.clpi) 231 информации о 2-мерных клипах. При воспроизведении 2-мерных видеоизображений в соответствии с файлом 221 списка 2-мерного воспроизведения устройство 102 воспроизведения сначала считывает PTS № 1 и PTS № 2 из PI № 1. Затем, устройство 102 воспроизведения обращается к карте отображения точек входа в файл 231 информации о 2-мерных клипах для вызова SPN № 1 и SPN № 2, которые соответствуют PTS № 1 и PTS № 2, из файла 241 2-мерного видео. После этого устройство 102 воспроизведения вычисляет соответствующие числа секторов по SPN № 1 и SPN № 2. Кроме того, устройство 102 воспроизведения обращается к упомянутым числам секторов и дескрипторам распределения в элементе описания файла для файла 241 2-мерного видео, чтобы задать LBN № 1 и LBN № 2 в начале и конце, соответственно, группы P1 секторов, в которых записана группа 2-мерных экстентов EXT2D[0], …, EXT2D[n], подлежащих воспроизведению. Вычисление численностей секторов и назначение LBN выполняются согласно описанию фиг.27B и 27C. И, наконец, устройство 102 воспроизведения указывает диапазон от LBN № 1 до LBN № 2 для дисковода 121 дисков BD-ROM. Таким образом, из группы P1 секторов в упомянутом диапазоне считывается группа исходных пакетов, принадлежащая группе 2-мерных экстентов EXT2D[0], …, EXT2D[n]. Аналогично, пара PTS № 3 и PTS № 4, указанная посредством PI № 2, сначала преобразуется в пару SPN № 3 и SPN № 4 путем обращения к карте отображения точек входа в файле 231 информации о 2-мерных клипах. Затем, путем обращения к дескрипторам распределения в элементе описания файла для файла 241 2-мерного видео пара SPN №3 и SPN №4 преобразуется в пару LBN № 3 и LBN № 4. Далее, из группы P2 секторов в диапазоне от LBN № 3 до LBN № 4 считывается группа исходных пакетов, принадлежащая группе 2-мерных экстентов. Аналогично выполняется преобразование пары PTS № 5 и PTS № 6, указанной посредством PI № 3, в пару SPN № 5 и SPN № 6, преобразование пары SPN № 5 и SPN № 6 в пару LBN № 5 и LBN № 6 и считывание группы исходных пакетов из группы P3 секторов в диапазоне от LBN № 5 до LBN № 6. Устройство 102 воспроизведения воспроизводит таким образом 2-мерные видеоизображения из файла 241 2-мерного видео в соответствии с главным маршрутом 3001 в файле 221 списка 2-мерного воспроизведения.
Файл 221 списка 2-мерного воспроизведения может содержать метку 3301 входа. Метка 3301 входа указывает момент времени на главном маршруте 3001, в который фактически должно начинаться воспроизведение. Например, как показано на фиг.33, для PI № 1 могут быть установлены несколько меток 3301 входа. Метка 3301 входа служит, в частности, для поиска позиции начала воспроизведения во время произвольной выборки. Например, когда файл 221 списка 2-мерного воспроизведения назначает маршрут воспроизведения для видеоприложения-кинофильма, метки 3301 файлов присваиваются началу каждой главы. Следовательно, устройство 102 воспроизведения может воспроизводить видеоприложение-кинофильм по главам.
<<Файл списка 3-мерного воспроизведения>>
На фиг.34 схематически представлена структура данных файла списка 3-мерного воспроизведения. Второй файл (00002.mpls) 222 списка воспроизведения, показанный на фиг.2, характеризуется такой структурой данных. Подобную структуру имеет также третий файл (00003.mpls) 223 списка воспроизведения. Как показано на фиг.34, файл (00002.mpls) 222 списка 3-мерного воспроизведения содержит главный маршрут 3401, дополнительный маршрут 3402 и данные 3403 расширения.
Главный маршрут 3401 задает маршрут воспроизведения основного TS, показанного на фиг.3A. Соответственно, главный маршрут 3401 является таким же, как главный маршрут 3001 для файла 221 списка 2-мерного воспроизведения, показанного на фиг.30. Устройство 102 воспроизведения в режиме 2-мерного воспроизведения может воспроизводить 2-мерные видеоизображения из файла 241 2-мерного видео в соответствии с главным маршрутом 3401 в файле 222 списка 3-мерного воспроизведения.
Дополнительный маршрут 3402 задает маршрут воспроизведения для дополнительных TS, показанных на фиг.3B и 6C, т.е. маршрут воспроизведения как для первого DEP-файла 242, так и для второго DEP-файла 243. Структура данных дополнительного маршрута 3402 является такой же, как структура данных дополнительных маршрутов 3002 и 3003 в файле списка 2-мерного воспроизведения, показанном на фиг.30. Соответственно, в отношении особенностей упомянутой подобной структуры данных, в частности, в отношении особенностей структуры данных SUB_PI, приводится описание фиг.30.
SUB_PI № N (N=1, 2, 3, …) в дополнительном маршруте 3402 находятся во взаимно однозначном соответствии с PI № N в главном маршруте 3401. Кроме того, время начала воспроизведения и конечное время воспроизведения, заданные каждой SUB_PI № N, являются такими же, как время начала воспроизведения и конечное время воспроизведения, заданные соответствующими PI № N. Дополнительный маршрут 3402 дополнительно содержит тип 3410 дополнительного маршрута. «Тип дополнительного маршрута» обычно указывает, следует ли синхронизировать между собой обработку воспроизведения в главном маршруте и дополнительном маршруте. В файле 222 списка 3-мерного воспроизведения тип 3410 дополнительного маршрута указывает, в частности, тип режима 3-мерного воспроизведения, т.е. тип видеопотока зависимого ракурса, подлежащего воспроизведению в соответствии с дополнительным маршрутом 3402. На фиг.34 тип 3410 дополнительного маршрута имеет значение «3D L/R» («3-мерный L/R-режим»), указывающее, что режим 3-мерного воспроизведения представляет собой L/R-режим, т.е., что для воспроизведения назначен видеопоток правого ракурса. С другой стороны, значение «3D depth» («3-мерный режим глубины») для типа 3410 дополнительного маршрута указывает, что режим 3-мерного воспроизведения представляет собой режим глубины, т.е., что для воспроизведения назначен поток карт глубины. Когда устройство 102 воспроизведения в режиме 3-мерного воспроизведения определяет, что тип 3410 дополнительного маршрута имеет значение «3-мерный L/R-режим» или «3-мерный режим глубины», то устройство 102 воспроизведения синхронизирует обработку воспроизведения в соответствии с главным маршрутом 3401 с обработкой воспроизведения в соответствии с дополнительным потоком 3402.
На фиг.85 схематически представлена взаимосвязь между участками файла 2-мерного видео, заданного двумя последовательными PI, участками DEP-файла, заданного соответствующим SUB_PI, участками SS-файла, принадлежащими упомянутым участкам, и блоками экстентов, указанными упомянутыми файлами. «N» на фиг.85 является целым числом, большим чем или равным 1, и «k» является целым числом, большим чем или равным 0. Целые числа k, n, q и s перечислены в возрастающем порядке. Целое «m» на 1 больше, чем целое число «k», целое число «p» на 1 больше, чем целое число «n», и целое число «r» на 1 больше, чем целое число «q»: m=k+1, p=n+1 и r=q+1. Как показано на фиг.85, PI № (N-1) задает первый участок 8511 файла 8510 2-мерного видео, и PI № N задает второй участок 8512 файла 8510 2-мерного видео. SUB_PI № (N-1), соответствующая PI № (N-1), задает первый участок 8521 DEP-файла 8520, и SUB_PI № N, соответствующая PI № N, задает второй участок 8522 DEP-файла 8520. Первые участки 8511 и 8521 в файлах 8510 и 8520 принадлежат первому участку 8531 SS-файла 8530, и вторые участки 8512 и 8522 файлов 8510 и 8520 принадлежат второму участку 8532 SS-файла 8530. В частности, например, 2-мерные экстенты EXT2D[0], …, EXT2D[k] на первом участке 8511 файла 8510 2-мерного видео содержат блоки B[0], …, B[k] данных основного ракурса в блоке 8501 экстентов в качестве общей части с SS-экстентом EXTSS[0] на первом участке 8531 SS-файла 8530 («k» является целым числом, большим чем или равным 0). При этом экстенты EXT2[0], …, EXT2[k] зависимого ракурса на первом участке 8521 DEP-файла 8520 содержат блоки D[0], …, D[k] зависимого ракурса в блоке 8501 экстентов в качестве общей части с SS-экстентом EXTSS[0] на первом участке 8531 в SS-файле 8530.
Когда условие соединения (CC) в PI № N составляет «5» или «6», то первый участок 8511 и второй участок 8512 файла 8510 2-мерного видео имеют бесшовное соединение. Кроме того, SPCC (условие соединения SP) соответствующей SUB_PI № N также равно «5» или «6». Соответственно, первый участок 8521 и второй участок 8522 DEP-файла 8520 имеют бесшовное соединение. В таком случае, на первом участке 8531 SS-файла 8530, за исключением начального блока 8501 экстентов, второй и последующие блоки 8502 экстентов должны удовлетворять вышеприведенному условию 4. Бесшовное соединение между начальным блоком 8501 экстентов и вторым блоком 8502 экстентов можно легко реализовать, например, проектированием достаточного размера начального блока D[0] зависимого ракурса в начальном блоке 8501 экстентов. Кроме того, на втором участке 8532 SS-файла 8530, за исключением последнего блока 8504 экстентов, блоки 8503 вплоть до второго, считая от последнего, должны удовлетворять вышеописанному условию 4.
Устройство 102 воспроизведения только в режиме 3-мерного воспроизведения интерпретирует данные 3403 расширения; устройство 102 воспроизведения в режиме 2-мерного воспроизведения пропускает данные 3403 расширения. В частности, данные 3403 расширения содержат расширение 3430 таблицы выбора потоков. «Расширение таблицы выбора потоков (STN_table_SS)» (в дальнейшем сокращенно именуемое таблицей STN SS) представляет собой массив регистрационной информации о потоке, который следует добавлять в таблицы STN, указанные каждой PI в главном маршруте 3401. Упомянутая регистрационная информация о потоке указывает элементарные потоки, которые могут быть выбраны для воспроизведения из основного TS.
На фиг.35 схематически представлена структура данных таблицы STN SS 3430. Как видно на фиг.35, таблица STN SS 3430 содержит последовательности 3501, 3503, … регистрационной информации о потоке. Последовательности 3502, 3503, … регистрационной информации о потоке, по отдельности, соответствуют PI № 1, PI № 2, PI № 3, … в главном маршруте 3401 и используются устройством 102 воспроизведения в режиме 3-мерного воспроизведения в сочетании с последовательностями регистрационной информации о потоке, содержащимися в таблицах STN в соответствующих PI. Последовательность 3501 регистрационной информации о потоке, соответствующая каждому PI, содержит смещение 3511 во время представления меню во временном окне (Fixed_offset_during_Popup), последовательность 3512 регистрационной информации о потоке для видеопотоков зависимого ракурса, последовательность 3513 регистрационной информации о потоке для потока PG и последовательность 3514 регистрационной информации о потоке для потока IG.
Смещение 3511 во время представления меню во временном окне указывает, воспроизводится ли меню во временном окне из потока IG. Устройство 102 воспроизведения в режиме 3-мерного воспроизведения изменяет режим представления видеоплоскости и плоскости PG в соответствии с величиной смещения 3511. Существует два типа режимов представления для видеоплоскости: режим представления основного ракурса (B) - зависимого ракурса (D) и режим представления B-B. Существует три типа режимов представления для плоскости PG и плоскости IG: 2-плоскостной режим, 1-плоскостной режим со смещением и 1-плоскостной режим с нулевым смещением. Например, когда величина смещения 3511 во время представления меню во временном окне равна «0», меню во временном окне из потока IG не воспроизводится. При этом для режима представления видеоплоскости выбирается режим представления B-D, и для режима представления плоскости PG выбирается 2-плоскостной режим или 1-плоскостной режим со смещением. С другой стороны, когда величина смещения во время представления меню 3511 во временном окне составляет «1», меню во временном окне воспроизводится из потока IG. При этом для режима представления видеоплоскости выбирается режим представления B-B, и для режима представления плоскости PG выбирается 1-плоскостной режим с нулевым смещением.
В «режиме представления B-D» устройство 102 воспроизведения попеременно выдает данные плоскостей, декодированные из видеопотоков левого ракурса и правого ракурса. Соответственно, поскольку видеокадры левого ракурса и правого ракурса, представляющие видеоплоскости, попеременно отображаются на экране дисплея 103, то зритель воспринимает упомянутые кадры как 3-мерные видеоизображения. В «режиме представления B-B» устройство 102 воспроизведения выдает данные плоскостей, декодированные только из видеопотока основного ракурса дважды на кадр, с сохранением, в то же время, рабочего режима 3-мерного воспроизведения (в частности, с поддержкой значения частоты кадров для 3-мерного воспроизведения, например, 48 кадров/секунду). Соответственно, на экране дисплея 103 отображаются только кадры либо левого ракурса, либо правого ракурса, и, следовательно, зритель воспринимает упомянутые кадры просто как 2-мерные видеоизображения.
В «2-плоскостном режиме», когда дополнительный TS содержит потоки графических данных левого ракурса и правого ракурса, устройство 102 воспроизведения декодирует и поочередно выводит графические двумерные данные левого ракурса и правого ракурса из потоков графических данных. В «1-плоскостном режиме со смещением» устройство 102 воспроизведения формирует пару данных плоскости левого ракурса и данных плоскости правого ракурса из потока графических данных в основном TS посредством обработки кадрирования и поочередно выводит упомянутые порции данных плоскостей. В обоих упомянутых режимах плоскости PG левого ракурса и правого ракурса поочередно отображаются на экране дисплея 103, и, следовательно, зритель воспринимает упомянутые кадры как 3-мерные видеоизображения. В «1-плоскостном режиме с нулевым смещением» устройство 102 воспроизведения временно прекращает обработку кадрирования и выдает данные плоскостей, декодированные из потока графических данных в основном TS, дважды на кадр, с сохранением, в то же время, рабочего режима 3-мерного воспроизведения. Соответственно, на экране дисплея 103 отображаются только плоскости PG либо левого ракурса, либо правого ракурса, и, следовательно, зритель воспринимает упомянутые плоскости просто как 2-мерные видеоизображения.
Устройство 102 воспроизведения в режиме 3-мерного воспроизведения использует смещение во время представления меню во временном окне для каждого PI и выбирает режим представления B-B и 1-плоскостной режим с нулевым смещением, когда из потока IG воспроизводится меню во временном окне. Когда отображается меню во временном окне, другие 3-мерные видеоизображения временно изменяются описанным образом на 2-мерные изображения. Представленное решение улучшает различимость и удобство использования меню во временном окне.
Каждая из последовательности 3512 регистрационной информации о потоке для видеопотока зависимого ракурса, последовательности 3513 регистрационной информации о потоке для потоков PG и последовательности 3514 регистрационной информации о потоке для потоков IG содержит регистрационную информацию о потоке, указывающую видеопотоки зависимого ракурса, потоки PG и потоки IG, которые можно выбрать для воспроизведения из дополнительного TS. Упомянутые последовательности 3512, 3513 и 3514 регистрационной информации о потоке используются, каждая, в сочетании с последовательностями регистрационной информации о потоке, находящимися в таблице STN соответствующей PI, которые, соответственно, указывают потоки основного ракурса, потоки PG и потоки IG. При считывании порции регистрационной информации о потоке из таблицы STN устройство 102 воспроизведения в режиме 3-мерного воспроизведения автоматически считывает также последовательность регистрационной информации о потоке, находящуюся в таблице STN SS, которая сочетается с порцией регистрационной информации о потоке. Таким образом, при простом переключении из 2-мерного воспроизведения в режим 3-мерного воспроизведения устройство 102 воспроизведения может поддерживать уже распознанные STN и атрибуты потоков, например, язык.
На фиг.36A схематически показана структура данных последовательности 3512 регистрационной информации о потоке для видеопотоков зависимого ракурса. Как видно из фиг.36A, представленная последовательность 3512 регистрационной информации о потоке, в общем, содержит множество порций регистрационной информации (SS_dependent_view_block) 3601 о потоке. Число упомянутых порций информации идентично числу порций регистрационной информации о потоке в соответствующей PI, которая указывает видеопоток основного ракурса. Каждая порция регистрационной информации 3601 о потоке содержит STN 3611, элемент 3612 описания потока и атрибутивную информацию 3613 о потоке. STN 3611 является порядковым номером, присваиваемым индивидуально порциям регистрационной информации 3601 о потоке, и идентичен STN порции регистрационной информации о потоке, находящейся в соответствующей PI, с которой сочетается каждая порция регистрационной информации 3601 о потоке. Элемент 3612 описания потока содержит ссылочную информацию 3621 об ID дополнительного маршрута (ref_to_subpath_id), ссылочную информацию 3622 о файле потока (ref_to_subclip_entry_id) и PID (ref_to_stream_PID_subclip) 3623. Ссылочная информация 3621 об ID дополнительного маршрута указывает ID дополнительного маршрута для дополнительного маршрута, который задает маршрут воспроизведения видеопотока зависимого ракурса. Ссылочная информация 3622 о файле потока является информацией для идентификации DEP-файла, сохраняющего упомянутый видеопоток зависимого ракурса. PID 3623 представляет собой PID для упомянутого видеопотока зависимого ракурса. Атрибутивная информация 3613 о потоке содержит атрибуты для упомянутого видеопотока зависимого ракурса, например, частоту кадров, разрешение и видеоформу. В частности, упомянутые атрибуты идентичны атрибутам для видеопотока основного ракурса, показанного порцией регистрационной информации о потоке, находящейся в соответствующей PI, с которой сочетается каждая порция регистрационной информации 3601 о потоке.
На фиг.36B схематически представлена структура данных последовательности 3513 регистрационной информации о потоке для потоков PG. Как показано на фиг.36B, упомянутая последовательность 3513 регистрационной информации о потоке, в общем, содержит множество порций регистрационной информации 3631 о потоке. Число упомянутых порций идентично числу порций регистрационной информации о потоке в соответствующей PI, которая указывает потоки PG. Каждая порция регистрационной информации 3631 о потоке содержит STN 3641, стереоскопический флаг (is_SS_PG) 3642, элемент 3643 описания потока основного ракурса (stream_entry_for_base_view), элемент 3644 описания потока зависимого ракурса (stream_entry_for_dependent_view) и атрибутивную информацию 3645 о потоке. STN 3641 является порядковым номером, присваиваемым индивидуально порциям регистрационной информации 3631 о потоке, и идентичен STN порции регистрационной информации о потоке, находящейся в соответствующей PI, с которой сочетается каждая порция регистрационной информации 3631 о потоке. Стереоскопический флаг 3642 указывает, содержатся ли на диске BD-ROM 101 оба потока PG как основного ракурса, так и зависимого ракурса, например, левого ракурса и правого ракурса. Если стереоскопический флаг 3642 установлен, то потоки PG содержатся в дополнительном TS. Соответственно, устройство воспроизведения считывает все поля в элементе 3643 описания потока основного ракурса, элементе 3644 описания потока зависимого ракурса и атрибутивной информации 3645 о потоке. Если стереоскопический флаг 3642 не установлен, то устройство воспроизведения пропускает все упомянутые поля 3643-3645. Как элемент 3643 описания потока основного ракурса, так и элемент 3644 описания потока зависимого ракурса содержат ссылочную информацию об ID дополнительного маршрута, ссылочную информацию о файле потока и PID. Ссылочная информация об ID дополнительного маршрута указывает ID дополнительных маршрутов для дополнительных маршрутов, которые задают маршруты воспроизведения потоков PG основного ракурса и зависимого ракурса. Ссылочная информация о файле потока является информацией для идентификации DEP-файла, хранящего потоки PG. PID представляют собой PID, относящиеся к потокам PG. Атрибутивная информация 3645 о потоке содержит атрибуты для потоков PG, например, тип языка.
На фиг.36C схематически представлена структура данных последовательности 3514 регистрационной информации о потоке для потоков IG. Как показано на фиг.36С, упомянутая последовательность 3514 регистрационной информации о потоке, в общем, содержит множество порций регистрационной информации 3651 о потоке. Число упомянутых порций идентично числу порций регистрационной информации о потоке в соответствующей PI, которая указывает потоки IG. Каждая порция регистрационной информации 3651 о потоке содержит STN 3661, стереоскопический флаг (is_SS_IG) 3662, элемент 3663 описания потока основного ракурса, элемент 3664 описания потока зависимого ракурса и атрибутивную информацию 3665 о потоке. STN 3661 является порядковым номером, присваиваемым индивидуально порциям регистрационной информации 3651 о потоке, и идентичен STN порции регистрационной информации о потоке, находящейся в соответствующей PI, с которой сочетается каждая порция регистрационной информации 3651 о потоке. Стереоскопический флаг 3662 указывает, содержатся ли на диске BD-ROM 101 оба потока IG как основного ракурса, так и зависимого ракурса, например, левого ракурса и правого ракурса. Если стереоскопический флаг 3662 установлен, то оба потока IG содержатся в дополнительном TS. Соответственно, устройство воспроизведения считывает все поля в элементе 3663 описания потока основного ракурса, элементе 3664 описания потока зависимого ракурса и атрибутивной информации 3665 о потоке. Если стереоскопический флаг 3662 не установлен, то устройство воспроизведения пропускает все упомянутые поля 3663-3665. Как элемент 3663 описания потока основного ракурса, так и элемент 3664 описания потока зависимого ракурса содержат ссылочную информацию об ID дополнительного маршрута, ссылочную информацию о файле потока и PID. Ссылочная информация об ID дополнительного маршрута указывает ID дополнительных маршрутов для дополнительных маршрутов, которые задают маршруты воспроизведения потоков IG основного ракурса и зависимого ракурса. Ссылочная информация о файле потока является информацией для идентификации DEP-файла, хранящего потоки IG. PID представляют собой PID, относящиеся к потокам IG. Атрибутивная информация 3665 о потоке содержит атрибуты для потоков IG, например, тип языка.
[Воспроизведение 3-мерных видеоизображений в соответствии с файлом списка 3-мерного воспроизведения]
На фиг.37 схематически представлены взаимосвязи между PTS, указанными файлом (00002.mpls) 222 списка 3-мерного воспроизведения, и участками, воспроизводимыми из первого SS-файла (01000.ssif) 244A. Как показано на фиг.37, в главном маршруте 3701 файла 222 списка 3-мерного воспроизведения PI № 1 задает PTS № 1, которая указывает время IN1 начала воспроизведения, и PTS № 2, которая указывает конечное время OUT1 воспроизведения. Ссылочная информация о клипах для PI № 1 указывает файл (01000.clpi) 231 о 2-мерных клипах. В дополнительном маршруте 3702, который указывает, что тип дополнительного маршрута имеет вид «3D L/R» (3-мерный L/R-режим), SUB_PI № 1 задает такие же PTS № 1 и PTS № 2, как PI № 1. Справочная информация о клипах для SUB_PI № 1 указывает файл (02000.clpi) 232 информации о клипах правого ракурса.
При воспроизведении 3-мерных видеоизображений в соответствии с файлом 222 списка 3-мерного воспроизведения устройство 102 воспроизведения сначала считывает PTS № 1 и PTS № 2 из PI № 1 и SUB_PI № 1. Затем, устройство 102 воспроизведения обращается к карте отображения точек входа в файле 231 информации о 2-мерных клипах, чтобы извлечь SPN № 1 и SPN № 2, которые соответствуют PTS № 1 и PTS № 2, из файла 241 2-мерного видео. Параллельно, устройство 102 воспроизведения обращается к карте отображения точек входа в файле 232 информации о клипах правого ракурса, чтобы вызвать SPN № 11 и SPN № 12, которые соответствуют PTS № 1 и PTS № 2, из первого DEP-файла 242. Как поясняется со ссылкой на фиг.27E, затем устройство 102 воспроизведения использует начальные точки 2442 и 2720 экстентов в файлах 231 и 232 информации о клипах, чтобы вычислить, по SPN № 1 и SPN № 11, число исходных пакетов SPN № 21 от начала первого SS-файла 244A до позиции начала воспроизведения. Аналогично, устройство 102 воспроизведения вычисляет, по SPN № 2 и SPN № 12, число исходных пакетов SPN № 22 от начала первого SS-файла SS 244A до позиции начала воспроизведения. Устройство 102 воспроизведения дополнительно вычисляет числа секторов, соответствующие SPN № 21 и SPN № 22. Затем, устройство 102 воспроизведения обращается к упомянутым числам секторов и дескрипторам распределения в элементе описания файла для SS-файла 244A, чтобы задать LBN № 1 и LBN № 2 в начале и конце, соответственно, группы P11 секторов, в которых записана группа SS-экстентов EXTSS[0], …, EXTSS[n], подлежащих воспроизведению. Вычисление числа секторов и задание LBN выполняют в соответствии с описанием к фиг.33E. И, наконец, устройство 102 воспроизведения указывает диапазон от LBN № 1 до LBN № 2 дисководу 121 дисков BD-ROM. Таким образом, группа исходных пакетов, принадлежащая группе EXTSS[0], …, EXTSS[n] SS-экстентов, считывается из группы P11 секторов в упомянутом диапазоне. Аналогично, пара PTS № 3 и PTS № 4, указанная посредством PI № 2 и SUB_PI № 2, сначала преобразуется в пару SPN № 3 и SPN № 4 и пару SPN № 13 и SPN № 14 посредством обращения к картам отображения точек входа в файлах 231 и 232 информации о клипах. Затем, число исходных пакетов SPN № 23 от начала первого SS-файла 244A до позиции начала воспроизведения вычисляется по SPN № 3 и SPN № 13, и число исходных пакетов SPN № 24 от начала первого SS-файла 244A до позиции окончания воспроизведения вычисляется по SPN № 4 и SPN № 14. Затем, с обращением к элементу описания файла для первого SS-файла 244A, пара SPN № 23 и SPN № 24 преобразуется в пару LBN № 3 и LBN № 4. Кроме того, группа исходных пакетов, принадлежащая группе SS-экстентов, считывается из P12 секторов в диапазоне от LBN № 3 до LBN № 4.
Параллельно с вышеописанной процедурой считывания, как пояснялось со ссылкой на фиг.27E, устройство 102 воспроизведения обращается к начальным точкам 2442 и 2720 экстентов в файлах 231 и 232 информации о клипах, чтобы извлечь экстенты основного ракурса из каждого 3-мерного экстента и декодировать экстенты основного ракурса параллельно с остающимися экстентами правого ракурса. Устройство 102 воспроизведения может таким образом воспроизводить 3-мерные видеоизображения из первого SS-файла 244A в соответствии с файлом 222 списка 3-мерного воспроизведения.
<<Таблица оглавления>>
На фиг.38 схематически представлена таблица 3810 оглавления в индексном файле (index.bdmv) 211, показанном на фиг.2. Как показано на фиг.38, таблица 3810 оглавления хранит позиции «вступительный клип» 3801, «главное меню» 3802 и «видеоприложение k» 3803 (k=1, 2, …, n; целое число n равно или больше, чем один). Каждая позиция связана либо с объектом-кинофильмом MVO-2D, MVO-3D, …, или с объектом BD-J BDJO-2D, BDJO-3D, …. Всякий раз, когда вызывается видеоприложение или меню в ответ на операцию пользователя или прикладную программу, блок управления в устройстве 102 воспроизведения обращается к соответствующей позиции в таблице 3810 оглавления. Кроме того, блок управления вызывает объект, связанный с позицией, с диска BD-ROM 101 и соответственно выполняет множество процедур. В частности, «вступительный клип» 3801 задает объект, подлежащий вызову, когда диск 101 загружается в дисковод 121 дисков BD-ROM. «Главное меню» 3802 задает объект для отображения меню на дисплее 103, когда вводится команда «go back to menu» («вернуться в меню»), например, посредством операции пользователя. В «видеоприложении k» 3803 индивидуально распределены видеоприложения, которые составляют контент на диске BD-ROM 101. Например, когда операцией пользователя задается видеоприложение для воспроизведения, в позиции «видеоприложение k», в которой распределено видеоприложение, задается объект для воспроизведения видео из файла AV-потока, соответствующего видеоприложению.
В примере, показанном на фиг.38, позиции «видеоприложение 1» и «видеоприложение 2» распределены видеоприложениям 2-мерных изображений. Объект-кинофильм, связанный с позицией «видеоприложение 1», MVO-2D, содержит группу команд, относящихся к процедурам воспроизведения 2-мерных видеоприложений с использованием файла (00001.mpls) 221 списка 2-мерного воспроизведения. Когда устройство 102 воспроизведения обращается к позиции «видеоприложение 1», то, в соответствии с объектом-кинофильмом MVO-2D, файл 221 списка 2-мерного воспроизведения считывается с диска BD-ROM 101, и процедуры воспроизведения 2-мерных видеоизображений выполняются в соответствии с маршрутом воспроизведения, заданным в упомянутом файле. Объект BD-J, связанный с позицией «видеоприложение 2» BDJO-2D, содержит таблицу управления приложениями, относящуюся к процедурам воспроизведения 2-мерных видеоизображений с использованием файла 221 списка 2-мерного воспроизведения. Когда устройство 102 воспроизведения обращается к позиции «видеоприложение 2», то, в соответствии с таблицей управления приложениями в объекте BD-J BDJO-2D, из файла JAR 261 вызывается и исполняется прикладная программа Java. Таким образом, с диска BD-ROM 101 считывается файл 221 списка 2-мерного воспроизведения, и процедуры воспроизведения 2-мерных видеоизображений выполняются в соответствии с маршрутом воспроизведения, заданным в упомянутом файле.
Кроме того, в примере, показанном на фиг.38, позиции «видеоприложение 3» и «видеоприложение 4» распределены видеоприложениям 3-мерных видеоизображений. Объект-кинофильм, связанный с позицией «видеоприложение 3», MVO-3D, содержит, кроме группы команд, относящихся к процедурам воспроизведения 2-мерных видеоизображений с использованием файла 221 списка 2-мерного воспроизведения, группу команд, относящихся к процедурам воспроизведения 3-мерных видеоизображений с использованием одного из файлов (00002.mpls) 222 или (00003.mpls) 223 списка 3-мерного воспроизведения. В объекте BD-J, связанном с позицией «видеоприложение 4», BDJO-3D, таблица управления приложениями задает, кроме прикладной программы Java, относящейся к процедурам воспроизведения 2-мерных видеоизображений с использованием файла 221 списка 2-мерного воспроизведения, прикладную программу Java, относящуюся к процедурам воспроизведения 3-мерных видеоизображений с использованием одного из файлов 522 или 523 списка 3-мерного воспроизведения.
Когда устройство 102 воспроизведения обращается к «видеоприложению 3», в соответствии с объектом-кинофильмом MVO-3D выполняются следующие четыре процедуры определения: (1) Поддерживает ли само устройство 102 воспроизведения воспроизведение 3-мерных видеоизображений? (2) Выбрал ли пользователь воспроизведение 3-мерных видеоизображений? (3) Поддерживает ли дисплей 103 воспроизведение 3-мерных видеоизображений? И (4) является ли режим воспроизведения 3-мерного видео устройством 102 воспроизведения L/R-режимом или режимом глубины? Затем, в соответствии с результатами упомянутых определений, для воспроизведения выбирается один из файлов 221-223 списка воспроизведения. Когда устройство 102 воспроизведения обращается к позиции «видеоприложение 4», прикладная программа Java вызывается из файла JAR 261, в соответствии с таблицей управления приложениями в объекте BD-J BDJO-3D, и исполняется. Таким образом, выполняются вышеописанные процедуры определения, и затем выбирается файл списка воспроизведения в соответствии с результатами определения.
[Выбор файла списка воспроизведения при выборе 3-мерного видеоприложения]
На фиг.39 показана блок-схема последовательности операций обработки выбора файла списка воспроизведения, подлежащего воспроизведению, при этом упомянутая обработка выполняется, когда выбирается 3-мерное видеоприложение. В таблице 3810 оглавления, показанной на фиг.38, обработка выбора выполняется в соответствии с объектом-кинофильмом MVO-3D, при обращении к позиции «видеоприложение 3», и обработка выбора выполняется в соответствии с прикладной программой Java, заданной объектом BD-J BDJO-3D, при обращении к позиции «видеоприложение 4».
В свете упомянутой обработки выбора предполагается, что устройство 102 воспроизведения содержит первый флаг и второй флаг. Значение «0» первого флага означает, что устройство 102 воспроизведения поддерживает воспроизведение только 2-мерных видеоизображений, «1» означает также поддержку 3-мерных видеоизображений. Значение «0» второго флага означает, что устройство 102 воспроизведения находится в L/R-режиме, а «1» означает режим глубины.
На этапе S3901 устройство 102 воспроизведения проверяет значение первого флага. Если значение «0», обработка переходит к этапу S3905. Если значение «1», обработка переходит к этапу S3902.
На этапе S3902 устройство 102 воспроизведения отображает меню на дисплее 103 для выбора пользователем либо 2-мерных, либо 3-мерных видеоизображений. Если пользователь выбирает воспроизведение 2-мерных видеоизображений посредством операции с пультом 105 дистанционного управления или подобным образом, обработка переходит к этапу S3905, а если пользователь выбирает 3-мерные видеоизображения, обработка переходит к этапу S3903.
На этапе S3903 устройство 102 воспроизведения проверяет, поддерживает ли устройство 102 воспроизведения воспроизведение 3-мерных видеоизображений. В частности, устройство 102 воспроизведения обменивается сообщениями CEC с дисплеем 103 по кабелю HDMI 122 для проверки при посредстве дисплея 103, поддерживает ли он воспроизведение 3-мерных видеоизображений. Если дисплей 103 поддерживает воспроизведение 3-мерных видеоизображений, то обработка переходит к этапу S3904. Если не поддерживает, то обработка переходит к этапу S3905.
На этапе S3904 устройство 102 воспроизведения проверяет значение второго флага. Если упомянутое значение составляет «0», обработка переходит к этапу S3906. Если упомянутое значение составляет «1», то обработка переходит к этапу S3907.
На этапе S3905 устройство 102 воспроизведения выбирает для воспроизведения файл 221 списка 2-мерного воспроизведения. Следует отметить, что при этом устройство 102 воспроизведения может назначить, чтобы дисплей 103 указал на экране причину, почему не выбрано воспроизведение 3-мерных видеоизображений. Затем обработка заканчивается.
На этапе S3906 устройство 102 воспроизведения выбирает для воспроизведения файл 222 списка 3-мерного воспроизведения, используемый в L/R-режиме. Затем обработка заканчивается.
На этапе S3907 устройство 102 воспроизведения выбирает для воспроизведения файл 223 списка 3-мерного воспроизведения, используемый в режиме глубины. Затем обработка заканчивается.
<Состав устройства 2-мерного воспроизведения>
При воспроизведении 2-мерного видеоконтента с диска BD-ROM 101 в режиме 2-мерного воспроизведения устройство 102 воспроизведения работает как устройство 2-мерного воспроизведения. На фиг.40 приведена функциональная блок-схема устройства 4000 2-мерного воспроизведения, при этом устройство 4000 2-мерного воспроизведения содержит дисковод 4001 дисков BD-ROM, блок 4002 воспроизведения и блок 4003 управления. Блок 4002 воспроизведения содержит буфер 4021 считывания, выходной декодер 4023 системы и сумматор 4024 плоскостей. Блок 4003 управления содержит память 4031 динамических сценариев, память 4032 статических сценариев, блок 4034 выполнения программ, блок 4035 управления воспроизведением, запоминающее устройство 4036 для параметров плеера и блок 4033 обработки пользовательских событий. Блок 4002 воспроизведения и блок 4003 управления исполнены, каждый, на отдельной интегральной схеме, но в альтернативном варианте осуществления могут быть выполнены на одной интегральной схеме.
Когда диск BD-ROM 101 загружают в дисковод 4001 дисков BD-ROM, дисковод 4001 дисков BD-ROM излучает лазерный свет на диск BD-ROM 101 и регистрирует изменение света, отраженного от диска BD-ROM 101. Кроме того, с использованием изменения количества отраженного света, дисковод 4001 дисков BD-ROM считывает данные, записанные на диске BD-ROM 101. В частности, дисковод 4001 дисков BD-ROM содержит оптическую головку считывания, т.е. оптическую головку. Оптическая головка содержит полупроводниковый лазер, коллиматор, делитель пучка, объектив, коллектив и фотоприемник. Пучок света, излучаемый полупроводниковым лазером, последовательно проходит через коллиматор, делитель пучка и объектив для сбора на слое записи данных диска BD-ROM 101. Собранный пучок отражается и преломляется слоем записи данных. Отраженный и преломленный свет проходит через объектив, делитель пучка и коллектив и собирается на фотоприемнике. Фотоприемник формирует сигнал воспроизведения с уровнем, соответствующим количеству собранного света. Далее, из сигнала воспроизведения декодируются данные.
Дисковод 4001 дисков BD-ROM считывает данные с диска BD-ROM 101 по запросу из блока 4035 управления воспроизведением. Экстенты файла 2-мерного видео, т.е. 2-мерные экстенты, из считанных данных передаются в буфер 4021 считывания; динамическая информация о сценариях передается в память 4031 динамических сценариев; и статическая информация о сценариях передается в память 4032 статических сценариев. «Динамическая информация о сценариях» содержит индексный файл, файл объекта-кинофильма и файл объекта BD-J. «Статическая информация о сценариях» содержит файл списка 2-мерного воспроизведения и файл информации о 2-мерных клипах.
Буфер 4021 считывания, память 4031 динамических сценариев и память 4032 статических сценариев являются, каждая, буферной памятью. Запоминающее устройство в блоке 4002 воспроизведения служит в качестве буфера 4021 считывания. Запоминающие устройства в блоке 4003 управления служат как память 4031 динамических сценариев и память 4032 статических сценариев. Кроме того, различные области в одном запоминающем устройстве могут применяться как, по меньшей мере, одна из упомянутых буферных памятей 4021, 4031 и 4032. Буфер 4021 считывания сохраняет 2-мерные экстенты, память 4031 динамических сценариев сохраняет динамическую информацию о сценариях, и память 4032 статических сценариев сохраняет статическую информацию о сценариях.
Выходной декодер 4023 системы считывает 2-мерные экстенты из буфера 4021 считывания по исходным пакетам и демультиплексирует 2-мерные экстенты. Затем, выходной декодер 4023 системы декодирует каждый из элементарных потоков, полученных демультиплексированием. При этом информация, необходимая для декодирования каждого элементарного потока, например, тип кодека и атрибут потока, передается из блока 4035 управления воспроизведением в выходной декодер 4023 системы. Для каждого VAU выходной декодер 4023 системы выдает первичный видеопоток, вспомогательный видеопоток, поток IG и поток PG в виде данных первичной видеоплоскости, данных вспомогательной видеоплоскости, данных плоскости IG и данных плоскости PG, соответственно. С другой стороны, выходной декодер 4023 системы микширует декодированные первичный аудиопоток и вспомогательный аудиопоток и передает полученные данные в выходное аудиоустройство, например, внутренний динамик 103A дисплея 103. Кроме того, выходной декодер 4023 системы получает графические данные из блока 4034 выполнения программ. Графические данные используются для представления графики, например, меню GUI (графического пользовательского интерфейса), на экране и имеют растровый формат данных, например, JPEG и PNG. Выходной декодер 4023 системы обрабатывает графические данные и выдает данные в виде данных плоскости изображения. Более подробные сведения о выходном декодере 4023 системы приведены ниже.
Сумматор 4024 плоскостей получает данные первичной видеоплоскости, данные вспомогательной видеоплоскости, данные плоскости IG, данные плоскости PG и данные плоскости изображения из выходного декодера 4023 системы, совмещает между собой полученные данные и компонует совмещенные данные в одном кадре или одном поле видеоизображения. Композитные видеоданные выводятся в дисплей 103 и отображаются на его экране.
Блок 4033 обработки пользовательских событий определяет операцию пользователя, выполненную на пульте 105 дистанционного управления или передней панели устройства 102 воспроизведения. На основании операции пользователя блок 4033 обработки пользовательских событий запрашивает от блока 4034 выполнения программ или блока 4035 управления воспроизведением выполнение соответствующей процедуры. Например, когда пользователь выдает команду представить на дисплее меню во временном окне нажатием кнопки на пульте 105 дистанционного управления, блок 4033 обработки пользовательских событий определяет нажатие и идентифицирует кнопку. Блок 4033 обработки пользовательских событий дополнительно запрашивает от блока 4034 выполнения программ выполнение команды, соответствующей кнопке, т.е. команды представления на дисплее меню во временном окне. С другой стороны, когда пользователь нажимает кнопку ускоренной «перемотки» вперед или назад на пульте 105 дистанционного управления, например, блок 4033 обработки пользовательских событий определяет кнопку, идентифицирует кнопку и запрашивает от блока 4035 управления воспроизведением ускоренную «перемотку» вперед или назад списка воспроизведения, воспроизводимого в текущее время.
Блок 4034 выполнения программ является процессором и считывает и выполняет программы из файла объекта-кинофильма или файла объекта BD-J, сохраненного в памяти 4031 динамических сценариев. Блок 4034 выполнения программ дополнительно осуществляет следующие управляющие воздействия в соответствии с программами. (1) Блок 4034 выполнения программ выдает команду в блок 4035 управления воспроизведением на выполнение обработки воспроизведения списка воспроизведения. (2) Блок 4034 выполнения программ формирует графические данные для меню или игры в виде данных растрового типа в формате PNG или JPEG и передает сформированные данные в выходной декодер 4023 системы для композиции с другими видеоданными. Конкретное содержание упомянутых управляющих воздействий можно относительно гибко разрабатывать посредством проектирования программ. То есть, содержание управляющих воздействий определяется процедурой программирования файла объекта-кинофильма и файла объекта BD-J в авторской процедуре диска BD-ROM 101.
Блок 4035 управления воспроизведением управляет передачей различных типов данных, например, 2-мерных экстентов, индексного файла и т.п., с диска BD-ROM 101 в буфер 4021 считывания, память 4031 динамических сценариев и память 4032 статических сценариев. Для упомянутого управления используется файловая система, управляющая структурой каталогов и файлов, показанной на фиг.2. То есть, блок 4035 управления воспроизведением задает дисководу 4001 дисков BD-ROM передать файлы в каждую из буферных памятей 4021, 4031 и 4032 с использованием системного вызова для открывания файлов. Открывание файлов состоит из последовательности следующих процедур. Во-первых, имя файла, подлежащее обнаружению, подается в файловую систему по системному вызову, и выполняется попытка обнаружить имя файла из структуры каталогов/файлов. Когда обнаружение оказывается успешным, элемент описания файла для целевого файла сначала передается в память в блоке 4035 управления воспроизведением, и FCB (блок управления файлом) создается в памяти. Затем, логический номер файла для целевого файла передается обратно из файловой системы в блок 4035 управления воспроизведением. После этого блок 4035 управления воспроизведением может передать целевой файл с диска BD-ROM в каждую из буферных памятей 4021, 4031 и 4032 посредством предъявления логического номера файла в дисковод 4001 дисков BD-ROM.
Блок 4035 управления воспроизведением декодирует файл 2-мерного видео, чтобы выдавать видеоданные и аудиоданные посредством управления дисководом 4001 дисков BD-ROM и выходным декодером 4023 системы. В частности, блок 4035 управления воспроизведением сначала считывает файл списка 2-мерного воспроизведения из памяти 4032 статических сценариев в ответ на команду из блока 4034 выполнения программ или запрос из блока 4033 обработки пользовательских событий и интерпретирует содержимое файла. В соответствии с интерпретированным содержимым, в частности, с маршрутом воспроизведения, затем блок 4035 управления воспроизведением задает файл 2-мерного видео, подлежащий воспроизведению, и выдает команду в дисковод 4001 дисков BD-ROM и выходному декодеру 4023 системы, чтобы считать и декодировать упомянутый файл. Упомянутая обработка воспроизведения, основанная на файле списка воспроизведения, называется «обработкой воспроизведения списка воспроизведения». Кроме того, блок 4035 управления воспроизведением устанавливает различные типы параметров плеера в запоминающем устройстве 4036 для параметров плеера с использованием статической информации о сценариях. Посредством обращения к параметрам плеера блок 4035 управления воспроизведением дополнительно задает для выходного декодера 4023 системы элементарные потоки, подлежащие декодированию, и обеспечивает информацию, необходимую для декодирования элементарных потоков.
Запоминающее устройство 4036 для параметров плеера состоит из группы регистров для хранения параметров плеера. Типы параметров плеера содержат системные параметры (SPRM) и общие параметры (GPRM). На фиг.41 представлен список SPRM. Каждому SPRM присвоен порядковый номер 4101, и каждый порядковый номер 4101 соответствует уникальному значению 4102 параметра. Сущность основных SPRM приведена ниже. Здесь, номера в скобках указывают последовательные номера 4101.
SPRM (0): Код языка
SPRM (1): Номер первичного аудиопотока
SPRM (2): Номер потока субтитров
SPRM (3): Номер угла
SPRM (4): Номер видеоприложения
SPRM (5): Номер главы
SPRM (6): Номер программы
SPRM (7): Номер ячейки
SPRM (8): Имя ключа
SPRM (9): Таймер навигации
SPRM (10): Текущее время воспроизведения
SPRM (11): Режим микширования звуковых сигналов плеера для караоке
SPRM (12): Код страны для родительского контроля
SPRM (13): Уровень родительского контроля
SPRM (14): Конфигурация плеера для видео
SPRM (15): Конфигурация плеера для аудио
SPRM (16): Код языка для аудиопотока
SPRM (17): Расширение кода языка для аудиопотока
SPRM (18): Код языка для потока субтитров
SPRM (19): Расширение кода языка для потока субтитров
SPRM (20): Код региона плеера
SPRM (21): Номер вспомогательного видеопотока
SPRM (22): Номер вспомогательного аудиопотока
SPRM (23): Статус плеера
SPRM (24): Резервированный
SPRM (25): Резервированный
SPRM (26): Резервированный
SPRM (27): Резервированный
SPRM (28): Резервированный
SPRM (29): Резервированный
SPRM (30): Резервированный
SPRM (31): Резервированный
SPRM (10) указывает PTS картинки, декодируемой в текущий момент, и обновляется каждый раз, когда картинка декодируется и записывается в память первичной видеоплоскости. Соответственно, текущую точку воспроизведения можно узнать посредством обращения к SPRM (10).
Код языка для аудиопотока SPRM (16) и код языка для потока субтитров SPRM (18) показывают коды языков по умолчанию устройства 102 воспроизведения. Приведенные коды могут изменяться пользователем с использованием OSD (экранного меню) или подобной возможности устройства 102 воспроизведения или могут изменяться прикладной программой при посредстве блока 4034 выполнения программ. Например, если SPRM (16) показывает «English», то, при обработке для воспроизведения списка воспроизведения, блок 4035 управления воспроизведением сначала выполняет поиск таблицы STN в PI для элемента описания потока, содержащего код языка для «English». Затем, блок 4035 управления воспроизведением извлекает PID из идентификационных данных потока элемента описания потока и передает извлеченный PID в выходной декодер 4023 системы. В результате, выходным декодером 4023 системы выбирается и декодируется аудиопоток, имеющий такой же PID. Приведенные процедуры могут выполняться блоком 4035 управления воспроизведением с использованием файла объекта-кинофильма или файла объекта BD-J.
Во время обработки для воспроизведения параметры плеера обновляются блоком 4035 управления воспроизведением в соответствии с состоянием воспроизведения. Блок 4035 управления воспроизведением обновляет, в частности, SPRM (1), SPRM (2), SPRM (21) и SPRM (22). Упомянутые SPRM, соответственно, показывают, в приведенном порядке, STN аудиопотока, потока субтитров, вспомогательного видеопотока и вспомогательного аудиопотока, которые обрабатываются на текущий момент. Например, допустим, что номер SPRM (1) аудиопотока изменен блоком 4034 выполнения программ. При этом блок 4035 управления воспроизведением сначала, с использованием STN, указанного измененным SPRM (1), производит поиск STN в PI, воспроизводимой на текущий момент, для элемента описания потока, который содержит STN. Затем, блок 4035 управления воспроизведением извлекает PID из идентификационных данных потока в элементе описания потока и передает извлеченный PID в выходной декодер 4023 системы. В результате, выходным декодером 4023 системы выбирается и декодируется аудиопоток, имеющий такой же PID. Вышеописанным способом включается аудиопоток, заданный для воспроизведения. Поток субтитров и вспомогательный видеопоток могут включаться аналогичным способом.
<<Обработка для воспроизведения списка для 2-мерного воспроизведения>>
На фиг.42 представлена блок-схема последовательности операций процедуры воспроизведения списка 2-мерного воспроизведения, выполняемой блоком 4035 управления воспроизведением. Процедура воспроизведения списка 2-мерного воспроизведения выполняется в соответствии с файлом списка 2-мерного воспроизведения и начинается считыванием блоком 4035 управления воспроизведением файла списка 2-мерного воспроизведения из памяти 4032 статических сценариев.
Сначала, на этапе S4201 блок 4035 управления воспроизведением считывает одну PI из главного маршрута в файле списка 2-мерного воспроизведения и устанавливает одну PI в качестве текущей PI. Затем, блок 4035 управления воспроизведением выбирает PID элементарного потока, подлежащего воспроизведению, и задает атрибутивную информацию, необходимую для декодирования элементарного потока. Выбранный PID и атрибутивная информация передаются в выходной декодер 4023 системы. Блок 4035 управления воспроизведением дополнительно задает SUB_PI, связанную с текущей PI, из дополнительных маршрутов в файле списка 2-мерного воспроизведения. После этого обработка переходит к этапу S4202.
На этапе S4202 блок 4035 управления воспроизведением считывает ссылочную информацию о клипах PTS № 1, указывающую время IN1 начала воспроизведения, и PTS № 2, указывающую конечное время OUT1 воспроизведения, из текущей PI. Из упомянутой ссылочной информации о клипах задается файл информации о 2-мерных клипах, соответствующий подлежащему воспроизведению файлу 2-мерного видео. Кроме того, когда существует SUB_PI, которая соответствует текущей PI, подобная информация считывается также из SUB_PI. После этого обработка переходит к этапу S4203.
На этапе S4203 путем обращения к карте отображения точек входа файла информации о 2-мерных клипах, блок 4035 управления воспроизведением находит SPN № 1 и SPN № 2 в файле 2-мерного видео, соответствующие PTS № 1 и PTS № 2. Пара PTS, указанных в SUB_PI, также преобразуется в пару SPN. После этого обработка переходит к этапу S4204.
На этапе S4204 на основании SPN № 1 и SPN № 2 блок 4035 управления воспроизведением вычисляет число секторов, соответствующих каждому из SPN № 1 и SPN № 2. В частности, сначала блок 4035 управления воспроизведением получает произведение каждого из SPN № 1 и SPN № 2, умноженных на объем данных на один исходный пакет, который составляет 192 байта. Затем, блок 4035 управления воспроизведением получает частное от деления каждого произведения на объем данных в одном секторе, который равен 2048 байтам: N1=SPN № 1×192/2048, N2=SPN № 2×192/2048. Частные N1 и N2 являются такими же, как суммарное число секторов в основном потоке, записанных на участках, предшествующих исходным пакетам, которым распределены SPN № 1 и SPN № 2, соответственно. Пара SPN, преобразованных из пары PTS, указанных посредством SUB_PI, аналогичным образом преобразуется в пару номеров секторов. После этого обработка переходит к этапу S4205.
На этапе S4205 блок 4035 управления воспроизведением задает, по числам секторов N1 и N2, полученным на этапе S4204, LBN заголовка и конца 2-мерных экстентов, подлежащих воспроизведению. В частности, путем обращения к элементу описания файла 2-мерного видео для файла 2-мерного видео, подлежащего воспроизведению, блок 4035 управления воспроизведением производит отсчет от заголовков секторов, в которых записаны 2-мерные экстенты, таким образом, что LBN для (N1+1)-го сектора=LBN № 1, и LBN для (N2+1)-го сектора=LBN № 2. Блок 4035 управления воспроизведением дополнительно задает диапазон от LBN № 1 до LBN № 2 дисководу 121 дисков BD-ROM. Пара чисел секторов, полученных преобразованием из пары PTS, указанных посредством SUB_PI, аналогично преобразуется в пару LBN и задается дисководу 121 дисков BD-ROM. В результате, из секторов в заданном диапазоне группа исходных пакетов, принадлежащая группе 2-мерных экстентов, считывается упорядоченными структурными элементами. После этого обработка переходит на этап S4206.
На этапе S4206 блок 4035 управления воспроизведением проверяет, остается ли в главном маршруте необработанная PI. Когда необработанная PI остается, обработка повторяется с этапа S4201. Когда необработанной PI не остается, обработка заканчивается.
<<Выходной декодер системы>>
На фиг.43 представлена функциональная блок-схема выходного декодера 4023 системы. Как показано на фиг.43, выходной декодер 4023 системы содержит блок 4310 распаковки исходных пакетов, счетчик ATC 4320, первый 27-МГц тактовый генератор 4330, фильтр PID 4340, счетчик STC (STC1) 4350, второй 27-МГц тактовый генератор 4360, основной видеодекодер 4370, дополнительный видеодекодер 4371, декодер PG 4372, декодер IG 4373, основной аудиодекодер 4374, дополнительный аудиодекодер 4375, процессор 4380 изображений, память 4390 первичной видеоплоскости, память 4391 вспомогательной видеоплоскости, память 4392 плоскости PG, память 4393 плоскости IG, память 4394 плоскости изображения и аудиомикшер 4395.
Блок 4310 распаковки исходных пакетов считывает исходные пакеты из буфера 4021 считывания, извлекает TS-пакеты из считанных исходных пакетов и передает TS-пакеты в фильтр PID 4340. Блок 4310 распаковки исходных пакетов дополнительно согласует время передачи со временем, указанным посредством ATS каждого исходного пакета. В частности, блок 4310 распаковки исходных пакетов сначала контролирует значение ATC, сформированное счетчиком ATC 4320. При этом значение ATC зависит от счетчика ATC 4320 и наращивается в соответствии с импульсом тактового сигнала первого 27-МГц тактового генератора 4330. Затем, в момент, когда значение ATC согласуется с ATS исходного пакета, блок 4310 распаковки исходных пакетов передает TS-пакеты, извлеченные из исходного пакета, в фильтр PID 4340. При настройке времени передачи описанным образом средняя скорость передачи TS-пакетов из блока 4310 распаковки исходных пакетов в фильтр PID 4340 не превышает значение RTS, заданное системной скоростью 2411, показанной файлом информации о 2-мерных клипах на фиг.24.
Фильтр PID 4340 сначала контролирует PID, которые содержат TS-пакеты, выдаваемые блоком 4310 распаковки исходных пакетов. Когда PID соответствует PID, предварительно заданному блоком 4035 управления воспроизведением, фильтр PID 4340 выбирает TS-пакеты и передает их в декодер 4370-4375, предназначенный для декодирования элементарного потока, указанного посредством PID. Например, если PID имеет значение 0×1011, то TS-пакеты передаются в основной видеодекодер 4370, а TS-пакеты со значениями PID в диапазоне от 0×1B00-0×1B1F, 0×1100-0×111F, 0×1A00-0×1A1F, 0×1200-0×121F и 0×1400-0×141F передаются, соответственно, в дополнительный видеодекодер 4371, основной аудиодекодер 4374, дополнительный аудиодекодер 4375, декодер PG 4372 и декодер IG 4373.
Фильтр PID 4340 дополнительно определяет PCR из каждого TS-пакета с использованием PID TS-пакета. В этот момент фильтр PID 4340 устанавливает значение счетчика STC 4350 равным предварительно заданному значению. При этом значение счетчика STC 4350 наращивается в соответствии с импульсом тактового сигнала второго 27-МГц тактового генератора 4360. Кроме того, значение, на которое установлен счетчик STC 4350, заранее указано фильтру PID 4340 из блока 4035 управления воспроизведением. Декодеры 4370-4375 используют, каждый, значение счетчика STC 4350 в качестве STC. То есть, декодеры 4370-4375 настраивают временную диаграмму декодирующей обработки TS-пакетов, выдаваемых из фильтра PID 4340, в соответствии со временем, указанным посредством PTS или DTS, содержащейся в TS-пакетах.
Основной видеодекодер 4370, как показано на фиг.43, содержит буфер 4301 транспортного потока (TB), буфер-мультиплексор (MB) 4302, буфер 4303 элементарного потока (EB), декодер 4304 сжатого видеоизображения (DEC) и буфер 4305 декодированной картинки (DPB).
TB 4301, MB 4302, EB 4303 и DPB 4305 являются, каждый, буферной памятью и используют область запоминающего устройства, обеспеченного внутри основного видеодекодера 4370. В альтернативном варианте осуществления некоторые или все из TB 4301, MB 4302, EB 4303 и DPB 4305 могут находиться раздельно в разных запоминающих устройствах. TB 4301 сохраняет TS-пакеты, получаемые из фильтра PID 4340, такими, как они поступают. MB 4302 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB 4301. Следует отметить, что когда TS-пакеты передаются из TB 4301 в MB 4302, из каждого TS-пакета удаляется заголовок TS. EB 4303 извлекает кодированные VAU из PES-пакетов и сохраняет извлеченные кодированные VAU. VAU содержит сжатые картинки, т.е. I-картинку, B-картинку и P-картинку. Следует отметить, что, когда данные передаются из MB 4302 в EB 4303, из каждого PES-пакета удаляется PES-заголовок.
DEC 4304 является аппаратным декодером, специально предназначенным для выполнения декодирующей обработки сжатых картинок, и, в частности, составлен на основе БИС, снабженной ускорительной функцией для декодирующей обработки. DEC 4304 декодирует картинки из каждого VAU в EB 4303 во время, указанное посредством DTS, содержащейся в начальном TS-пакете. DEC 4304 может также обращаться к информации 1101 о параметре декодирования, показанном на фиг.11, чтобы декодировать картинки из каждого VAU последовательно, независимо от DTS. Чтобы выполнять упомянутую декодирующую обработку, DEC 4304 предварительно анализирует заголовок каждого VAU, задает способ кодирования со сжатием и атрибут потока для сжатых картинок, сохраненных в VAU, и выбирает основанный на них способ декодирования. В рассматриваемом случае, например, способ кодирования со сжатием содержит MPEG-2, MPEG-4 AVC и VC1. DEC 4304 дополнительно передает декодированные несжатые картинки в DPB 4305.
Аналогично TB 4301, MB 4302 и EB 4303, DPB 4305 является буферной памятью и использует одну область элемента памяти в основном видеодекодере 4370. Кроме того, DPB 4305 может находиться в отдельных элементах памяти из других буферных памятей 4301, 4302 и 4303. DPB 4305 временно сохраняет декодированные картинки. Когда P-картинка или B-картинка декодируется посредством DEC 4304, DPB 4305 извлекает опорную картинку из декодированных сохраненных картинок в соответствии с командой из DEC 4304 и подает опорную картинку в DEC 4304. DPB 4305 дополнительно записывает каждую из сохраненных картинок в память 4390 первичной видеоплоскости во время, указанное посредством PTS, содержащейся в начальном TS-пакете.
Дополнительный видеодекодер 4371 содержит такой же состав, как основной видеодекодер 4370. Дополнительный видеодекодер 4371 сначала декодирует TS-пакеты вспомогательного видеопотока, принимаемого из фильтра PID 4340, в несжатые картинки. Затем, дополнительный видеодекодер 4371 записывает полученные несжатые картинки в память 4391 вспомогательной видеоплоскости во время, указанное PTS, содержащейся в TS-пакете.
Декодер PG 4372 декодирует TS-пакеты, полученные из фильтра PID 4340, в несжатые графические данные и записывает полученные несжатые графические данные в память 4392 плоскости PG во время, указанное PTS, содержащейся в TS-пакете.
Декодер IG 4373 декодирует TS-пакеты, полученные из фильтра PID 4340, в несжатые графические данные и записывает полученные несжатые графические данные в память 4393 плоскости IG во время, указанное PTS, содержащейся в TS-пакете.
Основной аудиодекодер 4374 сначала сохраняет TS-пакеты, полученные из фильтра PID 4340, в буфере, обеспеченном в упомянутом декодере. Затем, основной аудиодекодер 4374 удаляет заголовок TS и PES-заголовок из каждого TS-пакета в буфере и декодирует остальные данные в несжатые LPCM аудиоданные (аудиоданные с линейной импульсно-кодовой модуляцией). Кроме того, основной аудиодекодер 4374 передает полученные аудиоданные в аудиомикшер 4395 во время, указанное посредством PTS, содержащейся в TS-пакете. Основной аудиодекодер 4374 выбирает схему декодирования несжатых аудиоданных в соответствии со способом кодирования со сжатием и атрибутом потока первичного аудиопотока, который содержится в TS-пакетах. Способы кодирования со сжатием, которые можно использовать в приведенном случае, содержат, например, AC-3 и DTS.
Дополнительный аудиодекодер 4375 имеет такой же состав, как основной аудиодекодер 4374. Дополнительный аудиодекодер 4375 сначала декодирует TS-пакеты вспомогательного аудиопотока, получаемого из фильтра PID 4340, в несжатые LPCM аудиоданные. Затем, дополнительный аудиодекодер 4375 передает несжатые LPCM аудиоданные в аудиомикшер 4395 во время, указанное посредством PTS, содержащейся в TS-пакете. Дополнительный аудиодекодер 4375 выбирает схему декодирования несжатых аудиоданных в соответствии со способом кодирования со сжатием и атрибутом потока первичного аудиопотока, содержащимся в TS-пакетах. Способы кодирования со сжатием, которые можно использовать в приведенном случае, содержат, например, Dolby Digital Plus и DTS-HD LBR.
Аудиомикшер 4395 получает несжатые аудиоданные как из основного аудиодекодера 4374, так и из дополнительного аудиодекодера 4375 и затем микширует полученные данные. Аудиомикшер 4395 также передает полученный микшированный звуковой сигнал во внутренний динамик 103A дисплея 103 или подобное устройство.
Процессор 4380 изображений получает графические данные, т.е. данные растрового типа в формате PNG или JPEG, вместе с их PTS из блока 4034 выполнения программ. После получения графических данных процессор 4380 изображений представляет и записывает графические данные в памяти 4394 плоскости изображения.
<Состав устройства 3-мерного воспроизведения>
При воспроизведении 3-мерного видеоконтента с диска BD-ROM 101 в режиме 3-мерного воспроизведения устройство 102 воспроизведения работает как устройство 3-мерного воспроизведения. Основная часть состава устройства идентична устройству 2-мерного воспроизведения, показанному на фиг.40 и 43. Поэтому, ниже приведено описание секций состава устройства 2-мерного воспроизведения, которые расширены или модифицированы, с включением отсылок к вышеприведенному описанию устройства 2-мерного воспроизведения для получения подробных сведений об основных частях упомянутого устройства. Что касается обработки для воспроизведения списка 2-мерного воспроизведения, устройство 3-мерного воспроизведения имеет такой же состав, как устройство 2-мерного воспроизведения. Соответственно, подробные сведения о составе включены в дальнейшее описание из описания устройства 2-мерного воспроизведения путем отсылки. Нижеследующее описание предполагает обработку для воспроизведения 3-мерных видеоизображений в соответствии с файлом списка 3-мерного воспроизведения, т.е. обработку для воспроизведения списка 3-мерного воспроизведения.
На фиг.44 представлена функциональная блок-схема устройства 4400 3-мерного воспроизведения. Устройство 4400 3-мерного воспроизведения содержит дисковод 4401 дисков BD-ROM, блок 4402 воспроизведения и блок 4403 управления. Блок 4402 воспроизведения содержит переключатель 4420, первый буфер 4421 считывания, второй буфер 4422 считывания, выходной декодер 4423 системы и сумматор 4424 плоскостей. Блок 4403 управления содержит память 4431 динамических сценариев, память 4405 статических сценариев, блок 4434 выполнения программ, блок 4435 управления воспроизведением, запоминающее устройство 4436 для параметров плеера и блок 4433 обработки пользовательских событий. Блок 4402 воспроизведения и блок 4403 управления смонтированы на разных интегральных схемах, но, в альтернативном варианте осуществления, могут быть смонтированы на одной интегральной схеме. В частности, память 4431 динамических сценариев, память 4405 статических сценариев, блок 4434 выполнения программ и блок 4433 обработки пользовательских событий имеют такой же состав, как в устройстве 2-мерного воспроизведения, показанном на фиг.40. Соответственно, подробные сведения о них включены путем отсылки к вышеприведенному описанию устройства 2-мерного воспроизведения.
Дисковод 4401 дисков BD-ROM содержит элементы, идентичные элементам дисковода 4001 дисков BD-ROM в устройстве 2-мерного воспроизведения, показанном на фиг.40. Когда блок 4435 управления воспроизведением указывает диапазон номеров LBN, дисковод 4401 дисков BD-ROM считывает данные из группы секторов на диске BD-ROM 101, указанной упомянутым диапазоном. В частности, группа исходных пакетов, принадлежащая экстентам в SS-файле, т.е. SS-экстентам, передается из дисковода 4401 дисков BD-ROM в переключатель 4420. При этом каждый SS-экстент содержит, по меньшей мере, одну пару блоков данных основного ракурса и зависимого ракурса, как показано на фиг.13. Упомянутые блоки данных должны передаваться параллельно в разные буферы считывания, т.е. буферы 4421 и 4422 считывания. Соответственно, дисковод 4401 дисков BD-ROM должен иметь, по меньшей мере, такую же скорость выборки, как дисковода 4001 дисков BD-ROM в устройстве 2-мерного воспроизведения.
Переключатель 4420 получает SS-экстенты из дисковода 4401 дисков BD-ROM. С другой стороны, переключатель 4420 получает из блока 4435 управления воспроизведением информацию, указывающую границу в каждом блоке данных, содержащемся в SS-экстенте. Упомянутая информация указывает число исходных пакетов, например, от начала SS-экстента до каждой границы. При этом блок 4435 управления воспроизведением формирует упомянутую информацию посредством привязки к начальной точке экстента в файле информации о клипах. Переключатель 4420 дополнительно обращается к упомянутой информации для извлечения экстентов основного ракурса из каждого SS-экстента и передает, после этого, блоки данных в первый буфер 4421 считывания. И, наоборот, переключатель 4420 передает остальные экстенты зависимого ракурса во второй буфер 4422 считывания.
Первый буфер 4421 считывания и второй буфер 4422 считывания являются буферными памятями, которые используют элемент памяти в блоке 4402 воспроизведения. В частности, в одном элементе памяти используются разные области для буферов 4421 и 4422 считывания. В альтернативном варианте осуществления возможно использование разных элементов памяти для буферов 4421 и 4422 считывания. Первый буфер 4421 считывания получает блоки данных основного ракурса из переключателя 4420 и сохраняет упомянутые экстенты. Второй буфер 4422 считывания получает экстенты зависимого ракурса из переключателя 4420 и сохраняет упомянутые блоки данных.
Сначала, выходной декодер 4423 системы поочередно считывает экстенты основного ракурса, сохраненные в первом буфере 4421 считывания, и экстенты зависимого ракурса, сохраненные во втором буфере 4422 считывания. Затем, выходной декодер 4423 системы разделяет элементарные потоки из каждого исходного пакета демультиплексированием и, кроме того, из разделенных потоков, декодирует данные, представленные посредством PID, указанным блоком 4435 управления воспроизведением. Затем, выходной декодер 4423 системы записывает декодированные элементарные потоки во внутренней памяти плоскостей в соответствии с их типом. Видеопоток основного ракурса записывается в памяти видеоплоскости левого ракурса, и видеопоток зависимого ракурса записывается в памяти видеоплоскости правого ракурса. С другой стороны, вспомогательный видеопоток записывается в памяти вспомогательной видеоплоскости, поток IG записывается в памяти плоскости IG, и поток PG записывается в памяти плоскости PG. Когда потоковые данные, отличающиеся от данных видеопотока, состоят из пары потоковых данных основного ракурса и потоковых данных зависимого ракурса, то приготовлена пара соответствующих памятей плоскостей для данных плоскости левого ракурса и данных плоскости правого ракурса. Выходной декодер 4423 системы выполняет также обработку для визуального представления графических данных из блока 4434 выполнения программ, например, данных растрового типа в формате JPEG или PNG, и записывает упомянутые данные в память плоскости изображения.
Выходной декодер 4423 системы увязывает вывод данных плоскостей из памятей левой видеоплоскости и правой видеоплоскости с режимом представления B-D и режимом представления B-B, соответственно, следующим образом. Когда блок 4435 управления воспроизведением предписывает режим представления B-D, выходной декодер 4423 системы поочередно выводит данные плоскостей из памятей видеоплоскостей левого ракурса и правого ракурса. С другой стороны, когда блок 4435 управления воспроизведением предписывает режим представления B-B, выходной декодер 4423 системы выводит данные плоскостей только из памяти видеоплоскости левого ракурса или правого ракурса дважды за кадр, при поддержке работы в режиме 3-мерного воспроизведения.
Кроме того, выходной декодер 4423 системы увязывает вывод из памятей графических плоскостей, т.е. графических данных плоскостей различных типов из памяти плоскости PG, памяти плоскости IG и памяти плоскости изображения, соответственно, в 2-плоскостном режиме, 1-плоскостном режиме со смещением и 1-плоскостном режиме с нулевым смещением следующим образом. Память графических плоскостей содержит память плоскости PG, память плоскости IG и память плоскости изображения. Когда блок 4435 управления воспроизведением предписывает 2-плоскостной режим, выходной декодер 4423 системы поочередно выводит графические данные плоскостей левого ракурса и правого ракурса из памятей графических плоскостей. Когда блок 4435 управления воспроизведением предписывает 1-плоскостной режим со смещением или 1-плоскостной режим с нулевым смещением, выходной декодер 4423 системы выдает графические данные плоскостей из каждой из памятей графических плоскостей, с одновременной поддержкой работы в режиме 3-мерного воспроизведения. Когда блок 4435 управления воспроизведением предписывает 1-плоскостной режим со смещением, выходной декодер 4423 системы дополнительно выдает величину смещения, назначенную блоком 4435 управления воспроизведением, в сумматор 4424 плоскостей. С другой стороны, когда блок 4435 управления воспроизведением предписывает 1-плоскостной режим с нулевым смещением, выходной декодер 4423 системы выдает «0» в качестве величины смещения в сумматор 4424 плоскостей.
После получения запроса из, например, блока 4434 выполнения программ для выполнения обработки для воспроизведения списка 3-мерного воспроизведения блок 4435 управления воспроизведением сначала обращается к файлу списка 3-мерного воспроизведения, записанному в памяти 4405 статических сценариев. Затем, в соответствии с файлом списка 3-мерного воспроизведения и в соответствии с последовательностью, показанной на фиг.27, блок 4435 управления воспроизведением указывает дисководу 4401 дисков BD-ROM диапазоны LBN для группы секторов, в которых записан 3-мерный экстент, подлежащий воспроизведению. Блок 4435 управления воспроизведением, с использованием начальной точки экстента в файле информации о клипах, записанном в памяти 4405 статических сценариев, формирует также информацию, которая указывает границу блоков данных, содержащихся в каждом 3-мерном экстенте, и затем передает упомянутую информацию в переключатель 4420.
Кроме того, блок 4435 управления воспроизведением обращается к таблице STN и таблице STN SS в файле списка 3-мерного воспроизведения для управления требованиями к функционированию выходного декодера 4423 системы и сумматора 4424 плоскостей. Например, блок 4435 управления воспроизведением выбирает PID для элементарного потока, подлежащего воспроизведению, и выдает PID в выходной декодер 4423 системы. Блок 4435 управления воспроизведением выбирает также режим представления для каждой плоскости в соответствии со смещением 3511 во время представления меню во временном окне из таблицы STN SS и предписывает упомянутые режимы представления выходному декодеру 4423 системы и сумматору 4424 плоскостей.
Как в запоминающем устройстве 4036 для параметров плеера в устройстве 2-мерного воспроизведения, запоминающее устройство 4436 для параметров плеера содержит SPRM, показанный на фиг.41. Однако, любые два из SPRM (24)-(32), которые зарезервированы на фиг.41, содержат первый флаг и второй флаг, показанные на фиг.39. Например, SPRM (24) может содержать первый флаг, и SPRM (25) может содержать второй флаг. При этом, когда SPRM (24) равен «0», устройство 102 воспроизведения поддерживает воспроизведение только 2-мерных видеоизображений, и когда SPRM (24) равен «1», устройство 102 воспроизведения поддерживает также воспроизведение 3-мерных видеоизображений. Когда SPRM (25) равен «0», режим воспроизведения 3-мерных видеоизображений устройства 102 воспроизведения является L/R-режимом, и когда SPRM (25) равен «1», режим воспроизведения 3-мерных видеоизображений является режимом глубины.
Сумматор 4424 плоскостей получает данные плоскостей каждого типа из выходного декодера 4423 системы и совмещает порции данных плоскостей для создания одного композитного кадра или поля. В частности, в L/R-режиме данные левой видеоплоскости представляют видеоплоскость левого ракурса, и данные правой видеоплоскости представляют видеоплоскость правого ракурса. Соответственно, что касается других порций данных плоскостей, сумматор 4424 плоскостей совмещает порции, которые представляют левый ракурс, с данными плоскости левого ракурса и порции, которые представляют правый ракурс, с данными плоскости правого ракурса. С другой стороны, в режиме глубины данные правой видеоплоскости представляют карту глубин для видеоплоскости, представляющей данные левой видеоплоскости. Соответственно, сумматор 4424 плоскостей сначала формирует пару из данных левой видеоплоскости и данных правой видеоплоскости из обеих порций данных видеоплоскостей. Затем, сумматор 4424 плоскостей выполняет такую же композиционную обработку как в L/R-режиме.
При получении указания из блока 4435 управления воспроизведением относительно 1-плоскостного режима со смещением или 1-плоскостного режима с нулевым смещением в качестве режима представления для вспомогательной видеоплоскости, плоскости PG, плоскости IG или плоскости изображения, сумматор 4424 плоскостей выполняет обработку кадрирования данных плоскостей, полученных из выходного декодера 4423 системы. Таким образом формируется пара данных левой видеоплоскости и данных правой видеоплоскости. В частности, когда предписан 1-плоскостной режим со смещением, обработка кадрирования обращается к величине смещения, указанной выходным декодером 4423 системы или блоком 4434 выполнения программ. С другой стороны, когда предписан 1-плоскостной режим с нулевым смещением, величина смещения установлена равной «0» во время обработки кадрирования. Соответственно, одни и те же данные плоскости выдаются повторно для представления левого ракурса и правого ракурса. Затем, сумматор 4424 плоскостей выполняет такую же композиционную обработку как в L/R-режиме. Композитный кадр или поле выводится в дисплей 103 и отображается на экране.
<<Обработка для воспроизведения списка 3-мерного воспроизведения>>
На фиг.45 представлена блок-схема последовательности операций процедуры воспроизведения списка 3-мерного воспроизведения, выполняемой блоком 4435 управления воспроизведением. Процедура воспроизведения списка 3-мерного воспроизведения выполняется в соответствии с файлом списка 3-мерного воспроизведения и начинается блоком 4435 управления воспроизведением, считывающим файл списка 3-мерного воспроизведения из памяти 4432 статических сценариев.
На этапе S4501 сначала блок 4435 управления воспроизведением считывает одну PI из главного маршрута в файле списка 3-мерного воспроизведения и устанавливает одну PI в качестве текущей PI. Затем, блок 4435 управления воспроизведением выбирает PID элементарного потока, подлежащего воспроизведению, и задает атрибутивную информацию, необходимую для декодирования элементарного потока. Блок 4435 управления воспроизведением дополнительно выбирает из элементарных потоков, соответствующих текущей PI, в таблице STN SS в файле списка 3-мерного воспроизведения PID элементарного потока, подлежащего суммированию, в качестве элементарного потока, подлежащего воспроизведению, и задает атрибутивную информацию, необходимую для декодирования элементарного потока. Выбранный PID и атрибутивная информация передаются в выходной декодер 4023 системы. Блок 4035 управления воспроизведением дополнительно, из дополнительных маршрутов в файле списка 3-мерного воспроизведения, задает SUB_PI, к которой следует осуществлять привязку в одно время с текущей PI. После этого обработка переходит к этапу S4502.
На этапе S4502 блок 4435 управления воспроизведением считывает ссылочную информацию о клипах PTS № 1, указывающую время IN1 начала воспроизведения, и PTS № 2, указывающую конечное время OUT1 воспроизведения, из каждой из текущих PI и SUB_PI. Из упомянутой ссылочной информации о клипах задается файл информации о 2-мерных клипах, соответствующий каждому из подлежащих воспроизведению файлу 2-мерного видео и DEP-файлу. После этого обработка переходит к этапу S4503.
На этапе S4503, как пояснялось в описании к фиг.37, путем обращения к картам отображения точек входа файла информации о клипах, заданного на этапе S4502, блок 4435 управления воспроизведением находит SPN № 1 и SPN № 2 в файле 2-мерного видео, соответствующие PTS № 1 и PTS № 2, и SPN № 11 и SPN № 12 в DEP-файле. Как пояснялось в описании к фиг.27E, путем использования начальной точки экстента каждого файла информации о клипах блок 4435 управления воспроизведением дополнительно вычисляет, из SPN № 1 и SPN № 11, число исходных пакетов SPN № 21 от начала SS-файла до позиции начала воспроизведения. Блок 4435 управления воспроизведением вычисляет также, из SPN № 2 и SPN № 12, число исходных пакетов SPN № 22 от начала SS-файла до позиции окончания воспроизведения. В частности, сначала блок 4435 управления воспроизведением находит среди SPN, указанных начальными точками экстентов файлов информации о 2-мерных клипах, значение «Am», которое является наибольшим значением, меньшим чем или равным SPN № 1, и находит среди SPN, указанных начальными точками экстентов файлов информации о клипах зависимого ракурса, значение «Bm», которое является наибольшим значением, меньшим, чем или равным SPN № 11. Затем, блок 4435 управления воспроизведением получает сумму найденных SPN Am+Bm и устанавливает, что полученная сумма эквивалентна SPN № 21. Затем, блок 4435 управления воспроизведением находит среди SPN, указанных начальными точками экстентов файлов информации о 2-мерных клипах, значение «An», которое является наименьшим значением, которое больше, чем SPN № 2. Затем, блок 4435 управления воспроизведением находит из SPN начальных точек экстентов файлов информации о клипах зависимого ракурса значение «Bn», которое является наименьшим из значений, которые больше, чем SPN № 12. Затем, блок 4435 управления воспроизведением получает сумму An+Bn найденных SPN и устанавливает, что сумма эквивалентна SPN № 22. После этого обработка переходит к этапу S4504.
На этапе S4504 блок 4435 управления воспроизведением преобразует SPN № 21 и SPN № 22, установленные на этапе S4503, в пару чисел секторов N1 и N2. В частности, во-первых, блок 4435 управления воспроизведением получает произведение умножением SPN № 21 на объем данных в одном исходном пакете, который равен 192 байтам. Затем, блок 4435 управления воспроизведением получает частное от деления произведения на объем данных в одном секторе, который равен 2048 байтам: SPN № 21×192/2048. Частное является эквивалентом числа секторов N1 от заголовка SS-файла до непосредственно перед позицией начала воспроизведения. Аналогично, блок 4435 управления воспроизведением получает из SPN № 22 частное от деления SPN № 22×192/2048. Приведенное частное является эквивалентом числа секторов N2 от заголовка SS-файла до непосредственно перед позицией окончания воспроизведения. После этого обработка переходит к этапу S4505.
На этапе S4505 блок 4435 управления воспроизведением задает, исходя из числа секторов N1 и N2, полученных на этапе S4504, LBN заголовка и конца SS-экстентов, подлежащих воспроизведению. В частности, путем обращения к элементу описания файла SS-файла, подлежащего воспроизведению, блок 4435 управления воспроизведением производит отсчет от заголовков секторов, в которых записаны SS-экстенты, и задает, что LBN для (N1+1)-го сектора=LBN № 1, и LBN для (N2+1)-го сектора=LBN № 2. Блок 4435 управления воспроизведением дополнительно задает диапазон от LBN № 1 до LBN № 2 дисководу 121 дисков BD-ROM. В результате, из секторов в заданном диапазоне исходные пакеты, принадлежащие SS-экстентам, считываются упорядоченными структурными элементами. После этого обработка переходит на этап S4506.
На этапе S4506, с использованием начальной точки экстента в файле информации о клипах, использованном на этапе S4503, блок 4435 управления воспроизведением формирует информацию (именуемую в дальнейшем «информацией о границе блока данных»), указывающую границу между блоками данных зависимого ракурса и блоками данных основного ракурса, содержащимися в SS-экстентах, и передает информацию о границе блока данных в переключатель 4420. В конкретном примере, допустим, что SPN № 21, указывающий позицию начала воспроизведения, идентичен сумме SPN, указывающих начальные точки экстентов, An+Bn, и что SPN № 22, указывающий позицию окончания воспроизведения, идентичен сумме SPN, указывающих начальные точки экстентов, Am+Bm. При этом блок 4435 управления воспроизведением получает последовательность разностей между SPN от соответствующих начальных точек экстентов A(n+1)-An, B(n+1)-Bn, A(n+2)-A(n+1), B(n+2)-B(n+1), …, Am-A(m-1), Bm-B(m-1) и передает последовательность в переключатель 4420 в качестве информации о границе блока данных. Как показано на фиг.27E, приведенная последовательность указывает число исходных пакетов блоков данных, содержащихся в SS-экстенте. Переключатель 4420 подсчитывает, начиная от нуля, число исходных пакетов SS-экстентов, полученных из дисковода 4401 дисков BD-ROM. Каждый раз, когда сосчитанное число оказывается таким, как разность между SPN, указанными информацией о границе блоков данных, переключатель 4420 переключает пункт назначения для вывода исходных пакетов между двумя буферами 4421 и 4422 считывания и сбрасывает сосчитанное число на нуль. В результате, {B(n+1)-Bn} исходных пакетов от заголовка SS-экстента выдаются во второй буфер 4422 считывания в виде первого экстента зависимого ракурса, и следующие {A(n+1)-An} исходных пакетов передаются в первый буфер 4421 считывания в виде первого экстента основного ракурса. После этого, таким же образом, экстенты зависимого ракурса и экстенты основного ракурса извлекаются из SS-экстента поочередно, посредством переключения каждый раз, когда число исходных пакетов, полученных переключателем 4420, становится таким же, как разность между SPN, указанными информацией о границе блоков данных.
На этапе S4507 блок 4435 управления воспроизведением проверяет, остается ли в главном маршруте необработанная PI. Если необработанная PI остается, то обработка повторяется с этапа S4501. Когда необработанной PI не остается, обработка заканчивается.
<<Выходной декодер системы>>
На фиг.46 представлена функциональная блок-схема выходного декодера 4423 системы. По сравнению с устройством 4023 2-мерного воспроизведения, показанным на фиг.40, структурные элементы, показанные на фиг.46, имеют два следующих основных отличия: 1) входной канал из буфера считывания в каждый декодер удваивается, и 2) основной видеодекодер поддерживает режим 3-мерного воспроизведения, и дополнительный видеодекодер, декодер PG и декодер IG поддерживают 2-плоскостной режим. То есть, все упомянутые видеодекодеры могут поочередно декодировать видеопоток основного ракурса и видеопоток зависимого ракурса. С другой стороны, основной аудиодекодер, дополнительный аудиодекодер, аудиомикшер, процессор изображений и памяти плоскостей аналогичны соответствующим структурным элементам в устройстве 2-мерного воспроизведения, показанном на фиг.40. Соответственно, из структурных элементов, показанных на фиг.46, ниже описаны те, которые отличаются от структурных элементов, показанных на фиг.40, и подробные сведения о сходных структурных элементах включены путем отсылки к описанию для фиг.40. Кроме того, поскольку видеодекодеры имеют, каждый, сходный состав, ниже описан состав только основного видеодекодера 4615. Приведенное описание справедливо также в отношении состава других видеодекодеров.
Первый блок 4611 распаковки исходных пакетов считывает исходные пакеты из первого буфера 4421 считывания. Первый блок 4611 распаковки исходных пакетов дополнительно извлекает TS-пакеты, содержащиеся в исходных пакетах, и передает TS-пакеты в первый фильтр PID 4613. Второй блок 4612 распаковки исходных пакетов считывает исходные пакеты из второго буфера 4422 считывания. Второй блок 4612 распаковки исходных пакетов дополнительно извлекает TS-пакеты, содержащиеся в исходных пакетах, и передает TS-пакеты во второй фильтр PID 4614. Каждый из блоков 4611 и 4612 распаковки исходных пакетов дополнительно обеспечивает, чтобы время передачи TS-пакетов согласовывалось с ATS исходных пакетов. Упомянутый способ синхронизации является аналогичным способу, используемому в блоке 4310 распаковки исходных пакетов, показанном на фиг.43. Соответственно, его описание, приведенное для фиг.43, включено в настоящее описание путем отсылки. При таком способе согласования времени передачи средняя скорость RTS1 передачи TS-пакетов из первого блока 4611 распаковки исходных пакетов в первый фильтр PID 4613 не превышает системной скорости 3011, указанной файлом информации о 2-мерных клипах. Аналогично, средняя скорость RTS2 передачи TS-пакетов из второго блока 4612 распаковки исходных пакетов во второй фильтр PID 4614 не превышает системной скорости, указанной файлом информации о клипах зависимого ракурса.
Первый фильтр PID 4613 сравнивает PID каждого TS-пакета, полученного из первого блока 4611 распаковки исходных пакетов, с выбранным PID. Блок 4435 управления воспроизведением заранее указывает выбранный PID согласно таблице STN в файле списка 3-мерного воспроизведения. Когда два PID совпадают, первый фильтр PID 4613 передает TS-пакеты в декодер, назначенный для PID. Например, если PID имеет значение 0×1011, то TS-пакеты передаются в TB(1) 4601 в основном видеодекодере 4615, а TS-пакеты с PID в диапазонах от 0×1B00-0×1B1F, 0×1100-0×111F, 0×1A00-0×1A1F, 0×1200-0×121F и 0×1400-0×141F передаются, соответственно, в дополнительный видеодекодер, основной аудиодекодер, дополнительный аудиодекодер, декодер PG и декодер IG.
Второй фильтр PID 4614 сравнивает PID каждого TS-пакета, полученного из второго блока 4612 распаковки исходных пакетов, с выбранным PID. Блок 4435 управления воспроизведением заранее указывает выбираемый PID согласно таблице STN SS в файле списка 3-мерного воспроизведения. В частности, когда два PID совпадают, второй фильтр PID 4614 передает TS-пакеты в декодер, назначенный для PID. Например, если PID имеет значение 0×1012 или 0×1013, то TS-пакеты передаются в TB(2) 4608 в основном видеодекодере 4615, а TS-пакеты с PID в диапазонах от 0×1B20-0×1B3F, 0×1220-0×127F или 0×1420-0×147F передаются, соответственно, в дополнительный видеодекодер, декодер PG или декодер IG.
Основной видеодекодер 4615 содержит TB(1) 4601, MB(1) 4602, EB(1) 4603, TB(2) 4608, MB(2) 4609, EB(2) 4610, переключатель 4606 буферов, DEC 4604, DPB 4605 и переключатель 4607 картинок. TB(1) 4601, MB(1) 4602, EB(1) 4603, TB(2) 4608, MB(2) 4609, EB(2) 4610 и DPB 4605 являются, каждый, буферной памятью, каждая из которых использует элементы памяти, содержащиеся в основном видеодекодере 4615. Следует отметить, что некоторые или все упомянутые буферные памяти могут находиться раздельно в разных элементах памяти.
TB(1) 4601 получает TS-пакеты, которые содержат видеопоток основного ракурса, из первого фильтра PID 4613 и сохраняет TS-пакеты такими, как они поступают. MB(1) 4602 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB(1) 4601. При этом из TS-пакетов удаляются заголовки TS. EB(1) 4603 извлекает и сохраняет кодированные VAU из PES-пакетов, сохраненных в MB(1) 4602. В это же время, из PES-пакетов удаляются PES-заголовки.
TB(2) 4608 получает TS-пакеты, которые содержат видеопоток зависимого ракурса, из второго фильтра PID 4614 и сохраняет TS-пакеты такими, как они поступают. MB(2) 4609 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB(2) 4608. При этом из TS-пакетов удаляются заголовки TS. EB(2) 4610 извлекает и сохраняет кодированные VAU из PES-пакетов, сохраненных в MB(2) 4609. В это же время, из PES-пакетов удаляются PES-заголовки.
Переключатель 4606 буферов передает заголовки VAU, сохраненных в EB(1) 4603 и EB(2) 4610 в ответ на запрос из DEC 4604. Переключатель 4606 буферов дополнительно передает сжатые данные VAU для картинок в периоды времени, указанные посредством DTS, содержащихся в начальных TS-пакетах. При этом DTS для пары картинок, принадлежащих одному 3-мерному VAU для видеопотока основного ракурса и видеопотока зависимого ракурса, являются одинаковыми. Соответственно, из пары VAU, которые имеют одинаковые DTS, переключатель 4606 буферов сначала передает пару, сохраненную в EB(1) 4603, в DEC 4604. Кроме того, переключатель 4606 буферов может получать информацию 1101 о параметре декодирования в VAU обратно из DEC 4604. В таком случае переключатель 4606 буферов может определять, должен ли он передавать следующий VAU в EB(1) 4603 или в EB(2) 4610 на основании информации 1101 о параметре декодирования.
Аналогично DEC 4304, показанному на фиг.43, DEC 4604 является аппаратным декодером, специально предназначенным для выполнения декодирующей обработки сжатых картинок, и, в частности, составлен на основе БИС, снабженной ускорительной функцией для декодирующей обработки. DEC 4604 последовательно декодирует сжатые данные картинок, передаваемые из переключателя 4606 буфера. Чтобы выполнять упомянутую декодирующую обработку, DEC 4604 предварительно анализирует заголовок каждого VAU, задает способ кодирования со сжатием и атрибут потока для сжатых картинок, сохраненных в VAU, и выбирает основанный на них способ декодирования. В рассматриваемом случае, например, способ кодирования со сжатием содержит MPEG-2, MPEG-4 AVC и VC1. DEC 4604 дополнительно передает декодированные несжатые картинки в DPB 4605.
DPB 4605 временно сохраняет декодированные несжатые картинки. Когда DEC 4604 декодирует P-картинку или B-картинку, DPB 4605 производит поиск опорных картинок среди сохраненных несжатых картинок в соответствии с запросом из DEC 4604 и подает опорные картинки в DEC 4604.
Переключатель 4607 картинок записывает несжатые картинки из DPB 4605 либо в память 4620 левой видеоплоскости, либо в память 4621 правой видеоплоскости во время, указанное посредством PTS, содержащейся в начальном TS-пакете. При этом PTS для картинки основного ракурса и картинки зависимого ракурса, принадлежащим одному 3-мерному VAU, являются одинаковыми. Соответственно, из пар картинок, которые имеют одинаковые PTS и которые сохранены в DPB 4605, переключатель 4607 картинок сначала записывает картинку основного ракурса в память 4620 левой видеоплоскости и затем записывает картинку зависимого ракурса в память 4621 правой видеоплоскости.
<<Сумматоры плоскостей>>
На фиг.47 представлена функциональная блок-схема сумматора 4424 плоскостей. Как показано на фиг.47, сумматор 4424 плоскостей содержит блок 4710 формирования параллаксных видеоизображений, переключатель 4720, четыре блока 4731-4734 обработки кадрирования и четыре сумматора 4741-4744.
Блок 4710 формирования параллаксных видеоизображений получает данные 4701 левой видеоплоскости и данные 4702 правой видеоплоскости из выходного декодера 4423 системы. Когда устройство 102 воспроизведения находится в L/R-режиме, данные 4701 левой видеоплоскости представляют видеоплоскость левого ракурса, и данные 4702 правой видеоплоскости представляют видеоплоскость правого ракурса. При этом блок 4710 формирования параллаксных видеоизображений передает данные 4701 левой видеоплоскости и данные 4702 правой видеоплоскости в том виде, в котором они получены, в переключатель 4720. С другой стороны, когда устройство 102 воспроизведения находится в режиме глубины, данные 4701 левой видеоплоскости представляют видеоплоскость для 2-мерных видеоизображений, и данные 4702 правой видеоплоскости представляют карту глубины для 2-мерных видеоизображений. При этом блок 4710 формирования параллаксных видеоизображений сначала вычисляет бинокулярный параллакс для каждого элемента в 2-мерных видеоизображениях с использованием карты глубин. Затем, блок 4710 формирования параллаксных видеоизображений обрабатывает данные 4701 левой видеоплоскости для сдвига позиции представления каждого элемента в видеоплоскости для 2-мерных видеоизображений влево и вправо в соответствии с вычисленным бинокулярным параллаксом. Тем самым формируется пара видеоплоскостей, представляющих левый ракурс и правый ракурс. Блок 4710 формирования параллаксных видеоизображений дополнительно передает пару видеоплоскостей в переключатель 4720 в виде пары порций данных левой и правой видеоплоскостей.
Когда блок 4435 управления воспроизведением указывает режим представления B-D, переключатель 4720 передает данные 4701 левой видеоплоскости и данные 4702 правой видеоплоскости с одинаковой PTS в первый сумматор 4741 в таком порядке. Когда блок 4435 управления воспроизведением указывает режим представления B-B, переключатель 4720 передает одни из данных 4701 левой видеоплоскости и данных 4702 правой видеоплоскости с одинаковой PTS дважды за кадр в первый сумматор 4741, с отбрасыванием одной порции данных плоскости.
Блоки 4731-4734 обработки кадрирования содержат такой же состав, как пара из блока 4710 формирования параллаксных видеоизображений и переключателя 4720. Блоки такого состава применяются в 2-плоскостном режиме. Когда устройство 102 воспроизведения находится в режиме глубины, каждая порция данных плоскости из выходного декодера 4423 системы преобразуется в пару порций данных плоскостей левого ракурса и правого ракурса блоком формирования параллаксных видеоизображений в каждом из блоков 4731-4734 обработки кадрирования. Когда блок 4435 управления воспроизведением указывает режим представления B-D, порции данных плоскостей левого ракурса и правого ракурса поочередно передаются в каждый из сумматоров 4741-4744. С другой стороны, когда блок 4435 управления воспроизведением указывает режим представления B-B, одна из порций данных плоскостей левого ракурса и правого ракурса передается дважды за кадр в каждый из сумматоров 4741-4744, а другая порция данных плоскости отбрасывается.
В 1-плоскостном режиме со смещением первый блок 4731 обработки кадрирования получает величину 4751 смещения из выходного декодера 4423 системы и использует упомянутую величину для выполнения кадрирования данных 4703 вспомогательной видеоплоскости. Таким образом, данные 4703 вспомогательной видеоплоскости преобразуются в пару порций данных вспомогательной видеоплоскости, которые представляют левый ракурс и правый ракурс и передаются поочередно. С другой стороны, в 1-плоскостном режиме с нулевым смещением данные 4703 вспомогательной видеоплоскости передаются дважды. Аналогично, второй блок 4732 обработки кадрирования выполняет обработку кадрирования данных 4704 плоскости PG, и третий блок 4733 обработки кадрирования выполняет обработку кадрирования данных 4705 плоскости IG.
Данные 4706 плоскости изображения являются графическими данными, передаваемыми из блока 4434 выполнения программ в выходной декодер 4423 системы и декодируемыми выходным декодером 4423 системы. Графические данные являются данными растрового типа, например, данными в форме JPEG или данными в формате PNG, и представляют составляющую графика GUI (графического пользовательского интерфейса), например, меню. Четвертый блок 4734 обработки кадрирования выполняет обработку кадрирования данных 4706 плоскости изображения подобно тому, как другие блоки 4731-4733 обработки кадрирования. Однако, в отличие от других блоков 4731-4733 обработки кадрирования, четвертый блок 4734 обработки кадрирования получает величину смещения из программного API (интерфейса прикладного программирования) 4752, а не из выходного декодера 4423 системы. При этом программный API 4752 исполняется блоком 4434 выполнения программ. Информация о смещении, соответствующая глубине изображения, представленного графическими данными, вычисляется и выводится, таким образом, в четвертый блок 4734 обработки кадрирования.
На фиг.48 представлена блок-схема последовательности операций обработки кадрирования в блоках 4731-4734 обработки кадрирования. Блоки 4731-4734 обработки кадрирования начинают обработку кадрирования после получения данных плоскости, подлежащих воспроизведению. Ниже приведено описание примерного случая, в котором второй блок 4732 обработки кадрирования выполняет обработку кадрирования данных 4704 плоскости PG. Другие блоки 4731, 4733 и 4734 обработки кадрирования выполняют аналогичную обработку, соответственно, данных 4703 вспомогательной плоскости, данных 4705 плоскости IG и данных 4706 плоскости изображения. Кроме того, когда знак величины смещения является положительным, то «глубина 3-мерных изображений, представленных данными плоскости, направлена вперед от экрана».
На этапе S4801 второй блок 4732 обработки кадрирования сначала производит поиск смещения, распределенного плоскости PG из величин 4751 смещений. Затем, второй блок 4732 обработки кадрирования проверяет, представляют ли данные видеоплоскости, выбранные переключателем 4720, левый ракурс. Когда данные видеоплоскости представляют левый ракурс, обработка переходит к этапу S4802. Когда данные видеоплоскости представляют правый ракурс, обработка переходит к этапу S4803.
На этапе S4802 второй блок 4732 обработки кадрирования сдвигает позицию представления каждого графического видеоизображения, обозначаемого данными 4704 плоскости PG, в правом направлении, на величину смещения. Когда знак величины смещения является отрицательным, позиция представления сдвигается влево. Кроме того, поскольку смещение в 2-плоскостном режиме с нулевым смещением равно «0», то начальные данные 4704 плоскости PG сохраняются неизмененными. После этого обработка переходит к этапу S4804.
На этапе 4803 второй блок 4732 обработки кадрирования сдвигает позицию представления каждого графического видеоизображения, обозначаемого данными 4704 плоскости PG, в левом направлении, на величину смещения. Когда знак смещения является отрицательным, то позиция представления сдвигается вправо. Кроме того, поскольку смещение в 1-плоскостном режиме с нулевым смещением равно «0», то начальные данные 4704 плоскости PG сохраняются неизмененными. После этого обработка переходит к этапу S4804.
На этапе S4804 второй блок 4732 обработки кадрирования выводит обработанные данные 4704 плоскости PG во второй сумматор 4742. После этого обработка заканчивается.
На фиг.49A и 49B схематически представлена обработка кадрирования вторым блоком 4732 обработки кадрирования. На фиг.49A и 49B представлены, соответственно, данные 4902L плоскости PG левого ракурса и данные 4902R плоскости PG правого ракурса, сформированные из данных 4704 плоскости PG на основании положительной величины смещения. Когда положение 3-мерных видеоизображений, представленных данными 4704 плоскости PG, по глубине ближе, чем экран, знак величины смещения является положительным.
Как показано на фиг.49A, второй блок 4732 обработки кадрирования сначала сдвигает каждую порцию пиксельных данных в данных 4704 плоскости PG из ее начальной позиции вправо на число пикселей 4901L, которое является таким же, как величина смещения. Когда знак величины смещения является отрицательным, второй блок 4732 обработки кадрирования сдвигает пиксельные данные влево. Затем, второй блок 4732 обработки кадрирования удаляет сегмент пиксельных данных 4902L, который выходит за диапазон данных 4704 плоскости PG вправо (или влево). При этом остающиеся пиксельные данные 4904L выводятся как данные плоскости PG левого ракурса.
Как показано на фиг.49B, второй блок 4732 обработки кадрирования сначала сдвигает каждую порцию пиксельных данных в данных 4704 плоскости PG из ее начальной позиции влево на число пикселей 4901R, которое является таким же, как величина смещения. Когда знак величины смещения является отрицательным, второй блок 4732 обработки кадрирования сдвигает пиксельные данные право. Затем, второй блок 4732 обработки кадрирования удаляет сегмент пиксельных данных 4902R, который выходит за диапазон данных 4704 плоскости PG влево (или право). При этом остающиеся пиксельные данные 4904R выводятся как данные плоскости PG правого ракурса.
На фиг.50A, 50B и 50C схематически представлены, соответственно, 2-мерные изображения, представляющие данные плоскости PG левого ракурса и правого ракурса, показанные на фиг.49A и 49B, то есть плоскости PG левого ракурса и правого ракурса и 3-мерные изображения, воспринимаемые по ним зрителем. Как показано на фиг.50A, плоскость PG 5001L левого ракурса сдвинута вправо из диапазона экрана 5002 на величину 4901L смещения. В результате, 2-мерное изображение 5003 субтитров в плоскости PG 5001L левого ракурса оказывается сдвинуто вправо от ее начальной позиции на величину 4901L смещения. Как показано на фиг.50B, напротив, плоскость PG 5001R правого ракурса сдвинута влево из диапазона экрана 5002 на величину 4901R смещения. В результате, 2-мерное изображение 5003 субтитров в плоскости PG 5001R правого ракурса оказывается сдвинуто влево от ее начальной позиции на величину 4901R смещения. Когда упомянутые плоскости PG 5001L и 4901R поочередно отображаются на экране 5002, то, как показано на фиг.50C, зритель 5004 воспринимает 3-мерное видеоизображение 5005 субтитров расположенным ближе, чем экран 5002. Расстояние между 3-мерным видеоизображением 5005 и экраном 5002 можно корректировать величинами 4901L и 4901R смещений. Когда позиция каждой порции пиксельных данных в данных 4904 плоскости PG сдвигается в направлении, противоположном направлению, показанному на фиг.50A и 50B, зритель 5004 воспринимает 3-мерное видеоизображение 5005 субтитров отодвинутым дальше назад, чем экран 5002.
В 1-плоскостном режиме со смещением, следовательно, обработка кадрирования служит для формирования пары порций данных плоскостей левого ракурса и правого ракурса из одной порции данных плоскости. Описанный подход допускает представлять параллаксное видеоизображение из всего одной порции данных плоскости. Другими словами, смысл глубины можно вложить в моноскопическое изображение. В частности, зрителя можно заставить воспринимать упомянутое моноскопическое изображение как расположенное ближе или дальше сзади, чем экран. Следует отметить, что в 1-плоскостном режиме с нулевым смещением величина смещения равна «0», и, следовательно, моноскопическое изображение сохраняется в неизменном виде.
Как показано на фиг.47, первый сумматор 4741 получает данные видеоплоскости из переключателя 4720 и получает данные вспомогательной плоскости из первого блока 4731 обработки кадрирования. Затем первый сумматор 4741 складывает одновременно по одному набору данных видеоплоскости и данных вспомогательной плоскости, с выдачей результата во второй сумматор 4742. Второй сумматор 4742 получает данные плоскости PG из второго блока 4732 обработки кадрирования, налагает данные плоскости PG на данные плоскостей из первого сумматора 4741 и выдает результат в третий сумматор 4743. Третий сумматор 4743 получает данные плоскости IG из третьего блока 4733 обработки кадрирования, налагает данные плоскости IG на данные плоскостей из второго сумматора 4742 и выдает результат в четвертый сумматор 4744. Четвертый сумматор 4744 получает данные плоскости изображения из четвертого блока обработки 4734 кадрирования, налагает данные плоскости изображения на данные плоскостей из третьего сумматора 4743 и выдает результат в дисплей 103. В результате, данные 4701 левой видеоплоскости или данные 4702 правой видеоплоскости, данные 4703 вспомогательной плоскости, данные 4704 плоскости PG, данные 4705 плоскости IG и данные 4706 плоскости изображения налагаются в порядке, показанном стрелкой 4700 на фиг.47. Посредством описанной композиционной обработки, для каждого видеоизображения, представляемого данными плоскостей, плоскость левого видеоизображения или плоскость правого видеоизображения, вспомогательная видеоплоскость, плоскость IG, плоскость PG и плоскость изображения представляются наложенными в приведенном порядке на экране дисплея 103.
Кроме вышеописанной обработки сумматор 4724 плоскостей выполняет обработку для преобразования выходного формата данных плоскостей, скомпонованных четырьмя сумматорами 4741-4744, в формат, который соответствует способу 3-мерного отображения, принятому в устройстве, например, дисплее 103, в который выводятся данные. Если в устройстве принят, например, способ с чередованием кадров, то сумматор 4724 плоскостей выдает порции данных композитных плоскостей в виде одного кадра или одного поля. С другой стороны, если в устройстве принят способ, который использует линзовый растр, то сумматор 4724 плоскостей компонует пару порций данных плоскостей левого ракурса и правого ракурса в виде одного кадра или одного поля видеоданных с использованием встроенной буферной памяти. В частности, сумматор 4724 плоскостей временно запоминает и хранит в буферной памяти данные плоскости левого ракурса, которые скомпонованы первыми. Затем, сумматор 4724 плоскостей компонует данные плоскости правого ракурса и дополнительно компонует полученные данные с данными плоскости левого ракурса, хранимыми в буферной памяти. Во время компоновки порции данных плоскостей левого ракурса и правого ракурса разбиваются, каждая, в вертикальном направлении на небольшие прямоугольные плоскости, которые являются длинными и тонкими, и небольшие прямоугольные плоскости располагаются с чередованием в горизонтальном направлении в одном кадре или одном поле для восстановления кадра или поля. Таким образом, пара порций данных плоскостей левого ракурса и правого ракурса компонуются в один видеокадр или одно видеополе, который(ое) сумматор 4724 плоскостей выдает затем в соответствующее устройство.
<Модификации>
(A) В варианте 1 осуществления настоящего изобретения видеопоток основного ракурса представляет левый ракурс, и видеопоток зависимого ракурса представляет правый ракурс. Однако, наоборот, видеопоток основного ракурса может представлять правый ракурс, и видеопоток зависимого ракурса может представлять левый ракурс.
(B) В файлах AV-потока 3-мерных изображений, в PMT (таблицу карты программ) 2310, показанную на фиг.23, может быть добавлен дескриптор 3-мерного режима. Дескриптор 3-мерного видео является информацией, относящейся к способу воспроизведения 3-мерных изображений, общему для всех файлов AV-потока, и, в частности, содержит информацию о 3-мерном способе. Информация о 3-мерном способе указывает способ воспроизведения для файлов AV-потока 3-мерных изображений, например L/R-режима или режима глубины. Кроме того, дескриптор потока 3-мерного видео может быть добавлен в информацию 2303, относящуюся к потоку. Дескриптор потока 3-мерного видео указывает информацию, относящуюся к способу воспроизведения 3-мерных изображений, отдельно для каждого элементарного потока, содержащегося в файле AV-потока. В частности, дескриптор потока 3-мерного видео для видеопотоков содержит тип 3-мерного дисплея. Тип 3-мерного дисплея указывает, при отображении изображений видеопотока в L/R-режиме, являются ли изображения леворакурсными или праворакурсными. Тип 3-мерного дисплея указывает также, при отображении изображений видеопотока в режиме глубины, являются ли изображения 2-мерными изображениями или изображениями карт глубины. Таким образом, когда PMT 2310 содержит информацию, относящуюся к способу воспроизведения 3-мерных изображений, система воспроизведения изображений способна получать информацию из одних файлов AV-потока. Соответственно, упомянутый тип структуры данных эффективен с точки зрения, например, широковещательной рассылки контента 3-мерных видеоизображений.
(C) Таблица 2441 смещений, показанная на фиг.26A, содержит таблицу 2610 элементов 2603 данных смещений для каждого PID. Таблица смещений может дополнительно содержать таблицу элементов данных смещений для каждой плоскости. При этом возможно упрощение анализа таблицы смещений устройством 3-мерного воспроизведения. Кроме того, возможно определение нижнего предела, например, одна секунда, для длины действующего сегмента элемента данных смещения, в сочетании с характеристиками устройства 3-мерного воспроизведения, относящимися к композиции плоскостей.
(D) Файл списка 3-мерного воспроизведения, показанный на фиг.34, содержит один дополнительный маршрут, указывающий маршрут воспроизведения вспомогательного TS. В альтернативном варианте осуществления файл списка 3-мерного воспроизведения может содержать дополнительные маршруты, указывающие маршруты воспроизведения для разных вспомогательных TS. Например, тип дополнительного маршрута одного дополнительного маршрута может быть «3D L/R» («3-мерный L/R-режим»), и тип дополнительного маршрута другого дополнительного маршрута может быть «3D depth» («3-мерный режим глубины»). Когда 3-мерные видеоизображения воспроизводятся в соответствии с приведенным файлом списка 3-мерного воспроизведения, устройство 102 воспроизведения может легко переключаться между L/R-режимом и режимом глубины путем переключения дополнительного маршрута для воспроизведения между упомянутыми двумя типами дополнительных маршрутов. В частности, упомянутая коммутационная обработка может выполняться быстрее, чем переключение самого файла списка 3-мерного воспроизведения.
Файл списка 3-мерного воспроизведения может содержать несколько дополнительных маршрутов одинакового типа дополнительных маршрутов. Например, когда 3-мерные видеоизображения для одной и той же сцены представляются с разными бинокулярными параллаксами с использованием нескольких правых ракурсов, которые используют один и тот же левый ракурс, на диск BD-ROM 101 записывается отличающийся DEP-файл для каждого отличающегося видеопотока правого ракурса. Тогда файл списка 3-мерного воспроизведения содержит несколько дополнительных маршрутов с типом «3-мерный L/R-режим» дополнительного маршрута. Упомянутые дополнительные маршруты по отдельности задают маршрут воспроизведения для разных DEP-файлов. Кроме того, один файл 2-мерного видео может содержать, по меньшей мере, два типа потока карт глубины. При этом файл списка 3-мерного воспроизведения содержит несколько дополнительных маршрутов с типом «3-мерный режим глубины» дополнительного потока. Упомянутые дополнительные маршруты по отдельности задают маршрут воспроизведения для DEP-файлов, которые содержат потоки карт глубины. Когда 3-мерные видеоизображения воспроизводятся в соответствии с таким файлом 3-мерного воспроизведения, дополнительный маршрут для воспроизведения можно быстро переключать, например, в соответствии с операцией пользователя, и, следовательно, бинокулярный параллакс для 3-мерных видеоизображений можно изменять без значительного прерывания. Таким образом, пользователям можно легко обеспечить возможность выбора желаемого бинокулярного параллакса для 3-мерных видеоизображений.
(E) Разделение маршрутов воспроизведения до и после границы слоев
На фиг.51A схематически представлены блоки 5101 и 5102 экстентов, записанные до и после границы LB слоев. Как показано на фиг.51A, первый блок 5101 экстентов, расположенный до границы LB слоев, содержит блоки …, D[0], D[1] данных зависимого ракурса и блоки …, B[0], B[1] данных основного ракурса. При этом второй блок 5102 экстентов, расположенный после границы LB слоев, содержит блоки D[2], D[3], … данных зависимого ракурса и блоки B[2], B[3], … данных основного ракурса. Контент потоковых данных является сплошным между (i) парой блоков D[1] и B[1] данных, расположенных в конце первого блока 5101 экстентов, и (ii) парой блоков D[2] и B[2] данных, расположенных в начале второго блока 5102 экстентов. Для бесшовного соединения между ними размеры блоков данных и первого блока 5101 экстентов должны удовлетворять вышеприведенным условиям 1-4.
Как показано на фиг.51A, каждый из блоков данных может быть выбран как экстент одного из файлов 5110 2-мерного видео, DEP-файла 5112 и SS-файла 5120. В частности, блок B[n] (n=…, 0, 1, 2, 3, …) данных основного ракурса является общим для файла 5110 2-мерного видео и SS-файла 5120. При этом устройство 102 воспроизведения в режиме 2-мерного воспроизведения воспроизводит файл 5110 2-мерного видео, и устройство 102 воспроизведения в режиме 3-мерного воспроизведения воспроизводит SS-файл 5120. Соответственно, блок B[n] данных основного ракурса может также выбираться из устройства 102 воспроизведения в любом режиме воспроизведения.
На фиг.51B схематически представлен маршрут 5130 воспроизведения блоков 5101 и 5102 экстентов в режиме 2-мерного воспроизведения и маршрут 5140 воспроизведения в режиме 3-мерного воспроизведения. Как показано на фиг.51B, оба маршрута 5130 и 5140 воспроизведения проходят через последний блок B[1] данных основного ракурса в первом блоке 5101 экстентов непосредственно перед длинным переходом JLY. То есть, блок B[1] данных основного ракурса считывается как второй 2-мерный экстент EXT2D[1] устройством 102 воспроизведения в режиме 2-мерного воспроизведения и считывается как последний блок данных в SS-экстенте EXTSS[0] устройством 102 воспроизведения в режиме 3-мерного воспроизведения. Соответственно, чтобы устройство 102 воспроизведения непрерывно воспроизводило как 2-мерные видеоизображения, так и 3-мерные видеоизображения до и после длинного перехода JLY, блок B[1] данных основного ракурса должен удовлетворять условию 1 в качестве 2-мерного экстента EXT2D[1], а также должен удовлетворять условию 2 в качестве экстента EXT1[1] основного ракурса.
В режиме 2-мерного воспроизведения в соответствии с условием 1 объем данных, подлежащий обработке выходным декодером системы во время длинного перехода JLY, резервируется как размер одного блока B[1] данных основного ракурса. С другой стороны, в режиме 3-мерного воспроизведения в соответствии с условием 4 объем данных резервируется как размер полного первого блока 5101 экстентов. Соответственно, минимальный размер minSEXT2D[1] экстента, необходимый для блока B[1] данных основного ракурса в соответствии с условием 1, обычно больше, чем минимальный размер minSEXT1[1] экстента в соответствии с условием 2. По упомянутой причине емкость первого буфера 4421 считывания должна быть больше, чем значение минимального нижнего предела, необходимого для непрерывного воспроизведения в 3-мерном режиме воспроизведения. Кроме того, время по ATC экстента является одинаковым для блока B[1] данных основного ракурса и непосредственно предшествующего блока D[1] данных зависимого ракурса. Соответственно, размер SEXT2[1] блока D[1] данных зависимого ракурса обычно больше, чем минимальный размер minSEXT2[1] экстента, необходимый для блока D[1] данных в соответствии с условием 2. По упомянутой причине емкость второго буфера 4422 считывания, обычно, должна быть больше, чем значение минимального нижнего предела, необходимого для непрерывного воспроизведения в 3-мерном режиме воспроизведения. Таким образом, хотя в схеме расположения, показанной на фиг.51A, возможно бесшовное соединение между двумя блоками 5101 и 5102 экстентов, в буферах 4421 и 4422 считывания следует резервировать достаточно большую емкость.
Чтобы дополнительно уменьшить емкость буферов 4421 и 4422 считывания в то время, как дана возможность непрерывного воспроизведения изображений во время длинного перехода JLY, схему расположения блоков данных, являющуюся схемой расположения с чередованием, следует изменить вблизи места длинного перехода JLY, например, границы LB слоев, и маршрут воспроизведения следует разделить для режима 2-мерного воспроизведения и режима 3-мерного воспроизведения. Два образца изменения упомянутого типа относятся к двум типам схем расположения, например, схеме 1 расположения и схеме 2 расположения, описанным ниже. В обеих схемах 1 и 2 расположения маршрут воспроизведения непосредственно до длинного перехода JLY проходит по разным блокам данных основного ракурса, различающимся для каждого режима работы. В результате, как поясняется ниже, можно добиться, чтобы устройство 102 воспроизведения легко реализовало непрерывное воспроизведение видеоизображений во время длинного перехода JLY с сохранением минимально необходимого нижнего предела емкости буферов 4421 и 4422 считывания.
(E-1) Схема 1 расположения
На фиг.52 схематически представлен первый пример схемы физического расположения блоков данных на диске BD-ROM 101 до и после границы LB слоев. В дальнейшем, приведенная схема расположения называется «схемой 1 расположения». Как показано на фиг.52, первый блок 5201 экстентов расположен до границы LB слоев, и второй блок 5202 экстентов расположен после границы LB слоев. В блоках 5201 и 5202 экстентов блок D[n] данных зависимого ракурса и блок B[n] данных основного ракурса формируют схему расположения с чередованием (n=…, 0, 1, 2, 3, …). В частности, значения времени по ATC экстентов являются одинаковыми для пары n-х блоков D[n] и B[n] данных. Кроме того, в схеме 1 расположения один блок B[2]2D данных основного ракурса расположен между концом B[1] первого блока 5201 экстентов и границей LB слоев. Упомянутый блок B[2]2D данных основного ракурса согласуется по битам с блоком B[2]SS данных основного ракурса в начале второго блока 5202 экстентов. В дальнейшем, первый упомянутый блок B[2]2D называется «блоком только для 2-мерного воспроизведения», и последний упомянутый блок B[2]SS называется «блоком только для стереоскопического (SS-) воспроизведения».
Кроме блоков B[2]SS только для SS-воспроизведения, блоки данных основного ракурса, показанные на фиг.52, могут быть выбраны как экстенты файла 5210 2-мерного видео, то есть как 2-мерные экстенты EXT2D[.]. Например, блок B[0] данных основного ракурса, который является вторым от конца в первом блоке 5201 экстентов, пара B[1]+B[2]2D, состоящая из последнего блока B[1] данных основного ракурса и блока B[2]2D только для 2-мерного воспроизведения, и блок B[3] данных основного ракурса, который является вторым во втором блоке 5202 экстентов, могут быть выбраны, соответственно, как отдельные 2-мерные экстенты EXT2D[0], EXT2D[1] и EXT2D[2]. С другой стороны, блоки D[n] (n=…, 0, 1, 2, 3, …) зависимого ракурса, показанные на фиг.52, могут быть выбраны как отдельные экстенты DEP-файла 5212, то есть как экстент EXT2[n] зависимого ракурса.
В блоках данных, показанных на фиг.52, поперечная связь между файлами AV-потока реализована следующим образом. Блоки 5201 и 5202 экстентов могут быть выбраны полностью как отдельные экстенты EXTSS[0] и EXTSS[1] SS-файла 5220. Соответственно, блоки B[0], B[1] и B[3] данных основного ракурса являются общими для файла 5210 2-мерного видео и SS-файла 5220. Напротив, блок B[2]2D только для 2-мерного воспроизведения может быть выбран как часть 2-мерного экстента EXT2D[1], расположенного непосредственно перед границей LB слоев. С другой стороны, блок B[2]SS только для SS-воспроизведения может быть выбран только в виде части SS-экстента EXTSS[1], расположенного непосредственно за границей LB слоев. По описанной причине, кроме блоков B[2]2D только 2-мерного воспроизведения, блоки B[0], B[1], B[2]SS и B[3] данных основного ракурса могут извлекаться из SS-экстентов EXTSS[0] и EXTSS[1] в виде экстентов основания 5211 файла, то есть в виде экстентов EXT1[n] (n=0, 1, 2, 3) основного ракурса.
На фиг.53 схематически представлены маршрут 5310 воспроизведения в режиме 2-мерного воспроизведения и маршрут 5320 воспроизведения в режиме 3-мерного воспроизведения для блоков данных в схеме 1 расположения, показанной на фиг.52.
Устройство 102 воспроизведения в режиме 2-мерного воспроизведения воспроизводит файл 5210 2-мерного видео. Соответственно, как показано маршрутом 5310 воспроизведения в режиме 2-мерного воспроизведения, блок B[0] данных основного ракурса, который является вторым от конца первого блока 5201 экстентов, считывается первым как первый 2-мерный экстент EXT2D[0], и считывание следующего сразу за ним блока D[1] данных зависимого ракурса пропускается переходом J2D1. Затем, пара B[1]+B[2]2D, где B[1] является последним блоком данных основного ракурса в первом блоке 5210 экстентов, и B[2]2D является следующим сразу за ним блоком только для 2-мерного воспроизведения, непрерывно считывается как второй 2-мерный экстент EXT2D[1]. Длинный переход JLY происходит на следующей сразу же границе LB слоев, и считывание трех блоков D[2], B[2]SS и D[3] данных, расположенных в начале второго блока 5202 экстентов, пропускается. Затем, второй блок B[3] данных основного ракурса во втором блоке 5202 экстентов считывается как 2-мерный экстент EXT2D[2].
Устройство 102 воспроизведения в режиме 3-мерного воспроизведения воспроизводит SS-файл 5220. Соответственно, как показано маршрутом 5320 воспроизведения в режиме 3-мерного воспроизведения, сначала полный первый блок 5201 экстентов безостановочно считывается как первый SS-экстент EXTSS[0]. После этого происходит длинный переход JLY, и считывание блока B[2]2D только для 2-мерного воспроизведения пропускается. Затем, полный второй блок 5202 экстентов безостановочно считывается как второй SS-экстент EXTSS[1].
Как показано на фиг.53, в режиме 2-мерного воспроизведения считывается блок B[2]2D только для 2-мерного воспроизведения, и считывание блока B[2]SS только для SS-воспроизведения пропускается. Напротив, в режиме 3-мерного воспроизведения пропускается считывание блока B[2]2D только для 2-мерного воспроизведения, и считывается блок B[2]SS только для SS-воспроизведения. Однако, поскольку оба блока B[2]2D и B[2]SS данных согласуются побитно, то видеокадры основного ракурса, подлежащие воспроизведению, являются одними и теми же в любом режиме воспроизведения. Таким образом, в схеме 1 расположения маршрут 5310 воспроизведения в режиме 2-мерного воспроизведения и маршрут 5320 воспроизведения в режиме 3-мерного воспроизведения разделяются вблизи длинного перехода JLY. Соответственно, в отличие от схемы расположения, показанной на фиг.51A, размер SEXT2D[1] 2-мерного экстента EXT2D[1], расположенного непосредственно перед границей LB слоев, и размер SEXT2[1] непосредственно предшествующего блока D[1] данных зависимого ракурса можно задавать отдельно, как описано ниже.
Размер SEXT2D[1] 2-мерного экстента EXT2D[1] является одинаковым с суммой SEXT1[1]+S2D, где SEXT1[1] означает размер блока B[1] данных основного ракурса, и S2D означает размер блока B[2]2D только для 2-мерного воспроизведения. Соответственно, для непрерывного воспроизведения 2-мерных видеоизображений, во-первых, сумма SEXT1[1]+S2D должна удовлетворять условию 1. Здесь, в правой части выражения 1, в качестве времени Tjump-2D перехода подставляется максимальное время Tjump_max перехода длинного перехода JLY. Затем, число секторов от конца блока B[2]2D только для 2-мерного воспроизведения до блока B[3] данных основного ракурса, который является первым 2-мерным экстентом EXT2D во втором блоке экстентов, должно быть меньше чем или равно максимальному расстоянию Sjump_max перехода длинного перехода JLY, заданному в соответствии с характеристиками устройства 2-мерного воспроизведения.
С другой стороны, для непрерывного воспроизведения 3-мерных изображений, во-первых, размеры SEXT2[1] и SEXT1[1] блока D[1] данных зависимого ракурса и блока B[1] данных основного ракурса, расположенных в конце первого SS-экстента EXTSS[0], должны удовлетворять условиям 3 и 2. Независимо от того, осуществляется ли длинный переход JLY, типичное значение для времени нулевого межсекторного перехода следует подставлять в правые части выражения 3 и выражения 2 в виде значений времени TJUMP0[2n+1] и TJUMP0[2n+2] нулевого межсекторного перехода. Затем, размер первого SS-экстента EXTSS[0] должен удовлетворять условию 4. Кроме того, число секторов от конца SS-экстента EXTSS[0] до начала следующего SS-экстента EXTSS[1] должно быть меньше чем или равным максимальному расстоянию Sjump_max перехода длинного перехода JLY, заданному в соответствии с характеристиками устройства 3-мерного воспроизведения.
Среди 2-мерных экстентов EXT2D[1], расположенных непосредственно перед границей LB слоев, только блок B[1] данных основного ракурса, расположенный спереди, является общим с первым SS-экстентом EXTSS[0]. Соответственно, посредством подходящего увеличения размера S2D блока B[2]2D только для 2-мерного воспроизведения, при сохранении постоянного размера для SEXT2D[1] 2-мерного экстента EXT2D[1], таким образом, чтобы размер SEXT2D[1]=SEXT1[1]+S2D, размер SEXT1[1] блока B[1] данных основного ракурса можно ограничить до меньшего размера. При этом сокращается время по ATC экстента блока B[1] данных основного ракурса. По описанной причине размер SEXT2[1] блока D[1] данных зависимого ракурса, расположенного непосредственного перед блоком B[1] данных основного ракурса, можно сделать еще меньше.
Поскольку блок B[2]SS только для SS-воспроизведения побитно согласуется с блоком B[2]2D только для 2-мерного воспроизведения, то увеличение размера S2D блока B[2]2D только для 2-мерного воспроизведения вызывает увеличение размера блока D[2] данных зависимого ракурса, расположенного непосредственно перед блоком B[2]SS только для SS-воспроизведения. Однако, размер блока D[2] данных зависимого ракурса можно сделать достаточно меньше, чем размер блока D[1] данных зависимого ракурса, расположенного непосредственно перед границей слоев, показанной на фиг.51A. Таким образом, емкость буферов 4421 и 4422 считывания, которая должна быть зарезервирована в устройстве 102 воспроизведения в режиме 3-мерного воспроизведения, может быть дополнительно уменьшена в сторону значения минимального нижнего предела, необходимого для непрерывного воспроизведения 3-мерных видеоизображений. В результате, в схеме 1 расположения размер блоков данных можно рассчитывать так, чтобы можно было непрерывно воспроизводить как 2-мерные видеоизображения, так и 3-мерные изображения во время длинного перехода, при одновременном уменьшении емкости буфера считывания, которая должна быть зарезервирована в устройстве 102 воспроизведения, до минимального необходимого предела.
В схеме 1 расположения дублированные данные блока B[2]2D только для 2-мерного воспроизведения организованы как одиночный блок B[2]SS только для SS-воспроизведения во втором блоке 5202 экстентов. Кроме того, дублированные данные могут быть организованы с разделением на, по меньшей мере, два блока только для SS-воспроизведения.
(E-2) Схема 2 расположения
На фиг.54 схематически представлен второй пример схемы физического расположения групп блоков данных на диске BD-ROM 101 до и после границы LB слоев. В дальнейшем, приведенная схема расположения называется «схемой 2 расположения». Как видно из сравнения фиг.54 с фиг.52, схема 2 расположения отличается от схемы 1 расположения, в основном, тем, что непосредственно перед границей LB слоев обеспечены блоки 5402 экстентов, содержащие блоки B[2]SS и B[3]SS только для SS-воспроизведения.
Как показано на фиг.54, первый блок 5401 экстентов, блоки (B[2]+B[3])2D только для 2-мерного воспроизведения и второй блок 5402 экстентов последовательно расположены до границы LB слоев, и третий блок 5203 экстентов расположен после границы LB слоев. Блоки D[n] данных зависимого ракурса и блоки B[n] данных основного ракурса чередуются в каждом блоке 5201, 5202 и 5203 экстентов (n=…, 0, 1, 2, 3, 4, …). В частности, время по ATC экстента является одинаковым в паре D[n] и B[n] n-го блока данных. Контент потоковых данных во втором блоке 5402 экстентов продолжается от блоков D[1] и B[1] данных, расположенных в конце первого блока 5401 экстентов, и продолжается до блоков D[4] и B[4] данных, расположенных в начале третьего блока 5403 экстентов. Блоки данных основного ракурса, содержащиеся во втором блоке 5402 экстентов, являются блоками B[2]SS и B[3]SS только для SS-воспроизведения, и B[2]SS+B[3]SS полностью согласуются по битам с блоками (B[2]+B[3])2D только для 2-мерного воспроизведения, расположенными непосредственно перед ними.
За исключением блоков B[2]SS и B[3]SS только для SS-воспроизведения, блоки данных основного ракурса, показанные на фиг.54, могут быть выбраны как экстенты EXT2D[0], EXT2D[1] и EXT2D[2] в файле 5410 2-мерного видео. В частности, последний блок B[1] данных основного ракурса в первом блоке 5401 экстентов, блок (B[2]+B[3])2D только для 2-мерного воспроизведения и пара B[1]+(B[2]+B[3])2D могут быть выбраны как отдельный 2-мерный экстент EXT2D[1]. Кроме того, блоки B[0], B[1] и B[4] данных основного ракурса в блоках 5401 и 5403 экстентов, отличающихся от второго блока 5402 экстентов, могут извлекаться из экстентов EXTSS[0] и EXTSS[1] в SS-файле 5420 в виде экстентов EXT1[0], EXT1[1] и EXT[4] основания 5411 файла. Напротив, блоки (B[2]+B[3])2D только для 2-мерного воспроизведения могут быть выбраны только как участок 2-мерного экстента EXT2D[1]. Кроме того, блоки B[2]SS и B[3]SS только для SS-воспроизведения могут извлекаться из SS-экстента EXTSS[1] в виде экстентов EXT1[2] и EXT1[3] основного ракурса, соответственно.
На фиг.55 схематически представлен маршрут 5510 воспроизведения в режиме 2-мерного воспроизведения и маршрут 5520 воспроизведения в режиме 3-мерного воспроизведения для блоков данных по схеме 2 расположения, показанной на фиг.54.
Устройство 102 воспроизведения в режиме 2-мерного воспроизведения воспроизводит файл 5410 2-мерного видео. Соответственно, как показано маршрутом 5510 воспроизведения в режиме 2-мерного воспроизведения, первый блок B[0] данных основного ракурса, который является вторым от конца первого блока 5401 экстентов, считывается как первый 2-мерный экстент EXT2D[0], и считывание непосредственно следующего блока D[1] данных зависимого ракурса пропускается первым переходом J2D1. Затем, пара B[1]+(B[2]+B[3])2D из блока B[1] данных основного ракурса, который расположен последним в первом блоке 5401 экстентов, и непосредственного следующего блока (B[2]+B[3])2D только для 2-мерного воспроизведения безостановочно считывается как второй 2-мерный экстент EXT2D[1]. Сразу после этого осуществляется длинный переход JLY, считывается второй блок 5402 экстентов, и считывание блока D4 данных зависимого ракурса, который находится в начале третьего блока 5403 экстентов, пропускается. Затем, первый блок B[4] данных основного ракурса в третьем блоке 5403 экстентов считывается как третий 2-мерный экстент EXT2D[2].
Устройство 102 воспроизведения в 3-мерном режиме воспроизведения воспроизводит SS-файл 5420. Соответственно, как показано маршрутом 5520 воспроизведения в 3-мерном режиме воспроизведения, сначала полный первый блок 5401 экстентов безостановочно считывается как первый SS-экстент EXTSS[0]. Немедленно после этого осуществляется переход JEX, и считывание блока (B[2]+B[3])2D только для 2-мерного воспроизведения пропускается. Затем, полный второй 5402 блок экстентов безостановочно считывается как второй SS-экстент EXTSS[1]. Немедленно после этого осуществляется длинный переход JLY через границу LB слоев. Затем, полный третий блок 5403 экстентов безостановочно считывается как третий SS-экстент EXTSS[2].
Как показано на фиг.55, в режиме 2-мерного воспроизведения считывается блок (B[2]+B[3])2D только для 2-мерного воспроизведения, и считывание блоков B[2]SS и B[3]SS только для 3-мерного воспроизведения пропускается. Напротив, в режиме 3-мерного воспроизведения пропускается считывание блока (B[2]+B[3])2D только для 2-мерного воспроизведения, и считываются блоки B[2]SS и B[3]SS только для 3-мерного воспроизведения. Однако, поскольку как блок (B[2]+B[3])2D только для 2-мерного воспроизведения, так и совокупность блоков B[2]SS и B[3]SS только для 3-мерного воспроизведения согласуются по битам, то видеокадры основного ракурса, подлежащие воспроизведению, являются одинаковыми в любом режиме воспроизведения. Таким образом, в схеме 2 расположения маршрут 5510 воспроизведения в режиме 2-мерного воспроизведения и маршрут 5520 воспроизведения в режиме 3-мерного воспроизведения разделяются вблизи длинного перехода JLY. Соответственно, размер SEXT2D[1] 2-мерного экстента EXT2D[1], расположенного непосредственно перед границей LB слоев, и размер SEXT2[1] непосредственно предшествующего блока D[1] данных зависимого ракурса можно задавать отдельно, как описано ниже.
Размер SEXT2D[1] 2-мерного экстента EXT2D[1] является одинаковым с суммой SEXT1[1]+S2D, где SEXT1[1] означает размер блока B[1] данных основного ракурса, и S2D означает размер блока (B[2]+B[3])2D только для 2-мерного воспроизведения. Соответственно, для непрерывного воспроизведения 2-мерных видеоизображений, во-первых, сумма SEXT1[1]+S2D должна удовлетворять условию 1. Здесь, в правой части выражения 1, в качестве времени Tjump-2D перехода подставляется максимальное время Tjump_max перехода длинного перехода JLY. Затем, число секторов от конца блока (B[2]+B[3])2D только для 2-мерного воспроизведения до блока B[4] данных основного ракурса, который является первым 2-мерным экстентом EXT2D[2] в третьем блоке 5403 экстентов, должно быть меньше чем или равно максимальному расстоянию Sjump_max перехода длинного перехода JLY, заданному в соответствии с характеристиками устройства 2-мерного воспроизведения.
С другой стороны, для непрерывного воспроизведения 3-мерных изображений размеры SEXT2[1] и SEXT1[1] блока D[1] данных зависимого ракурса и блока B[1] данных основного ракурса, расположенных в конце первого SS-экстента EXTSS[0], должны удовлетворять условиям 3 и 2. Независимо от того, осуществляется ли переход JEX, типичное значение для времени нулевого межсекторного перехода следует подставлять в правые части выражения 3 и выражения 2 в виде значений времени TJUMP0[2n+1] и TJUMP0[2n+2] нулевого межсекторного перехода. Затем, размеры SEXT2[3] и SEXT1[3] блока D[3] данных зависимого ракурса и блока B[3]SS только для SS-воспроизведения, расположенных в конце второго SS-экстента EXTSS[1], должны удовлетворять условиям 3 и 2. Независимо от того, осуществляется ли длинный переход JLY, типичное значение для времени нулевого межсекторного перехода следует подставлять в правые части выражения 3 и выражения 2 в виде значений времени TJUMP0[2n+1] и TJUMP0[2n+2] нулевого межсекторного перехода.
Среди 2-мерных экстентов EXT2D[1] только блок B[1] данных основного ракурса, расположенный спереди, является общим с SS-экстентом EXTSS[1]. Соответственно, посредством подходящего увеличения размера S2D блока (B[2]+B[3])2D только для 2-мерного воспроизведения, при сохранении постоянного размера SEXT2D[1] 2-мерного экстента EXT2D[1]=SEXT1[1]+S2D, размер SEXT1[1] блока B[1] данных основного ракурса можно ограничить до меньшего размера. По описанной причине размер SEXT2[1] блока D[1] данных зависимого ракурса, расположенного непосредственного перед блоком B[1] данных основного ракурса, может быть ограничен меньшим размером.
Полный объем блоков B[2]SS+B[3]SS только для 3-мерного воспроизведения согласуется по битам с блоками (B[2]+B[3])2D только для 2-мерного воспроизведения. Соответственно, когда размер S2D блоков (B[2]+B[3])2D только для 2-мерного воспроизведения увеличивается, размер блоков D[2] и D[3] данных зависимого ракурса, расположенных непосредственно перед блоками B[2]SS+B[3]SS только для 3-мерного воспроизведения также увеличивается. Однако блоки только для 3-мерного воспроизведения разбиты на два, B[2]SS и B[3]SS, в противоположность единственному блоку (B[2]+B[3])2D только для 2-мерного воспроизведения. В результате, размеры блоков B[2]SS и B[3]SS только для 3-мерного воспроизведения можно сделать достаточно малыми. Таким образом, емкость буферов 4421 и 4422 считывания можно дополнительно уменьшить до минимального нижнего предела, необходимого для непрерывного воспроизведения 3-мерных видеоизображений.
Для непрерывного воспроизведения 3-мерных изображений размер SEXTSS[0] первого SS-экстента EXTSS[0] и размер SEXTSS[1] второго SS-экстента EXTSS[1] вместо удовлетворения условию 4 должен удовлетворять условиям A1 и A2, изложенным ниже.
На фиг.56 представлен график, показывающий изменения объемов DA1 и DA2 данных, накапливаемых в буферах 4421 и 4422 считывания, когда 3-мерные изображения непрерывно безостановочно воспроизводятся из блоков 5401-5403 экстентов, показанных на фиг.54, и изменения их суммы DA1+DA2. На фиг.56 штрихпунктирная линия графика показывает изменения объема DA1 данных, накопленных в первом буфере 4421 считывания, и пунктирная линия графика показывает изменения объема DA2 данных, накопленных во втором 2022 буфере считывания. Сумма DA1+DA2 данных, фактически, всегда изменяется немного каждый раз, когда считывается один блок данных. Однако сплошная линия графика дает линейное приближение упомянутых мелких изменений. Кроме того, поскольку время TJUMP0 нулевого межсекторного перехода является пренебрежимо малым по сравнению с продолжительностью периода PRBLK[0] одного полного блока экстентов, то, на фиг.56, время TJUMP0 нулевого межсекторного перехода принято равным «0».
Как показано на фиг.56, в период PRBLK[0], в течение которого считывается первый блок 5401 экстентов, сумма DA1+DA2 накопленных объемов данных возрастает со скоростью, равной разности RUD72-REXTSS[0] между скоростью RUD72 считывания и средней скоростью REXTSS[0] передачи. В данном случае средняя скорость REXTSS[0] передачи имеет, по оценкам, значение, равное размеру первого полного блока 5401 экстентов, то есть размеру SEXTSS[0] SS-экстента EXT SS, деленному на время по ATC экстента TEXTSS. Переход JEX осуществляется сразу же после того, как блок B[1] данных основного ракурса в конце первого блока 5401 экстентов считывается в первый буфер 4421 считывания, и считывание блоков (B[2]+B[3])2D только для 2-мерного воспроизведения пропускается. В течение периода PJEX перехода JEX сумма DA1+DA2 накопленных объемов данных уменьшается со средней скоростью REXTSS[0] передачи. Затем, сумма DA+DA2 объемов данных, накопленных за период PRBLK[1], в течение которого считывается второй блок 5402 экстентов, увеличивается со скоростью, равной разности RUD72-REXTSS[1] между скоростью RUD72 считывания и средней скоростью REXTSS[1] передачи. Средняя скорость REXTSS[1] передачи оценивается как значение размера полного второго блока 5402 экстентов, который имеет размер SEXTSS[1] SS-экстента EXT SS, деленное на время по ATC экстента TEXTSS[1]. Длинный переход JLY осуществляется сразу же после того, как блок B[3]SS только для SS-воспроизведения в конце второго блока 5402 экстентов считывается в первый буфер 4421 считывания. В течение периода PJLY сумма DA1+DA2 накопленных объемов данных уменьшается со средней скоростью REXTSS[1] передачи. В данном случае сумма DA1+DA2 накопленных объемов данных достигает максимального значения либо непосредственно перед переходом JEX, либо непосредственно после длинного перехода JLY, либо в том и другом случаях. Посредством выставки достаточно большого максимального значения можно предотвратить опустошение буферов 4421 и 4422 считывания в течение как периода PJEX перехода JEX, так и периода PJLY длинного перехода JLY. В результате, возможно бесшовное соединение трех блоков 5401, 5402 и 5403 экстентов.
Максимальное значение суммы DA1+DA2 накопленных объемов данных определяется в зависимости от размера блоков 5401 и 5402 экстентов, расположенных перед переходами JEX и JLY. Соответственно, для бесшовного соединения трех блоков 5401-5403 экстентов размеры первых двух блоков 5401 и 5402 экстентов должны удовлетворять следующим условиям.
Предварительная загрузка выполняется в течение периодов PRD[0], PRD[2] и PRD[4] считывания блоков D[0], D[2] и D[4] данных зависимого ракурса, расположенных в началах блоков 5401, 5402 и 5403 экстентов. Соответственно, сначала, чтобы предотвратить опустошение обоих буферов 4421 и 4422 считывания во время перехода JEX, время по ATC экстента TEXTSS[0] первого SS-экстента EXTSS[0] должно быть, по меньшей мере, равным длительности периода от конечного момента времени T0 периода PRD[0] предварительной загрузки первого блока 5401 экстентов до конечного момента времени T1 периода PRD[2] предварительной загрузки второго блока 5402 экстентов. Как видно из фиг.56, длительность периода T0-T1 равна сумме длительности SEXTSS[0]/RUD72 периода PRBLK[0] считывания для первого блока 5401 экстентов, времени TJUMP-EX перехода для перехода JEX и разности TDIFF[0]=SEXT2[2]/RUD72-SEXT2[0]/RUD72 длительностей периодов PRD[0] и PRD[2] предварительной загрузки блоков 5401 и 5402 экстентов. Соответственно, размер SEXTSS[0] первого SS-экстента EXTSS[0] должен удовлетворять следующему выражению 7:
Выражение 7:
Затем, чтобы предотвратить опустошение обоих буферов 4421 и 4422 считывания во время длинного перехода JLY, сумма TEXTSS[0]+TEXTSS[1] значений времени по ATC экстентов первого SS-экстента EXTSS[0] и второго SS-экстента EXTSS[1] должна быть, по меньшей мере, равной длительности периода от конечного времени T0 периода PRD[0] предварительной загрузки первого блока 5401 экстентов до конечного времени T2 периода PRD[4] предварительной загрузки третьего блока 5403 экстентов. Как видно из фиг.56, длительность периода T0-T2 равна сумме периода T0-T1, длительности SEXTSS[0]/RUD72 периода PRBLK[1] считывания для второго блока 5402 экстентов, времени TJUMP-LY перехода длинного перехода JLY и разности TDIFF[1]=SEXT2[4]/RUD72-SEXT2[2]/RUD72 длительностей периодов PRD[2] и PRD[4] предварительной загрузки блоков 5402 и 5403 экстентов. Соответственно, размеры SEXTSS[0] и SEXTSS[1] двух SS-экстентов EXTSS[0] и EXTSS[1] должны удовлетворять следующему выражению 8.
Выражение 8:
В данном случае полные блоки B[2]SS+B[3]SS только для 3-мерного воспроизведения согласуются по битам с блоками (B[2]+B[3]) для 2-мерного воспроизведения. Соответственно, с точки зрения эффективного использования области записи на диске BD-ROM 101, целесообразно, чтобы размер SEXTSS[1] второго SS-экстента EXTSS[1] был равен минимальному нижнему пределу. Нижеследующие условия A1 и A2 являются условиями для удовлетворения как выражению 7, так и выражению 8 и уменьшения размера SEXTSS[1] второго SS-экстента EXTSS[1] до минимального нижнего предела. Условие A1 заключается в том, что «размер SEXTSS[0] первого SS-экстента EXTSS[0] удовлетворяет следующему выражению 9». Условие A2 заключается в том, что «размер SEXTSS[1] второго SS-экстента EXTSS[1] удовлетворяет следующему выражению 10».
Выражение 9:
Выражение 10:
Кроме того, число секторов от конца первого SS-экстента EXTSS[0] до начала второго SS-экстента EXTSS[1] должно быть меньше чем или равным максимальному расстоянию Sjump_max перехода для перехода JEX, заданному в соответствии с характеристиками устройства 3-мерного воспроизведения. Аналогично, число секторов от конца второго SS-экстента EXTSS[1] до начала третьего SS-экстента EXTSS[2] должно быть меньше чем или равным максимальному расстоянию Sjump_max перехода для перехода JLY, заданному в соответствии с характеристиками устройства 3-мерного воспроизведения.
Таким образом, в схеме 2 расположения размер блоков данных можно рассчитывать так, чтобы можно было непрерывно воспроизводить как 2-мерные видеоизображения, так и 3-мерные изображения, при одновременном уменьшении емкости буферов считывания, которая должна быть зарезервирована в устройстве 102 воспроизведения, до минимального предела.
В схеме 2 расположения дублированные данные блока (B[2]+B[3])2D только для 2-мерного воспроизведения разделены на два блока B[2]SS и B[3]SS только для SS-воспроизведения. Кроме того, дублированные данные могут быть особым блоком только для SS-воспроизведения или могут быть разделены на, по меньшей мере, три блока только для SS-воспроизведения.
(F) Блоки суперэкстентов
В блоках 1301, 1302 и 1303 экстентов, показанных на фиг.13, блоки D[n] и B[n] (n=0, 1, 2, 3, …) данных двух типов формируют схему расположения с чередованием. Кроме того, блок данных основного ракурса одного типа может формировать схему расположения с чередованием с блоками данных зависимого ракурса, по меньшей мере, двух типов.
На фиг.57 схематически представлена взаимосвязь между блоками Dn, Rn и Ln (n=0, 1, 2, …) данных трех типов, расположенных на диске BD-ROM 101, и файлами AV-потока, которые обращаются к блокам данных. Как показано на фиг.57, блоки Dn, Rn и Ln трех типов расположены так, чтобы бесперерывно чередоваться один за другим вдоль дорожки на диске BD-ROM 101. Блок Ln данных основного ракурса содержит основной TS, и, в частности, первичный видеопоток представляет левый ракурс 3-мерных видеоизображений. Блок Rn данных правого ракурса содержит первый вспомогательный TS, и, в частности, первичный видеопоток представляет правый ракурс 3-мерных видеоизображений. Блок Dn данных карты глубины содержит второй вспомогательный TS, и, в частности, первичный видеопоток представляет карту глубины левого ракурса 3-мерных видеоизображений. Время по ATC экстента является одинаковым для смежных экстентов из трех типов блоков Dn, Rn и Ln данных. Кроме того, в комбинации блоков данных, в которой время по ATC экстента является одинаковым, блоки данных организованы в восходящем порядке по объему данных. То есть, блоки расположены в порядке следования: блок Dn данных карты глубины, блок Rn данных правого ракурса и блок Ln данных основного ракурса. В дальнейшем, группа из блоков Dn, Rn и Ln данных в приведенной схеме расположения называется «блоком суперэкстентов» 5700.
Каждый блок Ln данных основного ракурса может быть выбран как один экстент файла 5710 2-мерного видео, то есть, как 2-мерный экстент EXT2D[n]. Каждый блок Rn данных правого ракурса может быть выбран как один экстент первого DEP-файла 5712, то есть, как экстент EXT2[n] правого ракурса. Каждый блок Dn данных карты глубины может быть выбран как один экстент второго DEP-файла 5713, то есть, как экстент EXT3[n] карты глубины. Кроме того, каждая смежная пара блока Rn данных правого ракурса и блока Ln данных левого ракурса формирует один блок экстентов и может быть выбрана как единичный экстент SS-файла 5720, то есть, SS-экстент EXTSS[n]. В частности, VAU, расположенный в начале каждого блока Rn и Ln данных, принадлежит одному и тому же 3-мерному VAU. Кроме того, полная последовательность блока 5700 суперэкстентов может быть выбрана как один экстент EXTSP[0] нового файла 5730 AV-потока. То есть, LBN начала блока 5700 суперэкстентов можно идентифицировать из элемента описания файла нового файла 5730 AV-потока. В дальнейшем, упомянутый файл 5730 называется «суперфайлом (SP-файлом)», и экстент EXTSP[0] называется «SP-экстентом».
(F-1) Маршрут воспроизведения для блоков суперэкстентов
На фиг.58 схематически представлены маршруты 5801, 5802 и 5803 воспроизведения, представляющие, соответственно, режим 2-мерного воспроизведения, L/R-режим и суперрежим, соответствующие блокам 5700 суперэкстентов. «Суперрежим» означает режим 3-мерного воспроизведения такого типа, который представляет собой рабочий режим, допускающий быстрое переключение между L/R-режимом и режимом глубины с использованием SP-файла. Устройство 102 воспроизведения, показанное на фиг.1, может быть адаптировано к суперрежиму.
Устройство 102 воспроизведения в режиме 2-мерного воспроизведения воспроизводит файл 5710 2-мерного видео. Соответственно, как показано маршрутом 5801 воспроизведения в режиме 2-мерного воспроизведения, блоки Ln (n=…, 0, 1, 2, …) данных основного ракурса считываются поочередно из блока 5800 суперэкстентов в виде 2-мерного экстента EXT2D[n]. С другой стороны, считывание блока Dn данных карты глубины и блока Rn данных правого ракурса пропускается переходом J2Dn.
Устройство 102 воспроизведения в L/R-режиме воспроизводит SS-файл 5720. Соответственно, как показано маршрутом 5802 воспроизведения в L/R-режиме, каждый блок Rn+Ln экстентов считывается поочередно из блока 5800 суперэкстентов в виде SS-экстента EXTSS[n]. С другой стороны, считывание блока Dn данных карты глубины пропускается переходом JLRn.
Устройство 102 воспроизведения в суперрежиме воспроизводит SP-файл 5730. Соответственно, как показано маршрутом 5803 воспроизведения в суперрежиме, полный блок 5800 суперэкстентов может быть безостановочно считан как SP-экстент EXTSP[0]. Аналогично маршруту 1602 воспроизведения в 3-мерном режиме, показанном на фиг.16, в маршруте 5803 воспроизведения нулевой межсекторный переход может выполняться между концом каждого блока данных и началом следующего блока данных.
Когда блок 5700 суперэкстентов считывается как SP-экстент EXTSP[0], устройство 102 воспроизведения считывает LBN и размер начала SP-экстента EXTSS из элемента описания SP-файла 5730 и передает считанные LBN и размер в дисковод дисков BD-ROM. Дисковод дисков BD-ROM безостановочно считывает данные упомянутого размера с упомянутым LBN. Аналогично обработке для считывания блоков с использованием SS-файла, при упомянутой обработке управление дисководом дисков BD-ROM упрощается благодаря следующим двум аспектам (A) и (B): (A) устройство 102 воспроизведения должно обращаться к экстентам поочередно с использованием элемента описания файла в одном месте; (B) поскольку общее число экстентов, подлежащих считыванию, является небольшим, то общее число пар LBN и размеров, подлежащих передаче в дисковод дисков BD-ROM, также невелико.
После считывания SP-экстента EXTSP[0] устройство 102 воспроизведения в суперрежиме разделяет SP-экстент EXTSP[0] на три блока данных и сохраняет три блока данных по отдельности. Таким образом, три блока данных сопровождаются с возможностью подачи в декодер. В результате, устройство 102 воспроизведения может быстро переключаться между L/R-режимом и режимом глубины. Начальная точка экстента в файле информации о клипах используется для обработки с целью разделения блоков данных. В частности, начальные точки экстентов, аналогичные начальным точкам экстентов, показанным на фиг.27A и фиг.27B, содержатся в файле информации о 2-мерных клипах, соответствующем файлу 5710 2-мерного видео, файле информации о клипах правого ракурса, соответствующем первому DEP-файлу 5712, и файле информации о клипах карты глубины, соответствующем второму DEP-файлу 5713. Затем, с использованием способа, подобного способу, показанному на фиг.27E, упомянутые начальные точки экстентов для экстентов основания 5711 файла, то есть экстента EXT1[n] основного ракурса, экстента EXT2[n] правого ракурса и экстента EXT3[n] карты глубины, извлекаются из SP-экстента EXTSP[0].
(F-2) Размер блоков данных
Для непрерывного воспроизведения либо 2-мерных видеоизображений или 3-мерных видеоизображений из блока 5700 суперэкстентов размеры блоков Dn, Rn, Ln данных, блоков Rn+Ln экстентов и блока 5700 суперэкстентов должны удовлетворять следующему условию, основанному на характеристиках устройства 102 воспроизведения.
[Условие, основанное на характеристике в режиме 2-мерного воспроизведения]
В качестве устройства воспроизведения в режиме 2-мерного воспроизведения принята система обработки воспроизведения, показанная на фиг.17. На фиг.59A представлен график, показывающий изменения объема DA данных, накопленных в буфере 1721 считывания, когда осуществляется работа в режиме 2-мерного воспроизведения, и на фиг.59B схематически представлена взаимосвязь между блоками 5910 суперэкстентов, подлежащих воспроизведению, и маршрутом 5920 2-мерного воспроизведения. Как показано на фиг.59B, при следовании маршруту 5920 воспроизведения из блока 5910 суперэкстентов, каждый блок Ln данных основного ракурса считывается с диска BD-ROM 101 в буфер 1721 считывания в виде одиночного 2-мерного экстента EXT2D[n]. Как показано на фиг.59A, накопленный объем DA данных в течение периода PR2D[n] считывания каждого 2-мерного экстента EXT2D[n] увеличивается со скоростью, которая равна разности RUD54-REXT2D[n] между скоростью RUD54 считывания и средней скоростью REXT2D[n] передачи. Кроме того, переход J2D[n] осуществляется между двумя последовательными 2-мерными экстентами EXT2D[n-1] и EXT2D[n]. Поскольку в период PJ2D[n] упомянутого перехода считывание блоков Dn и Rn данных зависимого ракурса пропускается, то накопленный объем DA данных уменьшается со средней скоростью REXT2D[n] передачи. Соответственно, для непрерывного считывания 2-мерных видеоизображений из блока 5910 суперэкстентов, во-первых, должно удовлетворяться вышеописанное условие 1. То есть, размер SEXT2D[n] 2-мерного экстента EXT2D[n] должен удовлетворять выражению 1.
Выражение 1:
Время TJUMP-2D[n] перехода, подлежащее подстановке в выражение 1, находят получением суммы двух параметров TJ[n] и TL[n]: TJUMP-2D[n]=TJ[n]+TL[n]. Первый параметр TJ[n] равен, например, в таблице на фиг.19 числу секторов от конца n-го 2-мерного экстента EXT2D[n] до начала (n+1)-го 2-мерного экстента EXT2D[n+1], то есть максимальному времени TJUMP_MAX перехода, соответствующему расстоянию перехода для перехода J2D[n]. Второй параметр TL[n] равен 0, если граница LB слоев отсутствует между 2-мерными экстентами EXT2D[n] и EXT2D[n+1], и выражается как время переключения между слоями, например, 350 мс, если граница LB слоев существует.
Затем, интервал между 2-мерными экстентами EXT2D[n] и EXT2D[n+1] должен быть меньше чем или равен максимальному расстоянию SJUMP_MAX перехода, соответствующему первому параметру TJ[n].
[Условие, основанное на характеристиках в режиме 3-мерного воспроизведения]
В качестве устройства воспроизведения в режиме 3-мерного воспроизведения принята система обработки воспроизведения, показанная на фиг.20. На фиг.60A и 60B представлены графики, показывающие изменения объемов DA1 и DA2 данных, накопленных в буферах 2021 и 2022 считывания, когда устройство воспроизведения непрерывно воспроизводит 3-мерные изображения из блока 6010 суперэкстентов в L/R-режиме, и на фиг.60C схематически представлена взаимосвязь между блоками 6010 суперэкстентов и маршрутом 6020 воспроизведения в L/R-режиме. Следует отметить, что нижеследующее описание является также справедливым для режима глубины. Например, размер блока Rk данных правого ракурса следует понимать как «размер блока Dk данных карты глубины», скорость REXT2[k] передачи правого ракурса следует понимать как «скорость REXT3[k] передачи карты глубины».
Как показано на фиг.60C, каждая смежная пара блока Rk данных правого ракурса и блока Lk данных основного ракурса (k=…, n, n+1, n+2, …) формирует один блок Rk+Lk экстентов. При следовании маршруту 6020 воспроизведения из блока 6010 суперэкстентов каждый блок Rk+Lk экстентов считывается совместно с диска BD-ROM 101 в переключатель 2020 в виде одного SS-экстента EXTSS[k]. В дальнейшем, экстент Rk правого ракурса и экстент Lk основного ракурса выделяются из каждого SS-экстента EXTSS[k] переключателем 2020 и поочередно передаются в буфер 2021 считывания и буфер 2022 считывания. Как показано на фиг.60A и фиг.60B, в период PRD[k] считывания экстента EXT2[k] правого ракурса накопленный объем DA1 данных в первом буфере считывания уменьшается со скоростью REXT1[k] передачи основного ракурса, и накопленный объем DA2 данных во втором буфере 2022 считывания увеличивается со скоростью, равной разности RUD72-REXT2[k] между скоростью RUD72 считывания и скоростью REXT2[k] передачи правого ракурса. Напротив, в период PRB[k] считывания экстента EXT1[k] основного ракурса накопленный объем DA1 данных в первом буфере 2021 считывания увеличивается со скоростью, равной разности RUD72-REXT1[k] между скоростью RUD72 считывания и скоростью REXT1[k] передачи основного ракурса, и накопленный объем DA2 данных во втором буфере 2022 считывания уменьшается со скоростью REXT2[k] передачи правого ракурса.
Кроме того, между смежными SS-экстентами EXTSS[n] и EXTSS[n+1] осуществляется переход JLR[n]. В период PJLR[n] перехода, поскольку считывание блока D(n+1) данных карты глубины пропускается, накопленные объемы DA1 и DA2 данных уменьшаются со средними скоростями REXT1[n] и REXT12[n] передачи.
Для непрерывного воспроизведения 3-мерных изображений из каждого SS-экстента EXTSS[n] должны удовлетворяться вышеприведенные условия 2-4. То есть, размер SEXT1[n] каждого экстента EXT1[n] основного ракурса удовлетворяет выражению 2, размер SEXT2[n] в экстенте EXT2[n] правого ракурса удовлетворяет выражению 3, и размер SEXTSS[n] каждого SS-экстента EXTSS[n] удовлетворяет выражению 6.
Выражение 2:
Выражение 3:
Выражение 6:
Время TJUMP[n] перехода, подлежащее подстановке в правую часть выражения 6, равно, например, в таблице на фиг.19 числу секторов от конца n-го SS-экстента EXTSS[n] до начала (n+1)-го SS-экстента EXTSS[n+1], то есть максимальному времени TJUMP_MAX перехода, соответствующему расстоянию SJUMP перехода для перехода JLR[n]. Кроме того, параметр TDIFF[n] равен разности длин между периодами PRR[n] и PRR[n+1] предварительной загрузки: TDIFF[n]=SEXT2[n+1]/RUD72-SEXT2[n]/RUD72.
Кроме того, для как можно большего уменьшения емкости первого буфера 2021 считывания размер SEXT1[n] блока Ln основного ракурса должен быть меньше чем или равен минимальному нижнему пределу размера минимального экстента 2-мерного экстента EXT2D[n]. То есть, размер SEXT1[n] удовлетворяет выражению 4.
Выражение 4:
Кроме того, поскольку время по ATC экстента является одинаковым в комбинации Dn, Rn, Ln n-ных блоков данных, то размер SEXTm[n] блоков Dn, Rn и Ln данных, (m=3, 2, 1), удовлетворяет выражению 5.
Выражение 5:
[Условие, основанное на характеристике в суперрежиме]
На фиг.61 представлена блок-схема, представляющая систему обработки воспроизведения в устройстве воспроизведения в суперрежиме. Как показано на фиг.61, система обработки воспроизведения содержит дисковод 6101 дисков BD-ROM, переключатель 6120, три буфера 6121, 6122 и 6123 считывания и выходной декодер 6124 системы. Дисковод 6101 дисков BD-ROM считывает SP-экстент с диска BD-ROM 101 и передает SP-экстент в переключатель 6120 со скоростью RUD108 считывания. Посредством привязки к начальной точке экстента переключатель 6120 разделяет каждый SP-экстент на блоки Dn, Rn и Ln данных трех типов. Блок Ln данных основного ракурса сохраняется в первом буфере 6121 считывания, блок Rn данных правого ракурса сохраняется во втором буфере 6122 считывания, и блок Dn данных карты глубины сохраняется в третьем буфере 6123 считывания. Буферы 6121, 6122 и 6123 считывания являются буферными памятями в устройстве воспроизведения. Буферы 6121, 6122 и 6123 считывания получают блоки данных из дисковода 6101 дисков BD-ROM и сохраняют блоки данных. Выходной декодер 6124 системы считывает исходные пакеты из каждого блока данных основного ракурса, сохраненного в первом буфере 6121 считывания, со скоростью REXT1 передачи основного ракурса. Выходной декодер 6124 системы считывает исходные пакеты из каждого блока данных правого ракурса, сохраненного во втором буфере 6122 считывания, со скоростью REXT2 передачи правого ракурса. Выходной декодер 6124 системы считывает исходные пакеты из каждого блока данных карты глубины, сохраненного в третьем буфере 6123 считывания, со скоростью REXT3 передачи карты глубины. Выходной декодер 6124 системы дополнительно декодирует комбинацию считанных блоков данных в видеоданные VD и аудиоданные AD.
Скорость RUD10872 обычно выражается в бит/секунду и устанавливается на более высокое значение, например, 108 Мбит/сек, чем максимальные значения RMAX1-RMAX3 любой из средних скоростей REXT1-REXT3 передачи: RUD108>RMAX1, RUD108>RMAX2, RUD108>RMAX3. Упомянутая установка предотвращает опустошение буферов 6121, 6122 и 6123 считывания вследствие декодирующей обработки выходным декодером 6124 системы, в то время как дисковод 6101 дисков BD-ROM считывает SP-экстент с диска BD-ROM 101.
На фиг.62A, 62B и 62C представлены графики, показывающие изменения объемов DA1, DA2 и DA3 данных, накопленных в буферах 6121, 6122 и 6123 считывания, когда 3-мерные изображения непрерывно воспроизводятся из одного блока суперэкстентов. На фиг.62D схематически представлена взаимосвязь между блоками 6210 суперэкстентов и маршрутом 6220 воспроизведения в суперрежиме. Следует отметить, что на графиках, показанных на фиг.62A-62C, изменения, которые являются, фактически, ступенчатыми, приближенно показаны линейными.
Как показано на фиг.62A-62C, в период PRD[n] считывания n-го блока Dn данных карты глубины накопленный объем DA3 данных третьего буфера 6123 считывания увеличивается со скоростью, равной разности RUD108-REXT3[n] между скоростью RUD108 считывания и скоростью REXT3[n] передачи карты глубины. Накопленный объем DA1 данных первого буфера 6121 считывания уменьшается со скоростью REXT1[n-1] передачи основного ракурса, и накопленный объем DA2 данных во втором буфере 6122 считывания уменьшается со скоростью REXT2[n-1] передачи правого ракурса. Как показано на фиг.62D, нулевой межсекторный переход J0[3n] происходит от n-го блока Dn данных карты глубины к n-му блоку Rn данных правого ракурса. Как показано на фиг.62A-62C, в течение времени PJ0[3n] нулевого межсекторного перехода накопленный объем DA1 данных первого буфера 6121 считывания уменьшается со скоростью REXT1[n-1] передачи основного ракурса, накопленный объем DA2 данных второго буфера 6122 считывания уменьшается со скоростью REXT2[n-1] передачи правого ракурса, и накопленный объем DA3 данных третьего буфера 6123 считывания уменьшается со скоростью REXT1[n] передачи карты глубины.
Как дополнительно показано на фиг.62A-62C, в период PRR[n] считывания n-го блока Rn данных правого ракурса накопленный объем DA2 данных второго буфера 6122 считывания увеличивается со скоростью, равной разности RUD108-REXT2[n] между скоростью RUD108 считывания и скоростью REXT2[n] передачи карты глубины. Накопленный объем DA3 данных в третьем буфере 6123 считывания уменьшается со скоростью REXT1[n] передачи карты глубины, и накопленный объем DA1 данных в первом буфере 6121 считывания уменьшается со скоростью REXT1[n-1] передачи основного ракурса. Как показано на фиг.62D, нулевой межсекторный переход J0[3n+1] происходит от n-го блока Rn данных правого ракурса к n-му блоку Ln данных основного ракурса. Как показано на фиг.62A-62C, в период PJ0[3n+1] нулевого межсекторного перехода накопленный объем DA1 данных в первом буфере 6121 считывания уменьшается со скоростью REXT1[n-1] передачи основного ракурса, накопленный объем DA2 данных во втором буфере 6122 считывания уменьшается со скоростью REXT2[n] передачи правого ракурса, и накопленный объем DA3 данных в третьем буфере 6123 считывания уменьшается со скоростью REXT3[n] передачи карты глубины.
Как показано на фиг.62A-62C, в период PRL[n] считывания n-го блока Ln данных основного ракурса накопленный объем DA1 данных в первом буфере 6121 считывания увеличивается со скоростью, равной разности RUD108-REXT1[n] между скоростью RUD108 считывания и скоростью REXT1[n] передачи основного ракурса. Накопленный объем DA2 данных во втором буфере 6122 считывания уменьшается со скоростью REXT2[n] передачи правого ракурса, и накопленный объем DA3 данных в третьем буфере 6123 считывания уменьшается со скоростью REXT1[n] передачи карты глубины. Как показано на фиг.62D, нулевой межсекторный переход J0[3n+2] происходит от n-го блока Ln данных основного ракурса до (n+1)-го блока D(n+1) карты глубины. Как показано на фиг.62A-62C, в период PJ0[3n+2] нулевого межсекторного перехода, накопленный объем DA1 данных в первом буфере 6121 считывания уменьшается со скоростью REXT1[n] передачи основного ракурса, накопленный объем DA2 данных во втором буфере 6122 считывания уменьшается со скоростью REXT2[n] передачи правого ракурса, и накопленный объем DA3 данных в третьем буфере 6123 считывания уменьшается со скоростью REXT3[n] передачи карты глубины.
Чтобы устройство в суперрежиме непрерывно воспроизводило 3-мерные изображения из блоков 6210 суперэкстентов, должны выполняться следующие условия.
Размер SEXT1[n] n-го блока Ln данных основного ракурса равен объему данных, передаваемых из первого буфера 6121 считывания в выходной декодер 6124 системы в период от периода PRL[n] считывания до момента, по меньшей мере, непосредственно перед периодом PRL[n+1] считывания следующего блока L(n+1) данных основного ракурса. При этом, как показано на фиг.62A, непосредственно перед периодом PRL[n+1] считывания следующего блока L(n+1) данных основного ракурса накопленный объем DA1 данных в первом буфере 6121 считывания не меньше, чем объем непосредственно перед периодом PRL[n] считывания в n-м блоке Ln данных основного ракурса. Длительность периода PRL[n] считывания n-го блока Ln данных основного ракурса равна значению, полученному делением размера SEXT1[n] блока Ln данных основного ракурса на скорость RUD108 считывания, то есть SEXT1[n]/RUD108. Кроме того, длительности периодов PRD[n+1] и PRR[n+1] считывания (n+1)-х блоков D(n+1) и R(n+1) данных зависимых ракурсов равны значению, полученному делением размеров SEXT2[n+1] и SEXT3[n+1] (n+1)-х блоков D(n+1) и R(n+1) данных зависимых ракурсов на скорость RUD108 считывания, то есть SEXT2[n+1]/RUD108, SEXT3[n+1]/RUD108. Соответственно, размер SEXT1[n] блока Ln данных основного ракурса должен удовлетворять следующему выражению 11.
Выражение 11:
Аналогично, размер SEXT2[n] n-го блока Rn данных правого ракурса и размер SEXT3[n] блока Dn данных карты глубины должны удовлетворять следующему выражению 12 и выражению 13, соответственно.
Выражение 12:
Выражение 13:
Следует отметить, что, в выражениях 11-13 время TJUMP0[.] каждого нулевого межсекторного перехода заменено типичным значением TJUMP0.
На фиг.63A представлен график, показывающий изменения объемов DA1, DA2 и DA3 данных, накопленных в буферах 6121, 6122 и 6123 считывания, и изменения суммы DA1+DA2+DA3, когда 3-мерные изображения непрерывно безостановочно воспроизводятся из двух разных блоков 6301 и 6302 суперэкстентов. На фиг.63B схематически представлена взаимосвязь между упомянутыми двумя блоками 6301 и 6302 суперэкстентов и маршрутом 6320 воспроизведения в суперрежиме. Как показано на фиг.63B, блоки 6301 и 6302 суперэкстентов состоят из блоков Dk, Rk и Lk (k=0, …, N-2, N-1, N, …) данных, расположенных по схеме с чередованием. Целое число N представляет суммарное число блоков данных основного ракурса, содержащихся в предшествующем блоке 6301 суперэкстентов. Два блока 6301 и 6302 суперэкстентов разделены на границе LB слоев. При следовании по маршруту 6320 воспроизведения сначала полный предшествующий блок 6301 суперэкстентов совместно считывается как один SP-экстент EXTSP[0]. Непосредственно после этого выполняется длинный переход JLY, обусловленный межслойным переходом. Затем, следующий блок 6302 суперэкстентов совместно считывается как другой SP-экстент EXTSP[1].
На фиг.63A штрихпунктирная линия графика показывает изменения объема DA1 данных, накопленных в первом буфере 6121 считывания, точечная линия графика показывает изменения накопленного объема DA2 данных во втором буфере 6122 считывания, пунктирная линия графика показывает изменения накопленного объема DA3 данных в третьем буфере 6123 считывания, и сплошная линия графика показывает изменения суммы объемов DA1+DA2+DA3 данных трех типов. Сумма DA1+DA2+DA3 данных, фактически, изменяется немного каждый раз, когда считывается один блок данных. Однако сплошная линия графика дает линейное приближение упомянутых мелких изменений. Кроме того, поскольку время TJUMP0 нулевого межсекторного перехода является пренебрежимо малым по сравнению с продолжительностью периода PRSBLK[0] одного полного блока суперэкстентов, то, на фиг.63A, время TJUMP0 нулевого межсекторного перехода принято равным «0».
Как показано на фиг.63A, в период PRSBLK[0] считывания, в течение которого считывается полностью один первый блок 6301 суперэкстентов с диска BD-ROM 101 в буферы 6121, 6122 и 6123 считывания, объемы DA1, DA2 и DA3 данных увеличиваются. В частности, в течение периода PRSBLK[0] считывания полного блока 6301 суперэкстентов сумма DA1+DA2+DA3 накопленных объемов данных увеличивается со скоростью, равной разности RUD108-REXTSP[0] между скоростью RUD108 считывания и средней скоростью REXTSP[0] передачи. Средняя скорость REXTSP[0] передачи имеет, по оценкам, значение, равное размеру полного блока 6301 суперэкстентов, то есть размеру SEXTSP[0] SP-экстента EXTSP[0], деленному на время по ATC экстента TEXTSP. Описанный вид увеличения накопленных объемов DA1, DA2 и DA3 данных можно реализовать расчетом размеров блоков D и B данных таким образом, чтобы они были больше или равны минимальному размеру экстента.
Во время, когда блок L(N-1) данных основного ракурса конца блока 6301 суперэкстентов считывается в первый буфер 6121 считывания, сумма DA1+DA2+DA3 накопленных объемов данных достигает максимального значения. В период PJLY непосредственно следующего длинного перехода JLY сумма DA1+DA2+DA3 накопленных объемов данных уменьшается со средней скоростью REXTSP[0] передачи. Соответственно, настройка, обеспечивающая достаточно большое максимальное значение суммы DA1+DA2+DA3 накопленных объемов данных, позволяет предотвратить опустошение буферов 6121-6123 считывания во время длинного перехода JLY. В результате, возможно бесшовное соединение двух блоков 6301 и 6302 суперэкстентов.
Максимальное значение суммы DA1+DA2+DA3 накопленных объемов данных определяется в зависимости от размера предшествующего блока 6301 суперэкстентов. Соответственно, для бесшовного соединения двух блоков 6301 и 6302 суперэкстентов размер предшествующего блока 6301 суперэкстентов, то есть размер SEXTSP[0] SP-экстента EXTSP[0], должен удовлетворять следующему условию.
Предварительная загрузка выполняется в периоды PRD[0]+PRR[0] и PRD[N]+PRR[N] считывания пар блоков D0+R0 и DN+RN данных зависимого ракурса, расположенных в начале блоков 6301 и 6302 суперэкстентов. Соответственно, чтобы предотвратить наступление опустошения буферов 6121-6123 считывания во время длинного перехода JLY, время TEXTSP по ATC экстента предшествующего SP-экстента EXTSP[0] должно быть, по меньшей мере, равным длительности периода от конечного момента времени T10 периода PRD[0]+PRR[0] предварительной загрузки блока 6301 суперэкстентов до конечного момента времени T11 периода PRD[N]+PRR[N] предварительной загрузки следующего блока 6302 суперэкстентов. Другими словами, размер SEXTSP[0] SP-экстента EXTSP[0] должен быть, по меньшей мере, равен сумме объема данных, переданных из буферов 6121-6123 считывания в выходной декодер 6124 системы в период от T10 до T11.
Как видно из фиг.63A, длительность периода от T10 до T11 равна значению, полученному суммированием длительности периода PRSBLK[0] считывания предшествующего блока 6301 суперэкстентов, времени TJUMP-LY перехода длинного перехода JLY и разности TDIFF между длительностями периодов PRD[0]+PRR[0] и PRD[N]+PRR[N] предварительной загрузки. Кроме того, длительность периода PRSBLK[0] считывания равна значению, полученному делением размера SEXTSP[0] предшествующего SP-экстента EXTSP[0] на скорость RUD108 считывания, SEXTSP[0]/RUD108. Соответственно, размер SEXTSP[0] предшествующего SP-экстента SP EXTSP[0] должен удовлетворять следующему выражению 14.
Выражение 14:
Длительности периодов PRD[0]+PRR[0] и PRD[N]+PRR[N] предварительной загрузки составляют значения, равные размерам SEXT3[0]+SEXT2[0] и SEXT3[N]+SEXT2[N] пар D0+R0 и DN+RN, деленным на скорость RUD108 считывания, (SEXT3[0]+SEXT2[0])/RUD108 и (SEXT3[N]+SEXT2[N])/RUD108. Соответственно, разность TDIFF длительностей периодов PRD[0]+PRR[0] и PRD[N]+PRR[N] предварительной загрузки равна разности между упомянутыми значениями: TDIFF=(SEXT3[N]+SEXT2[N])/RUD108-(SEXT3[0]+SEXT2[0])/RUD108. В дальнейшем, размер, выраженный правой частью выражения 14, называется «минимальным размером экстента SP-экстента».
[Заключение]
Для непрерывного воспроизведения как 2-мерных видеоизображений, так и 3-мерных видеоизображений из множества блоков суперэкстентов необходимо удовлетворить все вышеприведенные условия. В частности, размеры блоков данных, блоков экстентов и блоков суперэкстентов должны удовлетворять следующим условиям 1-8.
Условие 1: Размер SEXT2D 2-мерного экстента должен удовлетворять выражению 1.
Условие 2: Размер SEXT1 блока данных основного ракурса должен удовлетворять выражению 2.
Условие 3: Размеры SEXT2 и SEXT3 блока данных зависимого ракурса должны удовлетворять выражению 3.
Условие 4: Размер SEXTSS блока экстентов должен удовлетворять выражению 6.
Условие 5: Размер SEXT1 блока данных основного ракурса должен удовлетворять выражению 11.
Условие 6: Размер SEXT2 блока данных правого ракурса должен удовлетворять выражению 12.
Условие 7: Размер SEXT3 блока данных карты глубины должен удовлетворять выражению 13.
Условие 8: Размер SEXTSP блока суперэкстентов должен удовлетворять выражению 14.
(F-3) Разделение маршрута воспроизведения до и после границы слоев
Как пояснялось выше, для непрерывного воспроизведения видеоизображений блоки суперэкстентов должны удовлетворять условиям 1-8. Такую задачу можно решить достаточным увеличением размера блоков данных. Однако, как видно из схемы расположения, показанной на фиг.51A, можно зарезервировать достаточно большую емкость в буфере считывания.
Чтобы дополнительно уменьшить емкость буферов считывания, при создании возможности непрерывного воспроизведения видеоизображений во время длинного перехода, соответствующего переключению между слоями и т.п., маршрут воспроизведения следует разделять в позициях до и после границы слоев, как требуется для длинного перехода. Кроме того, схема расположения блоков данных до и после упомянутых позиций должна изменяться в сторону отличия от схемы расположения с чередованием.
На фиг.64 схематически представлена схема расположения блоков данных трех типов, записанных на диске BD-ROM 101 до или после границы LB слоев. Как показано на фиг.64, первый блок 6401 суперэкстентов, блок L22D только для 2-мерного воспроизведения, блоки R2SS и L2SS только для SS-воспроизведения и второй блок 6402 суперэкстентов расположены поочередно до границы LB слоев. При этом третий блок 6403 суперэкстентов расположен после границы LB слоев. Блоки Dn, Rn и Ln (n=…, 0, 1, 2, 3, …) данных трех типов формируют схему расположения с чередованием в каждом из блоков 6401-6403 суперэкстентов. В частности, время по ATC экстента является одинаковым в n-й группе блоков Dn, Rn и Ln данных. Кроме того, блоки данных в каждой группе расположены в следующем порядке: блок Dn данных карт глубины, блок Rn данных правого ракурса и блок Ln данных основного ракурса. Во втором блоке 6402 суперэкстентов контент потоковых данных является безостановочным от блоков D1, R1 и L1 данных, расположенных в конце первого блока 6401 суперэкстентов, и до блоков D4, R4 и L4 данных, расположенных в начале третьего блока 6403 суперэкстентов. Как блок R2SP данных правого ракурса, так и блок L2SP данных основного ракурса, содержащиеся во втором блоке 6402 суперэкстентов, являются блоками только для SP-воспроизведения (воспроизведения в суперрежиме). Блок L22D только для 2-мерного воспроизведения, блок L2SS только для SS-воспроизведения и блок L2SP только для SP-воспроизведения согласуются по битам между собой, и блок R2SS только для SS-воспроизведения согласуется по битам с блоком R2SP только для SP-воспроизведения.
Как дополнительно показано на фиг.64, за исключением блока L2SS только для SS-воспроизведения и блока L2SP только для SP-воспроизведения, блоки данных основного ракурса могут быть выбраны как экстенты EXT2D[0], EXT2D[1] и EXT2D[2] файла 6410 2-мерного видео. В частности, пара L1+L[2]2D последнего блока L1 данных основного ракурса в первом блоке 6401 суперэкстентов и блоке L22D только для 2-мерного воспроизведения может быть выбрана как один 2-мерный экстент EXT2D[1]. При этом блоки данных правого ракурса, отличающиеся от блока R2SP только для SP-воспроизведения, могут быть выбраны как экстенты EXT2[0], EXT2[1], EXT2[2] и EXT2[3] первого DEP-файла 6412. Кроме того, за исключением блоков R2SP и L2SP только для SP-воспроизведения, пары R0+L0, R1+L1, R2SS+L2SS и R3+L3 смежных блоков данных и блоков данных основного ракурса могут быть выбраны как экстенты EXTSS[0], EXTSS[1] и EXTSS[2] SS-файла 6420. В таком случае, за исключением блока L22D только для 2-мерного воспроизведения и блока L2SP только для SP-воспроизведения, блоки L0, L1, L2SS и L3 данных основного ракурса могут быть извлечены из SS-экстентов SEXTSS[0], EXTSS[1], EXTSS[2] и EXTSS[3].
Кроме того, блок Dn данных карты глубины может быть выбран как экстент EXT3[n] второго DEP-файла 6413. Далее, за исключением блока L22D только для 2-мерного воспроизведения и блоков R2SS и L2SS только для SS-воспроизведения, полные блоки 6401-6403 суперэкстентов могут быть выбраны как экстенты EXTSP[0], EXTSP[1] и EXTSP[2] SP-файла 6430. В таком случае, за исключением блока L22D только для 2-мерного воспроизведения и блока L2SS только для SS-воспроизведения, блоки L0, L1, L2SP и L3 данных основного ракурса могут быть извлечены из SP-экстентов EXTSP[0], EXTSP[1] и EXTSP[2] в виде экстентов EXT1[0], EXT1[1], EXT1[2] и EXT1[3] второго основания 6421 файла. Аналогично, блоки R0, R1, R2SP и R3 данных правого ракурса, отличающиеся от блока R2SS только для SS-воспроизведения, могут быть извлечены из SP-экстентов EXTSP[0], EXTSP[1] и EXTSP[2] в виде экстентов EXT2[0], EXT2[1], EXT2[2] и EXT2[3] третьего DEP-файла 6422. Как второе основание 6421 файла, так и третий DEP-файл 6422, подобно первому основанию 6411 файла, являются «виртуальными файлами». То есть, файлы 6421 и 6422 не распознаются файловой системой и не появляются в структуре каталогов/файлов, показанной на фиг.2. Экстенты EXT1[n] второго основания 6421 файла и экстенты EXT2[n] третьего DEP-файла 6422, подобно экстентам основного ракурса, указываются начальной точкой экстента в файле информации о клипах.
Устройство воспроизведения в режиме 2-мерного воспроизведения воспроизводит файл 6410 2-мерного видео. Соответственно, блоки L0 и L1 данных основного ракурса и блок L22D только для 2-мерного воспроизведения в первом блоке 6401 суперэкстентов, и блок L3 данных основного ракурса в третьем блоке 6403 суперэкстентов считываются как 2-мерные экстенты EXT2D[n], и считывание других блоков данных пропускается переходом. По приведенной причине, для непрерывного воспроизведения 2-мерных изображений упомянутые 2-мерные экстенты EXT2D[n] должны удовлетворять условию 1.
Устройство воспроизведения в L/R-режиме воспроизводит SS-файл 6420. Соответственно, за исключением блоков R2SP и L2SP только для SP-воспроизведения, пары R0+L0, R1+L1, R2SS+L2SS и R3+L3 смежных блоков данных правого ракурса и блоков данных основного ракурса считываются безостановочно как SS-экстенты EXTSS[n]. При этом считывание других блоков данных пропускается переходом. По приведенной причине для непрерывного воспроизведения 3-мерных изображений блоки данных, содержащиеся в упомянутых SS-экстентах EXTSS[n] должны удовлетворять условиям 2 и 3, и полный SS-экстент EXTSS[n] должен удовлетворять условию 4.
Устройство воспроизведения в суперрежиме воспроизводит SP-файл 6430. Соответственно, полные блоки 6401-6403 суперэкстентов безостановочно считываются как SP-экстенты EXTSP[n], и считывание других блоков данных пропускается переходом. По приведенной причине для непрерывного воспроизведения 3-мерных изображений блоки данных, содержащиеся в SP-экстентах EXTSP[n], должны удовлетворять условиям 5-7, и полные SP-экстенты EXTSP[n] должны удовлетворять условию 8.
Как видно из фиг.64, соответствующие маршруты воспроизведения в режиме 2-мерного воспроизведения, L/R-режиме и суперрежиме проходят по разным блокам L22D, L2SS и L2SP данных основного ракурса непосредственно перед границей LB слоев. Поскольку блоки L22D, L2SS и L2SP данных согласуются по битам между собой, то видеокадры основного ракурса, подлежащие воспроизведению, являются идентичными в любом режиме воспроизведения. Таким образом, маршруты воспроизведения разделяются непосредственно до длинного перехода, соответствующего переключению между слоями. Соответственно, размеры блоков данных несложно проектировать так, чтобы одновременно удовлетворить условиям 1-8, обязательным для непрерывного воспроизведения.
(F-4) Состав устройства воспроизведения в суперрежиме
Фундаментальная часть состава устройства воспроизведения в суперрежиме идентична устройству 3-мерного воспроизведения, показанному на фиг.44-46. Поэтому, ниже приведено описание секций в составе устройства 3-мерного воспроизведения, которые расширены или модифицированы, с включением отсылки к вышеприведенному описанию устройства 3-мерного воспроизведения за подробными сведениями об его фундаментальных частях.
На фиг.65 представлена функциональная блок-схема устройства 6500 воспроизведения в суперрежиме. Устройство 6500 воспроизведения содержит дисковод 6501 дисков BD-ROM, блок 6502 воспроизведения и блок 6503 управления. Блок 6502 воспроизведения содержит переключатель 6520, первый буфер 6521 считывания, второй буфер 6522 считывания, третий буфер 6523 считывания, выходной декодер 6524 системы и сумматор 6525 плоскостей. Блок 6503 управления содержит память 6531 динамических сценариев, память 6532 статических сценариев, блок 6533 обработки пользовательских событий, блок 6534 выполнения программ, блок 6535 управления воспроизведением и запоминающее устройство 6536 для параметров плеера. Блок 6502 воспроизведения и блок 6503 управления смонтированы на разных интегральных схемах, но, в альтернативном варианте осуществления, могут быть смонтированы на одной интегральной схеме. В частности, блок 6503 управления имеет состав, идентичный соответствующему составу в устройстве 3-мерного воспроизведения, показанном на фиг.44. Соответственно, подробное описание состава устройства включено путем отсылки к вышеприведенному пояснению устройства 3-мерного воспроизведения.
Дисковод 6501 дисков BD-ROM содержит элементы, идентичные соответствующим элементам дисковода 4401 дисков BD-ROM в устройстве 3-мерного воспроизведения, показанном на фиг.44. Когда блок 6535 управления воспроизведением указывает диапазон LBN, дисковод 6501 дисков BD-ROM считывает данные из группы секторов на диске BD-ROM 101, указанной диапазоном. В частности, группы исходных пакетов, принадлежащие соответственно SS-экстентам и SP-экстентам, передаются из дисковода 6501 дисков BD-ROM в переключатель 6520. В таком случае каждый SP-экстент содержит, по меньшей мере, один набор из блоков данных трех типов, как показано на фиг.57. Упомянутые блоки данных должны передаваться параллельно в разные буферы 6521-6523 считывания. Соответственно, дисковод 6501 дисков BD-ROM должен иметь, по меньшей мере, такую же скорость выборки, как дисковод 4401 дисков BD-ROM в устройстве 3-мерного воспроизведения.
Переключатель 6520 получает SS-экстенты и SP-экстенты из дисковода 6501 дисков BD-ROM. С другой стороны, переключатель 6520 получает из блока 6535 управления воспроизведением информацию, указывающую каждую границу между блоками, содержащимися в SS-экстентах и SP-экстентах. Упомянутая информация указывает число исходных пакетов с начала, например, SS-экстента или SP-экстента до каждой границы. В таком случае блок 6535 управления воспроизведением формирует упомянутую информацию посредством обращения к начальной точке экстента в файле информации о клипах. Переключатель 6520 дополнительно обращается к упомянутой информации для извлечения экстентов основного ракурса из каждого SS-экстента или SP-экстента и, затем, передачи блоков данных в первый буфер 6521 считывания. Аналогично, переключатель 6520 передает экстенты правого ракурса во второй буфер 6522 считывания и передает экстенты карты глубины в третий буфер 6523 считывания.
Буферы 6521-6523 считывания являются буферными памятями, которые используют элемент памяти в блоке 6502 воспроизведения. В частности, в одном элементе памяти используются разные области для буферов 6521-6523 считывания. В альтернативном варианте осуществления возможно использование разных элементов памяти для буферов 6521-6523 считывания.
Сначала выходной декодер 6524 системы в L/R-режиме поочередно считывает исходные пакеты из экстентов основного ракурса, сохраненных в первом буфере 6521 считывания, и экстентов зависимого ракурса, сохраненных во втором буфере 6522 считывания. При этом выходной декодер 6524 системы в режиме глубины поочередно считывает исходные пакеты из экстентов карты глубины, сохраненных в третьем буфере 6523 считывания, и экстентов зависимого ракурса, сохраненных во втором буфере 6522 считывания. Затем, выходной декодер 6524 системы разделяет элементарные потоки из каждого исходного пакета демультиплексированием и, кроме того, из разделенных потоков декодирует данные, представленные посредством PID, указанным блоком 6535 управления воспроизведением. Затем, выходной декодер 6524 системы записывает декодированные элементарные потоки во внутренней памяти плоскостей в соответствии с их типом. В частности, видеопотоки основного ракурса записываются в памяти видеоплоскости левого ракурса, видеопоток правого ракурса записывается в памяти плоскости правого ракурса, и поток карт глубины записывается в памяти плоскости глубины. Другие элементарные потоки записывают в памяти специальных плоскостей или выводятся в аудиомикшер. Выходной декодер 6524 системы выполняет также обработку для визуального представления графических данных из блока 6534 выполнения программ и записывает упомянутые данные в плоскость памяти изображений.
Аналогично процедуре, описанной для фиг.44, выходной декодер 6524 системы совместим с режимом представления B-D/режимом представления B-B и 2-плоскостным режимом/1-плоскостным режимом со смещением/1-плоскостным режимом с нулевым смещением. Соответственно, подробные сведения об упомянутых режимах можно найти в описании к фиг.44.
Сумматор 6525 плоскостей получает данные плоскости каждого типа из выходного декодера 6524 системы и совмещает между собой порции данных плоскостей для создания одного композитного кадра или поля. В частности, в L/R-режиме, из прочих порций данных плоскостей, сумматор 6525 плоскостей налагает порции, которые представляют левый ракурс, на данные плоскости левого ракурса и порции, которые представляют правый ракурс, на данные плоскости правого ракурса. С другой стороны, сумматор 6525 плоскостей в режиме глубины сначала формирует пару из данных видеоплоскости левого ракурса и данных видеоплоскости правого ракурса на основании обеих порций данных видеоплоскостей. Затем, сумматор 6525 плоскостей выполняет такую же композиционную обработку как в L/R-режиме.
При получении из блока 6535 управления воспроизведением указания на применение 1-плоскостного режима со смещением или 1-плоскостного режима с нулевым смещением в качестве режима представления вспомогательной видеоплоскости, плоскости PG, плоскости IG или плоскости изображения сумматор 6525 выполняет обработку кадрирования данных плоскостей, полученных из выходного декодера 6524 системы. Таким образом, формируется пара из данных плоскости левого ракурса и данных плоскости правого ракурса. Описание обработки кадрирования приведено в описании к фиг.44. Затем, сумматор 6525 плоскостей выполняет такую же композиционную обработку как в L/R-режиме. Композитный кадр или композитное поле выдается в дисплей 103 и представляется на экране.
На фиг.66 представлена функциональная блок-схема выходного декодера 6524 системы. По сравнению с устройством 4423 3-мерного воспроизведения, показанным на фиг.46, структурные элементы, показанные на фиг.66, имеют следующие два отличия: 1) входной канал из буфера считывания в каждый декодер утроен и 2) добавлен декодер 6613 карт глубины. При этом другие декодеры, аудиомикшер, процессор изображений и памяти плоскостей являются такими же, как соответствующие компоненты устройства 3-мерного воспроизведения, показанного на фиг.46. Соответственно, далее приведено описание входных систем 6611 и 6612 из третьего буфера 6523 считывания и декодера 6613 карт глубины, и подробные сведения о других аналогичных составляющих элементах можно найти в описании к фиг.46.
Третий блок 6611 распаковки исходных пакетов считывает исходные пакеты из третьего буфера 6523 считывания. Третий блок 6611 распаковки исходных пакетов дополнительно извлекает TS-пакеты, содержащиеся в исходных пакетах, и передает TS-пакеты в третий фильтр PID 6612. Третий блок 6611 распаковки исходных пакетов дополнительно обеспечивает согласование времени передачи TS-пакетов с ATS исходных пакетов. Аналогично синхронизации блоком распаковки исходных пакетов, показанным на фиг.46, упомянутая синхронизация может быть реализована посредством подсчета числа тактовых импульсов, генерируемых 27-МГц тактовым генератором, с использованием третьего счетчика ATC.
Каждый раз, когда третий фильтр PID 6612 получает TS-пакет из третьего блока 6611 распаковки исходных пакетов, третий фильтр PID 6612 сравнивает PID полученного TS-пакета с выбранным PID. Блок 6535 управления воспроизведением заранее указывает выбранный PID согласно таблице STN в файле списка 3-мерного воспроизведения. Когда два PID совпадают, третий фильтр 6612 передает TS-пакеты в декодер, назначенный для PID. Например, если PID имеет значение 0×1013, то TS-пакеты передаются в TB(1) 6601 в декодере 6613 карты глубины, а TS-пакеты с PID в диапазонах от 0×1B20-0×1B3F, 0×1220-0×127F и 0×1420-0×147F передаются в дополнительный видеодекодер, декодер PG или декодер IG, соответственно.
В дополнение к элементарному потоку, представляющему карту глубины левого ракурса, имеют место случаи, в которых элементарный поток, представляющий карту глубины правого ракурса, мультиплексирован в потоке карт глубины. В дальнейшем, первый называется «потоком карт глубины левого ракурса», и последний называется «потоком карт глубины правого ракурса». В таком случае потоку карт глубины левого ракурса и потоку карт глубины правого ракурса присваиваются разные PID. Третий фильтр PID 6612 изменяет пункты назначения передачи TS-пакетов, содержащихся в соответствующих потоках карт глубины в соответствии с упомянутыми PID. При описанной процедуре, TS-пакеты, содержащиеся в потоке карт глубины левого ракурса, передаются в TB(1) (первый буфер транспортного потока) 6601 в декодере 6613 карт глубины, и TS-пакеты, содержащиеся в потоке карт глубины правого ракурса, передаются в TB(2) (второй буфер транспортного потока) 6608. Кроме того, карта глубины правого ракурса сжата в соответствии со способом кодирования, например, MVC, с использованием карты глубины левого ракурса в качестве опорной картинки. Соответственно, декодирование потоков карт глубины левого ракурса и правого ракурса декодером 6613 карт глубины выполняется аналогично декодированию видеопотоков основного ракурса и зависимого ракурса основным видеодекодером.
Аналогично основному видеодекодеру, декодер 6613 карт глубины содержит TB(1) 6601, MB(1) (первый буфер-мультиплексор) 6602, EB(1) (первый буфер элементарного потока) 6603, TB(2) 6608, MB(2) (второй буфер-мультиплексор) 6609, EB(2) (второй буфер элементарного потока) 6610, переключатель 6606 буферов, DEC (декодер сжатого видеоизображения) 6604, DPB (буфер декодированной картинки) 6605 и переключатель 6607 картинок. Все элементы TB(1) 6601, MB(1) 6602, EB(1) 6603, TB(2) 6608, MB(2) 6609, EB(2) 6610 и DPB 6605 являются буферными памятями, каждая из которых использует область элементов памяти, содержащихся в декодере 6613 карт глубины. Следует отметить, что некоторые или все упомянутые буферные памяти могут располагаться по отдельности на разных элементах памяти.
TB(1) 6601 получает TS-пакеты, которые содержат поток карт глубины левого ракурса, из третьего фильтра PID 6612 и сохраняет TS-пакеты такими, как они поступают. MB(1) 6602 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB(1) 6601. При этом из TS-пакетов удаляются заголовки TS. EB(1) 6603 извлекает и сохраняет кодированные карты глубины из PES-пакетов, сохраненных в MB(1) 6602. При этом из PES-пакетов удаляются PES-заголовки.
TB(2) 6608 получает TS-пакеты, которые содержат поток карт глубины правого ракурса, из третьего фильтра PID 6612 и сохраняет TS-пакеты такими, как они поступают. MB(2) 6609 сохраняет PES-пакеты, восстановленные из TS-пакетов, сохраненных в TB(2) 6608. При этом из TS-пакетов удаляются заголовки TS. EB(2) 6610 извлекает и сохраняет кодированные карты глубины из PES-пакетов, сохраненных в MB(2) 4609. При этом из PES-пакетов удаляются PES-заголовки.
Переключатель 6606 буферов передает заголовки карт глубины, сохраненных в EB(1) 6603 и EB(2) 6610, в ответ на запрос из DEC 6604. Переключатель 6606 буферов дополнительно передает карты глубины в DEC 6604 в периоды времени, указанные посредством DTS, содержащихся в начальных TS-пакетах. В таком случае DTS для пары картинок, принадлежащих одному и тому же потоку карт глубины в видеопотоке левого ракурса и потоке правого ракурса, являются одинаковыми. При кодировании карт глубины одна картинка из каждой пары используется как опорная картинка для другой. Соответственно, из пары карт глубины, имеющих одну и ту же DTS, переключатель 6606 буферов сначала передает карту глубины, сохраненную в EB (1) 6603, в DEC 6604.
DEC 6604 является аппаратным декодером, специально предназначенным для выполнения декодирующей обработки, и, в частности, составлен на основе БИС, снабженной ускорительной функцией для декодирующей обработки. DEC 6604 последовательно декодирует карты глубины, передаваемые из переключателя 6606 буферов. Чтобы выполнять упомянутую декодирующую обработку, DEC 6604 предварительно анализирует каждый заголовок карты глубины, задает способ кодирования со сжатием и атрибут потока для сжатых картинок, сохраненных в карте глубины, и выбирает основанный на них способ декодирования. DEC 6604 дополнительно передает декодированную карту глубины в DPB 6605.
DPB 6605 временно сохраняет декодированную несжатую карту глубины. Когда DEC 6604 декодирует P-картинку или B-картинку, DPB 6605 производит поиск опорных картинок среди сохраненных несжатых карт глубины в соответствии с запросом из DEC 6604 и подает опорные картинки в DEC 6604.
Переключатель 6607 картинок записывает несжатые карты глубины из DPB 6605 либо в память 6620 левой плоскости глубины, либо в память 6621 правой плоскости глубины в период времени, указанный PTS, содержащейся в начальном TS-пакете. В таком случае PTS карты глубины в левом ракурсе и PTS карты глубины для правого ракурса являются одинаковыми. Соответственно, из пар карт глубины, имеющих одинаковые PTS, которые сохранены в DPB 6605, переключатель 6607 картинок сначала записывает карту глубины левого ракурса в память 6620 левой плоскости глубины и затем записывает карту глубины правого ракурса в память 6621 правой плоскости глубины. При считывании видеоплоскости из памяти левой видеоплоскости сумматор 6525 плоскостей в режиме глубины одновременно считывает карты глубины в памяти 6520 левой плоскости глубины. При этом, при считывании видеоплоскости из памяти правой видеоплоскости, сумматор 6525 плоскостей одновременно считывает карты глубины в памяти 6521 правой плоскости глубины.
(G) В чередующихся блоках данных, показанных на фиг.15, в парах блоков данных, имеющих одинаковое время по ATC экстента, периоды воспроизведения могут согласовываться, и время воспроизведения видеопотока может быть одинаковым. То есть, число VAU и число картинок может быть одинаковым в упомянутых блоках данных. Указанная взаимосвязь имеет следующее значение.
На фиг.67A схематически представлен маршрут воспроизведения, когда значения времени по ATC экстента для блоков данных основного ракурса отличаются от блоков данных зависимого ракурса, которые являются смежными между собой, и значения времени воспроизведения видеопотоков также различаются. Как показано на фиг.67A, время воспроизведения блока B[0] данных основного ракурса в начале блока B[0] данных основного ракурса составляет 4 секунды, и время воспроизведения блока D[0] данных зависимого ракурса в начале составляет 1 секунду. Участки видеопотока основного ракурса, необходимые для декодирования блока D[0] данных зависимого ракурса, имеют такое же время воспроизведения, как блок D[0] данных зависимого ракурса. Соответственно, для уменьшения емкости буферов считывания в устройстве воспроизведения, как показано стрелкой 6710 на фиг.67A, целесообразно, чтобы устройство воспроизведения считывало блок B[0] данных основного ракурса и блок D[0] данных зависимого ракурса попеременно в течение одного и того же времени воспроизведения, например, одной секунды на каждый блок. Однако, в таком случае, как показано пунктирной линией на фиг.67A, переход происходит в середине обработки считывания. В результате, осложняется задача поддержки обработки считывания в одном темпе с кодирующей обработкой, и, следовательно, сложно обеспечивать стабильное непрерывное воспроизведение.
На фиг.67B схематически представлен маршрут воспроизведения, когда значения времени воспроизведения видеопотока являются одинаковыми для блоков данных основного ракурса и блоков данных зависимого ракурса, которые являются смежными. На диске BD-ROM 101 в соответствии с вариантом 1 осуществления настоящего изобретения, как показано на фиг.67B, время воспроизведения видеопотока в паре смежных блоков данных может быть одинаковым. Например, в случае пары начальных блоков B[0] и D[0] данных, значения времени воспроизведения видеопотока для обоих блоков равны одной секунде, и оба значения времени воспроизведения видеопотока для второй пары блоков B[1] и D[1] данных равны 0,7 секунды. В таком случае устройство воспроизведения в режиме 3-мерного воспроизведения считывает блоки B[0], D[0], B[1], D[1] данных поочередно с начала, как показано стрелкой 6720 на фиг.67B. Просто, таким образом, устройство воспроизведения может плавно считывать основной TS и вспомогательный TS попеременно. В частности, поскольку во время обработки считывания не происходит перехода, можно обеспечить стабильное непрерывное воспроизведение 3-мерных видеоизображений.
Фактически, если время по ATC экстента является одинаковым для блока данных основного ракурса и блока данных зависимого ракурса, которые являются смежными, то синхронную декодирующую обработку можно обеспечить без порождения перехода при обработке считывания. Соответственно, даже если период воспроизведения или время воспроизведения видеопотока не являются одинаковыми, аналогично случаю, показанному на фиг.67B, устройство воспроизведения посредством простого считывания блоков данных с начала по порядку может стабильно обеспечивать непрерывное воспроизведение 3-мерных видеоизображений.
В блоках данных основного ракурса и блоках данных зависимого ракурса, которые являются смежными между собой, число заголовков для любого VAU или число PES-заголовков может быть одинаковым. Упомянутые заголовки служат для синхронизации декодирующей процедуры между блоками данных. Соответственно, если число заголовков в блоках данных является одинаковым, то, даже если фактическое число VAU не одно и то же, синхронизация декодирующего процесса обеспечивается сравнительно просто. Кроме того, в отличие от случая, в котором фактическое число VAU является одинаковым, не все данные VAU требуется мультиплексировать в одном и том же блоке данных. По приведенной причине, при мультиплексировании потоковых данных в авторской процедуре диска BD-ROM 101 обеспечивается высокая степень гибкости.
Число точек входа может быть одинаковым в блоке данных основного ракурса и блоке данных зависимого ракурса, которые являются смежными. На фиг.68 схематически представлена взаимосвязь между точками входа и блоками данных, когда упомянутое условие применяется к блокам суперэкстентов. Как показано на фиг.68, экстенты EXT2D[n] (n=0, 1, 2, …) в файле 241 2-мерного видео относятся к блоку Ln данных основного ракурса, экстент EXT2[n] правого ракурса первого DEP-файла 242 относится к блоку Rn данных правого ракурса, и экстент EXT3[n] карты глубины второго DEP-файла 243 относится к блоку Dn данных карты глубины. На фиг.68 точки входа показаны треугольниками 6801, 6802 и 6803, и число точек входа, содержащихся в экстентах, указано числом. В трех файлах 241, 242 и 243 экстенты EXT2D[n], EXT2[n] и EXT3[n] содержат, в одинаковом порядке от начала, одинаково пронумерованные точки 6801, 6802 и 6803 входа. При воспроизведении 3-мерных изображений из блоков Dn, Rn и Ln суперэкстентов в L/R-режиме переход происходит на протяжении каждого блока Dn данных карты глубины, и в режиме глубины переход происходит на протяжении каждого блока Rn данных правого ракурса. При этом в суперрежиме переход между блоками данных не происходит. Таким образом, наличие перехода зависит от режима воспроизведения. Однако, когда число точек входа является одним и тем же в блоках данных, время воспроизведения также является, по существу, одинаковым. Соответственно, происходит ли переход или нет, синхронная декодирующая обработка обеспечивается несложно. Кроме того, в отличие от случая, в котором фактическое число VAU является одинаковым, не все данные VAU требуется мультиплексировать в одном и том же блоке данных. По приведенной причине, при мультиплексировании потоковых данных в авторской процедуре диска BD-ROM 101 обеспечивается высокая степень гибкости.
(H) Мультиракурсная функция
На фиг.69A схематически представлен маршрут воспроизведения мультиплексированных потоковых данных, соответствующих нескольким углам. Как показано на фиг.69A, потоковые данные L, R и D трех типов, представляющие основной ракурс, правый ракурс и карту глубины, мультиплексированы в мультиплексированных потоковых данных. Например, в L/R-режиме потоковые данные основного ракурса и потоковые данные правого ракурса воспроизводятся параллельно. Кроме того, потоковые данные Ak, Bk и Ck, разделенные по углу, мультиплексируются на участках воспроизведения в течение периода TANG (k=0, 1, 2, …, n) мультиракурсного воспроизведения. Потоковые данные Ak, Bk и Ck, представляющие каждый угол, разделены на участки, на которых время воспроизведения является таким, как интервал изменения угла. Потоковые данные основного ракурса, потоковые данные правого ракурса и потоковые данные карт глубины дополнительно мультиплексируются на участках Ak, Bk и Ck. В течение мультиракурсного периода TANG объект воспроизведения может переключаться в соответствии с операцией пользователя или по команде прикладной программы между потоковыми данными Ak, Bk и Ck, разделенными по углу.
На фиг.69B схематически представлены блоки 6901 данных, записанные на диске BD-ROM, и маршрут 6902 воспроизведения, соответствующий им в L/R-режиме. Блоки 6901 данных содержат потоковые данные L, R, D, Ak, Bk и Ck, показанные на фиг.69A. Как показано на фиг.69B, в блоках 6901 данных, в дополнение к нормальным потоковым данным L, R и D, потоковые данные Ak, Bk и Ck, разделенные по углу, записываются по схеме расположения с чередованием. В L/R-режиме, как показано маршрутом 6902 воспроизведения, считываются блок R данных правого ракурса и блок L данных основного ракурса, и считывание блока D данных карты глубины пропускается переходом. Кроме того, среди потоковых данных Ak, Bk и Ck, разделенных по углам, считываются данные из выбранных блоков A0, B1, …, Cn данных, и считывание других блоков данных пропускается переходом.
На фиг.69C показаны блоки суперэкстентов, содержащихся в потоковых данных Ak, Bk и Ck, каждый из которых относится к отличающемуся углу наблюдения. Как показано на фиг.69C, в потоковых данных Ak, Bk и Ck, разделенных по углам, блоки L, R и D данных трех типов формируют схему расположения с чередованием. В L/R-режиме, как показано маршрутом 6902 воспроизведения, среди потоковых данных Ak, Bk и Ck, разделенных по углам, блок R данных правого ракурса и блок L данных основного ракурса считываются из выбранных блоков A0, B1, …, Cn. При этом считывание других блоков данных пропускается. Напротив, в суперрежиме полные блоки данных непрерывно считываются из потоковых данных A0, B1,..., Cn, относящихся к выбранным углам. При этом считывание потоковых данных, относящихся к другим углам, пропускается переходом. В альтернативном варианте осуществления потоковые данные могут считываться для всех углов независимо от того, сделан ли выбор.
Следует отметить, что потоковые данные Ak, Bk и Ck для каждого из углов могут содержаться в одной порции мультиплексированных потоковых данных. Однако, необходимо, чтобы скорость записи снижалась до диапазона системных скоростей, в котором возможно воспроизведение устройством 2-мерного воспроизведения. Кроме того, для таких мультиплексированных потоковых данных число потоковых данных (TS), подлежащих передаче в выходной декодер системы, является иным, чем для мультиплексированных потоковых данных других 3-мерных изображений. Соответственно, каждая порция информации о позиции воспроизведения (PI) может содержать флаг, указывающий число TS, подлежащих воспроизведению. С использованием флага переключение может выполняться внутри одного файла списка воспроизведения между упомянутыми порциями мультиплексированных потоковых данных. В PI, задающей два TS, подлежащих воспроизведению в 3-мерном режиме, флаг указывает два TS. При этом в PI, которая задает один TS, например, вышеупомянутые мультиплексированные потоковые данные, подлежащий воспроизведению, флаг указывает один TS. Устройство 3-мерного воспроизведения может переключать настройку выходного декодера системы в соответствии со значением флага. Кроме того, флаг может быть выражен в виде значения условия соединения (CC). Например, когда CC указывает «7», выполняется переключение с двух TS на один TS, и когда CC указывает «8», выполняется переключение с одного TS на 2 TS.
<<Вариант 2 осуществления>>
Ниже приведено описание варианта 2 осуществления настоящего изобретения, представляющего собой записывающее устройство и способ записи носителя записи в соответствии с вариантом 1 осуществления настоящего изобретения. Упомянутое записывающее устройство является так называемым авторским устройством. Авторские устройства обычно устанавливаются в производственных студиях для изготовления киноконтента для продажи и используются авторским персоналом. После операции авторского персонала записывающее устройство сначала преобразует киноконтент в цифровой поток с использованием способа кодирования со сжатием в соответствии со стандартами MPEG, то есть в AV-файл. Затем, записывающее устройство создает сценарий. «Сценарии» представляют собой информацию, задающую способ воспроизведения видеоприложений, содержащихся в киноконтенте. В частности, сценарии содержат вышеописанные динамическую информацию о сценариях и статическую информацию о сценариях. Затем, записывающее устройство формирует объемное изображение или набор обновления для дисков BD-ROM на основе цифровых потоков и сценариев. И, в заключение, с использованием схемы расположения экстентов, описанной в варианте 1 осуществления, записывающее устройство записывает объемное изображение на носитель записи.
На фиг.70 представлена блок-схема, показывающая внутреннюю структуру записывающего устройства. Как показано на фиг.70, записывающее устройство содержит видеокодер 7001, блок 7002 создания информации, блок 7003 формирования сценариев, блок 7004 создания BD-программ, блок 7005 мультиплексирующей обработки, блок 7006 форматирующей обработки и блок 7007 базы данных.
Блок 7007 базы данных является энергонезависимым запоминающим устройством в записывающем устройстве и, в частности, является дисководом для жестких дисков (HDD). В альтернативном варианте осуществления блок 7007 базы данных может быть HDD, обеспеченным снаружи записывающего устройства, и может быть энергонезависимой полупроводниковой памятью, обеспеченной внутри или снаружи записывающего устройства.
Видеокодер 7001 получает видеоданные, например, сжатые данные побитовых изображений от авторского персонала, и сжимает видеоданные с использованием способа кодирования со сжатием, например, MPEG-4 AVC или MPEG-2. При этом первичные видеоданные преобразуются в первичный видеопоток, и вспомогательные видеоданные преобразуются во вспомогательный видеопоток. В частности, 3-мерные данные преобразуются в видеопоток основного ракурса и видеопоток зависимого ракурса. Как показано на фиг.6, видеокодер 7001 преобразует видеопоток левого ракурса в видеопоток основного ракурса посредством межкадрового кодирования с предсказанием, с картинками видеопотока левого ракурса, и преобразует видеопоток правого ракурса в видеопоток зависимого ракурса посредством межкадрового кодирования с предсказанием, с привязкой к картинкам основного ракурса, путем использования не только картинок видеопотока правого ракурса, но использования вместо них картинок основного ракурса. Следует отметить, что видеопоток правого ракурса может быть преобразован в видеопоток основного ракурса. Кроме того, видеопоток левого ракурса может быть преобразован в видеопоток зависимого ракурса.
Во время вышеописанной процедуры межкадрового кодирования с предсказанием, видеокодер 7001 дополнительно обнаруживает векторы движения между левыми видеоизображениями и правыми видеоизображениями и вычисляет информацию о глубине для каждого 3-мерного видеоизображения на основании обнаруженных векторов движения. Вычисленная информация о глубине для каждого 3-мерного видеоизображения организуется в информацию 7010 о глубине кадра, которая сохраняется в блоке 7007 базы данных. Кроме того, видеокодер 7001 может формировать карту глубины для левого ракурса или правого ракурса с использованием информации 7010 о глубине. В таком случае, как показано на фиг.7, видеокодер 7001 преобразует потоковые данные левых видеоизображений или правых видеоизображений в видеопоток основного ракурса и видеопоток карт глубины посредством межкадрового кодирования с предсказанием, с привязкой к картинкам своего собственного соответствующего видеопотока. Преобразованные потоки 7011 сохраняются в блоке 7007 базы данных.
На фиг.71A и 71B схематически представлены картинка левого видеоизображения и картинка правого видеоизображения, используемых при представлении одной сцены в 3-мерном видеоизображении, и на фиг.71C схематически представлена информация о глубине, вычисленная по приведенным картинкам видеокодером 7001.
Видеокодер 7001 сначала сжимает каждую картинку с использованием избыточности между левой и правой картинками. В то же время видеокодер 7001 сравнивает несжатую левую картинку и несжатую правую картинку по макроблокам (каждый макроблок содержит матрицу из 8×8 или 16×16 пикселей), чтобы обнаружить вектор движения для каждого изображения в двух картинках. В частности, как показано на фиг.71A и 71B, картинка 7101 левого видеоизображения и картинка 7102 правого видеоизображения разделены, каждая, на матрицу макроблоков 7103. Затем, области, занятые данными изображения на картинке 7101 и картинке 7102, сравниваются для каждого макроблока 7103, и вектор движения между упомянутыми порциям данных изображения определяется по результату сравнения. Например, область, занятая изображением 7104, представляющим «дом» на картинке 7101, является, по существу, такой же, как область на картинке 7102. Соответственно, вектор движения из упомянутых областей не обнаруживается. С другой стороны, область, занятая изображением 7105, представляющим «сферу» на картинке 7101, существенно отличается от области на картинке 7102. Соответственно, вектор движения, указывающий смещение между изображениями 7105, представляющими «сферы» на картинках 7101 и 7102, определяется по упомянутым областям.
Затем, видеокодер 7001 использует обнаруженный вектор движения не только при сжатии картинок 7101 и 7102, но также при вычислении бинокулярного параллакса, относящегося к 3-мерному видеоизображению, составленному из порций данных изображений 7104 и 7105. Кроме того, в соответствии с бинокулярным параллаксом, полученным таким образом, видеокодер 7001 вычисляет «глубины» каждого изображения, например, изображений 7104 и 7105 «дома» и «сферы». Информация, указывающая глубину каждого изображения, может быть организована, например, в виде матрицы 7106 такого же размера, как матрица макроблоков на картинках 7101 и 7102, как показано на фиг.71C. Информация 7010 о глубине кадра, показанная на фиг.70, содержит упомянутую матрицу 7106. В приведенной матрице 7106 блоки 7101 находятся во взаимно однозначном соответствии с макроблоками 7103 на картинках 7101 и 7102. Каждый блок 7101 указывает глубину изображения, показанного соответствующими макроблоками 7103, с использованием, например, глубины из восьми битов. В примере, показанном на фиг.71A-71C, глубина изображения 7105 «сферы» сохраняется в каждом из блоков в области 7108 в матрице 7106. Упомянутая область 7108 соответствует полным областям на картинках 7101 и 7102, которые представляют изображение 7105.
Как также показано на фиг.70, блок 7002 создания информации создает элементарные потоки, отличающиеся от видеопотоков, например, аудиопоток 7012, поток PG 7013 и поток IG 7014, и сохраняет созданные потоки в блоке 7007 базы данных. Например, блок 7002 создания информации получает несжатые LPCM аудиоданные от авторского персонала, кодирует несжатые LPCM аудиоданные в соответствии со схемой сжатия/кодирования, например, AC-3, и преобразует кодированные LPCM аудиоданные в аудиопоток 7012. Блок 7002 создания информации дополнительно получает файл информации о субтитрах от авторского персонала и создает поток PG 7013 в соответствии с файлом информации о субтитрах. Файл информации о субтитрах задает данные изображения для представления субтитров, отображает привязки субтитров по времени и визуальные эффекты, которые следует вносить в субтитры (например, плавного увеличения и уменьшения уровня). Кроме того, блок 7002 создания информации получает данные побитовых изображений и файл меню от авторского персонала и создает поток IG 7014 в соответствии с данными побитовых изображений и файлом меню. Данные побитовых изображений представляют изображения, которые должны представляться в меню. Файл меню задает, каким образом каждая кнопка в меню должна переводиться из одного состояния в другое, и задает визуальные эффекты, которые должны присоединяться к каждой кнопке.
Блок 7003 формирования сценариев создает данные 7015 сценариев BD-ROM в соответствии с командой, которая была выдана авторским персоналом и получена через посредство GUI, и затем сохраняет созданные данные 7015 сценариев BD-ROM в блоке 7007 базы данных. Данные 7015 сценариев BD-ROM, описываемые в рассматриваемом случае, задают способы воспроизведения элементарных потоков 7011-7014, сохраненные в блоке 7007 базы данных. Из группы файлов, показанной на фиг.2, данные 7015 сценариев BD-ROM содержат индексный файл 211, объектный файл 212 кинофильмов и файлы 221-223 списков воспроизведения. Блок 7003 формирования сценариев дополнительно создает файл 7016 параметров и передает созданный файл 7016 параметров в блок 7005 мультиплексирующей обработки. Файл 7016 параметров задает, на основе элементарных потоков 7011-7014, сохраненных в блоке 7007 базы данных, потоковые данные, подлежащие мультиплексированию в основной TS и вспомогательный TS.
Блок 7004 создания BD-программ снабжает авторский персонал средой программирования для программирования объекта BD-J и прикладных программ Java. Блок 7004 создания BD-программ получает запрос от пользователя через посредство GUI и создает исходный код каждой программы в соответствии с запросом. Блок 7004 создания BD-программ дополнительно создает файл 251 объекта BD-J на основе объекта BD-J и сжимает прикладные программы Java в файле JAR 261. Файлы 251 и 261 передаются в блок 7006 форматирующей обработки.
При этом предполагается, что объект BD-J программируется следующим образом: объект BD-J предписывает блокам 4034 и 4434 выполнения программ, показанным на фиг.40 и 44, передавать графические данные для GUI в выходные декодеры 4023 и 4423 системы. Кроме того, объект BD-J предписывает выходным декодерам 4023 и 4423 системы обрабатывать графические данные как данные плоскости изображения. В таком случае блок 7004 создания BD-программ может устанавливать информацию о смещениях, соответствующую данным плоскости изображения в объекте BD-J, с использованием информации 7010 о глубине кадра, сохраненной в блоке 7007 базы данных.
В соответствии с файлом 7016 параметров блок 7005 мультиплексирующей обработки мультиплексирует каждый из элементарных потоков 7011-7014, сохраненных в блоке 7007 базы данных, для формирования файла потока в формате TS MPEG-2. В частности, как показано на фиг.4, каждый из элементарных потоков 7011-7014 преобразуется в последовательность исходных пакетов, и исходные пакеты, содержащиеся в каждой последовательности, собираются для построения одной порции мультиплексированных потоковых данных. Таким образом создаются основной TS и вспомогательный TS.
Параллельно с вышеописанной обработкой блок 7005 мультиплексирующей обработки создает файл информации о 2-мерных клипах и файл информации о клипах зависимого ракурса по следующей процедуре. Сначала для каждого файла 2-мерного видео и DEP-файла создается карта 2430 отображения точек входа, показанная на фиг.25. Затем, с привязкой к карте отображения точек входа каждого файла создается начальная точка 2442 экстента, показанная на фиг.27. В то же время значения времени по ATC экстентов корректируются так, чтобы обеспечивалось их равенство в смежных блоках данных. Кроме того, размер 2-мерного экстента проектируется из расчета удовлетворения условию 1, размер экстента основного ракурса проектируется из расчета удовлетворения условию 2, размер экстента зависимого ракурса проектируется из расчета удовлетворения условию 3, и размер SS-экстента проектируется из расчета удовлетворения условию 4. Затем, атрибутивная информация о потоке, показанная на фиг.24, извлекается из элементарных потоков для мультиплексирования в основном TS и вспомогательном TS, соответственно. Кроме того, как показано на фиг.24, комбинация из карты отображения точек входа, порции 3-мерных метаданных и порции атрибутивной информации о потоке ставится в соответствие порции информации о клипах.
На фиг.72 схематически представлен способ выравнивания значений времени по ATC экстентов между смежными блоками данных. Как показано на фиг.72, прямоугольники 7210 представляют исходные пакеты, подлежащие сохранению в виде блоков данных основного ракурса и SP1 № n (n=0, 1, 2, 3, …, k), и прямоугольники 7220 представляют исходные пакеты, сохраняемые в виде блоков данных зависимого ракурса и SP2 № m (m=0, 1, 2, 3, …, j). Упомянутые прямоугольники 7210 и 7220 расположены в порядке ATS исходных пакетов в направлении оси времени по ATC. Положения начал прямоугольников 7210 и 7220 представляют значения ATS исходных пакетов. Длина AT1 прямоугольников 7210 и 7220 представляет время, необходимое устройству 3-мерного воспроизведения для передачи одного исходного пакета из буфера считывания в выходной декодер системы.
Исходные пакеты, SP1 № n, представленные прямоугольниками 7210, сохраняются в одном блоке B[i] данных основного ракурса. В таком случае исходные пакеты SP2 № m, подлежащие сохранению в соответствующих блоках D[i] данных зависимого ракурса, выбираются следующим образом. Сначала, вычисляются время TEXT по ATC экстента блока B[i] данных основного ракурса и ATS (EXT1[i]_STARTATC) A1 для SP1 № 0, расположенного в начале упомянутого блока. ATS, обозначенная A1 (ATS A1) называется первой ATS. Затем, определяется сумма времени TEXT по ATC экстента и A1 первой ATS, то есть ATS A2=A1+TEXT для SP1 № (k+1), расположенного в начале следующего блока B[i+1] данных основного ракурса. Упомянутая ATS A2 называется второй ATS. Затем, из SP2 № m выбираются исходные пакеты, представленные другими прямоугольниками 7220, исходные пакеты SP2 № 0, 1, 2, …, j, каждый из которых передается из буфера считывания в декодер системы в течение периода, который совмещается с периодом от первой ATS A1 до второй ATS A2 и который заканчивается до второй ATS A2. В альтернативном варианте осуществления могут быть выбраны исходные пакеты SP2 № 1, 2,..., j, j+1, каждый из которых передается в течение периода, который совмещается с периодом от первой ATS A1 до второй ATS A2 и который начинается на или после первой ATS A1. Таким образом, блок D[i] данных зависимого ракурса составляется из выбранных исходных пакетов.
Блок 7006 форматирующей обработки создает изображение 7020 диска BD-ROM с файловой структурой, показанной на фиг.2, на основании (i) данных 7015 сценариев BD-ROM, сохраненных в блоке 7007 базы данных, (ii) группы файлов программ, содержащих, среди прочих, файл объекта BD-J, созданный блоком 7004 создания BD-программы, и (iii) файлов мультиплексированных потоковых данных и информации о клипах, сформированных блоком 7005 мультиплексирующей обработки. В приведенной структуре каталогов для файловой системы используется стандарт UDF.
При создании элементов описания файлов для каждого из файлов 2-мерного видео, DEP-файлов и SS-файлов блок 7006 форматирующей обработки обращается к картам отображения точек входа и 3-мерным метаданным, содержащимся в каждом из файлов информации о 2-мерных клипах и файлов информации о клипах зависимого ракурса. SPN для каждой точки входа и начальной точки экстента применяется, тем самым, при создании каждого дескриптора распределения. В частности, значения LBN, которые должны выражаться дескрипторами распределения, и размеры экстентов определяются как представленные схемой расположения с чередованием, показанной на фиг.13. Таким образом, SS-файл и файл 2-мерного видео совместно располагают каждым блоком данных основного ракурса, и, таким образом, SS-файл и DEP-файл совместно располагают каждым блоком данных зависимого ракурса. С другой стороны, в местах, в которых необходим длинный переход, дескрипторы распределения создаются так, чтобы представлять, например, одну из схем 1 и 2 расположения. В частности, некоторые блоки данных основного ракурса обозначаются дескрипторами распределения в файле 2-мерного видео лишь в качестве блоков только для 2-мерного воспроизведения, и их дублированные данные обозначаются дескрипторами распределения в SS-файле в качестве блоков только для SS-воспроизведения.
Кроме того, путем использования информации 7010 о глубине кадра, сохраненной в блоке 7007 базы данных, блок 7006 форматирующей обработки создает таблицу смещений, показанную на фиг.26A, для каждого вспомогательного видеопотока 7011, потока PG 7013 и потока IG 7014. Блок 7006 форматирующей обработки дополнительно сохраняет таблицу смещений в 3-мерных метаданных для файла информации о 2-мерных клипах. При этом позиции порций данных изображения внутри левого и правого видеокадров автоматически корректируются так, чтобы 3-мерные видеоизображения, представленные одним потоком, не совмещались с 3-мерными видеоизображениями, представленными другими потоками в том же самом направлении наблюдения. Кроме того, величина смещения для каждого видеокадра также автоматически корректируется так, чтобы глубины 3-мерных видеоизображений, представляемые одним потоком, не согласовывались с глубинами 3-мерных видеоизображений, представленными другими потоками.
На фиг.73 представлена блок-схема последовательности операций способа записи киноконтента на диск BD-ROM с использованием записывающего устройства, показанного на фиг.70. Упомянутый способ начинается, например, с подачи питания в записывающее устройство.
На этапе S7301 формируются данные элементарных потоков, программ и сценариев, подлежащих записи на BD-ROM. Другими словами, видеокодер 7001 формирует информацию 7010 о глубине кадра и видеопотоке 7011. Блок 7002 создания информации создает аудиопоток 7012, поток PG 7013 и поток IG 7014. Блок 7003 формирования сценариев создает данные 7015 сценариев BD-ROM. Созданные упомянутые данные сохраняются в блоке 7007 базы данных. Кроме того, блок 7003 формирования сценариев дополнительно создает файл 7016 параметров и передает файл 7016 параметров в блок 7005 мультиплексирующей обработки. В дополнение, блок 7004 создания BD-программ создает файл объекта BD-J и файл JAR и передает файл объекта BD-J и файл JAR в блок 7006 форматирующей обработки. После этого обработка переходит к этапу S7302.
На этапе S7302 блок 7005 мультиплексирующей обработки считывает элементарные потоки 7011-7014 из блока 7007 базы данных в соответствии с файлом 7016 параметров и мультиплексирует элементарные потоки в файлы потоков в формате TS MPEG-2. После этого обработка переходит к этапу S7303.
На этапе S7303 блок 7005 мультиплексирующей обработки создает файл информации о 2-мерных клипах и файл информации о зависимых клипах. В частности, когда создаются карты отображения точек входа и начальные точки экстентов, значения времени по ATC экстентов корректируются так, чтобы обеспечивалось их равенство в смежных блоках данных. Кроме того, размеры 2-мерных экстентов проектируются с расчетом удовлетворения условию 1, размеры экстентов основного ракурса проектируются с расчетом удовлетворения условию 2, размеры экстентов зависимого ракурса проектируются с расчетом удовлетворения условию 3, и размеры SS-экстентов проектируются с расчетом удовлетворения условию 4. После этого обработка переходит к этапу S7304.
На этапе S7304 блок 7006 форматирующей обработки создает изображение 7020 диска BD-ROM со структурой каталогов, показанной на фиг.2, с использованием данных 7015 сценариев BD-ROM, сохраненных в блоке 7007 базы данных, файлов программ, созданных блоком 7004 создания BD-программ, и файлов мультиплексированных потоковых данных и информации о клипах, созданных блоком 7005 мультиплексирующей обработки. В то же время, с использованием информации 7010 о глубине кадра, блок 7006 форматирующей обработки создает таблицу смещений для каждого из вспомогательного потока 7011, потока PG 7013 и потока IG 7014 и сохраняет созданные таблицы смещений в виде 3-мерных метаданных файла информации о 2-мерных клипах. После этого обработка переходит к этапу S7305.
На этапе S7305 изображение 7020 диска BD-ROM, созданное блоком 7006 форматирующей обработки, преобразуется в форматированные данные, подлежащие тиражированию на дисках BD-ROM. Кроме того, упомянутые данные записываются на мастер-диск BD-ROM. После этого обработка переходит к этапу S7306.
На этапе S7306 диски BD-ROM 101 промышленно изготавливают прессованием с использованием мастер-диска, полученного на этапе S7305. Таким образом, обработка заканчивается.
<<Вариант 3 осуществления>>
На фиг.74 представлена функциональная блок-схема интегральной схемы 3 в соответствии с вариантом 3 осуществления настоящего изобретения. Как показано на фиг.74, интегральная схема 3 смонтирована в устройстве 102 воспроизведения в соответствии с вариантом 1 осуществления. Упомянутое устройство 102 воспроизведения содержит блок 1 интерфейса (IF) сопряжения с носителем, блок 2 памяти и блок 10 выводов в качестве дополнения к интегральной схеме 3.
Блок 1 IF сопряжения с носителем получает или считывает данные с внешнего носителя ME и передает данные в интегральную схему 3. Упомянутые данные имеют такую же структуру, как данные на диске BD-ROM 101, в частности, в соответствии с вариантом 1 осуществления. Типы носителей ME включают в себя дисковые носители записи, например, оптические диски, жесткие диски и т.п.; полупроводниковую память, например, карту памяти стандарта SD, USB память, и т.п.; сигналы вещательного диапазона, например, CATV (кабельного телевидения) и т.п.; и сети, например, Ethernet™, беспроводные LAN (локальные сети) и беспроводные сети общего пользования. Типы блоков 1 IF сопряжения с носителем, сочетающиеся с типом носителя ME, включают в себя дисковод, IF сопряжения с картой, селектор CAN (каналов), селектор Si (индексов источников) и сетевой IF.
Блок 2 памяти временно сохраняет как данные, которые получены или считаны с носителя ME блоком 1 IF сопряжения с носителем, так и данные, которые обрабатываются интегральной схемой 3. Для блока 2 памяти используют синхронную динамическую память с произвольной выборкой (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью x (DDRx SDRAM; x=1, 2, 3, …) и т.п. Блок 2 памяти является одиночным элементом памяти. В альтернативном варианте осуществления блок 2 памяти может содержать множество элементов памяти.
Интегральная схема 3 является БИС и выполняет видео- и аудиообработку данных, передаваемых из блока 1 IF сопряжения с носителем. Как показано на фиг.74, интегральная схема 3 содержит основной блок 6 управления, блок 5 обработки потоков, блок 7 обработки сигналов, блок 9 управления памятью и блок 8 вывода AV-сигналов.
Основной блок 6 управления содержит процессорное ядро и память программ. Процессорное ядро содержит функцию таймера и функцию обработки прерываний. Память программ хранит базовое программное обеспечение, например, OS (оперативную систему). Процессорное ядро управляет интегральной схемой 3 в целом в соответствии программами, сохраненными, например, в памяти программ.
Под управлением основного блока 6 управления блок 5 обработки потоков получает данные из носителя ME, переданные через блок 1 IF сопряжения с носителем. Кроме того, блок 5 обработки потоков сохраняет полученные данные в блоке 2 памяти при посредстве шины данных в интегральной схеме 3. Кроме того, блок 5 обработки потоков выделяет визуальные данные и аудиоданные из полученных данных. Как пояснялось выше, данные, полученные из носителя ME, содержат данные, разработанные в соответствии с вариантом 1 осуществления. В таком случае «визуальные данные» содержат первичный видеопоток, вспомогательные видеопотоки, потоки PG и потоки IG. «Аудиоданные» содержат первичный аудиопоток и вспомогательные аудиопотоки. В частности, в структуре данных в соответствии с вариантом 1 осуществления данные главного ракурса и данные дополнительного ракурса разделены на множество экстентов и поочередно расположены для формирования одной последовательности блоков экстентов. При получении блоков экстентов, под управлением основного блока 6 управления, блок 5 обработки потока выделяет данные главного ракурса из блоков экстентов и сохраняет их в первой области в блоке 2 памяти, и выделяет данные дополнительного ракурса и сохраняет их во второй области в блоке 2 памяти. Данные главного ракурса содержат видеопоток левого ракурса, и данные дополнительного ракурса содержат видеопоток правого ракурса. Обратное также может быть справедливо. Кроме того, комбинация главного ракурса и дополнительного ракурса может быть комбинацией 2-мерного видео и карты глубины. Упомянутые первая область и вторая область в блоке 2 памяти являются логическим разбиением одного элемента памяти. В альтернативном варианте осуществления каждая область может содержаться на физически разных элементах памяти.
Визуальные данные и аудиоданные, выделенные блоком 5 обработки потоков, сжаты кодированием. Типы способов кодирования для визуальных данных содержат MPEG-2, MPEG-4 AVC, MPEG-4 MVC, SMPTE VC-1 и т.п. Типы кодирования аудиоданных содержат Dolby AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD, линейное PCM и т.п. Под управлением основного блока 6 управления блок 7 обработки сигналов декодирует визуальные данные и аудиоданные с использованием способа, соответствующего использованному способу кодирования. Блок 7 обработки сигналов соответствует, например, каждому из декодеров, показанных на фиг.46.
Время (t), необходимое блоку 7 обработки сигналов для декодирования всех блоков данных в одном блоке экстентов, больше или равно сумме следующих трех значений времени (t1, t2 и t3), где (t1) означает время, необходимое блоку 1 IF сопряжения с носителем для считывания всех блоков данных, кроме начального блока данных одного блока экстентов, (t2) означает время, необходимое блоку 1 IF сопряжения с носителем, чтобы после окончания считывания конца одного блока экстентов начать считывание начала следующего блока экстентов, и (t3) означает время, необходимое блоку 1 IF сопряжения с носителем для считывания начального блока данных в следующем блоке экстентов.
Блок 9 управления памятью разрешает конфликты доступа функциональных блоков 5-8 в интегральной схеме 3 к блоку 2 памяти.
Под управлением основного блока 6 управления, блок 8 вывода AV-сигналов обрабатывает визуальные данные и аудиоданные, декодированные блоком 7 обработки сигналов для соответствующего их формирования, и через отдельные выводы 10 выводит результаты в дисплей 103 и динамики в дисплее 103. Упомянутая обработка данных содержит наложение визуальных данных, преобразование формата каждой порции данных, микширование аудиоданных и т.п.
На фиг.75 представлена функциональная блок-схема, представляющая типичный состав блока 5 обработки потоков. Как показано на фиг.75, блок 5 обработки потоков содержит блок 51 IF (интерфейса) сопряжения потоков устройств, демультиплексор 52 и блок 53 переключения.
Блок 51 IF сопряжения потоков устройств представляет собой интерфейс, который передает данные между блоком 1 IF сопряжения с носителем и другими функциональными блоками 6-9 в интегральной схеме 3. Например, если носитель ME является оптическим диском или жестким диском, то блок 51 IF сопряжения потоков устройств содержит последовательный интерфейс периферийных устройств в AT-совместимых компьютерах (SATA), пакетный интерфейс периферийных устройств в AT-совместимых компьютерах (ATAPI) или параллельный интерфейс периферийных устройств в AT-совместимых компьютерах (PATA). Когда носитель ME является полупроводниковой памятью, например, картой стандарта SD, USB памятью и т.п., блок 51 IF сопряжения потоков устройств содержит интерфейсную плату. Когда носитель ME представляет собой сигналы вещательного диапазона, например, CATV (кабельного телевидения) и т.п., блок 51 IF сопряжения потоков устройств содержит интерфейс тюнера. Когда носитель ME является сетью, например, Ethernet™, беспроводной LAN или беспроводной сетью общего пользования, блок 51 IF сопряжения потоков устройств содержит сетевой интерфейс. В зависимости от типа носителя ME, блок 51 IF сопряжения потоков устройств может выполнять часть функций блока 1 IF сопряжения с носителем. И, наоборот, когда блок 51 IF сопряжения потоков устройств входит в интегральную схему 3, блок 51 IF сопряжения потоков устройств можно исключить.
Демультиплексор 52 получает из блока 9 управления памятью данные, передаваемые из носителя ME в блок 2 памяти, и выделяет визуальные данные и аудиоданные из полученных данных. Каждый экстент, содержащийся в данных, имеющих структуру в соответствии с вариантом 1 осуществления, состоит из исходных пакетов для видеопотока, аудиопотока, потока PG, потока IG и т.п., как показано на фиг.4. В некоторых случаях, однако, данные дополнительных ракурсов могут не содержать аудиопоток. Демультиплексор 52 считывает PID из исходных пакетов и, в соответствии с PID, разделяет группу исходных пакетов на пакеты VTS визуального TS и пакеты ATS аудио TS. Пакеты VTS и ATS, выделенные из TS, передаются в блок 7 обработки сигнала либо непосредственно, либо после временного хранения в блоке 2 памяти. Демультиплексор 52 соответствует, например, блокам 4611 и 4612 распаковки исходных пакетов и фильтрам PID 4613 и 4614, показанным на фиг.46.
Блок 53 переключения переключает пункт назначения для вывода в соответствии с типом данных, полученных блоком 51 IF сопряжения потоков устройств. Например, когда блок 51 IF сопряжения потоков устройств получает данные главного ракурса, блок 53 переключения переключает адрес ячейки для хранения данных на первую область в блоке 2 памяти. И, наоборот, когда блок 51 IF сопряжения потоков устройств получает данные дополнительного ракурса, блок 53 переключения переключает адрес ячейки для хранения данных на вторую область в блоке 2 памяти.
Блок 53 переключения является, например, контроллером прямого доступа к памяти (DMAC). На фиг.76 схематически представлена окружающая конфигурация блока 53 переключения в упомянутом случае. Под управлением основного блока 6 управления DMAC 53 передает данные, полученные блоком 51 IF сопряжения потоков устройств, а также адрес ячейки для хранения данных в блок 9 управления памятью. В частности, когда блок 51 IF сопряжения потоков устройств получает данные MD главного ракурса, DMAC 53 передает данные MD главного ракурса вместе с адресом 1 AD1. Упомянутый «адрес 1 AD1» является данными, указывающими начальный адрес AD1 в первой области 21 памяти в блоке 2 памяти. С другой стороны, когда блок 51 IF сопряжения потоков устройств получает данные SD дополнительного ракурса, DMAC 53 передает данные SD дополнительного ракурса вместе с адресом 2 AD2. Упомянутый «адрес 2 AD2» является данными, указывающими начальный адрес AD2 во второй области 22 памяти в блоке 2 памяти. Таким образом, DMAC 53 переключает пункт назначения для вывода, в частности, адрес ячейки для хранения данных в блоке 2 памяти, в соответствии с типом данных, полученных блоком 51 IF сопряжения потоков устройств. Блок 9 управления памятью сохраняет данные MD главного ракурса и данные SD дополнительного ракурса, полученные из DMAC 53, в соответствующих областях 21 и 22 блока 2 памяти, указываемых адресами AD1 и AD2, получаемых одновременно с потоками.
Основной блок 6 управления обращается к начальным точкам экстентов в файле информации о клипах, чтобы блок 53 переключения переключал адрес ячейки для хранения данных. В таком случае файл информации о клипах принимается до либо данных MD главного ракурса, либо данных SD дополнительного ракурса и сохраняется в блоке 2 памяти. В частности, основной блок 6 управления обращается к основанию файла для распознавания того факта, что данные, полученные блоком 51 IF сопряжения потоков устройств, являются данными MD главного ракурса. И, наоборот, основной блок 6 управления обращается к DEP-файлу для распознавания того факта, что данные, полученные блоком 51 IF сопряжения потоков устройств, являются данными дополнительного ракурса. Кроме того, основной блок 6 управления передает управляющий сигнал CS в блок 53 переключения в соответствии с результатами распознавания и предписывает блоку 53 переключения переключить адрес ячейки для хранения данных. Следует отметить, что блок 53 переключения может работать под управлением специализированной схемы управления, отдельной от основного блока 6 управления.
В дополнение к функциональным блокам 51, 52 и 53, показанным на фиг.75, блок 5 обработки потоков может быть дополнительно снабжен блоком шифрования, блоком контроля безопасности и контроллером для непосредственно доступа к памяти. Блок шифрования дешифрует шифрованные данные, ключевые данные и т.п., полученные блоком 51 IF сопряжения потоков устройств. Блок контроля безопасности хранит секретный ключ и использует его для управления выполнения протокола аутентификации устройства или чего-то подобного между носителем ME и устройством 102 воспроизведения.
В вышеописанном примере, когда данные, полученные из носителя ME, сохраняются в блоке 2 памяти, адрес ячейки для хранения данных в упомянутом блоке переключается в соответствии с тем, являются данные потоковыми данными MD главного ракурса или данными SD дополнительного ракурса. В альтернативном варианте осуществления независимо от типа данные, полученные из носителя ME, могут временно храниться в одной и той же области в памяти 2 данных и разделяться на данные MD главного ракурса и потоковые данные SD дополнительного ракурса, при последующей передаче в демультиплексор 52.
На фиг.77 представлена функциональная блок-схема, поясняющая типичный состав блока 8 вывода AV-сигналов. Как показано на фиг.77, блок 8 вывода AV-сигналов снабжен блоком 81 совмещения изображений, блоком 82 преобразования формата выходного видеосигнала и блоком 83 выходного IF аудио/видеосигнала.
Блок 81 совмещения изображений совмещает визуальные данные VP, PG и IG, декодированные блоком 7 обработки сигналов. В частности, блок 81 совмещения изображений сначала получает обработанные данные видеоплоскостей правого ракурса или левого ракурса из блока 82 преобразования формата выходного видеосигнала и декодированные данные PG плоскости PG и данные IG плоскости IG из блока 7 обработки сигналов. Затем, блок 81 совмещения изображений совмещает данные PG плоскости PG и данные IG плоскости IG с данными VP видеоплоскости по картинкам. Блок 81 совмещения изображений соответствует, например, сумматору 4424 плоскостей, показанному на фиг.44, 46 и 47.
Блок 82 преобразования формата выходного видеосигнала получает декодированные данные VP видеоплоскости из блока 7 обработки сигналов и совмещенные визуальные данные VP/PG/IG из блока 81 совмещения изображений. Кроме того, блок 82 преобразования формата выходного видеосигнала выполняет различную обработку визуальных данных VP и VP/PG/IG, при необходимости. Упомянутая обработка содержит изменение размеров, IP-преобразование, шумоподавление и преобразование частоты кадров. Изменение размеров является обработкой для увеличения или уменьшения размера визуальных изображений. IP-преобразование является обработкой для преобразования способа сканирования между построчным и чересстрочным сканированием. Шумоподавление является обработкой для удаления шумов из визуальных изображений. Преобразование частоты кадров является обработкой для преобразования частоты кадров. Блок 82 преобразования формата выходного видеосигнала передает обработанные данные VP видеоплоскости в блок 81 совмещения изображений и передает обработанные визуальные данные VS в блок 83 выходного IF аудио/видеосигнала.
Блок 83 выходного IF аудио/видеосигнала получает визуальные данные VS из блока 82 преобразования формата выходного видеосигнала и получает декодированные аудиоданные AS из блока 7 обработки сигналов. Кроме того, блок 83 выходного IF аудио/видеосигнала выполняет обработку, например, кодирование получаемых данных VS и AS в связи с форматом передачи данных. Как поясняется ниже, часть блока 83 выходного IF аудио/видеосигнала может быть встроена в интегральную схему 3.
На фиг.78 представлена более подробная схема вывода данных устройством 102 воспроизведения, которое содержит блок 8 вывода AV-сигналов. Как показано на фиг.78, блок 83 выходного IF аудио/видеосигнала содержит блок 83a выходного IF аналогового видеосигнала, блок 83b выходного IF цифрового видео/аудиосигнала и блок 83c выходного IF аналогового аудиосигнала. Таким образом, интегральная схема 3 и устройство 102 воспроизведения совместимы с различными форматами для передачи визуальных данных и аудиоданных, как поясняется ниже.
Блок 83a выходного IF аналогового видеосигнала получает визуальные данные VS из блока 82 преобразования формата выходного видеосигнала, преобразует/кодирует упомянутые данные VS в данные VD в формате аналогового видеосигнала и выдает данные VD. Блок 83a выходного IF аналогового видеосигнала содержит кодер композитного видеосигнала, кодер S-видеосигнала (с разделением по яркости/цветности), кодер компонентного видеосигнала, цифроаналоговый преобразователь (DAC) и т.п., совместимый, например, с одним из следующих форматов: NTSC, PAL и SECAM.
Блок 83b выходного IF цифрового видео/аудиосигнала получает декодированные аудиоданные AS из блока 7 обработки сигналов и получает визуальные данные VS из блока 82 преобразования формата выходного видеосигнала. Кроме того, блок 83b выходного IF цифрового видео/аудиосигнала унифицирует и шифрует данные AS и данные VS. После этого блок 83b выходного IF цифрового видео/аудиосигнала кодирует зашифрованные данные SVA в соответствии со стандартами передачи данных и выдает результат. Блок 83b выходного IF цифрового видео/аудиосигнала соответствует, например, интерфейсу для мультимедиа высокой четкости (HDMI) или подобному устройству.
Блок 83c выходного IF аналогового аудиосигнала получает декодированные аудиоданные AS из блока 7 обработки сигналов, преобразует упомянутые данные в аналоговые аудиоданные AD посредством цифроаналогового (D/A) преобразования и выдает аудиоданные AD. Блок 83c выходного IF аналогового аудиосигнала соответствует, например, DAC (цифроаналоговому преобразователю) аудиосигнала.
Формат передачи для визуальных данных и аудиоданных может переключаться в соответствии с типом устройства получения данных/терминалом ввода данных, обеспеченным в дисплее 103/динамике 103A. Формат передачи может также переключаться по выбору пользователя. Кроме того, устройство 102 воспроизведения может передавать данные для одного и того же контента не только в одном формате передачи, но также в нескольких форматах передачи параллельно.
Блок 8 вывода AV-сигналов может быть дополнительно снабжен графической машиной в дополнение к функциональным блокам 81, 82 и 83, показанным на фиг.77 и 78. Графическая машина выполняет графическую обработку, например, фильтрацию, экранную композицию, построение кривых для визуализации и обработку для 3-мерного представления данных, декодированных блоком 7 обработки сигналов.
Функциональные блоки, показанные на фиг.74, 75, 77 и 78, содержатся в интегральной схеме 3. Однако такое построение не является необходимым условием, и часть функциональных блоков может находиться вне интегральной схемы 3. Кроме того, в отличие от состава, показанного на фиг.74, блок 2 памяти может содержаться в интегральной схеме 3. Кроме того, основной блок 6 управления и блок 7 обработки сигналов не обязательно должны быть полностью отдельными функциональными блоками. Основной блок 6 управления может, например, выполнять часть обработки, соответствующей блоку 7 обработки сигналов.
Топология шины управления и шины данных, которые соединяют функциональные блоки в интегральной схеме 3, может быть выбрана в соответствии с порядком и типом обработки каждым функциональным блоком. На фиг.79A и 79B схематически представлены примеры топологии шины управления и шины данных в интегральной схеме 3. Как показано на фиг.79A, как шина 11 управления, так и шина 12 данных спроектированы так, чтобы непосредственно соединять каждый из функциональных блоков 5-9 со всеми другими функциональными блоками. В альтернативном варианте осуществления, как показано на фиг.79B, шина 13 данных может быть спроектирована так, чтобы непосредственно соединять каждый из функциональных блоков 5-8 только с блоком 9 управления памятью. В таком случае каждый из функциональных блоков 5-8 передает данные в другие функциональные блоки через блок 9 управления памятью и, кроме того, блок 2 памяти.
Вместо БИС, собранной на одном кристалле, интегральная схема 3 может быть многокристальным модулем. В таком случае, поскольку множество кристаллов, составляющих интегральную схему 3, герметизированы в одном корпусе, интегральная схема 3 выглядит как одна БИС. В альтернативном варианте осуществления интегральная схема 3 может быть спроектирована с использованием программируемой вентильной матрицы (FPGA) или процессора с перестраиваемой конфигурацией. FPGA представляет собой БИС, которая может быть запрограммирована после изготовления. Процессор с перестраиваемой конфигурацией представляет собой БИС, в которой возможна перестройка конфигурации соединений между внутрисхемными элементами и настроек для каждого схемного элемента.
<Обработка воспроизведения устройством 102 воспроизведения, использующим интегральную схему 3>
На фиг.80 представлена блок-схема последовательности операций обработки воспроизведения устройством 102 воспроизведения, которое использует интегральную схему 3. Упомянутая обработка воспроизведения начинается, когда блок 1 IF сопряжения с носителем подсоединяется к носителю ME таким образом, чтобы иметь возможность передачи данных, как, например, когда оптический диск вставляют в дисковод. Во время упомянутой обработки устройство 102 воспроизведения получает данные из носителя ME и декодирует данные. Затем, устройство 102 воспроизведения выдает декодированные данные в виде видеосигнала и аудиосигнала.
На этапе S1 блок 1 IF сопряжения с носителем получает или считывает данные с носителя ME и передает данные в блок 5 обработки потоков. Затем обработка переходит на этап S2.
На этапе S2 блок 5 обработки потоков разделяет данные, полученные или считанные на этапе S1, на визуальные данные и аудиоданные. Затем обработка переходит на этап S3.
На этапе S3 блок 7 обработки сигналов декодирует каждую порцию данных, разделенных на этапе S2 блоком 5 обработки потоков, с использованием способа, соответствующего способу кодирования. Затем обработка переходит на этап S4.
На этапе S4 блок 8 вывода AV-сигналов совмещает порции визуальных данных, декодированные блоком 7 обработки сигналов на этапе S3. Затем обработка переходит на этап S5.
На этапе S5 блок 8 вывода AV-сигналов выдает визуальные данные и аудиоданные, обработанные на этапах S2-4. Затем обработка переходит на этап S6.
На этапе S6 основной блок 6 управления определяет, должно ли устройство 102 воспроизведения продолжать обработку воспроизведения. Когда, например, данные, которые должны быть вновь получены или считаны с носителя ME блоком 1 IF сопряжения с носителем, остаются, обработка повторяется, начиная с этапа S1. И, наоборот, обработка заканчивается, когда блок 1 IF сопряжения с носителем прекращает получение или считывание данных с носителя ME вследствие извлечения оптического диска из дисковода, пользователь назначает прекращение воспроизведения и т.п.
На фиг.81 представлена блок-схема последовательности операций, представляющая более подробно этапы S1-6, показанные на фиг.80. Этапы S101-110, показанные на фиг.81, выполняются под управлением основного блока 6 управления. Этап S101 соответствует, в основных деталях, этапу S1, этапы S102-S104 соответствуют, в основных деталях, этапу S2, этап S105 соответствует, в основных деталях, этапу S3, этапы S106-S108 соответствуют, в основных деталях, этапу S4, и этапы S109 и S110 соответствуют, в основных деталях, этапу S5.
На этапе S101 перед считыванием или получением блоком IF сопряжения с носителем данных, подлежащих воспроизведению, с носителя ME блок 51 IF сопряжения потоков устройств считывает или получает данные, необходимые для упомянутого воспроизведения, например, файл списка воспроизведения и файл информации о клипах. Кроме того, блок 51 IF сопряжения потоков устройств сохраняет упомянутые данные в блоке 2 памяти при посредстве блока 9 управления памятью. Затем обработка переходит на этап S102.
На этапе S102 на основе атрибутивной информации о потоке, содержащейся в файле информации о клипах, основной блок 6 управления идентифицирует способ кодирования видеоданных и аудиоданных, хранящихся на носителе ME. Кроме того, основной блок 6 управления инициализирует блок 7 обработки сигналов таким образом, что декодирование может выполняться в соответствии с идентифицированным способом кодирования. Затем обработка переходит на этап S103.
На этапе S103 блок 51 IF сопряжения потоков устройств получает или считывает видеоданные и аудиоданные для воспроизведения с носителя ME посредством блока 1 IF сопряжения с носителем. В частности, упомянутые данные получаются или считываются экстентами. Кроме того, блок 51 IF сопряжения потоков устройств сохраняет упомянутые данные в блоке 2 памяти при посредстве блока 53 переключения и блока 9 управления памятью. Когда осуществляется получение или считывание данных главного ракурса, основной блок 6 управления переключает адрес ячейки для хранения данных на первую область в блоке 2 памяти посредством управления блоком 53 переключения. И, наоборот, когда осуществляется получение или считывание потока дополнительного ракурса, основной блок 6 управления переключает адрес ячейки для хранения данных на вторую область в блоке 2 памяти посредством управления блоком 53 переключения. Затем обработка переходит на этап S104.
На этапе S104 данные, хранящиеся в блоке 2 памяти, передаются в демультиплексор 52 в блоке 5 обработки потоков. Демультиплексор 52 сначала считывать PID из каждого исходного пакета, составляющего данные. Затем, в соответствии с PID, демультиплексор 52 идентифицирует, являются ли TS-пакеты, содержащиеся в исходном пакете, визуальными данными или аудиоданными. Кроме того, в соответствии с результатами идентификации демультиплексор 52 передает каждый TS-пакет в соответствующий декодер в блоке 7 обработки сигналов. Затем обработка переходит на этап S105.
На этапе S105 каждый декодер в блоке 7 обработки сигналов декодирует переданные TS-пакеты с использованием соответствующего способа. Затем обработка переходит на этап S106.
На этапе S106 каждая картинка в видеопотоке левого ракурса и видеопотоке правого ракурса, которые декодированы в блоке 7 обработки сигналов, передается в блок 82 преобразования формата выходного видеосигнала. Блок 82 преобразования формата выходного видеосигнала изменяет размеры упомянутых картинок для согласования разрешения дисплея 103. Затем обработка переходит на этап S107.
На этапе S107 блок 81 совмещения изображений получает данные видеоплоскости, которые состоят из картинок, измененных по размеру на этапе S106, из блока 82 преобразования формата выходного видеосигнала. С другой стороны, блок 81 совмещения изображений получает декодированные данные плоскости PG и данные плоскости IG из блока 7 обработки сигналов. Кроме того, блок 81 совмещения изображений совмещает упомянутые порции данных плоскостей. Затем обработка переходит на этап S108.
На этапе S108 блок 82 преобразования формата выходного видеосигнала получает данные плоскостей, совмещенные на этапе S107, из блока 81 совмещения изображений. Кроме того, блок 82 преобразования формата выходного видеосигнала выполняет IP-преобразование упомянутых данных плоскостей. Затем обработка переходит на этап S109.
На этапе S109 блок 83 выходного IF аудио/видеосигнала получает визуальные данные, которые подверглись IP-преобразованию на этапе S108, из блока 82 преобразования формата выходного видеосигнала и получает декодированные аудиоданные из блока 7 обработки сигналов. Кроме того, блок 83 выходного IF аудио/видеосигнала выполняет кодирование, цифроаналоговое преобразование и т.п. упомянутых порций данных в соответствии с форматом вывода данных в дисплее 103/динамике 103A и форматом для передачи данных в дисплей 103/динамик 103A. Затем визуальные данные и аудиоданные преобразуются либо в формат аналогового вывода, либо в формат цифрового вывода. Форматы аналогового вывода визуальных данных содержат, например, композитный видеосигнал, S-видеосигнал, компонентный видеосигнал и т.п. Форматы цифрового вывода визуальных данных/аудиоданных содержат HDMI или подобные форматы. Затем обработка переходит на этап S110.
На этапе S110 блок 83 выходного IF аудио/видеосигнала передает аудиоданные и визуальные данные, обработанные на этапе S109, в дисплей 103/динамик 103A. Затем обработка переходит на этап S6, описание которого приведено выше.
Каждый раз, когда данные обрабатываются на каждом из вышеописанных этапов, результаты временно сохраняются в блоке 2 памяти. Изменение размера и IP-преобразование в блоке 82 преобразования формата выходного видеосигнала на этапах S106 и S108 можно опустить, при необходимости. Кроме того, кроме или вместо приведенных процедур обработки возможно выполнение другой обработки, например, шумоподавления, преобразования частоты кадров и т.п. Порядок обработки также можно изменять, когда возможно.
<Дополнительное пояснение>
<<Принцип воспроизведения 3-мерных видеоизображений>>
Способы воспроизведения 3-мерных видеоизображений грубо подразделяются на две категории: способы, использующие голографический метод, и способы, использующие параллаксное видео.
Способ, использующий голографический метод, характеризуется предоставлением зрителю возможности воспринимать объекты в видеоизображении стереоскопическими посредством передачи, при зрительском восприятии зрителем, по существу, такой же информации, как оптическая информация, доставляемая людям при визуальном восприятии реальных объектов. Однако, хотя технические основы использования упомянутых способов для представления видеофильмов созданы, является очень сложным построение, при существующей технологии, компьютера, который мог бы в реальном времени обрабатывать громадный объем вычислений, необходимых для представления видеофильмов, и дисплея, имеющего сверхвысокое разрешение несколько тысяч линий на 1 мм. Соответственно, в настоящее время пока не отмечается реализаций упомянутых способов для коммерческого применения.
«Параллаксное видео» относится к 2-мерным видеоизображениям одной сцены, представляемым каждому из глаз зрителя, т.е. паре из левого ракурса и правого ракурса. Способ, использующий параллаксное видео, характеризуется воспроизведением левого ракурса и правого ракурса одной сцены таким образом, что зритель видит каждый ракурс только одним глазом, что позволяет пользователю воспринимать сцену стереоскопической.
На фиг.82A, 82B, 82C представлены схемы, поясняющие принцип воспроизведения 3-мерных видеоизображений (стереоскопическое видео) в соответствии со способом, использующим параллаксное видео. На фиг.82A показан вид сверху зрителя 7401, наблюдающего куб 7402, помещенный непосредственно перед лицом зрителя. На фиг.82B и 82C представлены схемы, представляющие внешний вид куба 7402 в виде 2-мерного видеоизображения, воспринимаемого, соответственно, левым глазом 7401L и правым глазом 7401R зрителя 7401. Как видно из сравнения фиг.82B и фиг.82C, внешние виды куба 7402, воспринимаемые глазами, немного различаются. Различие между внешними видами, т.е. бинокулярный параллакс, позволяет зрителю 7401 опознавать куб 7402 как трехмерный объект. Таким образом, в соответствии со способом, использующим параллаксное видео, сначала для одной сцены подготавливают левое и правое 2-мерные видеоизображения, получаемые с разных точек наблюдения. Например, для куба 7402, показанного на фиг.82A, подготавливают левый ракурс куба 7402, показанного на фиг.82B, и правый ракурс, показанный на фиг.82C. При этом позиция каждой точки наблюдения определяется бинокулярным параллаксом зрителя 7401. Затем, каждое видеоизображение воспроизводится так, чтобы обеспечивалось его восприятие только соответствующим глазом зрителя 7401. Следовательно, зритель 7401 опознает сцену, воспроизводимую на экране, т.е. видеоизображение куба 7402, как стереоскопическую сцену. Таким образом, в отличие от способов, использующих голографический метод, преимущество способов, использующих параллаксное видео, состоит в том, что требуется подготавливать 2-мерные видеоизображения всего для двух точек наблюдения.
Предложено несколько конкретных способов использования параллаксного видео. По тому, каким образом упомянутые способы представляют левое и правое 2-мерные видеоизображения для глаз зрителя, способы подразделяются на способы с попеременным следованием кадров, способы, которые используют линзовый растр, и способы с двухцветным разделением.
При попеременном следовании кадров левое и правое 2-мерные видеоизображения попеременно представляются на экране в течение предварительно заданного времени, а зритель наблюдает экран с использованием затворных очков. В таком случае каждая линза затворных очков сформирована, например, как жидкокристаллическая панель. Линзы пропускают или блокируют свет равномерно и попеременно, синхронно с переключением 2-мерных видеоизображений на экране. То есть, каждая линза функционирует как затвор, который периодически блокирует глаз зрителя. В частности, когда на экране отображается левое видеоизображение, затворные очки обеспечивают пропускание света левосторонней линзой и перегораживание света правосторонней линзой. И, наоборот, когда на экране отображается правое видеоизображение, затворные очки обеспечивают пропускание света правосторонней линзой и перегораживание света левосторонней линзой. В результате, зритель видит последовательные образы правого и левого видеоизображений, наложенные один на другой, и, следовательно, воспринимает одно 3-мерное видеоизображение.
В соответствии с вышеописанным попеременным следованием кадров, правое и левое видеоизображения попеременно отображаются с предварительно заданной цикличностью. Например, когда, при воспроизведении обычного 2-мерного кинофильма, отображаются 24 видеокадра в секунду, для 3-мерного кинофильма требуется отображать 48 видеокадров, в сумме, как для правого, так и для и левого глаз. Соответственно, для описанного способа предпочтителен дисплей, способный быстро выполнять перезапись экрана.
В способе с использованием линзового растра правый видеокадр и левый видеокадр, соответственно, делятся на полосковые, небольшие и узкие области, которые продольными сторонами ориентированы в вертикальном направлении экрана. На экране небольшие области правого видеокадра и небольшие области левого видеокадра попеременно располагаются в горизонтальном направлении экрана и отображаются одновременно. При этом поверхность экрана покрыта линзовым растром. Линзовый растр представляет собой линзу в форме листа, составленную из параллельно расположенных нескольких длинных и тонких выпуклых линз. Каждая выпуклая линза расположена в продольном направлении на поверхности экрана. Когда зритель видит левый и правый видеокадры через линзовый растр, свет от областей, представляющих левый видеокадр, воспринимает только левый глаз зрителя, и свет от областей, представляющих правый видеокадр, воспринимает только правый глаз зрителя. Таким образом, зритель видит 3-мерное видеоизображение благодаря параллаксу между видеоизображениями, воспринимаемыми левым и правым глазами. Следует отметить, что, в соответствии с описанным способом, вместо линзового растра можно использовать другой оптический компонент, имеющий аналогичные функции, например, жидкокристаллическое устройство. В качестве альтернативы, например, в областях, представляющих кадр левого изображения, можно обеспечить продольно поляризующий фильтр, и в областях, представляющих кадр правого изображения, можно обеспечить поперечно поляризующий фильтр. В таком случае зритель наблюдает дисплей через поляризационные очки. При этом в поляризационных очках продольно поляризующий фильтр обеспечивают для левой линзы, и поперечно поляризующий фильтр обеспечивают для правой линзы. Следовательно, правое и левое видеоизображения воспринимаются, каждое, только соответствующим глазом, что позволяет зрителю воспринимать стереоскопическое видеоизображение.
В способе, использующем параллаксное видео, кроме построения изначально путем сочетания левого и правого видеоизображений, 3-мерный видеоконтент можно также синтезировать путем сочетания 2-мерных видеоизображений и карты глубины. 2-мерные видеоизображения представляют собой проекции 3-мерных видеоизображений на гипотетическую плоскость 2-мерного изображения, и карта глубины представляет глубину каждого пикселя на каждом участке 3-мерного видеоизображения относительно плоскости 2-мерного изображения. Когда 3-мерный контент синтезируется из сочетания 2-мерных видеоизображений с картой глубины, устройство 3-мерного воспроизведения или дисплей сначала синтезирует левое и правое видеоизображения на основе сочетания 2-мерных видеоизображений с картой глубины и, затем, создает 3-мерные видеоизображения на основе упомянутых левого и правого видеоизображений с использованием одного из вышеописанных способов.
На фиг.83 схематически представлен пример построения левого ракурса 7503L и правого ракурса 7503R из комбинации 2-мерного видеоизображения 7501 и карты 7502 глубины. Как показано на фиг.83, круглая пластинка 7511 представлена на фоне 7512 2-мерного видеоизображения 7501. Карта 7502 глубины указывает глубину каждого пикселя на каждом участке 2-мерного видеоизображения 7501. В соответствии с картой 7502 глубины, в 2-мерном видеоизображении 7501, область 7521 представления круглой пластинки 7511 находится ближе к зрителю, чем экран, и область 7522 представления фона 7512 находится дальше, чем экран. Блок 7500 формирования параллаксных видеоизображений в устройстве 102 воспроизведения сначала вычисляет бинокулярный параллакс для каждого участка 2-мерного видеоизображения 7501 с использованием глубины каждого участка, указанного картой 7502 глубины. Затем, блок 7500 формирования параллаксных видеоизображений сдвигает позицию представления каждого участка в 2-мерном видеоизображении 7501 в соответствии с вычисленным бинокулярным параллаксом, чтобы синтезировать левый ракурс 7503L и правый ракурс 7503R. В примере, показанном на фиг.83, блок 7500 формирования параллаксных видеоизображений сдвигает позицию представления круглой пластинки 7511 в 2-мерном видеоизображении 7501 следующим образом: позиция представления круглой пластинки 7531L в левом ракурсе 7503L сдвигается вправо на половину ее бинокулярного параллакса S1, и позиция представления круглой пластинки 7531R в правом ракурсе 7503R сдвигается влево на половину ее бинокулярного параллакса S1. Таким образом, зритель воспринимает круглую пластинку 7511 в положении ближе, чем экран. И, наоборот, блок 7500 формирования параллаксных видеоизображений сдвигает позицию представления фона 7512 в 2-мерном видеоизображении 7501 следующим образом: позиция представления фона 7532L в левом ракурсе 7503L сдвигается влево на половину его бинокулярного параллакса S2, и позиция представления фона 7532R в правом ракурсе 7503R сдвигается вправо на половину его бинокулярного параллакса S2. Таким образом, зритель воспринимает фон 7512 в положении дальше, чем экран.
Система воспроизведения 3-мерных видеоизображений с использованием параллаксного видео уже создана для применения в кинотеатрах, аттракционах в парках развлечений и т.п. Соответственно, упомянутый способ полезен также для реализации систем домашних кинотеатров, которые могут воспроизводить 3-мерные видеоизображения. В вариантах осуществления настоящего изобретения предполагается, что из способов, использующих параллаксное видео, применяется способ последовательного чередования кадров или способ с использованием поляризационных очков. Однако, помимо упомянутых способов, настоящее изобретение можно также применить к другим, отличающимся способам, если только они используют параллаксное видео. Такой вывод очевиден специалистам в данной области техники из вышеприведенного описания вариантов осуществления.
<<Файловая система, записанная на диске BD-ROM>>
При применении файловой системы стандарта UDF область 202B тома данных, показанная на фиг.2, обычно содержит области, в которых записаны, соответственно, множество каталогов, дескриптор набора файлов и дескриптор окончания. Каждый «каталог» является группой данных, составляющих каталог. «Дескриптор набора файлов» указывает LBN сектора, в котором хранится элемент описания файла корневого каталога. «Дескриптор окончания» указывает окончание области записи для дескриптора набора файлов.
Каждый каталог совместно использует общую структуру данных. Каталог содержит, в частности, элемент описания файла, файл каталога и группу файлов подчиненного уровня.
«Элемент описания файла» содержит дескрипторную метку, метку блока управления информацией (ICB) и дескриптор распределения. «Дескрипторная метка» указывает, что тип данных, которые содержат дескрипторную метку, является элементом описания файла. Например, когда дескрипторная метка имеет значение «261», то тип таких данных определяется как элемент описания файла. «Метка ICB» указывает атрибутивную информацию для самого элемента описания файла. «Дескриптор распределения» указывает LBN сектора, в котором записан файл каталога, принадлежащий тому же самому каталогу.
«Файл каталога» обычно содержит некоторое число из каждого из дескриптора идентификатора файла для каталога подчиненного уровня и дескриптора идентификатора файла для файла подчиненного уровня. «Дескриптор идентификатора файла для каталога подчиненного уровня» представляет собой информацию для доступа к каталогу подчиненного уровня, расположенному непосредственно под каталогом. Дескриптор идентификатора файла для каталога подчиненного уровня содержит идентификационную информацию для каталога подчиненного уровня, длину имени каталога, адрес элемента описания файла и фактическое имя каталога. В частности, адрес элемента описания файла указывает LBN сектора, в котором записан элемент описания файла каталога подчиненного уровня. «Дескриптор идентификатора файла для файла подчиненного уровня» представляет собой информацию для доступа к файлу подчиненного уровня, расположенному непосредственно под каталогом. Дескриптор идентификатора файла для файла подчиненного уровня содержит идентификационную информацию для файла подчиненного уровня, длину имени файла, адрес элемента описания файла и фактическое имя файла. В частности, адрес элемента описания файла указывает LBN сектора, в котором записан элемент описания файла для файла подчиненного уровня. «Элемент описания файла для файла подчиненного уровня», как поясняется ниже, содержит информацию об адресах данных, составляющих фактический файл подчиненного уровня.
Посредством отслеживания по порядку дескрипторов наборов файлов и дескрипторов идентификаторов файлов для каталогов/файлов подчиненного уровня можно получить доступ к элементу описания файла произвольного каталога/файла, записанного в области 202B тома данных. В частности, сначала из дескриптора набора файлов определяется элемент описания файла корневого каталога, и из дескриптора распределения в упомянутом элементе описания файла определяется файл каталога для корневого каталога. Затем, из файла каталога определяется дескриптор идентификатора файла для каталога, и элемент описания файла для каталога определяется по находящемуся в нем адресу элемента описания файла. Кроме того, из дескриптора распределения в элементе описания файла определяется файл каталога для каталога. В дальнейшем, из файла каталога по адресу элемента описания файла в дескрипторе идентификатора файла для файла подчиненного уровня определяется элемент описания файла для файла подчиненного уровня.
«Файл подчиненного уровня» содержит экстенты и элемент описания файла. Число «экстентов», обычно, является кратным, и они являются последовательностями данных, логические адреса которых, т.е. LBN, являются последовательными на диске. В совокупности экстенты содержат фактический файл подчиненного уровня. «Элемент описания файла» содержит дескрипторную метку, метку ICB и дескрипторы распределения. «Дескрипторная метка» указывает, что тип данных, которые содержат дескрипторную метку, является элементом описания файла. «Метка ICB» указывает атрибутивную информацию об элементе описания фактического файла. «Дескрипторы распределения» обеспечиваются во взаимно однозначном соответствии с каждым экстентом и указывают расположение каждого экстента в области 202B тома данных, в частности, размер каждого экстента и LBN для начала экстента. В качестве альтернативы, путем назначения последовательных LBN между областями, которые указывают дескрипторы распределения, упомянутые дескрипторы распределения, взятые в целом, могут указывать размещение одного экстента. Как показано пунктирными линиями со стрелкой, посредством обращения к каждому дескриптору распределения можно выбрать каждый экстент. Кроме того, два самых старших бита каждого дескриптора распределения указывают, записан ли фактически экстент в секторе для LBN, указанного дескриптором распределения. В частности, когда два самых старших бита означают «0», экстент приписан к сектору и фактически записан в нем. Когда два самых старших бита означают «1», экстент приписан к сектору, но еще не записан в нем.
Подобно вышеописанной файловой системе, использующей стандарт UDF, когда каждый файл, записанный в области 202B тома данных, разделен на множество экстентов, файловая система для области 202B тома данных обычно также хранит информацию, показывающую местоположения экстентов, как при использовании вышеупомянутых дескрипторов распределения, в области 202B тома данных. Посредством обращения к такой информации можно найти местоположение каждого экстента, в частности, его логический адрес.
<<Распределение данных посредством широковещательной передачи или по линии связи>>
Носитель записи в соответствии с вариантом 1 осуществления настоящего изобретения может быть, кроме оптического диска, обычным съемным носителем, серийно доступном в виде носителя в корпусе, например, малогабаритного полупроводникового запоминающего устройства, содержащего карту памяти стандарта SD. Кроме того, вариант 1 осуществления представляет пример оптического диска, на котором данные записаны заранее, а именно, обычный, имеющийся в продаже оптический диск только для считывания, например, BD-ROM или DVD-ROM. Однако вариант осуществления настоящего изобретения не ограничен упомянутыми устройствами. Например, когда оконечное устройство считывает 3-мерный видеоконтент, который передан методом широкого вещания или по сети в серийно доступный перезаписываемый оптический диск, например, BD-RE или DVD-RAM, можно использовать схему расположения экстентов в соответствии с вышеописанным вариантом осуществления. При этом оконечное устройство может быть встроено в устройство воспроизведения или может быть устройством, отличающимся от устройства воспроизведения.
<<Воспроизведение с карты полупроводниковой памяти>>
Ниже приведено описание блока считывания данных устройства воспроизведения в случае, когда применяется карта полупроводниковой памяти в качестве носителя записи в соответствии с вариантом 1 осуществления настоящего изобретения, вместо оптического диска.
Часть устройства воспроизведения, которая считывает данные с оптического диска, состоит, например, из дисковода оптических дисков. И, наоборот, часть устройства воспроизведения, которая считывает данные с карты полупроводниковой памяти, состоит из интерфейса монопольного режима (I/F). В частности, гнездо для карты снабжено устройством воспроизведения, и I/F смонтирован в гнезде для карты. Когда карту полупроводниковой памяти вставляют в гнездо для карты, карта полупроводниковой памяти электрически соединяется с устройством воспроизведения посредством I/F. Кроме того, данные считываются с карты полупроводниковой памяти в устройство воспроизведения посредством I/F.
<<Метод защиты авторских прав на данные,
записанные на диске BD-ROM>>
Далее описан механизм защиты авторских прав на данные, записанные на диске BD-ROM, в качестве исходного предположения для следующего дополнительного пояснения.
С точки зрения, например, усовершенствования защиты авторских прав или конфиденциальности данных, имеют место случаи, когда часть данных, записанных на диске BD-ROM, зашифрована. Зашифрованные данные являются, например, видеопотоком, аудиопотоком или другим потоком. При этом зашифрованные данные декодируются следующим образом.
Устройство воспроизведения содержит предварительно записанную на нем часть данных, необходимых для формирования «ключа», подлежащего использованию для декодирования зашифрованных данных, записанных на диске BD-ROM, а именно, ключа устройства. С другой стороны, диск BD-ROM содержит записанную на нем другую часть данных, необходимую для формирования «ключа», а именно, блок ключей для носителя (MKB) и зашифрованные данные «ключа», а именно, ключ зашифрованного видеоприложения. Ключ устройства, MKB и ключ зашифрованного видеоприложения связаны между собой, и каждый из них дополнительно связан с конкретным ID, записанным в BCA (служебной зоне привода) 201, записанной на диске BD-ROM 101, показанном на фиг.2, а именно, ID тома данных. Когда комбинация из ключа устройства, MKB, ключа зашифрованного видеоприложения и ID тома данных является неверной, зашифрованные данные нельзя декодировать. Иначе говоря, вышеупомянутый «ключ», а именно, ключ видеоприложения, можно сформировать только тогда, когда комбинация является верной. В частности, ключ зашифрованного видеоприложения сначала дешифруется с использованием ключа устройства, MKB и ID тома данных. Лишь в случае, когда ключ видеоприложения может быть получен в результате дешифровки, зашифрованные данные можно декодировать с помощью ключа видеоприложения в качестве вышеупомянутого «ключа».
Когда устройство воспроизведения пробует воспроизвести зашифрованные данные, записанные на диске BD-ROM, устройство воспроизведения не может воспроизвести зашифрованные данные, если устройство воспроизведения не содержит записанный в нем ключ устройства, который заранее поставлен в соответствие с ключом зашифрованного видеоприложения, MKB, устройством и ID тома данных, записанными на диске BD-ROM. Описанный подход обусловлен тем, что ключ, необходимый для декодирования зашифрованных данных, а именно, ключ видеоприложения, может быть получен только дешифровкой ключа зашифрованного видеоприложения на основе верной комбинации MKB, ключа устройства и ID тома данных.
Чтобы защитить авторские права на, по меньшей мере, какой-то один из видеопотока и аудиопотока, которые должны быть записаны на диске BD-ROM, подлежащий защите поток зашифровывается с использованием ключа видеоприложения, и зашифрованный поток записывается на диске BD-ROM. Затем, формируется ключ на базе комбинации из MKB, ключа устройства и ID тома данных, и ключ видеоприложения зашифровывается с использованием ключа для преобразования в ключ зашифрованного видеоприложения. Кроме того, MKB, ID тома данных и ключ зашифрованного видеоприложения записываются на диске BD-ROM. Лишь устройство воспроизведения, в котором хранится ключ устройства, подлежащий использованию для формирования вышеупомянутого ключа, может декодировать зашифрованный видеопоток и/или зашифрованный аудиопоток, записанные на диске BD-ROM, с использованием декодера. Описанный подход дает возможность защищать авторские права на данные, записанные на диске BD-ROM.
Вышеописанный механизм защиты авторских прав на данные, записанные на диске BD-ROM, применим к носителю записи, отличающемуся от диска BD-ROM. Например, механизм применим к считываемому и перезаписываемому полупроводниковому запоминающему устройству и, в частности, малогабаритной карте полупроводниковой памяти, например, карте памяти стандарта SD.
<<Запись данных на носитель записи при распределении с помощью электронных устройств>>
Ниже приведено описание обработки для передачи данных, например, файла AV-потока для 3-мерных видеоизображений (в дальнейшем, «распределяемых данных»), в устройство воспроизведения в соответствии с вариантом 1 осуществления настоящего изобретения, при распределении с помощью электронных устройств, и для обеспечения записи устройством воспроизведения распределяемых данных на карте полупроводниковой памяти. Следует отметить, что нижеописанные операции могут выполняться специальным оконченным устройством для выполнения обработки, вместо вышеупомянутого устройства воспроизведения. Кроме того, нижеследующее описание основано на предположении, что карта полупроводниковой памяти, которая является назначенным носителем для записи, является картой памяти стандарта SD.
Устройство воспроизведения содержит вышеописанное гнездо для карты. Карту памяти стандарта SD вставляют в гнездо для карты. Устройство воспроизведения в таком состоянии сначала передает запрос передачи распределяемых данных в сервер распределения в сети. При этом устройство воспроизведения считывает идентификационную информацию о карте памяти стандарта SD из карты памяти стандарта SD и передает считанную идентификационную информацию в сервер распределения вместе с запросом передачи. Идентификационная информация о карте памяти стандарта SD является, например, идентификационным номером, однозначным для карты памяти стандарта SD, и, в частности, является серийным номером карты памяти стандарта SD. Идентификационная информация используется как вышеупомянутый ID тома данных.
Сервер распределения содержит хранящиеся на нем порции распределяемых данных. Распределяемые данные, которые нуждаются в защите шифрованием, например, видеопоток и/или аудиопоток, зашифрованы с использованием предварительно заданного ключа видеоприложения. Зашифрованные распределяемые данные могут быть дешифрованы с использованием такого же ключа видеоприложения.
На сервере распределения хранится ключ устройства в виде конфиденциального ключа, общего с устройством воспроизведения. На сервере распределения дополнительно хранится MKB, подобный тому, как в карте памяти стандарта SD. После получения запроса передачи распределяемых данных и идентификационной информации о карте памяти стандарта SD из устройства воспроизведения сервер распределения сначала формирует ключ на основе ключа устройства, MKB и идентификационной информации и шифрует ключ видеоприложения с использованием сформированного ключа для формирования ключа зашифрованного видеоприложения.
Затем, сервер распределения формирует ключевую информацию общего пользования. Ключевая информация общего пользования содержит, например, MKB, ключ зашифрованного видеоприложения, отличительную информацию, идентификационный номер карты памяти стандарта SD и список устройств. Отличительная информация содержит, например, значение хэш-функции ключевой информации общего пользования. Список устройств является списком устройств, которые требуется признать недействительными, то есть устройств, которые подвержены риску осуществления несанкционированного воспроизведения зашифрованных данных, содержащихся в распределяемых данных. Список устройств определяет ключ устройства и идентификационный номер устройства воспроизведения, а также идентификационный номер или функцию (программу) для каждого элемента в устройстве воспроизведения, например, декодера.
Сервер распределения передает распределяемые данные и ключевую информацию общего пользования в устройство воспроизведения. Устройство воспроизведения принимает распределяемые данные и ключевую информацию общего пользования и записывает их в карту памяти стандарта SD посредством I/F (интерфейса монопольного режима) гнезда для карты.
Зашифрованные распределяемые данные, записанные на карту памяти стандарта SD, дешифруются с использованием ключевой информации общего пользования, например, следующим образом. Сначала, выполняются проверки трех типов для аутентификации ключевой информации общего пользования. Упомянутые проверки могут выполняться в любом порядке.
(1) Согласуется ли идентификационная информация о карте памяти стандарта SD, содержащаяся в ключевой информации общего пользования, с идентификационным номером, хранящимся на карте памяти стандарта SD, вставленной в гнездо для карты?
(2) Согласуется ли значение хэш-функции, вычисленное на основании ключевой информации общего пользования, со значением хэш-функции, содержащимся в отличительной информации?
(3) Указано ли устройство воспроизведения, исключенное из списка устройств, ключевой информацией общего пользования, и, в частности, исключен ли ключ устройства для устройства воспроизведения из списка устройства?
Если, по меньшей мере, любой один из результатов проверок (1)-(3) является отрицательным, то устройство воспроизведения прекращает обработку для дешифрования зашифрованных данных. И, наоборот, если все результаты проверок (1)-(3) являются утвердительными, то устройство воспроизведения авторизует ключевую информацию общего пользования и дешифрует ключ зашифрованного видеоприложения, содержащегося в ключевой информации общего пользования с использованием ключа устройства, MKB и идентификационной информации о карте памяти стандарта SD, для получения, тем самым, ключа видеоприложения. Устройство воспроизведения дополнительно дешифрует зашифрованные данные с использованием ключа видеоприложения для получения, тем самым, например, видеопотока и/или аудиопотока.
Вышеописанный механизм дает следующее преимущество. Если устройство воспроизведения, составляющие элементы и функция (программа), которые подвержены риску использования несанкционированным образом, уже известны, когда данные передаются методами электронного распределения, то соответствующие порции идентификационной информации перечисляются в списке устройств и распределяются как часть ключевой информации общего пользования. С другой стороны, устройство воспроизведения, которое запросило распределяемые данные, неизбежно нуждается в сравнении порций идентификационной информации, содержащейся в списке устройств, с порциями идентификационной информации об устройстве воспроизведения, его составляющих элементах и т.п. В результате, если устройство воспроизведения, его составляющие элементы и т.п. идентифицированы в списке устройств, то устройство воспроизведения не может использовать ключевую информацию общего пользования для дешифровки зашифрованных данных, содержащихся в распределяемых данных, даже если комбинация из идентификационного номера карты памяти стандарта SD, MKB, ключа зашифрованного видеоприложения и ключа устройства является верной. Таким образом, можно эффективно предотвращать несанкционированное использование распределяемых данных.
Идентификационную информацию о карте полупроводниковой памяти желательно записывать в области записи, обладающей высокой степенью конфиденциальности, содержащейся в области записи карты полупроводниковой памяти. Приведенное требование обусловлено тем, что если идентификационная информация, например, серийный номер карты памяти стандарта SD, искажена несанкционированным образом, то можно легко реализовать незаконную копию карты памяти стандарта SD. Другими словами, если искажение позволяет создать множество карт полупроводниковой памяти, содержащих одинаковую идентификационную информацию, то санкционированные изделия можно отличать от несанкционированных копий изделий путем выполнения вышеописанной проверки (1). Поэтому, идентификационную информацию о карте полупроводниковой памяти необходимо записывать в области записи с высокой степенью конфиденциальности, чтобы защитить идентификационную информацию от искажения несанкционированным образом.
Область записи с высокой степенью конфиденциальности структурно сформирована в карте полупроводниковой памяти, например, следующим образом. Например, в качестве области записи, не связанной электрически с областью записи для записи нормальных данных (в дальнейшем, «первой областью записи»), обеспечивают другую область записи (в дальнейшем, «вторую область записи»). Затем, в составе карты полупроводниковой памяти обеспечивают схему управления только для выборки второй области памяти. В результате, выборку второй области памяти можно выполнять только через посредство схемы управления. Например, допустим, что во второй области записи записаны только зашифрованные данные, и схема для дешифровки зашифрованных данных встроена только в схему управления. В результате, доступ к данным, записанным во второй области записи, может осуществляться только посредством выдачи команды в схему управления для сохранения в ней адреса каждой порции данных, записанных во второй области записи. Кроме того, адрес каждой порции данных, записанных во второй области записи, может сохраняться только в схеме управления. В таком случае только схема управления может идентифицировать адрес каждой порции данных, записанных во второй области записи.
В случае если идентификационная информация о карте полупроводниковой памяти записана во второй области записи, то, когда прикладная программа, работающая в устройстве воспроизведения, получает данные из сервера распределения средствами электронного распределения и записывает полученные данные в карте полупроводниковой памяти, выполняется следующая обработка. Во-первых, прикладная программа выдает запрос доступа в схему управления через I/F карты памяти для выборки идентификационной информации о карте полупроводниковой памяти, записанной во второй области записи. В ответ на запрос доступа схема управления сначала считывает идентификационную информацию из второй области записи. Затем, схема управления передает идентификационную информацию в прикладную программу через I/F карты памяти. Прикладная программа передает запрос передачи распределяемых данных вместе с идентификационной информацией. Прикладная программа дополнительно записывает в первой области записи карты полупроводниковой памяти, через I/F карты памяти, ключевую информацию общего пользования и распределяемые данные, полученные из сервера распределения в ответ на запрос передачи.
Следует отметить, что целесообразно, чтобы вышеописанная прикладная программа производила проверку, не была ли сама прикладная программа фальсифицирована, перед выдачей запроса доступа в схему управления карты полупроводниковой памяти. Проверка может выполняться с использованием цифрового сертификата, соответствующего стандарту X.509. Кроме того, распределяемые данные необходимо записывать только в первой области записи карты полупроводниковой памяти, как пояснялось выше. Доступ к распределяемым данным не обязательно контролировать посредством схемы управления карты полупроводниковой памяти.
<<Применение к записи в реальном времени>>
Вариант 2 осуществления настоящего изобретения основан на предположении, что файл AV-потока и файл списка воспроизведения записаны на диске BD-ROM с использованием метода предварительной записи авторской системой, и записанные файл AV-потока и файл списка воспроизведения предоставлены пользователям. В альтернативном варианте осуществления можно записывать файл AV-потока и файл списка воспроизведения путем выполнения записи в реальном времени на перезаписываемый носитель записи, например, диск BD-RE (для многократной записи), диск BD-R (для однократной записи), жесткий диск, или на карте полупроводниковой памяти (в дальнейшем, «диск BD-RE или подобный носитель»), и снабжать пользователя записанными файлом AV-потока и файлом списка воспроизведения. В таком случае файл AV-потока может быть транспортным потоком, который получен в результате декодирования в реальном времени аналогового входного сигнала, выполненного записывающим устройством. В альтернативном варианте осуществления файл AV-потока может быть транспортным потоком, который получен в результате дифференциации цифрового входного транспортного потока, выполняемой записывающим устройством.
Записывающее устройство, выполняющее запись в реальном времени, содержит видеокодер, аудиокодер, мультиплексор и формирователь исходных пакетов. Видеокодер кодирует видеосигнал для преобразования его в видеопоток. Аудиокодер кодирует аудиосигнал для преобразования его в аудиопоток. Мультиплексор мультиплексирует видеопоток и аудиопоток для преобразования их в цифровой поток в формате MPEG-2 TS. Формирователь исходных пакетов преобразует TS-пакеты в цифровом потоке в формате MPEG-2 TS в исходные пакеты. Записывающее устройство сохраняет каждый исходный пакет в файле AV-потока и записывает файл AV-потока на диске BD-RE или подобном носителе.
Параллельно с обработкой для записи файла AV-потока блок управления записывающим устройством формирует файл информации о клипах и файл списка воспроизведения в памяти и записывает файлы на диск BD-RE или подобный носитель. В частности, когда пользователь запрашивает выполнение обработки для записи, блок управления сначала формирует файл информации о клипах в соответствии с файлом AV-потока и записывает файл на диск BD-RE или подобный носитель. В таком случае каждый раз, когда начало GOP видеопотока определяется из транспортного потока, полученного извне, или каждый раз, когда GOP видеопотока формируется видеокодером, блок управления получает PTS для I-картинки, расположенной в начале GOP, и SPN исходного пакета, в котором сохранено начало GOP. Блок управления дополнительно сохраняет пару из PTS и SPN в виде одной точки входа в карте отображения точек входа файла информации о клипах. При этом к точке входа добавляется флаг «is_angle_change». Флаг is_angle_change устанавливается «on» («включено»), когда начало GOP является IDR-картинкой (перед которой нет картинок), и «off» («выключено»), когда начало GOP не является IDR-картинкой. В файле информации о клипах атрибутивная информация о потоке дополнительно устанавливается в соответствии с атрибутом потока, подлежащего записи. Таким образом, после записи файла AV-потока и файла информации о клипах на диск BD-RE или подобном носителе, блок управления формирует файл списка воспроизведения с использованием карты отображения точек входа в файле информации о клипах и записывает файл на диск BD-RE или подобный носитель.
<<Управляемая копия>>
Устройство воспроизведения в соответствии с вариантом 1 осуществления настоящего изобретения может переписывать цифровой поток, записанный на диске BD-ROM 101, на другой носитель записи посредством управляемой копии. В рассматриваемом случае управляемой копией называется метод выдачи разрешения на копирование цифрового потока, файла списка воспроизведения, файла информации о клипах и прикладной программы с носителя записи только для считывания, например, диска BD-ROM, на перезаписываемый носитель записи только в случае, когда успешно выполняется аутентификация посредством обмена информацией с сервером. Упомянутый перезаписываемый носитель записи может быть перезаписываемым оптическим диском, например, BD-R, BD-RE, DVD-R, DVD-RW или DVD-RAM, жестким диском или портативным полупроводниковым запоминающим устройством, например, картой памяти стандарта SD, картой памяти Memory Stick™, картой памяти Compact Flash™, картой памяти Smart Media™ или картой памяти Multimedia Card™. Управляемая копия позволяет ограничивать число резервных копий данных, записанных на носитель записи только для считывания, и начислять плату за резервные копии.
Когда резервная копия выполняется с диска BD-ROM на диск BD-R или диск BD-RE, и два диска имеют эквивалентную емкость записи, битовые потоки, записанные на диске-оригинале можно копировать в том порядке, в котором они существуют.
Если управляемая копия выполняется на носителях отличающихся типов, то необходимо выполнять транскодирование. Термин «транскодирование» относится к обработке для приведения цифрового потока, записанного на диске-оригинале, в прикладной формат носителя записи, который предназначен для создания на нем копии. Например, транскодирование содержит процедуру преобразования формата MPEG-2 TS в формат программного потока MPEG-2 и процедуру снижения битрейта каждого из видеопотока и аудиопотока и перекодирования видеопотока и аудиопотока. Во время транскодирования файл AV-потока, файл информации о клипах и файл списка воспроизведения должны формироваться во время вышеупомянутого перекодирования в реальном времени.
<<Способ описания структуры данных>>
Среди структур данных в варианте 1 осуществления настоящего изобретения повторяющаяся структура «имеется множество порций информации предварительно заданного типа» задается описанием исходного значения управляющей переменной цикла и циклическим условием в операторе цикла («for»). Кроме того, структура данных «если предварительно заданное условие выполняется, то предварительно заданная информация определяется» задается описанием, в условном («if») операторе, условия и переменной, подлежащей установке в то время, когда условие удовлетворяется. Таким образом, структура данных, упомянутая в варианте 1 осуществления, задается описанием с использованием высокоуровневого языка программирования. Соответственно, структура данных преобразуется компьютером в компьютерно-читаемый код посредством процедуры трансляции, выполняемой компилятором, который содержит «синтаксический анализ», «оптимизацию», «распределение ресурсов» и «генерацию кода», и, затем, структура данных записывается на носитель записи. Благодаря описанию на высокоуровневом языке программирования, структура данных интерпретируется как часть, отличающаяся от способа графа классов на объектно-ориентированном языке, в частности, как переменная экземпляра типа «массив» графа классов, и составляет часть программы. Другими словами, структура данных, по существу, эквивалентна программе. Поэтому, структуру данных следует защищать как изобретение, относящееся к компьютерам.
<<Управление файлом списка воспроизведения и файлом информации о клипах программой воспроизведения>>
Когда файл списка воспроизведения и файл AV-потока записываются на носитель записи, на носитель записи записывается программа воспроизведения. Программа воспроизведения вынуждает компьютер воспроизводить файл AV-потока в соответствии с файлом списка воспроизведения. Программа воспроизведения загружается с носителя записи в запоминающее устройство компьютера и затем исполняется компьютером. Процесс загрузки содержит обработку компиляции или обработку редактирования связей. Путем обработки подобными методами программа воспроизведения разбивается на множество сегментов в запоминающем устройстве. Сегменты содержат текстовый сегмент, сегмент данных, сегмент bss (неинициализируемого блока) и сегмент стека. Текстовый сегмент содержит кодовый набор программы воспроизведения, начальное значение и неперезаписываемые данные. Сегмент данных содержит переменные с начальными значениями и перезаписываемые данные. В частности, сегмент данных содержит файл, записанный в записывающем устройстве, который можно выбрать в любое время. Сегмент неинициализируемого блока содержит переменные, которые не имеют начального значения. Обращение к данным, содержащимся в сегменте неинициализируемого блока, осуществляется в соответствии с командами, указываемыми кодом в текстовом сегменте. Во время обработки компиляции или обработки редактирования связей область для сегмента неинициализируемого блока выделяется во внутренней RAM (оперативной памяти) компьютера. Сегмент стека является областью памяти, временно выделяемой, при необходимости. Во время каждой из обработок программой воспроизведения используются локальные переменные. Сегмент стека содержит упомянутые локальные переменные. Когда программа исполняется, переменные в сегменте неинициализируемого блока первоначально устанавливаются на нуль, и необходимая область памяти выделяется в сегменте стека.
Как изложено выше, файл списка воспроизведения и файл информации о клипах уже преобразованы в записывающем устройстве в компьютерно-читаемый код. Соответственно, во время исполнения программы воспроизведения управление каждым из упомянутых файлов осуществляется как «неперезаписываемыми данными» в текстовом сегменте или как «файлом, выбираемым в любой момент времени» в сегменте данных. Иначе говоря, файл списка воспроизведения и файл информации о клипах содержатся, каждый, как составляющие элементы программы воспроизведения во время ее исполнения. Поэтому, файл списка воспроизведения и файл информации о клипах выполняют более важную функцию в программе воспроизведения, чем простое представление данных.
Промышленная применимость
Настоящее изобретение относится к технологии воспроизведения стереоскопического видео и четко определяет нижние пределы размера блока данных и блока экстентов, записанных на носителе записи. Таким образом, очевидно, что настоящее изобретение промышленно применимо.
Перечень позиционных обозначений
2201: M-й блок экстентов
2202: (M+1)-й блок экстентов
2220: маршрут воспроизведения в режиме 3-мерного воспроизведения
B: блок данных основного ракурса
D: блок данных зависимого ракурса
EXTSS[M]: M-й SS-экстент
EXTSS[M+1]: (M+1)-й SS-экстент
J[M-1], J[M]: переход между блоками экстентов
PRD[m]: период предварительной загрузки для M-го блока экстентов
PRD[n]: период предварительной загрузки для (M+1)-го блока экстентов
PRBLK[M]: период считывания для M-го блока экстентов
PRBLK[M+1]: период считывания для (M+1)-го блока экстентов
PJ[M]: период перехода для блока экстентов
T0: конечное время периода предварительной загрузки для M-го блока экстентов
T1: конечное время периода предварительной загрузки для (M+1)-го блока экстентов
TEXTSS: время по ATC экстента M-го SS-экстента
DA1: объем данных, накопленных в первом буфере считывания
DA2: объем данных, накопленных во втором буфере считывания
1. Устройство воспроизведения для воспроизведения видеоизображений с носителя записи, содержащего записанные на нем: поток главного ракурса, используемый для воспроизведения моноскопического видео; и поток дополнительного ракурса, используемый для воспроизведения стереоскопического видео в сочетании с потоком главного ракурса, при этом поток дополнительного ракурса кодирован с привязкой к потоку главного ракурса, поток главного ракурса разделен на множество блоков данных главного ракурса, поток дополнительного ракурса разделен на множество блоков данных дополнительного ракурса, блоки данных главного ракурса и блоки данных дополнительного ракурса последовательно записаны по схеме расположения с чередованием и составляют множество блоков экстентов, каждый из блоков экстентов адресуется во время воспроизведения стереоскопического видео как один экстент, начальный блок данных в каждом из блоков экстентов является блоком данных дополнительного ракурса, причем устройство воспроизведения содержит: блок считывания, функционирующий с возможностью считывания блоков экстентов с носителя записи; блок переключения, функционирующий с возможностью выделения потока главного ракурса и потока дополнительного ракурса из блоков экстентов, считанных блоком считывания; первый буфер считывания, функционирующий с возможностью сохранения в нем потока главного ракурса, выделенного блоком переключения; второй буфер считывания, функционирующий с возможностью сохранения в нем потока дополнительного ракурса, выделенного блоком переключения; и блок декодирования, функционирующий с возможностью считывания и декодирования потока главного ракурса из первого буфера считывания и считывания и декодирования потока дополнительного ракурса из второго буфера считывания, и при этом время (t), необходимое блоку декодирования, чтобы декодировать все блоки данных в одном блоке экстентов, больше или равно сумме (t1+t2+t3) времени (t1), необходимого блоку считывания, чтобы считать блоки данных, кроме начального блока данных, в блоке экстентов, времени (t2), необходимого блоку считывания, чтобы начать считывание начальной части следующего блока экстентов с момента окончания считывания конца блока экстентов, и времени (t3), необходимого блоку считывания, чтобы считать начальный блок данных в следующем блоке экстентов.
2. Устройство воспроизведения по п.1, в котором во время cтереоскопического воспроизведения не происходит опустошения первого буфера считывания и второго буфера считывания с момента времени, когда блок считывания заканчивает считывание конца блока экстентов, до момента времени, пока блок считывания не считает полностью начальный блок данных в следующем блоке экстентов.
3. Система воспроизведения с носителя записи, содержащая носитель записи и устройство воспроизведения для воспроизведения с носителя записи, при этом носитель записи содержит записанные на нем: поток главного ракурса, используемый для воспроизведения моноскопического видео; и поток дополнительного ракурса, используемый для воспроизведения стереоскопического видео в сочетании с потоком главного ракурса, причем поток дополнительного ракурса кодирован с привязкой к потоку главного ракурса, поток главного ракурса разделен на множество блоков данных главного ракурса, поток дополнительного ракурса разделен на множество блоков данных дополнительного ракурса, блоки данных главного ракурса и блоки данных дополнительного ракурса последовательно записаны по схеме расположения с чередованием и составляют множество блоков экстентов, каждый из блоков экстентов адресуется во время воспроизведения стереоскопического видео как один экстент, начальный блок данных в каждом из блоков экстентов является блоком данных дополнительного ракурса, нижний предел размера n-го блока экстентов SEXTSS[n], где число n является целым числом, большим чем или равным 1, представлен правой частью следующего выражения:
,
где n-й блок экстентов считывается со скоростью Rud с носителя записи в буфер считывания, n-й блок экстентов передается со средней скоростью REXTSS[n] из буфера считывания в декодер, время Tjump[n] требуется для перехода от n-го блока экстентов к (n+1)-му блоку экстентов и разность TDIFF[n] получается в результате вычитания времени, требуемого для считывания всех блоков данных в n-м блоке экстентов, из времени, требуемого для считывания всех блоков данных в (n+1)-м блоке экстентов, причем устройство воспроизведения содержит: блок считывания, функционирующий с возможностью считывания блоков экстентов с носителя записи; блок переключения, функционирующий с возможностью выделения потока главного ракурса и потока дополнительного ракурса из блоков экстентов, считанных блоком считывания; первый буфер считывания, функционирующий с возможностью сохранения в нем потока главного ракурса, выделенного блоком переключения; второй буфер считывания, функционирующий с возможностью сохранения в нем потока дополнительного ракурса, выделенного блоком переключения; и блок декодирования, функционирующий с возможностью считывания и декодирования потока главного ракурса из первого буфера считывания и считывания и декодирования потока дополнительного ракурса из второго буфера считывания, и время (t), необходимое блоку декодирования, чтобы декодировать все блоки данных в одном блоке экстентов, больше или равно сумме (t1+t2+t3) времени (t1), необходимого блоку считывания, чтобы считать блоки данных, кроме начального блока данных, в блоке экстентов, времени (t2), необходимого блоку считывания, чтобы начать считывание начальной части следующего блока экстентов с момента окончания считывания конца блока экстентов, и времени (t3), необходимого блоку считывания, чтобы считать начальный блок данных в следующем блоке экстентов.
4. Устройство воспроизведения, содержащее: блок считывания, функционирующий с возможностью считывания информации, включающей в себя блок экстентов, с носителя записи, причем блок экстентов является последовательной областью, которая хранит один или больше блоков данных, принадлежащих потоку главного ракурса, и один или больше блоков данных, принадлежащих потоку дополнительного ракурса, поочередно, причем поток главного ракурса используется для воспроизведения моноскопического видео, при этом поток дополнительного ракурса используется для воспроизведения стереоскопического видео в сочетании с потоком главного ракурса, а начальный блок данных в блоке экстентов принадлежит потоку дополнительного ракурса; блок переключения, функционирующий с возможностью выделения данных, принадлежащих потоку главного ракурса, и данных, принадлежащих потоку дополнительного ракурса, из информации считывания; первый буфер считывания, функционирующий с возможностью сохранения данных, принадлежащих потоку главного ракурса, выделяемых блоком переключения; второй буфер считывания, функционирующий с возможностью сохранения данных, принадлежащих потоку дополнительного ракурса, выделяемых блоком переключения; и блок декодирования, функционирующий с возможностью декодирования данных, принадлежащих потоку главного ракурса, из первого буфера считывания и декодирования данных, принадлежащих потоку дополнительного ракурса, из второго буфера считывания,
причем размер блока экстентов представлен следующим выражением:
где SEXTSS является размером блока экстентов, Rud - скорость передачи данных с блока считывания в буфер считывания, включая первый буфер считывания и второй буфер считывания, REXTSS - средняя скорость передачи битов блока экстентов, Tjump - время перехода от блока экстентов к следующему блоку экстентов, S1stEXTSSEXTSS
- размер начального блока данных в блоке экстентов и S1stEXTSSEXTSSnext
- размер начального блока данных в следующем блоке экстентов.
5. Система воспроизведения, включающая в себя устройство воспроизведения и носитель записи, причем носитель записи содержит: блок экстентов, являющийся последовательной областью, в которой хранятся один или больше блоков данных, принадлежащих потоку главного ракурса, и один или больше блоков данных, принадлежащих потоку дополнительного ракурса, поочередно, причем поток главного ракурса используется для воспроизведения моноскопического видео, при этом поток дополнительного ракурса используется для воспроизведения стереоскопического видео в сочетании с потоком главного ракурса, а начальный блок данных в блоке экстентов принадлежит потоку дополнительного ракурса; причем устройство воспроизведения содержит: блок считывания, функционирующий с возможностью считывания информации, включающей в себя блок экстентов, с носителя записи; блок переключения, функционирующий с возможностью выделения данных, принадлежащих потоку главного ракурса, и данных, принадлежащих потоку дополнительного ракурса, из информации считывания; первый буфер считывания, функционирующий с возможностью сохранения данных, принадлежащих потоку главного ракурса, выделяемых блоком переключения; второй буфер считывания, функционирующий с возможностью сохранения данных, принадлежащих потоку дополнительного ракурса, выделяемых блоком переключения; и блок декодирования, функционирующий с возможностью декодирования данных, принадлежащих потоку главного ракурса, из первого буфера считывания и декодирования данных, принадлежащих потоку дополнительного ракурса, из второго буфера считывания, и причем размер блока экстентов представлен следующим выражением:
где SEXTSS является размером блока экстентов, Rud - скорость передачи данных с блока считывания в буфер считывания, включая первый буфер считывания и второй буфер считывания, REXTSS - средняя скорость передачи битов блока экстентов, Tjump - время перехода от блока экстентов к следующему блоку экстентов, S1stEXTSSEXTSS
- размер начального блока данных в блоке экстентов и S1stEXTSSEXTSSnext
- размер начального блока данных в следующем блоке экстентов.
