Носитель информации, хранящий данные, полученные съемкой под многими углами, а также способ и устройство для воспроизведения данных, полученных съемкой под многими углами
Устройство относится к воспроизведению данных. Техническим результатом является способ воспроизведения данных, полученных съемкой под многими углами, при сохранении непрерывности даже во время смены угла, а также носитель информации, на который записываются данные. Аудиовидеоданные, разделенные на клипы, являющиеся элементами записи, записываются на носитель информации. Дополнительная информация, относящаяся к точкам перехода, записывается в область носителя информации, отличную от области, где записаны клипы. Устройство для воспроизведения данных, полученных съемкой под многими углами, включает в себя считывающее устройство, которое считывает аудиовидеоданные с носителя информации, и воспроизводящий блок, который воспроизводит данные, считанные считывающим устройством посредством поиска и воспроизведения клипов, соответствующих считанным данным, где считанные данные являются данными съемки под многими углами, а в случае, когда поступает команда перейти к другому углу, - посредством воспроизведения клипов для другого угла, начиная с точки перехода клипа для другого угла. 2 н. и 4 з.п. ф-лы, 5 ил.
Ссылки на родственные заявки
Данная заявка устанавливает приоритет заявки на патент Республики Корея №2003-66022, поданной 23 сентября 2003 г. в Бюро Интеллектуальной Собственности Республики Корея, и предварительной заявки на патент США №60/511,125, поданной 15 октября 2003 г. в Бюро по Патентам и Товарным Знакам США, причем описание этих заявок включено в настоящее описание во всей своей полноте в качестве ссылки.
Предшествующий уровень техники
1. Область техники, к которой относится изобретение
Настоящее изобретение относится к непрерывному воспроизведению данных, полученных съемкой под многими углами (далее именуемых данными съемки под многими углами), а более конкретно - к устройству и способу, обеспечивающим непрерывное воспроизведение данных съемки под многими углами даже во время смены угла, а также к носителю информации, на который записаны данные съемки под многими углами.
2. Уровень техники
Данные, полученные посредством фотографической съемки некоторой сцены под многими углами и кодирования результата, называются данными съемки под многими углами. Если при просмотре сцены зрителем посредством воспроизведения контента, содержащего в себе данные съемки под многими углами, у зрителя возникает желание увидеть эту сцену, сфотографированной под другим углом, то зритель вводит в воспроизводящее устройство команду сменить угол. После получения команды воспроизводящее устройство воспроизводит данные для нового угла. Для обеспечения непрерывности воспроизведения при смене угла данные съемки под многими углами хранятся с использованием способа чередования данных, при котором данные съемки под многими углами разделены на элементы, имеющие определенный размер, и эти элементы записываются в чередующейся последовательности. Для поиска и воспроизведения в чередующихся данных съемки под многими углами блоков данных, относящихся к одному углу, в поток битов видеоинформации записывается дополнительная информация, предназначенная для отслеживания блоков данных по углам.
К данным съемки по каждому углу из состава данных съемки под многими углами добавляется информация о времени поступления этих данных в виде, например, метки времени поступления (МВП). При воспроизведении данных съемки под углом, они выводятся и воспроизводятся в порядке, определяемом МВП. В общем, поскольку к данным съемки под углом добавляется независимая МВП, во время смены угла не может быть обеспечено непрерывное воспроизведение (то есть воспроизведение без паузы).
Раскрытие изобретения
Настоящее изобретение предлагает устройство и способ для непрерывного, даже во время смены угла, воспроизведения данных съемки под многими углами, и носитель информации, на который записаны эти данные съемки под многими углами.
Согласно одному аспекту настоящего изобретения предусмотрен носитель информации, на который записаны аудиовидеоданные для множества углов съемки (далее углов), включая, по меньшей мере, один клип, который является элементом записи аудиовидеоданных для угла. Аудиовидеоданные имеют множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от одного угла к другому углу, и аудиовидеоданные, имеющие одинаковые точки перехода, имеют одинаковую информацию о времени воспроизведения.
Согласно другому аспекту настоящего изобретения предусмотрен носитель информации, на который записаны аудиовидеоданные для множества углов, включающие в себя, по меньшей мере, один клип, который является элементом записи аудиовидеоданных для угла. Аудиовидеоданные имеют множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от одного угла к другому углу, причем аудиовидеоданные имеют данные, которые предоставляют опорную точку отсчета времени, и аудиовидеоданные, имеющие одинаковые точки перехода, имеют такую же информацию о времени поступления, что и аудиовидеоданные, которые предоставляют опорную точку отсчета времени.
Согласно другому аспекту настоящего изобретения предусмотрен носитель информации, на который записаны аудиовидеоданные для множества углов, включающие в себя, по меньшей мере, один клип, который является элементом записи аудиовидеоданных для угла. Причем аудиовидеоданные имеют множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от одного угла к другому углу, причем аудиовидеоданные имеют данные, которые предоставляют информацию об опорной точке отсчета времени и о времени поступления последующих аудиовидеоданных, и аудиовидеоданные, имеющие одинаковые точки перехода, имеют информацию о времени поступления, находящуюся в интервале между информацией о времени поступления аудиовидеоданных, которые предоставляют опорную точку отсчета времени, и информацией о времени поступления последующих аудиовидеоданных.
Согласно еще одному аспекту настоящего изобретения предусмотрено устройство для воспроизведения данных с носителя информации, на который записаны аудиовидеоданные, разделенные на клипы, и отдельно от клипов записана дополнительная информация, относящаяся к точкам перехода. Устройство включает в себя: считывающее устройство, которое считывает аудиовидеоданные с носителя информации; и воспроизводящий блок, который воспроизводит данные, считанные считывающим устройством, посредством поиска и воспроизведения клипа, соответствующего считанным данным, а в случае, когда поступает команда перейти к новому углу, посредством воспроизведения клипа для нового угла, начиная с точки перехода клипа для нового угла. Причем каждый клип имеет множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от одного угла к другому углу, и аудиовизуальные данные, имеющие одинаковые точки перехода, имеют одинаковую информацию о времени воспроизведения.
Согласно еще одному аспекту настоящего изобретения предусмотрен способ воспроизведения данных с носителя информации, на который записаны аудиовидеоданные, разделенные на клипы, и отдельно от клипов записана дополнительная информация, относящаяся к точкам перехода. Способ включает в себя этапы, на которых: считывают аудиовизуальные данные с носителя информации; воспроизводят считанные данные и принимают команду перейти от одного угла к другому углу. При этом при воспроизведении воспроизводят клип, соответствующий считанным данным, а когда принята команда перейти к другому углу, при воспроизведении воспроизводят клип для другого угла, начиная с точки перехода клипа для другого угла. При этом каждый клип имеет множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от одного угла к другому углу, и аудиовидеоданные, имеющие одинаковые точки перехода, имеют одинаковую информацию о времени воспроизведения.
Согласно другому аспекту настоящего изобретения предусмотрен машиночитаемый носитель записи, на котором содержится программный код, обеспечивающий осуществление компьютером способа воспроизведения данных с носителя информации, на который записаны аудиовидеоданные, разделенные на клипы, и отдельно от клипов записана дополнительная информация, относящаяся к точкам перехода. Способ включает в себя этапы, на которых: считывают аудиовидеоданные с носителя информации; воспроизводят считанные данные и принимают команду перейти от одного угла к другому углу. При этом при воспроизведении воспроизводят клип, соответствующий считанным данным, а когда принята команда перейти к другому углу, при воспроизведении воспроизводят клип для другого угла, начиная с точки перехода клипа для другого угла. При этом каждый клип имеет множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от одного угла к другому углу, и аудиовидеоданные, имеющие одинаковые точки перехода, имеют одинаковую информацию о времени воспроизведения.
Согласно еще одному аспекту настоящего изобретения предусмотрен способ непрерывного воспроизведения данных съемки под многими углами, включающий в себя этапы, на которых: завершают воспроизведение данных съемки под углом для первого угла; изменяют угол, данные по которому будут воспроизводиться, и воспроизводят данные съемки под углом для второго угла. При этом данные съемки под углом имеют множество точек перехода, представляющие собой точки доступа, которые делают возможным переход от первого угла ко второму углу, и данные съемки под углами, имеющие одинаковые точки перехода, имеют одинаковую информацию о времени воспроизведения.
Дополнительные и/или другие аспекты и преимущества настоящего изобретения частично будут изложены в следующем далее описании, а частично станут очевидны из описания или могут быть уяснены при практическом использовании данного изобретения.
Перечень фигур чертежей
Эти и/или другие аспекты и преимущества настоящего изобретения станут очевидны и будут более легко поняты из следующего далее подробного описания, при рассмотрении его совместно с прилагаемыми чертежами, где:
Фиг.1 - схематическое представление блока угловых данных, в котором записаны данные съемки под многими углами;
Фиг.2 - схематическое представление данных съемки под углом, используемое для объяснения процесса приема команды на смену угла и перехода к данным съемки под другим углом;
Фиг.3 - структурная схема устройства, предназначенного для воспроизведения транспортного потока (ТП) данных формата MPEG-2 с носителя информации согласно варианту осуществления настоящего изобретения;
Фиг.4 - схематическое представление клипов (фрагментов информации) для различных углов;
Фиг.5 - схема, иллюстрирующая процесс декодирования, осуществляемый в соответствии с отсчетом времени поступления (ОВП) и отсчетом системного времени (ОСВ) во время смены угла, не прерывающей воспроизведения, согласно варианту осуществления настоящего изобретения.
Осуществление изобретения
Далее будут подробно описаны варианты осуществления настоящего изобретения, примеры которых проиллюстрированы на прилагаемых чертежах, причем на протяжении всего описания одинаковые ссылочные позиции относятся к одинаковым элементам. Варианты осуществления изобретения описываются ниже для того, чтобы на примере этих чертежей объяснить настоящее изобретение.
Фиг.1 изображает схематическое представление блока угловых данных, в котором хранятся данные съемки под многими углами.
Согласно Фиг.1 блок 100 угловых данных устроен таким образом, что параллельно организовано множество ячеек. Эти ячейки могут быть воспроизведены только по одной в некоторый момент времени по выбору пользователя. Ячейки, образующие блок угловых данных, имеют одинаковое время воспроизведения и соответствуют конкретному углу. Если ячейки, являющиеся элементами воспроизведения, образуют блок угловых данных, то данные по конкретному углу разделены на элементы чередования (ЭЛЧ) и записаны на видео-объекты (ВОБ), являющиеся элементами записи, и в ячейки, являющиеся элементами записи, с использованием способа чередования.
Фиг.2 изображает схематическое представление данных съемки под углом и используется для объяснения процесса приема команды на смену угла и перехода к данным съемки под другим углом.
Данные съемки под углами для каждого угла содержат элементы чередования. Максимальное количество углов, поддерживаемых Цифровым Видеодиском (DVD), равно девяти. Согласно Фиг.2 данные съемки под первым углом обозначены как AGL_C #1 210, данные съемки под вторым углом обозначены как AGL_C #2 220, данные съемки под девятым углом обозначены как AGL_C #9 230. Для того чтобы воспроизвести данные, снятые под первым или девятым углом, в тот момент, когда воспроизводятся данные, снятые под вторым углом AGL_C #2 220, осуществляется переход к соответствующему элементу чередования из состава данных съемки под первым или девятым углом. Для того чтобы непрерывно воспроизводить видеоданные, даже в том случае, если пользователь подает команду смены углов в некоторый момент во время воспроизведения элемента чередования из состава данных съемки под вторым углом, необходимо завершить воспроизведение воспроизводимого в текущий момент времени элемента чередования из состава данных съемки под вторым углом и затем перейти к требуемому элементу чередования из состава данных съемки под первым или девятым углом.
На Фиг.3 изображена структурная схема устройства, предназначенного для воспроизведения транспортного потока (ТП) данных формата MPEG-2 с носителя информации.
Считывающее устройство 310 считывает аудиовидеоданные с носителя 305 информации, на котором аудиовидеоданные хранятся в форме транспортного потока формата MPEG-2. Буфер 320 считывания временно сохраняет данные со скоростью считывания данных Rud. Устройство 330 распакетирования исходных данных считывает данные, хранящиеся в буфере 320 считывания, со скоростью Rmax считывания данных, заданной в буфере 320 считывания, удаляет из данных метку времени поступления (МВП) и выдает данные в форме пакетов транспортного потока формата MPEG-2. Декодер 340 декодирует транспортный поток формата MPEG-2 в соответствии с меткой времени воспроизведения (МВВ), содержащейся в пакетах транспортного потока формата MPEG-2, и отображает результат на устройстве 350 отображения.
Аудиовидеоданные записанные на носитель 350 информации представляют собой данные в пакетной форме, сформированные посредством кодирования аудио- или видеоданных и разбиения их на пакеты, имеющие установленный размер, соответствующий установленному способу передачи данных. Например, если передача данных осуществляется в форме транспортного потока формата MPEG-2 в соответствии со стандартами ISO/IEC 13818-1, то установленный размер пакетов составляет 188 байтов. В качестве другого примера, если данные передаются с использованием режима асинхронной передачи данных, то установленный размер пакетов составляет 53 байта. Пакетные данные могут передаваться, например, по кабелю или по локальной сети (LAN).
Когда пакетные данные передаются в ходе цифрового транслирования временные интервалы передачи между пакетными данными непостоянны. Что означает, что передающее устройство передает пакетные данные в соответствующие временные интервалы, учитывающие состояние буфера приемного устройства, а приемное устройство декодирует и отображает пакетные данные немедленно после приема пакетных данных.
Однако, когда пакетные данные записываются на носитель информации, сохранять их во временных интервалах передачи данных неэффективно. Соответственно, информация о времени передачи данных добавляется к пакетным данным. Непостоянные временные интервалы, с которыми переданы пакетные данные, важны при выводе этих сохраненных пакетных данных на декодер. Это объясняется тем, что если пакетные данные передаются в декодер без учета информации о времени передачи, то буфер приемного устройства испытывает переполнение или опустошение. Поэтому система передачи данных устроена таким образом, что передающее устройство корректирует временные интервалы между пакетными данными с учетом состояния буфера в приемном устройстве и передает пакетные данные в скорректированные временные интервалы.
Если же пакетные данные хранятся на носителе информации, а не в системе передачи данных, то необходимо добавлять информацию о времени поступления ко всем пакетам и выводить пакеты на устройство воспроизведения в соответствии с этой информацией. С этой целью устройство воспроизведения включает в себя генератор 360 синхронизирующих импульсов, который генерирует синхронизирующие импульсы определенной частоты. В качестве примера, но не ограничения, генератор 360 синхронизирующих импульсов генерирует синхронизирующие сигналы с частотой 27 мегагерц. Устройство воспроизведения также включает в себя счетчик 370, который считает синхронизирующие сигналы, например синхронизирующие сигналы с частотой 27 мегагерц, сгенерированные генератором 360 синхронизирующих импульсов. Счетчик 370 для установки своего начального значения получает начальное значение счетчика из устройства 330 распакетирования исходных данных и затем считает синхронизирующие сигналы, имеющие частоту 27 мегагерц, и передает в устройство 330 распакетирования исходных данных информацию о времени поступления данных.
Фиг.4 изображает схематическое представление клипов для различных углов.
Согласно Фиг.4 в состав содержащейся в клипах информации входит информация о точках перехода. Точки перехода, расположенные в одинаковых позициях, имеют одинаковое значение метки времени воспроизведения. Для того чтобы бесперебойно (то есть непрерывно) воспроизводить видеоданные даже во время смены угла, декодер 330 считывает и декодирует те данные для требуемого угла, которые согласно значению метки времени воспроизведения, содержащейся в транспортном потоке формата MPEG-2, имеют такое же время, как и данные для текущего угла, и отображает эти декодированные данные посредством устройства 350 отображения.
Точки перехода имеют информацию о расположении данных по первому углу, предназначенную для второго угла. Дополнительная информация, касающаяся интервалов и мест расположения точек перехода, записывается в отдельную область носителя информации и используется для поиска нового места расположения данных, подлежащих воспроизведению при осуществлении непрерывного процесса воспроизведения во время смены угла. Клипы, которые должны воспроизводиться в одно и то же время, имеют одно и то же значение метки времени воспроизведения. Таким образом, информация о времени поступления пакетных входных данных из устройства распакетирования исходных данных в декодер обеспечивает непрерывное воспроизведение видеоданных во время смены угла.
Это означает, что для того, чтобы даже во время смены угла аудиовидеоданные воспроизводились бесперебойно, последовательно сохраняются значения отсчета времени поступления, равно как и значения отсчета системного времени. Когда пользователь меняет углы и из буфера считывания, в устройство распакетирования исходных данных вводится новый клип, устройство воспроизведения не сбрасывает счетчик для отсчета времени поступления в состояние, соответствующее значению первой метки времени поступления из только что считанного клипа. Если счетчик сбрасывается в состояние, соответствующее значению первой метки времени поступления из нового клипа, то имеет место разрыв в отсчете времени поступления, и ввод данных транспортного потока формата MPEG-2 в буфер декодера вызывает его переполнение или опустошение, и непрерывное воспроизведение данных не обеспечивается.
Следовательно, пакетные данные для углов имеют в структуре пакетных данных для непрерывного воспроизведения соответствующие значения метки времени поступления, и даже если производится смена пакетных данных, устройство воспроизведения не сбрасывает счетчик и непрерывно работает в соответствии с ранее установленным отсчетом времени поступления.
Клип данных для одного угла содержит несколько маленьких элементов чередования. В случае, когда имеются клипы для множества углов съемки одной сцены, клипы записываются способом чередования. В этом случае элемент чередования является и элементом перехода, а начальная точка каждого элемента чередования называется точкой перехода. Точка перехода используется для поиска последующего элемента чередования после завершения воспроизведения текущего элемента чередования. Точка перехода также используется во время смены угла.
Описывающая точку перехода информация о клипах, которые воспроизводятся в одно и то же время, имеет одинаковое значение метки времени воспроизведения и одинаковое значение метки времени поступления, что сделано с целью предотвращения разрыва потока данных. Также для достижения непрерывного воспроизведения возможно, чтобы описывающая точку перехода информация имела значение между этим одинаковым значением метки времени поступления и значением метки времени поступления последующей точки перехода.
Фиг.5 представляет собой схему, иллюстрирующую процесс декодирования, осуществляемый в соответствии с отсчетом времени поступления и отсчетом системного времени во время смены угла, не прерывающей воспроизведения.
Согласно Фиг.5, даже несмотря на то, что во время воспроизведения аудиовизуальных данных производится смена угла, продолжается непрерывный процесс декодирования, не дающий разрыва в отсчете времени поступления и отсчете системного времени. Что означает, что даже когда в устройство воспроизведения, изображенное на Фиг.3, вводится новый клип, сброс счетчика в соответствии со значениями метки времени поступления и отсчета системного времени нового клипа не производится. Для того чтобы устройство воспроизведения непрерывно воспроизводило видеоданные, одинаковые точки перехода должны иметь одинаковые значения метки времени воспроизведения. Для этого необходимо, чтобы значение метки времени поступления того пакета, к которому следует осуществить переход, было равно значению метки времени поступления пакета из первого транспортного потока или значению, лежащему между значением метки времени поступления этого первого пакета и значением метки времени поступления из следующей точки перехода.
Настоящее изобретение может быть воплощено на универсальной цифровой вычислительной машине посредством выполнения программы с машиночитаемого носителя информации, включая такие носители информации, как постоянные запоминающие устройства (ПЗУ, ROM), оперативные запоминающие устройства (ОЗУ, RAM), ПЗУ на компакт-диске (CD-ROM), магнитные носители информации, запоминающие устройства на гибких магнитных дисках, оптические носители информации и несущие (например, передача по сети Интернет), но не ограничиваясь этими носителями. Машиночитаемый носитель записи может быть распределен в сети компьютеров или может быть сделан доступным для компьютеров, соединенных с этой сетью, так что способ, изложенный в данном изобретении, может храниться в виде машиночитаемого кода и исполняться в распределенной вычислительной среде.
Как было описано выше, устройство и способ согласно настоящему изобретению могут непрерывно воспроизводить данные, полученные съемкой под многими углами, используя при этом этапы, на которых сначала завершают воспроизведение данных съемки под углом, полученных при фотографировании под одним углом, меняют угол и воспроизводят данные съемки под углом, полученные при фотографировании под другим углом.
Хотя было показано и описано только несколько вариантов осуществления настоящего изобретения, настоящее изобретение не ограничивается описанными вариантами осуществления. Наоборот, специалистам в данной области техники должно быть очевидно, что в эти варианты осуществления изобретения могут быть внесены изменения, не выходящие за рамки принципов и сущности изобретения, объем которых определен формулой изобретения и ее эквивалентами.
1. Способ воспроизведения данных с носителя информации, на который записаны аудиовидеоданные, разделенные на клипы, и отдельно от клипов записана дополнительная информация, относящаяся к точкам перехода, которая относится к позициям точек перехода для отслеживания блоков данных по углам, причем клип представляет собой элемент записи аудиовидеоданных для угла, и клипы хранятся с использованием способа чередования, причем способ содержит этапы, на которых:
считывают аудиовидеоданные для угла с носителя информации;
воспроизводят считанные аудиовидеоданные; и
принимают команду перейти от упомянутого угла к новому углу,
при этом при воспроизведении воспроизводят клип, соответствующий считанным аудиовидеоданным, а когда принята команда перейти к новому углу, при воспроизведении воспроизводят клип для нового угла с точки перехода клипа для нового угла, и
при этом каждый клип имеет множество точек перехода, представляющих собой точки доступа, которые делают возможным переход от аудиовидеоданных упомянутого угла к аудиовидеоданным нового угла, и аудиовидеоданные, имеющие точки перехода в одинаковых позициях, имеют одинаковую информацию о времени воспроизведения.
2. Способ по п.1, в котором аудиовидеоданные, имеющие точки перехода в одинаковых позициях, имеют такую же информацию о времени поступления, что и аудиовидеоданные, которые предоставляют опорную точку отсчета времени.
3. Способ по п.1, в котором аудиовидеоданные, имеющие точки перехода в одинаковых позициях, имеют информацию о времени поступления, находящуюся между информацией о времени поступления аудиовидеоданных, которые предоставляют опорную точку отсчета времени, и информацией о времени поступления последующих аудиовидеоданных.
4. Способ по п.1, в котором аудиовидеоданные имеют информацию о времени поступления, которая представляет собой значение метки времени поступления.
5. Способ по п.1, в котором этап воспроизведения считанных данных поддерживает значение счетчика, содержащегося в устройстве воспроизведения, когда принимают команду на смену угла.
6. Способ непрерывного воспроизведения данных съемки под многими углами с носителя информации, хранящего дополнительную информацию, которая относится к позициям точек перехода для отслеживания блоков данных по углам, причем способ содержит этапы, на которых:
воспроизводят аудиовидеоданные для первого угла;
завершают воспроизведение аудиовидеоданных для первого угла;
изменяют угол, данные по которому будут воспроизводиться; и
воспроизводят аудиовидеоданные для второго угла,
причем аудиовидеоданные имеют множество точек перехода, которые представляют собой точки доступа, которые делают возможным переход от первого угла ко второму углу, и аудиовидеоданные, имеющие точки перехода в одинаковых позициях, имеют одинаковую информацию о времени воспроизведения.
