Способ и устройство для передачи информации о возможностях переключения точки обзора в приложении vr360
Изобретение относится к устройству для передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360, Virtual Reality 360). Техническим результатом является повышение эффективности передачи и использования информации о возможностях переключения точки обзора в VR360. Предложен способ передачи информации о возможностях переключения точки обзора в приложении VR360 включает: определение конфигурации для переключения между точками обзора в приложении VR360 и сигнализацию упомянутой конфигурации в приложение VR360. 4 н. и 16 з.п. ф-лы, 19 ил., 2 табл.
ОБЛАСТЬ ТЕХНИКИ
[0001] Варианты осуществления настоящего изобретения в целом относится к технологиям виртуальной реальности с охватом 360° (VR360, Virtual Reality 360) и, в частности, к способу и устройству для передачи информации о возможностях переключения точки обзора в приложении VR360.
ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ
[0002] OMAF (Omnidirectional MediA Format, формат всенаправленного медиа) определяет медиаформат, который позволяет использовать приложения всенаправленного медиа, основное внимание в которых уделяется видео с охватом 360°, изображениям, звуку, а также связанному с ними синхронному тексту. В OMAF указано, помимо прочего, следующее:
[0003] 1). Система координат, включающая единичную сферу и три измерения;
[0004] 2). Способы упаковки спроецированных прямоугольных областей, которые могут использоваться для преобразования "сферической" видеопоследовательности или изображений в "двумерную прямоугольную" видеопоследовательность или изображение, соответственно,
[0005] 3). Хранение всенаправленного медиа и связанных с ним метаданных с использованием базового формата медиафайлов ISO (ISOBMFF, ISO Base Media File Format), как указано в ISO/IEC 14496-12,
[0006] 4). Инкапсуляция, сигнализация и потоковая передача всенаправленного медиа в системе потоковой передачи медиа, например, динамическая адаптивная потоковая передача информации через HTTP (DASH), как указано в ISO/IEC 23009-1, или передача медиа MPEG (ММТ, MPEG Media Transport), как указано в ISO/IEC23008-1, и
[0007] 5). Медиа-профили и профили представления для поддержки взаимодействия и согласования медиа кодеков, а также конфигурации кодирования и инкапсуляции, которые могут использоваться для сжатия, потоковой передачи и воспроизведения контента всенаправленного медиа.
[0008] Одним из наиболее популярных видов приложений всенаправленного медиа является всенаправленное видео, также известное как видео с охватом 360°. Всенаправленное видео обычно снимается с использованием множества камер, охватывающих до 360° сцены. По сравнению с традиционными форматами медиа приложений технология полного цикла для всенаправленного видео (от съемки до воспроизведения) проще фрагментируется благодаря различным технологиям захвата и проецирования видео. С точки зрения съемки существует множество различных типов камер, способных снимать видео с охватом 360°, а на стороне воспроизведения существует множество различных устройств, способных воспроизводить видео с охватом 360° с различными возможностями обработки.
[0009] Для устранения фрагментации контента всенаправленного медиа и устройств, в стандарте OMAF ISO/IEC 23090-2 (MPEG-I, часть 2) определен формат для приложений всенаправленного медиа.
[0010] При воспроизведении контента всенаправленного медиа с использованием устройства воспроизведения OMAF, такого как устанавливаемые на голове пользователя дисплей и наушники, визуализируются только части медиа, соответствующие пользовательской ориентации обзора, как если бы пользователь находился в той точке, где и когда снималось медиа.
[0011] На фиг. 1 схематично показано приложение VR360 в сценарии с 3 помещениями А, В и С. Для каждого помещения пользователь может воспроизводить всенаправленное видео, точки обзора которого показаны на фиг. 1. Для каждого помещения точка обзора (точка А обзора, точка В обзора и точка С обзора, показанные на фиг. 1) представляет собой центр сферы, из которого визуализируется видео с охватом 360° Она может пониматься как позиция пользователя.
[0012] Для каждой точки обзора соответственно заранее задается рекомендуемое или используемое по умолчанию поле обзора. Как показано на фиг. 1, рекомендуемым или используемым по умолчанию полем обзора является поле А обзора, поле В обзора и поле С обзора, соответственно.
[0013] Поле обзора представляет собой часть видео VR360. Например, видимым полем обзора является часть видео VR360, фактически наблюдаемая пользователем в месте его нахождения. Видимое поле обзора может пониматься как ориентация обзора пользователя.
[0014] В настоящий момент в MPEG-I не поддерживается переключение между точками обзора в одном приложении OMAF.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0015] В рамках настоящего изобретения предлагается решение для переключения между точками обзора в одном приложении VR360.
[0016] В соответствии с первым аспектом вариантов осуществления настоящего изобретения предлагается способ передачи информации о возможностях переключения точки обзора в VR360. Способ включает:
определение конфигурации для переключения между точками обзора в приложении VR360 и
сигнализацию упомянутой конфигурации в приложение VR360.
[0017] В соответствии со вторым аспектом настоящего изобретения предлагается способ передачи информации о возможностях переключения точки обзора в VR360 Способ включает:
получение конфигурации для переключения между точками обзора в приложении VR360 и
переключение между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[0018] В соответствии с третьим аспектом вариантов осуществления настоящего изобретения предлагается устройство для передачи информации о возможностях переключения точки обзора в VR360. Устройство содержит:
модуль определения, сконфигурированный для определения конфигурации для переключения между точками обзора в приложении VR360, и
модуль сигнализации, сконфигурированный для сигнализации упомянутой конфигурации в приложение VR360.
[0019] В соответствии с четвертым аспектом вариантов осуществления настоящего изобретения предлагается устройство для передачи информации о возможностях переключения точки обзора в VR360. Устройство содержит:
модуль получения, выполненный с возможностью получения конфигурации для переключения между точками обзора в приложении VR360, и
модуль переключения, сконфигурированный для переключения между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[0020] В соответствии с пятым аспектом вариантов осуществления настоящего изобретения предлагается устройство для передачи информации о возможностях переключения точки обзора в VR360. Устройство содержит по меньшей мере одну память, в которой хранятся инструкции, и по меньшей мере один процессор, исполняющий инструкции для:
определения конфигурации для переключения между точками обзора в приложении VR360 и
сигнализации упомянутой конфигурации в приложение VR360.
[0021] В соответствии с шестым аспектом вариантов осуществления настоящего изобретения предлагается устройство для передачи информации о возможностях переключения точки обзора в VR360. Устройство содержит по меньшей мере одну память, в которой хранятся инструкции, и по меньшей мере один процессор, исполняющий инструкции для:
получения конфигурации для переключения между точками обзора в приложении VR360 и
переключения между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[0022] Согласно седьмому аспекту вариантов осуществления настоящего изобретения предлагается машиночитаемый носитель, на котором хранится по меньшей мере одна инструкция, при загрузке и исполнении которой процессором выполняются следующие операции:
определение конфигурации для переключения между точками обзора в приложении VR360 и
сигнализация упомянутой конфигурации в приложение VR360.
[0023] Согласно восьмому аспекту вариантов осуществления настоящего изобретения предлагается машиночитаемый носитель, на котором хранится по меньшей мере одна инструкция, при загрузке и исполнении которой процессором выполняются следующие операции:
получение конфигурации для переключения между точками обзора в приложении VR360 и
переключение между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[0024] Другие признаки и преимущества вариантов осуществления настоящего изобретения станут более понятными из прочтения последующего описания конкретных вариантов осуществления изобретения совместно с прилагаемыми чертежами, на которых эти варианты проиллюстрированы в качестве примеров.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0025] Варианты осуществления настоящего изобретения представлены в качестве примеров, и их преимущества подробно разъясняются ниже со ссылкой на прилагаемые чертежи, на которых:
[0026] на фиг. 1 схематично показан пример множества точек обзора и множества полей обзора в одном из сценариев;
[0027] на фиг. 2 показан алгоритм выполнения способа 200 в соответствии с вариантами осуществления настоящего изобретения;
[0028] на фиг. 3A-3F схематично показан пример окна активации для переключения между точками обзора;
[0029] на фиг. 4A-4D схематично показан пример поля обзора для переключения между точками обзора;
[0030] на фиг. 5 схематично показан пример времени воспроизведения в процессе перехода переключения;
[0031] на фиг. 6 схематично показан пример переключения между точками обзора;
[0032] на фиг. 7 показан алгоритм выполнения способа 700 в соответствии с вариантами осуществления настоящего изобретения;
[0033] на фиг. 8 представлена упрощенная структурная схема устройства 800, подходящего для реализации вариантов осуществления настоящего изобретения;
[0034] на фиг. 9 представлена упрощенная структурная схема устройства 900, подходящего для реализации вариантов осуществления настоящего изобретения;
[0035] на фиг. 10 представлена упрощенная структурная схема устройства 1000, подходящего для реализации вариантов осуществления настоящего изобретения; и
[0036] на фиг. 11 представлена упрощенная структурная схема устройства 1100, подходящего для реализации вариантов осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ
[0037] Настоящее изобретение обсуждается ниже со ссылкой на несколько примеров его осуществления. Следует принимать во внимание, что эти варианты осуществления изобретения описаны только для того, чтобы позволить специалистам в этой области техники лучше разобраться в сущности изобретения и, таким образом, реализовать его, и не ограничивают настоящее изобретение.
[0038] Применяемая здесь терминология используется только для описания конкретных вариантов осуществления изобретения и не предназначена для ограничения настоящего изобретения. В этом описании единственное число также подразумевает множественное число, если из контекста явно не следует иное. Кроме того, следует понимать, что термины "содержит", "содержащий", "включает" и/или "включающий", используемые в этом описании, указывают на наличие изложенных признаков, целых чисел, шагов, операций, элементов и/или компонентов, но не исключают наличие или добавление одного или более других признаков, целых чисел, шагов, операций, элементов, компонентов и/или их групп.
[0039] Следует также отметить, что в некоторых альтернативных вариантах осуществления изобретения отмеченные функции/действия могут выполняться в порядке, отличном от показанного на чертежах. Например, две функции или два действия, показанные последовательно, фактически могут выполняться параллельно или иногда могут выполняться в обратном порядке, в зависимости от рассматриваемых функциональных возможностей/действий.
[0040] Варианты осуществления настоящего изобретения могут применяться в различных устройствах и/или системах. По мере быстрого развития этой области техники, безусловно, появятся новые технологии, системы и устройства, с помощью которых также может быть реализовано настоящее изобретение. Настоящее изобретение не ограничено только описываемыми здесь устройствами и/или системами.
[0041] В данном описании термин "устройство воспроизведения VR360" относится к устройству, способному воспроизводить медиа VR360, такому как устанавливаемые на голове дисплей, наушники и т.д. Медиа VR360 представляет собой поток всенаправленного видео, также называемого видео с охватом 360°, всенаправленным медиа или видео всенаправленного медиа. В соответствии с некоторыми вариантами осуществления изобретения медиа VR360 может также представлять собой медиа OMAF. В соответствии с некоторыми вариантами осуществления изобретения устройство воспроизведения VR360 может также представлять собой устройство воспроизведения OMAF. Термин "приложение VR360" относится к приложению, включающему по меньшей мере одну точку обзора, и устройство воспроизведения VR360 может переключаться между точками обзора, например, устройство воспроизведения VR360 может переключаться от одной точки обзора (называемой исходной точкой обзора) к другой точке обзора (называемой целевой точкой обзора). Специалист в этой области техники должен понимать, что приложение VR360 может выводиться и воспроизводиться любым требуемым устройством, таким как устройство воспроизведения VR360 или устройство воспроизведения OMAF.
[0042] Используемый в этом описании термин "переключение точки обзора" относится к ситуации, когда устройство воспроизведения VR360 осуществляет переключение от исходной точки обзора к целевой точке обзора.
[0043] В некоторых вариантах осуществления изобретения определяются следующие структуры ISOBMFF:
ViewpointPosStruct() определяет позицию точки обзора в глобальной системе координат, возможно, также с использованием информации GPS,
ViewpointGlobalCoordinateSysRotationStruct() определяет ориентацию точки обзора в глобальной системе координат,
ViewpointGroupStruct() позволяет выполнять совместное группирование точек обзора, и
ViewpointEntry() задает уникальный идентификатор viewpoint id для каждой точки обзора.
[0044] Для описания всех возможных переходов между точками обзора в рамках настоящего изобретения предлагается новая конфигурация, связанная по меньшей мере с одной точкой обзора или переключением, на основе которого осуществляется переход. Таким образом, становится возможным описать каждый допустимый путь в сюжетной линии в приложении VR360. Согласно некоторым вариантам осуществления настоящего изобретения конфигурация может представлять собой дополнительную структуру ISOBMFF, связанную с точкой обзора или переходом переключения
[0045] Далее со ссылкой на чертежи описываются некоторые примеры осуществления настоящего изобретения.
[0046] На фиг. 2 показан алгоритм выполнения способа 200 в соответствии с вариантами осуществления настоящего изобретения. Способ 200 может выполняться устройством для вывода приложения VR360 или любым подобным устройством.
[0047] На шаге 201 определяют конфигурацию для переключения между точками обзора в приложении VR360 и
[0048] на шаге 202 выполняют сигнализацию упомянутой конфигурации в приложение VR360.
[0049] Согласно некоторым вариантам осуществления изобретения конфигурация реализуется посредством по меньшей мере одного бокса, который привязан к точке обзора или к переходу переключения. В некоторых вариантах осуществления изобретения, если конфигурация реализуется с помощью нескольких боксов, некоторые из боксов могут быть привязаны к точке(-ам) обзора, а некоторые к переходу(-ам) переключения.
[0050] В некоторых вариантах осуществления изобретения бокс может представлять собой бокс (box) формата ISOBMFF или бокс любого подобного формата. Специалисту в этой области техники понятно, что конфигурация может быть реализована с использованием любого подходящего формата.
[0051] В некоторых вариантах осуществления изобретения упомянутая конфигурация включает любой параметр или комбинацию параметров из следующей группы:
параметр поля обзора, указывающий начальное поле обзора для конкретного переключения точки обзора,
параметр переходного эффекта, указывающий конкретный переходный эффект для конкретного переключения точки обзора,
параметр окна активации, указывающий по меньшей мере одно окно активации для переключения точки обзора, и
параметр времени переключения, указывающий начальную позицию временной шкалы воспроизведения во времени целевого медиа в процессе конкретного переключения точки обзора.
[0052] Согласно некоторым вариантам осуществления изобретения указанные четыре параметра могут конфигурироваться по отдельности или в комбинации друг с другом. Согласно некоторым вариантам осуществления изобретения любой из параметров или комбинация параметров, указанных выше, может быть реализована с помощью одного или более боксов.
[0053] Согласно некоторым вариантам осуществления изобретения параметр поля обзора указывает информацию о начальном поле обзора для конкретного перехода переключения точки обзора. Согласно некоторым вариантам осуществления изобретения, если имеется параметр поля обзора, следует использовать конкретное начальное поле обзора после перехода переключения точки обзора. В противном случае должно использоваться рекомендуемое или используемое по умолчанию поле обзора.
[0054] Согласно некоторым вариантам осуществления изобретения параметр переходного эффекта указывает информацию медиа эффекта, подлежащего воспроизведению в процессе перехода переключения точки обзора. Видео эффекта может представлять собой видео или фактически известные преобразования, такие как затемнение, зеркальный эффект, перелет и т.д. Согласно некоторым вариантам осуществления изобретения преобразованиям может соответствовать идентификатор в заранее заданном списке, либо URL, либо значение ISOBMFF track_id, которое указывает на внешний или внутренний видеопоток, который предполагается воспроизвести во время перехода переключения точки обзора. Согласно некоторым вариантам осуществления изобретения, если имеется параметр переходного эффекта, устройство воспроизведения VR360 должно воспроизводить конкретный переходный эффект в соответствии с параметром переходного эффекта в процессе конкретного перехода переключения точки обзора. В противном случае устройство воспроизведения VR360 сразу же воспроизводит медиа VR360, связанное с целевой точкой обзора, без какого-либо переходного эффекта.
[0055] Согласно некоторым вариантам осуществления изобретения параметр окна активации указывает по меньшей мере одно окно активации, относящееся к временной шкале медиа текущей точки обзора, в течение которого активируется переход. Согласно некоторым вариантам осуществления изобретения, если имеется параметр окна активации, устройство воспроизведения VR360 может переключаться к целевой точке обзора только в пределах окна активации. В противном случае устройство воспроизведения VR360 может переключаться к целевой точке обзора в любое время по временной шкале.
[0056] Согласно некоторым вариантам осуществления изобретения параметр времени переключения указывает, где на временной шкале медиа VR360, связанного с целевой точкой обзора, следует осуществлять воспроизведение после перехода переключения точки обзора. Согласно некоторым вариантам осуществления изобретения, если имеется смещение, то воспроизведение медиа VR360 может начаться со смещением при переключении устройства воспроизведения VR360 к целевой точке обзора. В противном случае воспроизведение медиа VR360 может начаться в абсолютной позиции to или в относительной позиции tcurr на временной шкале медиа VR360, связанного с целевой точкой обзора. Согласно некоторым вариантам осуществления изобретения абсолютная позиция to является началом временной шкалы медиа целевой точки обзора, а относительная позиция tcurr является текущим временем на временной шкале медиа целевой точки обзора. Термин "текущее время" указывает на время, в которое активируется переход переключения точки обзора.
[0057] Согласно некоторым вариантам осуществления изобретения параметр времени переключения включает один из следующих параметров:
флаг timeline-switching-offset (смещение переключения по временной шкале), указывающий, имеется ли смещение во времени;
указатель смещения, указывающий значение смещения, и
флаг relative-to-current (относительно текущей позиции), указывающий информацию о начальной точке, от которой отсчитывают смещение.
[0058] Согласно некоторым вариантам осуществления изобретения абсолютное смещение означает, что смещение является смещением относительно начала временной шкалы медиа точки обзора, а относительное смещение означает, что смещение является смещением относительно текущего времени на временной шкале медиа точки обзора.
[0059] Согласно некоторым вариантам осуществления изобретения, если флаг timeline-switching-offset=0 и флаг relative-to-current=0, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени to, в начале этой временной шкалы медиа точки обзора. Если флаг timeline-switching-offset=0 и флаг relative-to-current=1, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени tcurr, в текущий момент времени этой временной шкалы медиа точки обзора. Термин "текущее время" указывает на время, в которое активируется переход переключения точки обзора. Если флаг timeline-switching-offset=1 и флаг relative-to-current=0, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени t0+offset. Если флаг timeline- switching-offset=1 и флаг relative-to-current=1, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени tcurr+offset.
[0060] На фиг. 3А схематично показано приложение VR360 в сценарии с 3 помещениями А, В и С.Пользователь может воспроизводить медиа VR360 с точками обзора и полями обзора, показанными на фиг. 3А. Согласно некоторым вариантам осуществления изобретения к трем точкам обзора привязаны три бокса ISOBMFF, соответственно. Либо к четырем возможным переходам переключения привязаны четыре бокса ISOBMFF, соответственно. Четырьмя возможными переходам переключения являются: переключение от точки А обзора к точке В обзора, переключение от точки В обзора к точке А обзора, переключение от точки А обзора к точке С обзора и переключение от точки С обзора к точке А обзора. Специалисту в этой области техники понятно, что бокс ISOBMFF может быть привязан только к некоторым точкам обзора или только к некоторым возможным переходам переключения точки обзора, или некоторые боксы ISOBMFF могут быть привязаны к точкам обзора, и некоторые боксы ISOBM FF могут быть привязаны к переходам переключения.
[0061] В соответствии с некоторыми вариантами осуществления изобретения параметр поля обзора включает
флаг поля обзора, указывающий, имеется ли начальное поле обзора для целевой точки обзора.
[0062] В соответствии с некоторыми вариантами осуществления изобретения флаг поля обзора указывает, имеется ли начальное поле обзора для целевой точки обзора. Если начальное поле обзора имеется, то после перехода переключения точки обзора устройство воспроизведения VR360 воспроизводит медиа VR360, связанное с точкой обзора, в предоставленном начальном поле обзора. Согласно некоторым вариантам осуществления изобретения, если начальное поле обзора отсутствует, устройство воспроизведения VR360 воспроизводит медиа VR360, связанное с рекомендуемым или используемым по умолчанию полем обзора, после перехода переключения точки обзора.
[0063] На фиг. 3А схематично показаны рекомендуемые/используемые по умолчанию поля обзора для трех точек обзора: точки А обзора, точки В обзора и точки С обзора, соответственно. Согласно некоторым вариантам осуществления изобретения начальное поле обзора может совпадать с рекомендуемым/используемым по умолчанию полем обзора или может отличаться от рекомендуемого/используемого по умолчанию поля обзора.
[0064] На фиг. 3 В, фиг. 3С, фиг. 3D, фиг. 3Е и фиг. 3F схематично показано приложение VR360 в соответствии с некоторыми вариантами осуществления настоящего изобретения.
[0065] Согласно некоторым вариантам осуществления изобретения, как показано на фиг. 3В, если начальное поле обзора отсутствует, когда пользователь переключается из точки В обзора в точку А обзора, пользовательское поле обзора в точке А обзора является рекомендуемым/используемым по умолчанию полем обзора, то есть полем А обзора. Однако в реальном сценарии ориентацией обзора пользователя является направление поля ВА обзора, показанного на фиг. 3В. Согласно некоторым вариантам осуществления изобретения начальное поле обзора, поле ВА обзора, заранее задается для переключения от точки В обзора к точке А обзора. Если имеется начальное поле обзора для перехода от точки В обзора к точке А обзора в соответствии со значением флага поля обзора, то начальное поле ВА обзора задает для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями В и А.
[0066] Согласно некоторым вариантам осуществления изобретения, как показано на фиг. 3С, если начальное поле обзора отсутствует, когда пользователь переключается из точки С обзора в точку А обзора, пользовательское поле обзора в точке А обзора является рекомендуемым/используемым по умолчанию полем обзора, то есть полем А обзора. Однако в реальном сценарии ориентацией обзора пользователя является направление поля СА обзора, показанного на фиг. 3С.Согласно некоторым вариантам осуществления изобретения начальное поле обзора, поле СА обзора, заранее задается для переключения от точки С обзора к точке А обзора. Если имеется начальное поле обзора для переключения от точки С обзора к точке А обзора в соответствии с флагом поля обзора, то начальное поле СА обзора задает для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями С и А.
[0067] Согласно некоторым вариантам осуществления изобретения, как показано на фиг. 3D, оба начальных поля обзора, поле ВА обзора и поле СА обзора, заранее задаются. Согласно некоторым вариантам осуществления изобретения оба начальных поля обзора привязаны к точке А обзора или к двум переходам переключения точки обзора, соответственно. Специалисту в этой области техники понятно, что в некоторых вариантах осуществления изобретения заранее задается только одно из начальных полей обзора, как показано на фиг. 3В или фиг. 3С.
[0068] На фиг. 3D показано, что различные переключения могут соответствовать различным начальным полям обзора, например, переключение от точки В обзора к точке А обзора соответствует полю ВА обзора, связанному с точкой А обзора, а переключение от точки С обзора к точке А обзора соответствует полю СА обзора, связанному с точкой А обзора.
[0069] Согласно некоторым вариантам осуществления изобретения, как показано на фиг. 3Е, если начальное поле обзора отсутствует, когда пользователь переключается из точки А обзора в точку В обзора, пользовательское поле обзора в точке В обзора является рекомендуемым/используемым по умолчанию полем обзора, то есть полем В обзора. Однако в реальном сценарии ориентацией обзора пользователя является направление поля АВ обзора, показанного на фиг. 3Е. Согласно некоторым вариантам осуществления изобретения начальное поле обзора, поле АВ обзора, заранее задается для переключения от точки А обзора к точке В обзора. Если имеется начальное поле обзора для переключения от точки А обзора к точке В обзора в соответствии с флагом поля обзора, то начальное поле АВ обзора задает для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями В и А.
[0070] Согласно некоторым вариантам осуществления изобретения, как показано на фиг. 3F, если пользователь переключается из точки А обзора в точку С обзора, пользовательское поле обзора в точке С обзора является рекомендуемым/используемым по умолчанию полем обзора, то есть полем С обзора. В этом варианте осуществления изобретения начальное поле обзора для переключения совпадает с рекомендуемым/используемым по умолчанию полем обзора. Согласно некоторым вариантам осуществления изобретения, если фактическая ориентация обзора пользователя отличается от рекомендуемого/используемого по умолчанию поля обзора, то должно быть заранее задано начальное поле обзора, совпадающее с фактической ориентацией обзора.
[0071] Специалисту в этой области техники понятно, что согласно некоторым вариантам осуществления изобретения начальная точка обзора может заранее задаваться в соответствии с фактической ориентацией обзора.
[0072] Специалисту в этой области техники понятно, что в соответствии с описанными выше вариантами осуществления изобретения начальные поля обзора для каждого перехода, связанного с одной точкой обзора, могут различаться. Например, поле ВА обзора и поле СА обзора.
[0073] Согласно некоторым вариантам осуществления изобретения упомянутая конфигурация также включает параметр возможности переключения, указывающий множество возможностей переключения с максимум одним полем обзора для каждой возможности переключения, при этом упомянутый параметр возможности переключения может включать по меньшей мере один из следующих параметров:
числовой параметр, указывающий количество возможных переключений точки обзора, и
для каждого возможного переключения точки обзора идентификационный параметр, указывающий идентификатор целевой точки обзора и связанный с ней переход.
[0074] Согласно некоторым вариантам осуществления изобретения каждой точке обзора соответствует параметр viewpoint_id, указываемый структурой ISOBMFF, например ViewpointEntry(), Параметр viewpoint_id идентифицирует точку обзора. Идентификационный параметр указывает viewpoint_id возможной целевой точки обзора. Числовой параметр указывает количество возможных переключений точки обзора для текущей точки обзора.
[0075] Согласно некоторым вариантам осуществления изобретения параметр переходного эффекта включает по меньшей мере один из следующих параметров:
флаг переходного эффекта, указывающий, имеется ли переходный эффект,
флаг типа переходного эффекта, указывающий тип переходного эффекта для конкретного переключения, и
указатель переходного эффекта, указывающий положение, где хранится конкретное видео переходного эффекта.
[0076] Согласно некоторым вариантам осуществления изобретения переходный эффект представляет собой заранее заданное видео, аудио или любое подходящее медиа, подлежащие воспроизведению в процессе визуализации перехода переключения точки обзора.
[0077] Согласно некоторым вариантам осуществления изобретения тип переходного эффекта может представлять собой видео или фактически известные преобразования, такие как затемнение, зеркальный эффект, перелет и т.д. Переходный эффект указывается флагом типа переходного эффекта.
[0078] Согласно некоторым вариантам осуществления изобретения указатель переходного эффекта включает параметр track_id, который соответствует медиа, подлежащему воспроизведению в процессе визуализации перехода переключения Параметр track id идентифицирует медиа, подлежащее воспроизведению во время перехода. В некоторых вариантах осуществления изобретения медиа хранится в контенте VR360. Согласно некоторым вариантам осуществления изобретения указатель переходного эффекта включает URL (Uniform Resource Locator, унифицированный указатель информационного ресурса) медиа, подлежащего воспроизведению в процессе визуализации перехода переключения. Специалисту в этой области техники понятно, что указатель переходного эффекта может включать track_id, URL или любые другие известные технологии для обращения к медиа.
[0079] Согласно некоторым вариантам осуществления изобретения параметр окна активации включает по меньшей мере один из следующих параметров:
флаг минимального времени, указывающий, имеется ли минимальное время для перехода переключения; если минимальное время имеется, переход может активироваться только по истечении минимального времени,
параметр минимального времени, указывающий значение минимального времени,
флаг максимального времени, указывающий, имеется ли максимальное время для перехода переключения; если максимальное время имеется, переход может активироваться только до истечения максимального времени, и
параметр максимального времени, указывающий значение максимального времени.
[0080] Согласно некоторым вариантам осуществления изобретения параметр окна активации является параметром, относящимся к временной шкале медиа текущей точки обзора, в течение которой активируется переход. Согласно некоторым вариантам осуществления изобретения переход переключения может активироваться в любой момент времени в пределах временной шкалы медиа текущей точки обзора.
[0081] На фиг. 4A-D показаны варианты осуществления изобретения. На фиг. 4А показано, что установлен как флаг минимального времени, так и флаг максимального времени. Минимальное и максимальное время на временной шкале медиа точки обзора указывают окно активации для переключения точки обзора. Согласно некоторым вариантам осуществления изобретения заранее задается одно окно активации на временной шкале медиа текущей точки обзора, как показано на фиг. 4А. Согласно некоторым вариантам осуществления изобретения с помощью структуры ViewpointSwitchingStruct() в треке синхронных метаданных заранее задаются несколько окон активации на временной шкале медиа текущей точки обзора, как показано на фиг. 4В.
[0082] Согласно некоторым вариантам осуществления изобретения устанавливается только минимальное время на временной шкале медиа текущей точки обзора, а максимальное время не устанавливается, как показано на фиг. 4С. Это означает, что только начальная позиция окна активации заранее задается с помощью параметра минимального времени, а конечная позиция не ограничивается. Другими словами, окно активации начинается в момент минимального времени и заканчивается в конце временной шкалы медиа точки обзора.
[0083] Согласно некоторым вариантам осуществления изобретения устанавливается только максимальное время на временной шкале медиа текущей точки обзора, а минимальное время не устанавливается, как показано на фиг. 4D. Это означает, что только конечная позиция окна активации заранее задается с помощью параметра максимального времени, а начальная позиция не ограничивается. Другими словами, окно активации начинается в начале временной шкалы медиа точки обзора и заканчивается в момент максимального времени.
[0084] Согласно некоторым вариантам осуществления изобретения параметр времени переключения включает один из следующих параметров:
флаг timeline-switching-offset (смещение переключения по временной шкале), указывающий, имеется ли смещение во времени;
указатель смещения, указывающий значение смещения, и
флаг relative-to-current (относительно текущей позиции), указывающий информацию о начальной точке, от которой отсчитывают смещение.
[0085] Согласно некоторым вариантам осуществления изобретения абсолютное смещение означает, что смещение является смещением относительно начала временной шкалы медиа точки обзора, а относительное смещение означает, что смещение является смещением относительно текущего времени на временной шкале медиа точки обзора.
[0086] Согласно некоторым вариантам осуществления изобретения, если флаг timeline-switching-offset=0 и флаг relative-to-current=0, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени t0, в начале этой временной шкалы медиа точки обзора. Согласно некоторым вариантам осуществления изобретения, если флаг timeline-switching-offset=0 и флаг relative-to-current=1, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени tcurr, в текущий момент времени этой временной шкалы медиа точки обзора. Термин "текущее время" указывает на время, в которое активируется переход переключения точки обзора. Если флаг timeline-switching-offset=1 и флаг relative-to-current=0, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени t0+offset. Если флаг timeline-switching-offset=1 и флаг reiative-to-current=1, то после перехода переключения медиа точки обзора, связанное с целевой точкой обзора, начинается в момент времени tcurr+offset.
[0087] На фиг. 5 схематично показаны некоторые варианты осуществления приложения VR360 согласно настоящему изобретению. Пользователь с устройством воспроизведения VR360 вначале находится в помещении А с точкой А обзора, позволяющей пользователю видеть двери, при этом медиа VR360, связанное с точкой А обзора, начинается в момент времени to, в начале временной шкалы медиа VR360. Когда пользователь входит в помещение В из помещения А в момент времени t0, то переходы к точке В обзора и ее начальному полю обзора задают для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями А и В. Медиа VR360, связанное с точкой В обзора, также начинается в момент времени to на временной шкале медиа точки обзора.
[0088] Если пользователь возвращается из помещения А в помещение B в момент времени tcurr, то переходы обратно к точке А обзора и ее начальному полю обзора задают для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями А и В. В этот момент времени медиа точки обзора, связанное с точкой А обзора, продолжается от текущего момента времени (tcurr) плюс промежуток времени, затрачиваемый на воспроизведение видео переходного эффекта. Медиа, связанное с точкой А обзора, продолжается с момента времени t0+offset, если смещение представляет собой абсолютное смещение, или с момента времени tcurr*+offset, если смещение является относительным смещением.
[0089] Кроме того, согласно настоящему техническому решению предлагается заполнить эту новую структуру перехода к точке обзора элементами, характеризующими переход. Эти элементы включают:
переходный эффект, подлежащий использованию при фактическом воспроизведении перехода пользователя; такие переходные эффекты могут представлять собой фактически известные преобразования (например, затемнение, зеркальный эффект, перелет, …), задаваемые идентификатором в заранее заданном списке (описание которого здесь не приводится, поскольку в известном уровне техники имеется слишком много вариантов), либо может задаваться URL или ISOBMFF track_id, которые указывают на внешний или внутренний видеопоток, который предполагается воспроизвести во время перехода.
Временное окно, относящееся к временной шкале медиа текущей точки обзора, в течение которого активируется переход.
Информация о моменте времени переключения на временной шкале медиа, связанного с целевой точкой обзора.
Информация о положении в пространстве в момент переключения (поле обзора) в медиа, связанном с целевой точкой обзора.
[0090] Приведенные ниже грамматические конструкции ISOBMFF представляют собой возможную реализацию настоящего изобретения.
// тип переходного эффекта
// точка переключения на временной шкале медиа, связанного с
// целевой точкой обзора
// к какому полю обзора осуществляется переключение в целевой точке
// обзора
; // определение целевого поля обзора в
// виде сферической области
// временное окно для активации переключения
[0091] Следующие семантические элементы связаны с возможной реализацией грамматических конструкций ISOBMFF, приведенных выше:
[0092] Специалисту в этой области техники понятно, что некоторые варианты осуществления изобретения могут быть реализованы, помимо прочего, с помощью приведенных выше грамматических конструкций ISOBMFF. Выше значения параметров приведены только в качестве примера.
[0093] По сравнению с текущим рабочим проектом OMAF (Working Draft W18227), указанный выше бокс ISOBMFF в соответствии с некоторыми вариантами настоящего изобретения определяет точки обзора благодаря следующим новым структурам ISOBMFF:
ViewpointSwitchingStruct(), которая определяет количество переходов переключения, возможных из точки обзора viewpoint_id целевой точки обзора для перехода переключения, и характеристики перехода переключения.
[0094] Согласно некоторым вариантам осуществления изобретения механизм использования временного окна активации переключения, предлагаемый в боксе ViewpointSwitchingStruct, допускает только одно минимальное время и одно максимальное время. Для поддержки множества окон активации в течение воспроизведения медиа текущей точки обзора согласно настоящему изобретению предлагается бокс ViewpointSwitchingStruct в треке временных метаданных для динамической информации о точке обзора.
[0095] Согласно некоторым вариантам осуществления настоящего изобретения,
параметр точки обзора включает флаг destination viewport flag;
возможности множества переключений с максимум одной точкой обзора для параметра возможности переключения включают: num_viewpoint_switching и
destination_viewpoint_id;
параметр переходного эффекта включает: transition_effect_flag,
transition_effect_type, transition_video_track_id и transition_video_URL;
параметр времени переключения включает: timeline_switching_offset_flag,
relative_to_current_flag и t_offset; и
параметр окна активации включает: min_time_flag, max_time_flag, t_min и t_max.
[0096] На фиг. 6 схематично показаны некоторые варианты осуществления приложения VR360 согласно настоящему изобретению. В соответствии с некоторыми вариантами осуществления изобретения приложение VR360 обычно представляет собой приложение OMAF. Благодаря настоящему изобретению, можно описать следующие маршруты сюжетной линии:
[0097] Приложение OMAF запускается в помещении А с использованием рекомендуемого поля А обзора, позволяющего пользователю видеть двери помещений В и С. Медиа, связанное с точкой А обзора, начинается в момент времени t0.
[0098] Когда пользователь входит в помещение В из помещения А, то переходы к точке В обзора и ее начальному полю обзора задают для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями А и В. Медиа, связанное с точкой В обзора, также начинается в самом начале (t0).
[0099] Когда пользователь входит в помещение С из помещения А, то переходы к точке С обзора и ее начальному полю обзора задают для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями А и С. Медиа, связанное с точкой С обзора, также начинается в самом начале (t0).
[00100] Когда пользователь возвращается из помещения А в помещение В, то переходы обратно к точке А обзора и ее начальному полю обзора задают для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями А и В. В этот момент времени медиа, связанное с точкой А обзора, продолжается с текущего момента времени (tcurr) на временной шкале медиа.
[00101] Когда пользователь возвращается из помещения А в помещение В, то переходы обратно к точке А обзора и ее начальному полю обзора задают для пользователя ту же точку обзора, как если бы пользователь проходил через дверь между помещениями А и С. В этот момент времени медиа, связанное с точкой А обзора, продолжается с текущего момента времени (tcurr) на временной шкале медиа
[00102] Следует отметить, что в реальной ситуации, в зависимости от того, из какого помещения входит пользователь, начальные точки обзора (поля обзора) пользователя фактически различаются в зависимости от того, входит ли пользователь из помещения В или С.
[00103] Настоящее изобретение обеспечивает по меньшей мере одно из следующих преимуществ.
[00104] В любой момент времени, возможности переключения точки обзора из текущей точки обзора легко доступны устройству воспроизведения OMAF благодаря уникальному боксу ISOBMFF, связанному с точкой обзора.
[00105] Поддерживается множество переходных эффектов, включая воспроизведение (короткого) видео, которое либо может быть встроено в тот же файл приложения OMAF и на которое может задаваться ссылка посредством его идентификатора track_id, либо может быть доступно в удаленном местоположении посредством ссылки URL.
[00106] При переключении к целевой точке обзора воспроизведение нового медиа может начинаться со смещением либо абсолютным, либо относительным по отношению к текущему моменту воспроизведения медиа исходной точки обзора.
[00107] При переключении к целевой точке обзора можно указать конкретное поле обзора, подлежащее использованию. Это позволяет, например, переключаться к той же точке обзора, но с другими полями обзора для различных исходных точек обзора. Пример этой возможности показан на фиг. 6.
[00108] Для любого сигнализируемого переключения точки обзора также можно определить одно окно активации. Для множества окон активации в соответствии с настоящим изобретением также определяется способ сигнализации в треке метаданных динамической информации о точке обзора.
[00109] На фиг. 7 показан алгоритм выполнения способа 700 в соответствии с вариантами осуществления настоящего изобретения. Способ 700 может выполняться устройством воспроизведения VR360 или устройством OMAF, или другим подобным устройством.
[00110] На шаге 701 получают конфигурацию для переключения между точками обзора в приложении VR360 и
[00111] на шаге 702 выполняют переключение между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[00112] Варианты осуществления перехода переключения согласно способу 700 совпадают с вариантами осуществления изобретения, показанными на фиг. 3А - фиг. 6.
[00113] На фиг. 8 представлена упрощенная структурная схема устройства 800, подходящего для реализации вариантов осуществления настоящего изобретения. Как показано на чертеже, устройство 800 содержит один или более процессоров 810, и один или более блоков памяти 820, связанных с процессором(-ами) 810. Устройство 800 может быть выполнено в виде устройства для вывода приложения VR360.
[00114] В соответствии с некоторыми вариантами осуществления настоящего изобретения процессор 810 сконфигурирован для исполнения инструкций для:
определения конфигурации для переключения между точками обзора в приложении VR360 и
сигнализации упомянутой конфигурации в приложение VR360.
[00115] Варианты осуществления устройства 800 для выполнения перехода переключения совпадают с вариантами осуществления изобретения, показанными на фиг. 3А - фиг. 6.
[00116] Процессор 810 может быть любого типа, подходящего для вывода приложения VR360, и может, не ограничиваясь этим, включать один или более универсальных компьютеров, специализированных компьютеров, микропроцессоров, цифровых сигнальных процессоров (DSP, Digital Signal Processor) и процессоров, основанных на многоядерной архитектуре, а также другие подобные устройства. Устройство 800 может содержать множество процессоров, таких как специализированная интегральная схема, которая по времени синхронизируется с тактовой частотой главного процессора.
[00117] Память 820 может быть любого типа, подходящего для хранения приложения VR360, и может быть реализована с использованием любых подходящих технологий хранения данных и, например, может представлять собой, не ограничиваясь этим, машиночитаемый носитель, устройства полупроводниковой памяти, устройства и системы магнитной памяти, устройства и системы оптической памяти, постоянное запоминающее устройство и съемную память.
[00118] В памяти 820 хранится по меньшей мере часть программы 830. Предполагается, что программа 830 должна содержать программные инструкции, которые при их исполнении соответствующим процессором 810 позволяют устройству 800 работать согласно примерам осуществления настоящего изобретения, которые обсуждались в этом описании со ссылкой на фиг. 2 - фиг. 6. Таким образом, варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерного программного обеспечения, исполняемого процессором 810 устройства 800, или с помощью аппаратного обеспечения, или комбинации программного и аппаратного обеспечения.
[00119] На фиг. 9 представлена упрощенная структурная схема устройства 900, подходящего для реализации вариантов осуществления настоящего изобретения. Как показано на чертеже, устройство 900 содержит один или более процессоров 910, и один или более блоков памяти 920, связанных с процессором(-ами) 910. Устройство 900 может быть выполнено в виде устройства воспроизведения VR360.
[00120] В соответствии с некоторыми вариантами осуществления настоящего изобретения процессор 910 сконфигурирован для исполнения инструкций для:
получения конфигурации для переключения между точками обзора в приложении VR360 и
переключения между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[00121] Варианты осуществления устройства 900 для выполнения перехода переключения совпадают с вариантами осуществления, показанными на фиг. 3А -фиг. 6.
[00122] Согласно некоторым вариантам осуществления изобретения устройство 900 может также содержать один или более передатчиков и/или приемников (TX/RX) 940, связанных с процессором 910. Согласно некоторым вариантам осуществления изобретения передатчики и/или приемники (TX/RX) 940 сконфигурированы для определения местоположения устройства 900.
[00123] Процессор 910 может быть любого типа, подходящего для воспроизведения приложения VR360, и может, не ограничиваясь этим, включать один или более универсальных компьютеров, специализированных компьютеров, микропроцессоров, цифровых сигнальных процессоров (DSP) и процессоров, основанных на многоядерной архитектуре. Устройство 900 может содержать множество процессоров, таких как специализированная интегральная схема, которая по времени синхронизируется с тактовой частотой главного процессора.
[00124] Память 920 может быть любого типа, подходящего для хранения приложения VR360, и может быть реализована с использованием любых подходящих технологий хранения данных и, например, может представлять собой, не ограничиваясь этим, машиночитаемый носитель, устройства полупроводниковой памяти, устройства и системы магнитной памяти, устройства и системы оптической памяти, постоянное запоминающее устройство и съемную память.
[00125] В памяти 920 хранится по меньшей мере часть программы 930. Предполагается, что программа 930 должна содержать программные инструкции, которые при их исполнении соответствующим процессором 910 позволяют устройству 900 работать согласно примерам осуществления настоящего изобретения, которые обсуждались в этом описании со ссылкой на фиг. 7. Таким образом, варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерного программного обеспечения, исполняемого процессором 910 устройства 900, или с помощью аппаратного обеспечения, или комбинации программного и аппаратного обеспечения.
[00126] На фиг. 10 представлена упрощенная структурная схема устройства 1000, подходящего для реализации вариантов осуществления настоящего изобретения. Устройство 1000 может быть выполнено в виде устройства воспроизведения VR360. Как показано на чертеже, устройство 1000 содержит:
[00127] модуль 1010 получения, выполненный с возможностью получения конфигурации для переключения между точками обзора в приложении VR360, и
[00128] модуль 1020 переключения, сконфигурированный для переключения между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией.
[00129] В некоторых вариантах осуществления изобретения упомянутая конфигурация содержит любой из приведенных параметров или комбинацию этих параметров:
параметр поля обзора, указывающий начальное поле обзора для конкретного переключения точки обзора,
параметр переходного эффекта, указывающий конкретный переходный эффект для конкретного переключения точки обзора,
параметр окна активации, указывающий по меньшей мере одно окно активации для переключения точки обзора, и
параметр времени переключения, указывающий начальную позицию воспроизведения во времени целевого медиа в процессе конкретного переключения точки обзора.
[00130] Варианты осуществления устройства 1000 для выполнения перехода переключения совпадают с вариантами осуществления изобретения, показанными на фиг. 3А - фиг. 6.
[00131] На фиг. 11 представлена упрощенная структурная схема устройства 1100, подходящего для реализации вариантов осуществления настоящего изобретения. Устройство 1100 может быть выполнено в виде устройства вывода VR360. Как показано на чертеже, устройство 1100 содержит:
модуль 1110 определения, сконфигурированный для определения конфигурации для переключения между точками обзора в приложении VR360, и
модуль 1120 сигнализации, сконфигурированный для сигнализации упомянутой конфигурации в приложение VR360.
[00132] В некоторых вариантах осуществления изобретения упомянутая конфигурация включает любой из приведенных параметров или комбинацию этих параметров:
параметр поля обзора, указывающий начальное поле обзора для конкретного переключения точки обзора,
параметр переходного эффекта, указывающий конкретный переходный эффект для конкретного переключения точки обзора,
параметр окна активации, указывающий по меньшей мере одно окно активации для переключения точки обзора, и
параметр времени переключения, указывающий начальную позицию воспроизведения во времени целевого медиа в процессе конкретного переключения точки обзора.
[00133] Варианты осуществления устройства 1100 для выполнения перехода переключения совпадают с вариантами осуществления изобретения, показанными на фиг. 3А фиг. 6.
[00134] Различные блоки, показанные на фиг. 2-7, можно рассматривать как шаги способа и/или операции, выполняемые в результате исполнения компьютерного программного кода, и/или как множество связанных логических схемных элементов, спроектированных для выполнения соответствующей функции (функций). По меньшей мере некоторые аспекты примеров осуществления настоящего изобретения могут быть реализованы на практике в виде различных компонентов, таких как интегральные микросхемы и модули, и эти примеры могут быть реализованы в устройстве, выполненном в виде интегральной схемы, FPGA или ASIC, конфигурируемой для функционирования в соответствии с примерами осуществления настоящего изобретения.
[00135] Кроме того, в рамках настоящего изобретения также может предлагаться носитель, содержащий компьютерную программу, указанную выше, при этом в качестве носителя может использоваться электрический сигнал, оптический сигнал, радиочастотный сигнал или машиночитаемый носитель. Машиночитаемый носитель может представлять собой, например, оптический компакт-диск или электронное запоминающее устройство, такое как RAM (Random Access Memory, оперативная память), ROM (Read Only Memory, постоянная память), флэш-память, магнитная лента, CD-ROM, DVD, диск, работающий на основе сине фиолетового лазера (Blu-Ray), и т.п.
[00136] В соответствии с некоторыми вариантами осуществления изобретения медиа VR360 может также представлять собой медиа OMAF. В соответствии с некоторыми вариантами осуществления изобретения устройство воспроизведения VR360 может также представлять собой устройство воспроизведения OMAF.
[00137] На основе вышеприведенного описания специалист в этой области техники должен принимать во внимание, что настоящее изобретение может быть реализовано в виде устройства, способа или компьютерного программного продукта. В целом, различные примеры осуществления настоящего изобретения могут быть реализованы в виде аппаратного обеспечения или специализированных схем, программного обеспечения, логических схем или их комбинации. Например, некоторые аспекты могут быть реализованы в виде аппаратного обеспечения, в то время как другие аспекты могут быть реализованы в виде микропрограммного или программного обеспечения, которое может выполняться контроллером, микропроцессором или другим вычислительным устройством, хотя настоящее изобретение этим не ограничено. Хотя различные аспекты примеров осуществления настоящего изобретения могут быть проиллюстрированы и описаны в виде структурных схем, блок-схем или с использованием некоторых других графических представлений, достаточно очевидно, что описанные здесь блоки, устройства, системы, технологии или способы могут быть реализованы (не ограничиваясь приведенными примерами) в виде аппаратного, программного, микропрограммного обеспечения, специализированных схем или логических схем, аппаратного обеспечения общего назначения или контроллера, или других вычислительных устройств, или их комбинации.
[00138] На основе вышеприведенного описания специалист в этой области техники должен принимать во внимание, что настоящее изобретение может быть реализовано в виде устройства, способа или компьютерного программного продукта. В целом, различные примеры осуществления настоящего изобретения могут быть реализованы в виде аппаратного обеспечения или специализированных схем, программного обеспечения, логических схем или любой их комбинации. Например, некоторые аспекты могут быть реализованы в виде аппаратного обеспечения, в то время как другие аспекты могут быть реализованы в виде микропрограммного или программного обеспечения, которое может выполняться контроллером, микропроцессором или другим вычислительным устройством, хотя настоящее изобретение не ограничено только перечисленными средствами. Хотя различные аспекты примеров осуществления настоящего изобретения могут быть проиллюстрированы и описаны в виде структурных схем, блок-схем или с использованием некоторых других графических представлений, достаточно очевидно, что описанные здесь блоки, устройства, системы, технологии или способы могут быть реализованы (не ограничиваясь приведенными примерами) в виде аппаратного, программного, микропрограммного обеспечения, специализированных схем или логических схем, аппаратного обеспечения общего назначения или контроллера, или других вычислительных устройств, или их комбинации.
[00139] Хотя в этом описании содержится много подробной информации о реализации изобретения, эта информация не должна рассматриваться как ограничивающая объем заявленного изобретения, а эти сведения должны рассматриваться как описания признаков конкретных вариантов осуществления настоящего изобретения. Определенные признаки, приведенные в этом описании в контексте отдельных вариантов осуществления изобретения, могут также быть реализованы в комбинации в одном варианте осуществления изобретения. И наоборот, различные признаки, приведенные в этом описании в контексте одного варианта осуществления изобретения, могут быть также реализованы в множестве вариантов осуществления, по отдельности или в любой подходящей комбинации. Кроме того, хотя признаки могли быть описаны выше и даже изначально указаны в формуле изобретения в определенных комбинациях, один или более признаков в некоторых случаях могут исключаться из заявленной комбинации, и заявленная комбинация может касаться частичной комбинации или варианта частичной комбинации.
[00140] Аналогично, хотя операции показаны на чертежах в конкретном порядке, это не следует понимать как требование, чтобы такие операции выполнялись в показанном конкретном порядке или последовательности, или что для достижения требуемых результатов нужно выполнять все показанные операции. В определенных обстоятельствах может быть предпочтительна многозадачная и параллельная обработка. Кроме того, разделение различных системных компонентов в описанных выше вариантах осуществления изобретения не следует понимать как требование к такому разделению во всех вариантах осуществления изобретения, а также следует понимать, что описанные программные компоненты и системы могут, как правило, интегрироваться в единый программный продукт или в множество программных продуктов.
[00141] Специалисту в соответствующей области техники в свете изложенного описания, изученного в совокупности с прилагаемыми чертежами, могут быть очевидны различные модификации и адаптации описанных примеров осуществления настоящего изобретения. Любые или все виды модификаций данного изобретения остаются в пределах объема примеров осуществления настоящего изобретения, не ограничивающих изобретение. Кроме того, другие варианты осуществления настоящего изобретения, отличающиеся от тех, что описаны выше, могут быть предложены специалистом в этой области техники, для достижения преимуществ на основе идей, изложенных в приведенном выше описании и на прилагаемых чертежах.
[00142] Таким образом, следует понимать, что варианты осуществления настоящего изобретения не ограничены конкретными раскрытыми вариантами его осуществления, и такие изменения, а также другие варианты осуществления изобретения включаются в объем заявленного изобретения. Хотя в этом описании используются конкретные термины, эти термины применяются только в общем и описательном смысле и не ограничивают изобретение.
1. Способ передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360), включающий:
определение конфигурации для переключения между точками обзора в приложении VR360 и
сигнализацию, в приложение VR360, упомянутой конфигурации для переключения между точками обзора;
при этом точка обзора представляет собой местоположение, где находится устройство, воспроизводящее приложение VR360, а переключение точки обзора представляет собой переключение, выполняемое устройством, воспроизводящим приложение VR360, между различными местоположениями, соответствующими различным точкам обзора.
2. Способ по п. 1, в котором упомянутая конфигурация представляет собой бокс базового формата медиафайлов ISO (ISOBMFF), привязанный к полю обзора или к переходу переключения.
3. Способ по п. 1 или 2, в котором упомянутая конфигурация включает любой параметр или комбинацию параметров из следующих параметров:
параметр поля обзора, указывающий начальное поле обзора для конкретного переключения точки обзора,
параметр переходного эффекта, указывающий конкретный переходный эффект для конкретного переключения точки обзора,
параметр окна активации, указывающий по меньшей мере одно окно активации для переключения точки обзора, или
параметр времени переключения, указывающий начальную позицию воспроизведения во времени целевого медиа в процессе конкретного переключения точки обзора.
4. Способ по п. 3, в котором параметр поля обзора включает:
флаг поля обзора, указывающий, имеется ли начальное поле обзора для целевой точки обзора.
5. Способ по п. 3, в котором упомянутая конфигурация также включает параметр возможности переключения, указывающий множество возможностей переключения для конкретной точки обзора, причем каждая возможность переключения включает максимум одно поле обзора, которое указано параметром поля обзора, при этом упомянутый параметр возможности переключения включает по меньшей мере один из следующих параметров:
числовой параметр, указывающий количество возможных переключений точки обзора, или
идентификационный параметр, указывающий идентификатор целевой точки обзора для переключения точки обзора.
6. Способ по п. 3, в котором параметр переходного эффекта включает по меньшей мере один из следующих параметров:
флаг переходного эффекта, указывающий, имеется ли переходный эффект,
флаг типа переходного эффекта, указывающий тип переходного эффекта для конкретного переключения, или
указатель переходного эффекта, указывающий положение, где хранится конкретное видео переходного эффекта.
7. Способ по п. 3, в котором параметр времени переключения включает по меньшей мере один из следующих параметров:
флаг timeline-switching-offset (смещение переключения по временной шкале), указывающий, имеется ли смещение во времени;
указатель смещения, указывающий значение смещения во времени, или
флаг relative-to-current (относительно текущей позиции), указывающий
информацию о начальной точке, от которой отсчитывают смещение.
8. Способ по п. 3, в котором параметр окна активации включает по меньшей мере один из следующих параметров:
флаг минимального времени, указывающий, имеется ли минимальное время для перехода переключения; при этом переход может активироваться только по истечении минимального времени, при определении того, что минимальное время имеется,
параметр минимального времени, указывающий значение минимального времени,
флаг максимального времени, указывающий, имеется ли максимальное время для перехода переключения; при этом переход может активироваться только до истечения максимального времени, при определении того, что максимальное время имеется, или
параметр максимального времени, указывающий значение максимального времени.
9. Способ по п. 8, в котором параметр окна активации находится в треке временных метаданных временной шкалы воспроизведения.
10. Способ передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360), включающий:
получение конфигурации для переключения между точками обзора в приложении VR360 и
переключение между точками обзора в приложении VR360 в соответствии с упомянутой конфигурацией;
при этом точка обзора представляет собой местоположение, где находится устройство, воспроизводящее приложение VR360, а переключение точки обзора представляет собой переключение, выполняемое устройством, воспроизводящим приложение VR360, между различными местоположениями, соответствующими различным точкам обзора.
11. Способ по п. 10, в котором упомянутая конфигурация представляет собой бокс базового формата медиафайлов ISO (ISOBMFF), привязанный к полю обзора или к переходу переключения.
12. Способ по п. 10 или 11, в котором упомянутая конфигурация включает любой параметр или комбинацию параметров из следующих параметров:
параметр поля обзора, указывающий начальное поле обзора для конкретного переключения точки обзора,
параметр переходного эффекта, указывающий конкретный переходный эффект для конкретного переключения точки обзора,
параметр окна активации, указывающий по меньшей мере одно окно активации для переключения точки обзора, или
параметр времени переключения, указывающий начальную позицию воспроизведения во времени целевого медиа в процессе конкретного переключения точки обзора.
13. Способ по п. 12, в котором параметр поля обзора включает
флаг поля обзора, указывающий, имеется ли начальное поле обзора для целевой точки обзора.
14. Способ по п. 12, в котором упомянутая конфигурация также включает параметр возможности переключения, указывающий множество возможностей переключения для конкретной точки обзора, причем каждая возможность переключения включает максимум одно поле обзора, которое указано параметром поля обзора, при этом упомянутый параметр возможности переключения включает по меньшей мере один из следующих параметров:
числовой параметр, указывающий количество возможных переключений точки обзора, или
идентификационный параметр, указывающий идентификатор целевой точки обзора для переключения точки обзора.
15. Способ по п. 12, в котором параметр переходного эффекта включает по меньшей мере один из следующих параметров:
флаг переходного эффекта, указывающий, имеется ли переходный эффект,
флаг типа переходного эффекта, указывающий тип переходного эффекта для конкретного переключения, или
указатель переходного эффекта, указывающий положение, где хранится конкретное видео переходного эффекта.
16. Способ по п. 12, в котором параметр времени переключения включает по меньшей мере один из следующих параметров:
флаг timeline-switching-offset (смещение переключения по временной шкале), указывающий, имеется ли смещение во времени,
указатель смещения, указывающий значение смещения, или
флаг relative-to-current (относительно текущей позиции), указывающий информацию о начальной точке, от которой отсчитывают смещение.
17. Способ по п. 12, в котором параметр окна активации включает по меньшей мере один из следующих параметров:
флаг минимального времени, указывающий, имеется ли минимальное время для перехода переключения; при этом переход может активироваться только по истечении минимального времени, при определении того, что минимальное время имеется,
параметр минимального времени, указывающий значение минимального времени,
флаг максимального времени, указывающий, имеется ли максимальное время для перехода переключения; при этом переход может активироваться только до истечения максимального времени, при определении того, что максимальное время имеется; или параметр максимального времени, указывающий значение максимального времени.
18. Способ по п. 17, в котором параметр окна активации находится в треке временных метаданных временной шкалы воспроизведения.
19. Устройство для передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360), содержащее по меньшей мере одну память и по меньшей мере один процессор, сконфигурированный для осуществления способа передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360) по любому из пп. 1-9.
20. Устройство для передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360), содержащее по меньшей мере одну память и по меньшей мере один процессор, сконфигурированный для осуществления способа передачи информации о возможностях переключения точки обзора в приложении виртуальной реальности с охватом 360° (VR360) по любому из пп. 10-18.
