Управление временем задержки для доставки контента
Изобретение относится к области вещания, в частности, к управлению временем задержки для доставки контента по широковещательному каналу или доставке по IP-сетям. Технический результат заключается в обеспечении потоковой передачи с низким временем задержки для программ, которым требуется низкое время задержки (прямых спортивных трансляций), и обеспечение переключения на большие времена задержки, когда программы не являются чувствительными ко времени задержки (фильмы). Предложен способ для воспроизведения мультимедийного контента через канал доставки. Мультимедийный контент может содержать последовательные мультимедийные программы. В частности, для конкретной мультимедийной программы в мультимедийном контенте, соответствующий тип контента для этой конкретной мультимедийной программы также предоставляется. Способ может содержать прием индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении. Способ дополнительно содержит прием, по меньшей мере, части мультимедийной программы и адаптацию воспроизведения мультимедийной программы на основе индикатора ее чувствительности ко времени задержки при воспроизведении. 3 н. и 12 з.п. ф-лы, 4 ил.
Перекрестная ссылка на родственные заявки
Данная заявка притязает на приоритет следующих приоритетных заявок: предварительной заявки на патент (США) 62/875063 (ссылочный номер: D18140USP1), поданной 17 июля 2019 года, и заявки EP 19186801.7 (ссылочный номер: D18140EP), поданной 17 июля 2019 года, которые содержатся в данном документе по ссылке.
Область техники, к которой относится изобретение
Настоящий документ относится к управлению временем задержки для доставки контента. В частности, настоящий документ относится к традиционному круглосуточному широковещательному каналу (либо к любому каналу с последовательными программами) и к его доставке по IP-сетям.
Уровень техники
Вообще говоря, традиционный круглосуточный широковещательный канал типично состоит из последовательных программ, таких как новости, фильмы, реклама, сериалы, телевикторины (в прямом эфире), прямые спортивные трансляции и т.д. Обычно, в таком широковещательном канале, передача правильной программы в правильное время автоматизируется через конкретные модули составления расписания (программ).
Одна из многих сложностей доставки A/V-контента(а) по IP-сетям заключается во времени задержки. В общем, потребители оценивают низкое время задержки доставки для широковещательной передачи вживую (например, спортивных трансляций, телевикторин в прямом эфире и т.д.). Тем не менее, достижение низкого времени задержки по IP-сетям, в общем, не является возможным все время и типично несет в себе затраты (с точки зрения скорости передачи битов) для оператора. Помимо этого, известно, что потоковая передача с низким временем задержки с большей вероятностью должна быть подвержена недостаточному наполнению буфера (например, вызываемому посредством дрожания сетевого соединения) по сравнению с потоковой передачей с высоким временем задержки, поскольку потоковая передача с низким временем задержки типично означает то, что меньший буфер должен использоваться в устройстве воспроизведения.
Сегодня, время задержки обычно ассоциировано с потоком и считается постоянным (по меньшей мере, за период) времени для данного потока. Тем не менее, только несколько программ в широковещательном канале являются чувствительными ко времени задержки (к примеру, прямые спортивные трансляции), в то время как другие не являются (к примеру, фильмы).
Таким образом, имеется потребность в потоковой передаче с низким временем задержки главным образом для программ, которым требуется низкое время задержки (к примеру, для прямых спортивных трансляций), и можно переключаться на большие времена задержки, когда программы не являются чувствительными ко времени задержки (к примеру, фильмы).
Сущность изобретения
С учетом некоторых или всех вышеуказанных проблем (и вариантов использования), настоящее раскрытие сущности предлагает способ и устройство для воспроизведения мультимедийного контента через канал доставки и систему для доставки мультимедийного контента через канал доставки, имеющие признаки соответствующих независимых пунктов формулы изобретения.
В качестве широкого аспекта, настоящее раскрытие сущности предоставляет способ для воспроизведения мультимедийного контента через канал доставки. Канал доставки, в общем, может означать каналы, через которые аудио- или видеопрограммы доставляются (передаются) пользователю (в приемник), к примеру, широковещательным, многоадресным или одноадресным способом. Например, такой канал доставки может представлять собой (традиционный) круглосуточный широковещательный канал. Мультимедийный контент, в общем, может содержать последовательные мультимедийные программы, к примеру, новости, фильмы, рекламу, сериалы, телевикторины (в прямом эфире), прямые спортивные трансляции и т.д. В частности, для конкретной мультимедийной программы в мультимедийном контенте, соответствующий тип контента для этой конкретной мультимедийной программы также предоставляется вместе с мультимедийным контентом. Специалисты в данной области техники должны понимать и принимать во внимание, что тип контента может представляться и доставляться любым подходящим способом. Например, тип контента может представляться или указываться с использованием конкретного или дополнительного поля в заголовке потока битов мультимедийной программы или в метаданных, сопровождающих программу. В качестве другого примера, тип контента может указываться с использованием таблицы поиска. Аналогично, тип контента может доставляться (передаваться) вместе с доставкой мультимедийной программы в реальном времени или может совместно использоваться перед доставкой мультимедийной программы. Мультимедийный контент может переноситься в мультимедийном потоке и доставляться через сеть связи, например, через сеть на основе Интернет-протокола, из сервера доставки контента в пользовательские устройства.
В частности, способ может содержать (этап) прием (например, в пользовательском устройстве, приемнике или устройстве воспроизведения) индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении (также называемому "целевым временем задержки для мультимедийной программы"). Более конкретно, чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы. Другими словами, чувствительность мультимедийной программы ко времени задержки при воспроизведении задается на основе типа контента мультимедийной программы. Тем не менее, могут быть предусмотрены другие факторы, оказывающие влияние на требуемое время задержки при воспроизведении. Например, в то время как прямые спортивные трансляции, в общем, могут предпочитать низкое время задержки пользы, оператор предоставления услуг может желать отличать между спортивными программами, в которых низкое время задержки является очень важным (финальным матчем крупного соревнования), по сравнению с не настолько критичными для менее важных игр. Таким образом, адаптация воспроизведения мультимедийной программы на основе индикатора ее чувствительности ко времени задержки при воспроизведении не должна исключать то, другие факторы также учитываются для определения целевого времени задержки при воспроизведении.
Способ дополнительно может содержать прием, по меньшей мере, части мультимедийной программы. Специалисты в данной области техники должны понимать и принимать во внимание, что часть мультимедийной программы, в общем, означает определенное число кадров (кинокадров, порций данных и т.д.) мультимедийной программы, например, в зависимости от способа/механизма представления и/или доставки мультимедийной программы. Способ может еще дополнительно содержать адаптацию воспроизведения мультимедийной программы на основе индикатора ее чувствительности ко времени задержки при воспроизведении.
В некоторых примерах, другой индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении принимается, и воспроизведение идентичной мультимедийной программы постепенно адаптируется на основе принимаемых индикаторов. Это может повторяться многократно таким образом, что множество целевых времен задержки предоставляются последовательно в устройство воспроизведения. Применение нескольких индикаторов чувствительности может использоваться, например, чтобы постепенно управлять характеристиками воспроизведения перед переходом к последующей или другой программе, в качестве перехода, который может в противном случае вызывать выпадение сигнала или оказывать другое вредное влияние на пользовательское восприятие вследствие скачка целевого времени задержки между программами. Таким образом, в дополнение к одному скачку целевого времени задержки на основе одного индикатора, предлагается адаптация воспроизведения мультимедийной программы за определенный период времени. Это обеспечивает возможность того, что можно (за несколько этапов) изменять целевое время задержки на серверной стороне, за счет этого удаленно управляя скоростью адаптации на стороне приемника (декодера) посредством принимаемой последовательности индикаторов времени задержки при воспроизведении.
В некоторых примерах, адаптация воспроизведения мультимедийной программы может содержать адаптацию буферизации мультимедийной программы, например, в приемнике или устройстве воспроизведения. В частности, этап адаптации воспроизведения мультимедийной программы может содержать адаптацию объема мультимедийных программных данных, которые буферизуются (в устройстве воспроизведения) до того, как мультимедийные программные данные воспроизводятся. Специалисты в данной области техники должны принимать во внимание, что механизм буферизации (в устройстве воспроизведения) может реализовываться на уровне приложений на системном уровне или любым другим подходящим способом. Несколько инкрементных индикаторов для изменений чувствительности мультимедийной программы ко времени задержки при воспроизведении могут применяться, например, чтобы постепенно управлять уровнем заполненности буфера приемника перед переходом к последующей или другой программе, в качестве перехода, который может в противном случае вызывать выпадение сигнала или оказывать другое вредное влияние на пользовательское восприятие вследствие скачка целевого времени задержки между программами.
В некоторых примерах, индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении может содержать качественный индикатор или количественный индикатор времени задержки, которое является приемлемым до того, как мультимедийные программные данные воспроизводятся. В качестве примера, качественный индикатор времени задержки может быть связан с чувствительностью воспроизводимой мультимедийной программы ко времени задержки для пользователя, например, к тому, что является или нет более длительное время задержки заметным для зрителя(ей) программы, и/или к тому, вызывает или нет короткое время задержки заметный артефакт(ы) (например, дрожание, отбрасывание кадров и т.д.). В некоторых случаях, такой качественный индикатор может представляться просто как "высокое", "среднее" или "низкое". С другой стороны, количественный индикатор времени задержки, например, может представлять собой максимальное или целевое время задержки (например, 5 секунд), которое является приемлемым.
В некоторых примерах, адаптация воспроизведения мультимедийной программы может содержать адаптацию скорости воспроизведения для мультимедийной программы. В некоторых случаях, скорость воспроизведения мультимедийной программы может представляться, например, в качестве числа кадров в секунду (кадр/с). Например, если нормальная скорость воспроизведения программы составляет 20 кадров/с, то удвоение скорости воспроизведения должно означать, что программа воспроизводится при 40 кадров/с.
В некоторых примерах, воспроизведение мультимедийной программы может содержать модификацию контента принимаемой мультимедийной программы. В частности, контент принимаемой мультимедийной программы может модифицироваться, если индикатор чувствительности ко времени задержки при воспроизведении для мультимедийной программы изменяется относительно предыдущей или последующей мультимедийной программы канала доставки. Вообще говоря, в некоторых случаях, это означает то, что устройство воспроизведения (например, приложение устройства воспроизведения) может пропускать некоторые или полные сегменты (кадры) мультимедийной программы, например, чтобы их подгонять. В некоторых других случаях, устройство воспроизведения (например, приложение устройства воспроизведения), возможно, должно вставлять, например, некоторые "тихие" или повторяющиеся сегменты или кадры, чтобы замедляться. Такие изменения типично заметны для зрителя и в силу этого могут считаться менее желательными в некоторых случаях/сценариях.
В некоторых примерах, дополнительный контент (например, с точки зрения кадров или сегментов) может вставляться в текущую мультимедийную программу. В частности, вставка дополнительного контента(а) может выполняться, если текущая мультимедийная программа обеспечивает возможность большего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа обеспечивает возможность большего времени задержки относительно текущей мультимедийной программы. В некоторых случаях, это может означать то, что размер буфера в устройстве воспроизведения должен увеличиваться, и то, что буфер может заполняться надлежащим образом.
В некоторых других примерах, контент (например, с точки зрения кадров или сегментов) может пропускаться в текущей мультимедийной программе. В частности, пропуск контента(а) может выполняться, если текущая мультимедийная программа требует меньшего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа требует меньшего времени задержки относительно текущей мультимедийной программы. В некоторых случаях, это может означать то, что размер буфера в устройстве воспроизведения должен уменьшаться, и буфер может опустошаться надлежащим образом.
В некоторых примерах, можно считать, что мультимедийная программа содержит множество последовательных сегментов. Сегментация может зависеть, например, от применяемого транспортного режима или транспортного формата для передачи мультимедийной программы в приемник. Другими словами, в этом случае, внутренняя обработка мультимедийного проигрывателя может организовываться с точки зрения сегментов. Соответственно, адаптация воспроизведения мультимедийной программы затем может содержать адаптацию числа буферизированных сегментов до того, как мультимедийные программные данные воспроизводятся. Необязательно, по меньшей мере, один сегмент мультимедийной программы может пропускаться или повторяться при необходимости, как проиллюстрировано выше.
В некоторых примерах, адаптация воспроизведения мультимедийной программы может содержать переключение режима воспроизведения (например, мультимедийного проигрывателя в устройстве воспроизведения) для мультимедийной программы. Специалисты в данной области техники должны понимать и принимать во внимание, что режим воспроизведения, например, может быть связан с другим способом того, как мультимедийный проигрыватель выводит мультимедийную программу. Например, в одном режиме воспроизведения мультимедийный проигрыватель ожидает с обработкой или выводом мультимедийной программы до тех пор, пока весь сегмент (транспортного формата) не принимается, тогда как в другом режиме воспроизведения мультимедийный проигрыватель воспроизводит, как только он принимает достаточные мультимедийные данные для декодирования. Таким образом, при приеме индикатора для низкого целевого времени задержки, режим воспроизведения может переключаться в режим, который соответствует требованию по низкому времени задержки, например, выводу мультимедийных данных максимально возможно быстро без ожидания приема полных сегментов.
В некоторых примерах, индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении может переноситься во внеполосных метаданных, ассоциированных с мультимедийной программой. Такие метаданные, например, могут переноситься в описании мультимедийных программ (MPD) согласно ISO IEC 23009-1 или любых других подходящих метаданных, как должны принимать во внимание специалисты в данной области техники. Метаданные могут предоставляться множеством различных способов в устройство воспроизведения, например, в качестве конфигурационного файла, который считывается при запуске устройства воспроизведения, при переключении на канал доставки, при первоначальном осуществлении доступа к мультимедийному потоку и/или при начале новой мультимедийной программы в канале доставки. С этой целью, устройство воспроизведения может содержать конфигурационный файл или ссылку на конфигурационный файл, который является доступным для устройства воспроизведения через сеть связи.
В некоторых примерах, индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении может формироваться посредством модуля составления расписания (программ) для последовательных мультимедийных программ для доставки по каналу доставки. Модуль составления расписания (программ) может постоянно размещаться на стороне сети системы доставки контента (например, на стороне широковещателя или оператора либо в качестве автономного объекта). Необязательно, модуль составления расписания также может отвечать за добавление/вставку индикатора чувствительности в метаданные мультимедийной программы через любой подходящий способ. Тем не менее, другие подходящие объекты (функциональные блоки) могут использоваться для того, чтобы добавлять индикатор чувствительности в метаданные мультимедийной программы, например, сетевые объекты, расположенные дальше в восходящем направлении. В любом случае, следующие этапы или объекты (в частности, этапы мультиплексирования и сегментации) также должны (явно) поддерживать эти метаданные.
В некоторых примерах, способ дополнительно может содержать, на стороне кодера, адаптацию режима кодирования для мультимедийной программы. Специалисты в данной области техники должны понимать и принимать во внимание, что адаптация режима кодирования, например, может означать кодирование контента при уменьшенных размерах кадров для критического ко времени задержки контента и переключение обратно на большую длительность кадра для нечувствительного ко времени задержки контента. В частности, режим кодирования может адаптироваться в зависимости от чувствительности мультимедийной программы ко времени задержки при воспроизведении.
В некоторых примерах, индикатор изменения чувствительности мультимедийной программы ко времени задержки при воспроизведении может передаваться в служебных сигналах через внутриполосные события. Например, такие внутриполосные события могут задаваться согласно ISO IEC 23009-1. Прием внутриполосного события, передающего в служебных сигналах изменение чувствительности мультимедийной программы ко времени задержки при воспроизведении, в таком случае может инструктировать устройству воспроизведения повторно считывать метаданные для мультимедийной программы (например, MPD) и переконфигурировать внутреннюю обработку мультимедийного потока, ассоциированного с мультимедийной программой, как предложено в этом раскрытии сущности.
В некоторых примерах, чувствительность ко времени задержки при воспроизведении для мультимедийной программы может передаваться в служебных сигналах перед (до) началом конкретной мультимедийной программы. В таком случае, возможно то, что устройство воспроизведения (например, проигрыватель устройства воспроизведения) может уже начинать подготовку (например, подготовку буфера, адаптацию режима воспроизведения и т.д.) заранее, так что можно наслаждаться прозрачным восприятием при просмотре мультимедийных программ (с различными временами задержки).
В некоторых примерах, адаптация воспроизведения мультимедийной программы может быть асинхронной по отношению к началу мультимедийной программы. Например, приложение-проигрыватель устройства воспроизведения может переключаться на меньшее время задержки до или после того, как чувствительная ко времени задержки программа начинается, т.е. асинхронным (или только слабосинхронизированным) способом независимо от начала мультимедийной программы. Необязательно, адаптация воспроизведения мультимедийной программы также может содержать адаптацию воспроизведения предыдущей мультимедийной программы.
В качестве другого широкого аспекта, предусмотрено устройство для воспроизведения мультимедийного контента через канал доставки. Канал доставки, в общем, может означать каналы, через которые аудио- или видеопрограммы доставляются (передаются) пользователю (в приемник), к примеру, широковещательным или многоадресным способом. Например, такой канал доставки может представлять собой (традиционный) круглосуточный широковещательный канал. Мультимедийный контент, в общем, может содержать последовательные мультимедийные программы, к примеру, новости, фильмы, рекламу, сериалы, телевикторины (в прямом эфире), прямые спортивные трансляции и т.д. В частности, для конкретной мультимедийной программы в мультимедийном контенте, соответствующий тип контента для этой конкретной мультимедийной программы также предоставляется. Специалисты в данной области техники должны понимать и принимать во внимание, что тип контента может представляться и доставляться любым подходящим способом. Например, тип контента может представляться или указываться с использованием конкретного или дополнительного поля в заголовке мультимедийной программы. В качестве другого примера, тип контента может указываться с использованием таблицы поиска. Аналогично, тип контента может доставляться (передаваться) вместе с доставкой мультимедийной программы в реальном времени или может совместно использоваться перед доставкой мультимедийной программы. В общем, устройство может быть выполнено с возможностью выполнять любой из предыдущих этапов способа.
В частности, устройство может содержать приемник для приема индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении. Более конкретно, чувствительность мультимедийной программы ко времени задержки при воспроизведении может быть ассоциирована с типом контента мультимедийной программы. Устройство дополнительно может содержать приемник для приема, по меньшей мере, части мультимедийной программы через мультимедийный поток. Часть мультимедийной программы, в общем, означает определенное число кадров (кинокадров, порций данных и т.д.) мультимедийной программы, например, в зависимости от представления и/или доставки мультимедийной программы. Специалисты в данной области техники должны принимать во внимание, что приемник для приема индикатора относительно чувствительности мультимедийной программы и приемник для приема мультимедийной программы могут реализовываться как один отдельный физический приемник, допускающий прием и различение обоих типов информации (т.е. индикатора чувствительности и мультимедийной программы), которые пакетируются, например, в одном потоке битов. Другими словами, приемник для приема индикатора относительно чувствительности мультимедийной программы и приемник для приема мультимедийной программы могут логически разделяться, но не должны обязательно физически разделяться. Оба типа информации могут приниматься в одном физическом приемнике. Например, только один физический приемник может служить для приема как индикатора относительно чувствительности мультимедийной программы, так и мультимедийной программы. В таких случаях, устройство может содержать подходящий механизм для разделения различных входных сигналов, которые могут приниматься в идентичном физическом приемнике. В некоторых примерах, приемник выполнен с возможностью приема информации через сеть связи на основе Интернет-протокола (IP). Различные (беспроводные или проводные, медные, волоконные) физические уровни и протоколы уровня приложений (UDP, TCP, HTTP, ...) могут использоваться для доставки мультимедийного потока и/или метаданных, переносящих чувствительность мультимедийной программы ко времени задержки при воспроизведении. Сеть связи иногда также называется "сетью доставки контента".
Устройство дополнительно может содержать модуль воспроизведения для воспроизведения мультимедийного контента. Модуль воспроизведения, например, может активировать некоторое подходящее приложение для воспроизведения мультимедийного контента. Устройство может еще дополнительно содержать контроллер для адаптации воспроизведения мультимедийной программы на основе принимаемого индикатора относительно ее чувствительности ко времени задержки при воспроизведении.
В некоторых примерах, модуль воспроизведения устройства (например, мультимедийный проигрыватель) может содержать буфер для принимаемых сегментов мультимедийной программы. С другой стороны, также возможно то, что в некоторых случаях буфер предоставляется, например, посредством операционной системы, и модуль воспроизведения затем может быть выполнен с возможностью осуществлять доступ и использовать этот буфер с использованием любого подходящего способа. Буфер может реализовываться, например, в качестве запоминающего блока (хранения данных) или любым другим подходящим способом, как должны принимать во внимание специалисты в данной области техники. Кроме того, контроллер может быть выполнен с возможностью адаптировать объем буферизированных программных данных до того, как программные данные воспроизводятся, на основе индикатора чувствительности ко времени задержки при воспроизведении.
В некоторых примерах, устройство дополнительно может содержать модификатор мультимедийного контента, выполненный с возможностью адаптировать содержимое принимаемой мультимедийной программы, чтобы вставлять дополнительный мультимедийный контент или удалять мультимедийный контент. В некоторых случаях, модификатор мультимедийного контента может быть выполнен с возможностью вставлять/добавлять дополнительный контент (например, с точки зрения кадров или сегментов) в текущей мультимедийной программе. Например, вставка дополнительного контента(а) может выполняться, если текущая мультимедийная программа обеспечивает возможность большего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа обеспечивает возможность большего времени задержки относительно текущей мультимедийной программы. В некоторых других примерах, модификатор мультимедийного контента может быть выполнен с возможностью пропускать или удалять определенный контент (либо его часть). Например, это может выполняться, если текущая мультимедийная программа требует меньшего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа требует меньшего времени задержки относительно текущей мультимедийной программы.
В некоторых примерах, приемник для приема индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении может быть выполнен с возможностью декодировать метаданные мультимедийной программы или принимать внутриполосные события, например, в зависимости от того, как и где индикатор чувствительности ко времени задержки при воспроизведении (или изменение такой чувствительности) доставляется в устройство воспроизведения, как проиллюстрировано выше. Пример метаданных может представлять собой MPD согласно ISO IEC 23009-1, и пример внутриполосных событий может представлять собой внутриполосные события, заданные согласно ISO IEC 23009-1.
В качестве еще одного другого широкого аспекта, предусмотрена система для доставки мультимедийного контента через канал доставки. Канал доставки, в общем, может означать каналы, через которые аудио- или видеопрограммы доставляются (передаются) пользователю (в приемник), к примеру, широковещательным или многоадресным способом. Например, такой канал доставки может представлять собой (традиционный) круглосуточный широковещательный канал. Мультимедийный контент, в общем, может содержать последовательные мультимедийные программы, к примеру, новости, фильмы, рекламу, сериалы, телевикторины (в прямом эфире), прямые спортивные трансляции и т.д. В частности, для конкретной мультимедийной программы в мультимедийном контенте, соответствующий тип контента для этой конкретной мультимедийной программы также предоставляется. Специалисты в данной области техники должны понимать и принимать во внимание, что тип контента может представляться и доставляться любым подходящим способом. Например, тип контента может представляться или указываться с использованием конкретного или дополнительного поля в заголовке мультимедийной программы. В качестве другого примера, тип контента может указываться с использованием таблицы поиска. Аналогично, тип контента может доставляться (передаваться) вместе с доставкой мультимедийной программы в реальном времени или может совместно использоваться перед доставкой мультимедийной программы. Система может содержать сервер доставки контента и другие компоненты, такие как сервер поставщика контента.
В частности, система может содержать модуль составления расписания, чтобы составлять расписание мультимедийных программ для последовательной доставки по каналу доставки. Вообще говоря, процесс составления расписания может содержать составление расписания (выделение) в отношении надлежащего времени канала доставки в мультимедийные программы. Специалисты в данной области техники должны принимать во внимание, что составление расписания мультимедийных программ может выполняться в зависимости от различных обстоятельств и/или требований, к примеру, программ передач, важности и/или срочности программ и т.д. Система дополнительно может содержать, по меньшей мере, один модуль пакетирования (или модуль инкапсуляции), выполненный с возможностью пакетировать (инкапсулировать) мультимедийные программы в последовательном мультимедийном потоке любым подходящим способом. В частности, модуль пакетирования может быть выполнен с возможностью добавлять соответствующий индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении в мультимедийный поток. Как проиллюстрировано выше, чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы.
В некоторых примерах, модуль пакетирования может быть выполнен с возможностью дополнительно адаптировать режим кодирования для мультимедийной программы в зависимости от чувствительности мультимедийной программы ко времени задержки при воспроизведении, например, посредством кодирования мультимедийной программы при уменьшенной длительности сегмента для критического ко времени задержки контента и переключаться обратно на большую длительность сегмента для нечувствительного ко времени задержки контента.
В некоторых примерах, модуль пакетирования может быть выполнен с возможностью дополнительно вставлять индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении в метаданных мультимедийной программы или во внутриполосных событиях, например, в зависимости от того, как и где индикатор чувствительности ко времени задержки при воспроизведении доставляется в устройство воспроизведения, как проиллюстрировано выше. Пример метаданных может представлять собой MPD согласно ISO IEC 23009-1, и пример внутриполосных событий может представлять собой внутриполосные события, заданные согласно ISO IEC 23009-1.
Другой аспект настоящего раскрытия сущности относится к компьютерному программному обеспечению, компьютерному программному продукту либо любым носителям или данным, осуществляющим компьютерные программные инструкции для выполнения на программируемом компьютере или в специализированных аппаратных средствах, содержащих, по меньшей мере, один процессор, который инструктирует, по меньшей мере, одному процессору выполнять любой из этапов способа, раскрытых в этом документе, в частности, раскрытых способов, как представлено в этом документе.
Реализации раскрытого оборудования могут включать в себя использование, но не только, одного или более процессоров, одной или более специализированных интегральных схем (ASIC) и/или одной или более программируемых пользователем вентильных матриц (FPGA). Реализации оборудования также могут включать в себя использование других традиционных и/или настроенных аппаратных средств, таких как программно-управляемые процессоры.
Следует принимать во внимание, что признаки устройства/оборудования могут заменяться множеством способов. В частности, подробности раскрытых устройств могут реализовываться как способ и наоборот, как должны принимать во внимание специалисты в данной области техники. Помимо этого, вышеприведенные аспекты могут комбинироваться множеством способов, даже если явно не раскрываются. Специалисты в данной области техники должны понимать, что эти комбинации аспектов и признаков/этапов являются возможными, если это не создает противоречие, которое явно исключается.
Другие и дополнительные варианты осуществления настоящего изобретения должны становиться очевидными в ходе нижеприведенного пояснения и в отношении прилагаемых чертежей.
Краткое описание чертежей
Ниже поясняются варианты осуществления раскрытия сущности примерным способом со ссылкой на прилагаемые чертежи, на которых:
Фиг. 1 схематично иллюстрирует пример мультимедийного контента;
Фиг. 2 схематично иллюстрирует пример системы для доставки мультимедийного контента;
Фиг. 3 схематично иллюстрирует пример устройства для воспроизведения мультимедийного контента согласно варианту осуществления настоящего изобретения; и
Фиг. 4 схематично иллюстрирует пример способа для воспроизведения мультимедийного контента согласно варианту осуществления настоящего изобретения.
Подробное описание изобретения
Фиг. 1 схематично иллюстрирует пример части потока 100 мультимедийного контента согласно варианту осуществления настоящего изобретения. Поток 100 мультимедийного контента, в общем, может содержать последовательные (различные) мультимедийные программы 101-106. Например, в примере, показанном на фиг. 1, поток 100 мультимедийного контента может содержать, в течение периода t1-t2 времен, программу 101 прямой спортивной трансляции (например, футбольный матч); в течение периода t2-t3 времени, программу 102 рекламных объявлений; в течение периода t3-t4 времени, программу 103 новостей; в течение периода t4-t5 времени, программу 104 фильма; в течение периода t5-t6 времени, другую программу 105 новостей; и в течение периода t6-t7 времени, программу 106 телевикторины в прямом эфире. Следует отметить, что фиг. 1 показывает только часть канала доставки мультимедийного контента, который может работать непрерывно круглосуточно.
Специалисты в данной области техники должны принимать во внимание, что поток 100 мультимедийного контента может содержать другие мультимедийные программы в различные периоды времени, и поток 100 мультимедийного контента, как показано на фиг. 1, представляет собой просто один пример в качестве иллюстрации. В частности, поток 100 мультимедийного контента может доставляться из распространителя контента через канал доставки сети доставки контента (не показана на фиг. 1). Канал доставки, в общем, может означать каналы (например, беспроводные или проводные каналы), через которые аудио- или видеопрограммы доставляются (передаются) конечному пользователю (приемник/зритель), к примеру, широковещательным, многоадресным или одноадресным способом либо даже способом "точка-точка" (таким как видео по запросу, VOD). Например, такой канал доставки может представлять собой (традиционный) круглосуточный широковещательный канал или любой другой подходящий канал(ы), как должны понимать и принимать во внимание специалисты в данной области техники. Зритель (устройство воспроизведения) затем может воспроизводить принимаемую мультимедийную программу(ы) надлежащим образом (например, с использованием подходящего приложения-проигрывателя, при активации надлежащего кодека и т.д.).
Кроме того, чтобы упрощать доставку потока 100 мультимедийного контента, тип контента (не показан на фиг. 1) для конкретной мультимедийной программы может предоставляться для конкретной мультимедийной программы в потоке 100 мультимедийного контента. В общем, тип контента мультимедийной программы предоставляет широкую категоризацию мультимедийной программы в числе классов контента, таких как новости, спортивные трансляции, телешоу, фильмы и т.д. Тип контента может задаваться посредством поставщика контента, который создает мультимедийную программу, либо может задаваться посредством оператора сети доставки контента. Специалисты в данной области техники должны понимать и принимать во внимание, что тип контента может представляться и доставляться любым подходящим способом. Например, тип контента может представляться или указываться с использованием конкретного или дополнительного поля в заголовке мультимедийной программы. В качестве другого примера, тип контента может указываться с использованием таблицы поиска. Аналогично, тип контента может доставляться (передаваться) вместе с доставкой мультимедийной программы в реальном времени или может совместно использоваться перед доставкой мультимедийной программы.
Дополнительно, еще может предоставляться индикатор чувствительности конкретной мультимедийной программы ко времени задержки при воспроизведении (также называемому "целевым временем задержки"). В частности, чувствительность мультимедийной программы ко времени задержки при воспроизведении может представлять собой качественный индикатор или количественный индикатор времени задержки, которое является приемлемым до того, как мультимедийные программные данные воспроизводятся, и ассоциировано с типом контента мультимедийной программы.
Ключевой элемент определения целевого времени задержки для мультимедийной программы представляет собой тип контента. Другими словами, тип контента оказывает влияние/доминирует в отношении указания целевых времен задержки. Тем не менее, может быть предусмотрен конкретный этап, чтобы переходить от типа контента к индикатору целевого времени задержки, поскольку то преобразование не всегда является однозначным. Например, распространитель контента может выбирать различные целевые времена задержки для различных футбольных матчей на основе важности этого футбольного матча. Предусмотрены другие типы контента (такие как передаваемый не вживую контент), в которых распространитель контента может выбирать фиксированное значение по умолчанию для целевого времени задержки без дополнительных регулирований/подстроек. Но в других случаях, человек, который создает расписание программ, может выбирать отклонение от таких значений по умолчанию (например, финальный футбольный матч на чемпионате мира получает наименьшее возможное время задержки, тогда как для других футбольных матчей не должно планироваться такое сверхнебольшое число). Таким образом, целевое время задержки мультимедийной программы определяется на основе типа контента, но не задается исключительно согласно типу контента.
На стороне устройства воспроизведения, принимается, по меньшей мере, часть мультимедийной программы и целевое время задержки для мультимедийной программы. Часть мультимедийной программы, в общем, означает определенное число кадров (кинокадров, порций данных и т.д.) мультимедийной программы, например, в зависимости от способа/механизма представления и/или доставки мультимедийной программы. Затем, воспроизведение мультимедийной программы адаптируется на основе ее целевого времени задержки. Целевое время задержки может изменяться за один этап (например, от низкого к высокому), и мультимедийный проигрыватель в устройстве воспроизведения может адаптироваться соответствующим образом. Помимо этого, адаптация мультимедийного проигрывателя в устройстве воспроизведения за определенный период времени предлагается, например, чтобы подгонять или замедлять уровни заполненности буфера и/или скорость воспроизведения. Алгоритм адаптации воспроизведения на приемной стороне может иметь данную характеристику, чтобы интерполировать между данным целевым временем задержки и обновлением при целевом времени задержки, что может работать нежелательным способом, если скачок целевого времени задержки является слишком серьезным. В силу этого можно постепенно (за несколько этапов) изменять указываемое целевое время задержки на серверной стороне, за счет этого удаленно управляя скоростью адаптации и управляя уровнями заполненности буфера на стороне приемного устройства, например, до перехода в другую программу с другим целевым временем задержки. Таким образом, в дополнение к одному скачку целевого времени задержки, предлагается адаптация воспроизведения мультимедийной программы за определенное число этапов, компонуемых за определенный период времени. Во втором случае, передаваемое в служебных сигналах целевое время задержки постепенно изменяется посредством сервера в нескольких последовательных индикаторах для времени задержки при воспроизведении.
Фиг. 2 схематично иллюстрирует пример системы 200 для доставки мультимедийного контента. Мультимедийный контент может содержать последовательные мультимедийные программы, как показано в 101-106, как показано на фиг. 1. В примере по фиг. 2, система 200, например, может содержать поставщика 210 услуг (контента) для подготовки и инициализации различных мультимедийных программ (например, мультимедийных программ, как показано в 101-106, как показано на фиг. 1). В качестве примера без ограничений, поставщик 210 контента может представлять собой оператора, платформу для создания видеопрограмм или любого другого подходящего поставщика, как должны принимать во внимание специалисты в данной области техники. В частности, в некоторых случаях, программы могут представлять собой программы 211 в прямом эфире (в реальном времени), такие как спортивные трансляции, телевикторины в прямом эфире и т.д. В некоторых других случаях, программы могут представлять собой программы 212 не в реальном времени, такие как рекламные объявления, фильмы и т.д. Такие программы 212 не в реальном времени могут подготавливаться (создаваться) перед началом программ.
Доступные программы 211 и 212 могут доставляться/передаваться в реальном времени или заранее в модуль 220 составления расписания системы 200. Специалисты в данной области техники должны понимать и принимать во внимание, что модуль 220 составления расписания может реализовываться, например, в качестве автономного приложения, функционального блока контроллера или любым другим подходящим способом. Модуль 220 составления расписания может постоянно размещаться в компьютере или на сервере, который может соединяться (подходящим беспроводным, проводным и т.д. способом) с поставщиком 210 контента. Модуль составления расписания может представлять собой часть системы распространения контента.
Модуль 220 составления расписания может быть выполнен с возможностью составлять расписание мультимедийных программ для последовательной доставки по каналу доставки. Специалисты в данной области техники должны принимать во внимание, что составление расписания мультимедийных программ может выполняться в зависимости от различных обстоятельств и/или требований, к примеру, программ передач, приоритетов программ и т.д. Вообще говоря, процесс составления расписания может содержать составление расписания (выделение) в отношении надлежащих временных ресурсов канала доставки в мультимедийные программы, например, на основе характеристик канала доставки. Мультимедийные программы в соответствии с составленным расписанием затем могут доставляться/передаваться через подходящий интерфейс 221, например, в кодер, модуль пакетирования, модуль сегментации, модуль шифрования и/или формирователь манифестов (эти функции могут отображаться в немного отличающихся порядках и могут комбинироваться в меньшее число этапов обработки). 230, чтобы пакетировать/кодировать мультимедийные программы в последовательном мультимедийном потоке любым подходящим способом. Пакетированные мультимедийные программы (т.е. мультимедийный контент) затем могут доставляться (например, широковещательно передаваться) в устройство 240 воспроизведения конечного пользователя через подходящее сетевое соединение 231, например, IP-соединение. Кодирование/декодирование может означать соответствующую обработку любого мультимедийного контента, такую как кодирование/декодирование аудио и/или видео.
Помимо надлежащего составления расписания и доставки мультимедийных программ, модуль 220 составления расписания также может отвечать за указание чувствительности мультимедийных программ ко времени задержки при воспроизведении в нижележащее устройство(а), к примеру, по меньшей мере, в один модуль 230 пакетирования, через подходящий интерфейс 222. Аналогично, по меньшей мере, один модуль 230 пакетирования, соответственно, может распространять индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении в устройство 240 воспроизведения конечного пользователя надлежащим образом через подходящее сетевое соединение 232.
В частности, в некоторых случаях, модуль 230 пакетирования может быть выполнен с возможностью пакетировать (мультиплексировать) индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении вместе с самими мультимедийными программами в потоке битов. Например, индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении может пакетироваться (инкапсулироваться) посредством модуля 230 пакетирования в метаданных мультимедийной программы. Пример метаданных может представлять собой MPD согласно ISO IEC 23009-1. Помимо этого, изменения метаданных, таких как индикатор чувствительности ко времени задержки при воспроизведении, могут передаваться в служебных сигналах через внутриполосные события. При конфигурировании таким образом, как описано выше, два логических (сетевых) соединения 231 и 232, используемых, соответственно, для доставки мультимедийных программ и индикаторов чувствительности, не обязательно могут разделяться, и в силу этого только одно подходящее соединение может использоваться для доставки как мультимедийных программ, так и индикатора чувствительности в устройство 240 воспроизведения.
В некоторых случаях, модуль 230 пакетирования может быть выполнен с возможностью дополнительно адаптировать режим кодирования для мультимедийных программ в зависимости от соответствующей чувствительности мультимедийной программы ко времени задержки при воспроизведении, например, посредством кодирования мультимедийной программы при уменьшенной длительности сегмента для критического ко времени задержки контента и переключаться обратно на большую длительность сегмента для нечувствительного ко времени задержки контента.
Специалисты в данной области техники должны понимать и принимать во внимание, что устройство 240 воспроизведения типично содержит один или более подходящих компонентов, таких как приемник(и), буфер(ы), процессор, дисплей/монитор, динамики и т.д., которые подробнее описываются ниже. В частности, чтобы надлежащим образом воспроизводить принимаемый мультимедийный контент, устройство 240 воспроизведения типично должно устанавливать свою цепочку воспроизведения (например, приложение, кодек, буфер и т.д.), в частности, для поддержки требуемого времени задержки мультимедийных программ. В частности, в зависимости от различных случаев, настройка может включать в себя уменьшение (или увеличение) число сегментов (или кадров), буферизованных в устройстве воспроизведения, чтобы уменьшать (или увеличивать) время задержки. Кроме того, настройка также может включать в себя, в зависимости от различных случаев (к примеру, используемого транспортного формата), переключение на конкретные режимы воспроизведения (например, с низким временем задержки). Пример режима с низким временем задержки может быть представлением с низким временем задержки, указываемым в ETSI TS 103 285 V1.3.1, на основе общего формата мультимедийных приложений (CMAF), как указано в ISO/IEC 23000-19.
Фиг. 3 схематично иллюстрирует пример устройства 300 для воспроизведения мультимедийного контента согласно варианту осуществления настоящего изобретения. Устройство 300 может соответствовать устройству 240 воспроизведения по фиг. 2. Мультимедийный контент, предоставленный посредством канала доставки, может соответствовать или быть аналогичным мультимедийному контенту 100 по фиг. 1, содержащему последовательные мультимедийные программы, и имеет соответствующий тип контента, ассоциированный с мультимедийной программой.
В частности, устройство 300 может содержать приемник 301 для приема индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении. Чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы. Как проиллюстрировано выше, индикатор чувствительности может подвергаться составлению расписания посредством модуля 220 составления расписания по фиг. 2 и пакетироваться, по меньшей мере, посредством одного модуля 230 пакетирования по фиг. 2, до приема посредством устройства 300. В зависимости от, как индикатор чувствительности пакетируется (кодируется) на стороне модуля пакетирования, приемник 301 также может быть выполнен с возможностью распаковывать (извлекать или декодировать) такой индикатор надлежащим образом. Например, если индикатор чувствительности находится в метаданных (к примеру, MPD согласно ISO IEC 23009-1), приемник 301 может быть выполнен с возможностью извлекать индикатор из таких метаданных. В некоторых примерах, метаданные предоставляются в качестве конфигурационного файла, который считывается посредством приемника 301 при запуске, при переключении на канал доставки, при первоначальном осуществлении доступа к мультимедийному потоку и/или при начале новой мультимедийной программы в канале доставки.
Устройство 300 дополнительно может содержать приемник 302 для приема, по меньшей мере, части мультимедийной программы. Часть мультимедийной программы, в общем, означает определенное число кадров (кинокадров, порций данных и т.д.) мультимедийной программы, например, в зависимости от представления и/или доставки мультимедийной программы.
Специалисты в данной области техники должны принимать во внимание, что приемник 301 для приема индикатора относительно чувствительности мультимедийной программы (т.е. целевого времени задержки) и приемник 302 для приема мультимедийной программы могут реализовываться как один отдельный приемник, допускающий прием и различение обоих вводов (т.е. индикатора чувствительности и мультимедийной программы). Другими словами, приемник 301 для приема индикатора относительно чувствительности мультимедийной программы и приемник 302 для приема мультимедийной программы могут логически разделяться, но не должны обязательно физически разделяться. Оба ввода могут приниматься в одном физическом приемнике. Например, только один физический приемник может служить для приема как индикатора относительно чувствительности мультимедийной программы, так и мультимедийной программы. В таких случаях, устройство 300 может содержать подходящий механизм для разделения различных входных сигналов, которые могут приниматься в идентичном физическом приемнике.
Устройство 300 дополнительно может содержать модуль 310 воспроизведения для воспроизведения мультимедийных программ мультимедийного контента. Модуль 310 воспроизведения, например, может активировать некоторое подходящее приложение (и необязательно подходящий кодек) для воспроизведения мультимедийного контента, как должны принимать во внимание специалисты в данной области техники. В некоторых случаях, модуль воспроизведения устройства может содержать буфер 315 для сохранения и осуществления доступа к принимаемым сегментам мультимедийной программы. С другой стороны, также возможно то, что в некоторых случаях буфер предоставляется, например, посредством операционной системы, и модуль воспроизведения затем может быть выполнен с возможностью осуществлять доступ и использовать этот буфер с использованием любого подходящего способа. Буфер 315 может реализовываться, например, в качестве запоминающего блока (хранения данных) или любым другим подходящим способом, как должны принимать во внимание специалисты в данной области техники.
Устройство 300 может еще дополнительно содержать контроллер 320 для адаптации воспроизведения мультимедийной программы на основе принимаемого индикатора относительно ее чувствительности ко времени задержки при воспроизведении. В некоторых случаях, контроллер 320 может быть выполнен с возможностью адаптировать объем буферизированных программных данных до того, как программные данные воспроизводятся, на основе индикатора чувствительности ко времени задержки при воспроизведении. В частности, изменения на устройстве воспроизведения 300 могут осуществляться асинхронно. Другими словами, воспроизведение (например, в приложении-проигрывателе устройства 300) может переключаться (например, посредством контроллера 320) на меньшее время задержки до или после того, как чувствительная ко времени задержки программа начинается. В любом случае, для воспроизведения требуется либо подгоняться к воспроизведению с меньшим временем задержки от воспроизведения с большим временем задержки, либо увеличивать свое время задержки. Контроллер 320 может содержать алгоритм адаптации воспроизведения, чтобы интерполировать между текущим целевым временем задержки и заново принимаемым целевым временем задержки, чтобы не допускать нежелательного серьезного скачка целевого времени задержки.
В некоторых случаях, устройство 300 может еще дополнительно содержать модификатор 330 мультимедийного контента, выполненный с возможностью адаптировать содержимое принимаемой мультимедийной программы, чтобы вставлять дополнительный мультимедийный контент или удалять мультимедийный контент. В частности, модификатор 330 мультимедийного контента может быть выполнен с возможностью вставлять/добавлять дополнительный контент (например, с точки зрения кадров или сегментов) в текущей мультимедийной программе. Дополнительный контент, например, может представлять собой "тихие" (пустые) сегменты или повторяющиеся сегменты. Например, вставка дополнительного контента(а) может выполняться, если текущая мультимедийная программа обеспечивает возможность большего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа обеспечивает возможность большего времени задержки относительно текущей мультимедийной программы. В некоторых других примерах, модификатор 330 мультимедийного контента может быть выполнен с возможностью пропускать или удалять определенный контент (либо его часть). Например, это может выполняться, если текущая мультимедийная программа требует меньшего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа требует меньшего времени задержки относительно текущей мультимедийной программы. Тем не менее, в некоторых случаях, такие изменения в виде добавления или удаления контента могут быть заметными для зрителя и в силу этого могут считаться менее желательными.
Альтернативно или дополнительно, контроллер 320 (или некоторый другой компонент устройства 300) может быть выполнен с возможностью управлять скоростью воспроизведения таким образом, что она выше или ниже реального времени, чтобы подгонять или увеличивать время задержки. Например, модуль 310 воспроизведения может содержать алгоритм, который может изменять скорость воспроизведения, зачастую в комбинации с коррекцией основного тона для аудио. Типично, изменение скорости воспроизведения должно осуществляться без изменения основного тона аудиосигнала. Вообще говоря, разности в 10%-20% в скорости воспроизведения обычно считаются не заметными/нежелательными для зрителя. Следовательно, переходный период, чтобы проходить от большего времени задержки (например, 25 секунд) к меньшему времени задержки (например, 2секунды), могут требовать ускорения воспроизведения (например, на 10%) в течение приблизительно 230 секунд, почти 4 минут. В таких случаях, это также означает то, что для кратковременных программ (например, рекламных объявлений), менее вероятна необходимость изменять время задержки, поскольку переходные периоды длительнее фактического контента.
Кроме того, чтобы предотвращать события повторной буферизации (например, в случае если проигрыватель должен прерывать воспроизведение вследствие отсутствующих данных для декодирования), в частности, при переключении с небольших и больших сегментов (переключении с низкого на высокое время задержки), устройство 300 должно уведомляться в отношении такого изменения заранее. Например, внутриполосные события, как задано в ISO/IEC 23009-1, могут использоваться для такой передачи служебных сигналов. Как указано выше, идентичные или различные внутриполосные события также могут использоваться для того, чтобы информировать проигрыватель относительно изменений чувствительности ко времени задержки. Например, внутриполосное событие также может использоваться для того, чтобы передавать в служебных сигналах изменение MPD. В случае приема такого внутриполосного события, проигрыватель может осуществлять доступ к MPD снова, чтобы определять изменения программных метаданных, такие как изменение чувствительности ко времени задержки при воспроизведении.
Следует отметить, что на фиг. 3 взаимные соединения между соответствующими модулями/компонентами в устройстве 300 опускаются для краткости. Тем не менее, как должны понимать и принимать во внимание специалисты в данной области техники, устройство 300 может содержать и/или предоставлять такие взаимные соединения для обмена (внутренними) сообщениями между модулями/компонентами в устройстве 300 при необходимости. Также следует отметить, что другие модули/компоненты также могут присутствовать в устройстве 300 для успешной работы устройства 300, хотя они могут не быть показаны на фиг 3. Такие модули/компоненты, например, могут включать в себя, но не только, дисплей/монитор для отображения воспроизводимых программ, один или более динамиков для вывода аудио и т.д.
Фиг. 4 схематично иллюстрирует пример способа 400 для воспроизведения мультимедийного контента согласно варианту осуществления настоящего изобретения. Способ 400 может осуществляться, например, посредством устройства воспроизведения 300 по фиг. 3. Мультимедийный контент может соответствовать или быть аналогичным мультимедийному контенту 100 по фиг. 1, содержащему последовательные мультимедийные программы, и имеет соответствующий тип контента, ассоциированный с мультимедийной программой.
В частности, способ 300 может содержать этап S410 приема индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении. В частности, чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы. Способ 400 дополнительно может содержать этап S420 приема, по меньшей мере, части мультимедийной программы. В завершение, способ 400 также может содержать этап S430 адаптации воспроизведения мультимедийной программы на основе индикатора ее чувствительности ко времени задержки при воспроизведении.
Следует отметить, что признаки оборудования (устройства), описанные выше, соответствуют надлежащим признакам способа, которые, тем не менее, могут не описываться явно для краткости. Считается, что раскрытие сущности настоящего документа распространяется также на такие признаки способа. В частности, следует понимать, что настоящее раскрытие сущности относится ко способам работы устройств, описанных выше, и/или к предоставлению и/или компоновке соответствующих элементов этих устройств.
Также следует отметить, что раскрытые варианты осуществления могут реализовываться множеством способов с использованием аппаратных и/или программных конфигураций. Например, раскрытые варианты осуществления могут реализовываться с использованием специализированных аппаратных средств и/или аппаратных средств в ассоциации с программным обеспечением, выполняемым на них. Компоненты и/или элементы на чертежах представляют собой только примеры и не ограничивают объем использования или функциональность аппаратных средств, программного обеспечения в комбинации с аппаратными средствами, микропрограммного обеспечения, встраиваемого логического компонента либо комбинации двух или более таких компонентов, реализующих конкретные варианты осуществления этого раскрытия сущности.
Дополнительно следует отметить, что описание и чертежи просто иллюстрируют принципы настоящего раскрытия сущности. Специалисты в данной области техники должны иметь возможность реализовывать различные компоновки, которые, хотя не описаны или показаны явно в данном документе, осуществляют принципы изобретения и включаются в его сущность и объем. Кроме того, все примеры и вариант осуществления, приводимые в настоящем раскрытии сущности, преимущественно явно предназначены только для пояснительных целей, с тем чтобы помогать читателю в понимании принципов предложенного способа. Более того, все утверждения в данном документе в отношении принципов, аспектов и вариантов осуществления изобретения, а также их конкретных примеров, имеют намерение охватывать их эквиваленты.
Различные аспекты настоящего изобретения могут приниматься во внимание из следующих перечислимых примерных вариантов осуществления (EEE):
1. Способ для воспроизведения мультимедийного контента через канал доставки, причем мультимедийный контент содержит последовательные мультимедийные программы, имеющие соответствующий тип контента, при этом способ содержит:
- прием индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении, причем чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы;
- прием, по меньшей мере, части мультимедийной программы;
- адаптация воспроизведения мультимедийной программы на основе индикатора ее чувствительности ко времени задержки при воспроизведении.
2. Способ по EEE 1, в котором адаптация воспроизведения мультимедийной программы содержит адаптацию буферизации мультимедийной программы, в частности, адаптацию объема мультимедийных программных данных, которые буферизуются до того, как мультимедийные программные данные воспроизводятся.
3. Способ по EEE 1 или 2, в котором индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении содержит качественный индикатор времени задержки, которое является приемлемым до того, как мультимедийные программные данные воспроизводятся.
4. Способ по любому предыдущему EEE, в котором адаптация воспроизведения мультимедийной программы содержит адаптацию скорости воспроизведения для мультимедийной программы.
5. Способ по любому предыдущему EEE, в котором адаптация воспроизведения мультимедийной программы содержит модификацию контента принимаемой мультимедийной программы, если индикатор чувствительности ко времени задержки при воспроизведении для мультимедийной программы изменяется относительно предыдущей или последующей мультимедийной программы канала доставки.
6. Способ по EEE 5, в котором дополнительный контент вставляется в текущую мультимедийную программу, если текущая мультимедийная программа обеспечивает возможность большего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа обеспечивает возможность большего времени задержки относительно текущей мультимедийной программы.
7. Способ по EEE 5, в котором контент пропускается в текущей мультимедийной программе, если текущая мультимедийная программа требует меньшего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа требует меньшего времени задержки относительно текущей мультимедийной программы.
8. Способ по EEE 6 или 7, в котором мультимедийная программа содержит множество последовательных сегментов, и при этом адаптация воспроизведения мультимедийной программы содержит адаптацию числа буферизированных сегментов до того, как мультимедийные программные данные воспроизводятся, при этом необязательно, по меньшей мере, один сегмент мультимедийной программы пропускается или повторяется.
9. Способ по любому предыдущему EEE, в котором адаптация воспроизведения мультимедийной программы содержит переключение режима воспроизведения для мультимедийной программы в мультимедийном проигрывателе устройства воспроизведения.
10. Способ по любому предыдущему EEE, в котором другой индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении принимается, и воспроизведение мультимедийной программы постепенно адаптируется на основе принимаемых индикаторов.
11. Способ по любому предыдущему EEE, в котором индикатор относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении формируется посредством модуля составления расписания для последовательных мультимедийных программ для доставки по каналу доставки и необязательно добавляется в метаданные мультимедийной программы.
12. Способ по любому предыдущему EEE, дополнительно содержащий адаптацию режима кодирования для мультимедийной программы в зависимости от чувствительности мультимедийной программы ко времени задержки при воспроизведении.
13. Способ по любому предыдущему EEE, в котором индикатор изменения чувствительности мультимедийной программы ко времени задержки при воспроизведении передается в служебных сигналах через внутриполосные события, например, согласно ISO IEC 23009-1.
14. Способ по EEE 13, в котором чувствительность ко времени задержки при воспроизведении для мультимедийной программы передается в служебных сигналах перед началом мультимедийной программы.
15. Способ по EEE 14, в котором адаптация воспроизведения мультимедийной программы является асинхронной по отношению к началу мультимедийной программы и необязательно содержит адаптацию воспроизведения предыдущей мультимедийной программы.
16. Устройство для воспроизведения мультимедийного контента через канал доставки, причем мультимедийный контент содержит последовательные мультимедийные программы, имеющие соответствующий тип контента, причем устройство содержит:
- приемник для приема индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении, причем чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы;
- приемник для приема, по меньшей мере, части мультимедийной программы;
- модуль воспроизведения для воспроизведения мультимедийного контента; и
- контроллер для адаптации воспроизведения мультимедийной программы на основе принимаемого индикатора относительно ее чувствительности ко времени задержки при воспроизведении.
17. Устройство по EEE 16, в котором модуль воспроизведения содержит буфер для принимаемых сегментов мультимедийной программы, и контроллер адаптирует объем буферизированных программных данных до того, как программные данные воспроизводятся, на основе индикатора чувствительности ко времени задержки при воспроизведении.
18. Устройство по EEE 16 или 17, дополнительно содержащее модификатор мультимедийного контента, чтобы адаптировать содержимое принимаемой мультимедийной программы, чтобы вставлять дополнительный мультимедийный контент или удалять мультимедийный контент.
19. Устройство по любому из EEE 16-18, в котором приемник для приема индикатора относительно чувствительности мультимедийной программы ко времени задержки при воспроизведении выполнен с возможностью, по меньшей мере, одного из декодирования метаданных мультимедийной программы и приема внутриполосных событий.
20. Система для доставки мультимедийного контента через канал доставки, причем мультимедийный контент содержит последовательные мультимедийные программы, имеющие соответствующий тип контента, при этом система содержит:
- модуль составления расписания, чтобы составлять расписание мультимедийных программ для последовательной доставки по каналу доставки;
- по меньшей мере, один модуль пакетирования, чтобы пакетировать мультимедийные программы в последовательном мультимедийном потоке, при этом модуль пакетирования выполнен с возможностью добавлять индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении в мультимедийный поток, причем чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы.
21. Система по EEE 20, в которой модуль пакетирования выполнен с возможностью адаптировать режим кодирования для мультимедийной программы в зависимости от чувствительности мультимедийной программы ко времени задержки при воспроизведении.
22. Система по EEE 20 или 21, в которой модуль пакетирования выполнен с возможностью, по меньшей мере, одного из пакетирования индикатора чувствительности мультимедийных программ ко времени задержки при воспроизведении в метаданных мультимедийной программы и передачи в служебных сигналах изменений задержки при воспроизведении через внутриполосные события.
1. Способ (400) для воспроизведения мультимедийного контента через канал доставки, причем мультимедийный контент содержит последовательные мультимедийные программы, имеющие соответствующий тип контента, при этом способ содержит этапы, на которых:
- принимают (S410) индикатор чувствительности мультимедийной программы ко времени задержки при воспроизведении, причем чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы;
- принимают (S420), по меньшей мере, часть мультимедийной программы;
- адаптируют (S430) воспроизведение мультимедийной программы на основе индикатора ко времени задержки при воспроизведении,
- при этом адаптация (S430) воспроизведения мультимедийной программы содержит этап, на котором адаптируют скорость воспроизведения для мультимедийной программы, если индикатор чувствительности ко времени задержки при воспроизведении для мультимедийной программы изменяется относительно предыдущей или последующей мультимедийной программы канала доставки, чтобы адаптировать объем мультимедийных программных данных, которые буферизуются до того, как мультимедийные программные данные воспроизводятся; и
при этом индикатор чувствительности мультимедийной программы ко времени задержки при воспроизведении переносится в метаданных мультимедийной программы и индикатор изменения чувствительности мультимедийной программы ко времени задержки при воспроизведении передается в служебных сигналах через внутриполосные события.
2. Способ (400) по п. 1, в котором индикатор чувствительности мультимедийной программы ко времени задержки при воспроизведении содержит качественный индикатор времени задержки, которое является приемлемым до того, как мультимедийные программные данные воспроизводятся.
3. Способ (400) по любому из предшествующих пунктов, в котором адаптация (S430) воспроизведения мультимедийной программы содержит этап, на котором модифицируют контент принимаемой мультимедийной программы, если индикатор чувствительности ко времени задержки при воспроизведении для мультимедийной программы изменяется относительно предыдущей или последующей мультимедийной программы канала доставки.
4. Способ (400) по п. 3, в котором дополнительный контент вставляется в текущую мультимедийную программу, если текущая мультимедийная программа обеспечивает возможность большего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа обеспечивает возможность большего времени задержки относительно текущей мультимедийной программы, или
- при этом контент пропускается в текущей мультимедийной программе, если текущая мультимедийная программа требует меньшего времени задержки относительно предыдущей мультимедийной программы, или последующая мультимедийная программа требует меньшего времени задержки относительно текущей мультимедийной программы.
5. Способ (400) по п. 4, в котором мультимедийная программа содержит множество последовательных сегментов, и при этом адаптация воспроизведения мультимедийной программы содержит этап, на котором адаптируют число буферизированных сегментов до того, как мультимедийные программные данные воспроизводятся.
6. Способ (400) по п. 5, в котором по меньшей мере, один сегмент мультимедийной программы пропускается или повторяется.
7. Способ (400) по любому из предшествующих пунктов, в котором адаптация (S430) воспроизведения мультимедийной программы содержит этап, на котором переключают режим воспроизведения для мультимедийной программы в мультимедийном проигрывателе устройства воспроизведения.
8. Способ (400) по любому из предшествующих пунктов, в котором индикатор чувствительности мультимедийной программы ко времени задержки при воспроизведении формируется посредством модуля составления расписания для последовательных мультимедийных программ для доставки по каналу доставки.
9. Способ (400) по любому из предшествующих пунктов, в котором чувствительность ко времени задержки при воспроизведении для мультимедийной программы передается в служебных сигналах перед началом мультимедийной программы.
10. Способ (400) по п. 9, в котором адаптация (S430) воспроизведения мультимедийной программы является асинхронной по отношению к началу мультимедийной программы.
11. Способ (400) по п. 10, в котором адаптация (S430) воспроизведения мультимедийной программы содержит адаптацию воспроизведения предыдущей мультимедийной программы.
12. Устройство (300) для воспроизведения мультимедийного контента через канал доставки, причем мультимедийный контент содержит последовательные мультимедийные программы, имеющие соответствующий тип контента, причем устройство содержит:
- приемник (301) для приема индикатора чувствительности мультимедийной программы ко времени задержки при воспроизведении, причем чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы;
- приемник (302) для приема, по меньшей мере, части мультимедийной программы;
- модуль (310) воспроизведения для воспроизведения мультимедийного контента; и
- контроллер (320) для адаптации воспроизведения мультимедийной программы на основе принимаемого индикатора чувствительности ко времени задержки при воспроизведении,
- при этом модуль (310) воспроизведения содержит буфер (315) для принимаемых сегментов мультимедийной программы, и контроллер адаптирует объем буферизированных программных данных до того, как программные данные воспроизводятся, посредством адаптации скорости воспроизведения для мультимедийной программы, если индикатор чувствительности ко времени задержки при воспроизведении для мультимедийной программы изменяется относительно предыдущей или последующей мультимедийной программы канала доставки, которая должна адаптироваться; и
при этом приемник (301) для приема индикатора чувствительности мультимедийной программы ко времени задержки при воспроизведении выполнен с возможностью декодирования метаданных мультимедийной программы и приема внутриполосных событий.
13. Устройство (300) по п. 12, дополнительно содержащее модификатор (330) мультимедийного контента, чтобы адаптировать содержимое принимаемой мультимедийной программы, чтобы вставлять дополнительный мультимедийный контент или удалять мультимедийный контент.
14. Система (200) для доставки мультимедийного контента через канал доставки, причем мультимедийный контент содержит последовательные мультимедийные программы, имеющие соответствующий тип контента, при этом система (200) содержит:
- модуль (220) составления расписания, чтобы составлять расписание мультимедийных программ для последовательной доставки по каналу доставки;
- по меньшей мере, один модуль (230) пакетирования, чтобы пакетировать мультимедийные программы в последовательном мультимедийном потоке, при этом модуль (230) пакетирования выполнен с возможностью добавлять индикатор чувствительности мультимедийных программ ко времени задержки при воспроизведении в мультимедийный поток, причем чувствительность мультимедийной программы ко времени задержки при воспроизведении ассоциирована с типом контента мультимедийной программы,
при этом модуль (230) пакетирования выполнен с возможностью пакетирования индикатора чувствительности мультимедийных программ ко времени задержки при воспроизведении в метаданных мультимедийной программы и передачи в служебных сигналах изменений задержки при воспроизведении через внутриполосные события.
15. Система (200) по п. 14, дополнительно содержащая адаптацию режима кодирования для мультимедийной программы в зависимости от чувствительности мультимедийной программы ко времени задержки при воспроизведении.
