Приемное устройство и способ синхронизационной обработки изображений в этом устройстве
Изобретение относится к приемному устройству, способному принимать одно из нескольких изображений, которые нужно синхронизировать и воспроизвести, в составе вещательного сигнала. Техническим результатом является, когда два потока изображений, которые передают по отдельности через систему вещания и через Интернет, обеспечение эффективной синхронизации и воспроизведения этих двух потоков изображений. Предложено приемное устройство, содержащее: вещательный приемник, способный принимать одно из нескольких изображений в виде вещательного потока через систему вещания, к этим нескольким изображениям добавлена метка опорного времени, указанные несколько изображений подлежат синхронизации и воспроизведению; приемник связи, способный принимать другое из указанных нескольких изображений в виде потока связи через сеть связи; генератор критериального времени, cконфигурированный для генерации критериального времени на основе метки опорного времени из состава вещательного потока, это критериальное время используют для генерации синхросигнала для представления указанных нескольких изображений; и модуль регулирования, cконфигурированный для подстройки критериального времени на основе величины задержки метки опорного времени из состава потока связи относительно критериального времени. 2 н. и 12 з.п. ф-лы, 4 ил.
Область техники, к которой относится изобретение
Настоящее изобретение относится к: приемному устройству, способному принимать одно из нескольких изображений, которые нужно синхронизировать и воспроизвести, в составе вещательного сигнала, принимать другие изображения по сети связи и затем синхронизировать и воспроизводить эти изображения; и к способу синхронизационной обработки этих изображений.
Уровень техники
В свете все возрастающей в последние годы потребности в более широких частотных диапазонах для систем связи, таких как мобильные телефоны, не приходится ожидать выделения более широкого частотного диапазона для систем вещания. В то же время для передачи контента (например, программ 3D, изображения с высоким разрешением и т.п.) необходим более широкий частотный диапазон, вследствие чего частот для вещания будет недостаточно. В свете этого сегодня рассматривается возможность разработки сервиса, который использовал бы и систему вещания, и Интернет интегрированным образом и позволил бы передавать программы, требующие более широкого частотного диапазона, такие как программы 3D или изображения с высоким разрешением.
Например, Патентный документ 1 описывает технологию, содержащую: передачу основных вещательных аудиоданных с использованием вещательного радиосигнала, передачу данных изображения с нескольких точек зрения и аудиоданных для нескольких точек прослушивания через сеть связи; и прием и представление посредством приемного устройства основных вещательных аудиоданных, данных изображения с нескольких точек зрения и аудиоданных с нескольких точек прослушивания.
Патентный документ 1: выложенная Заявка на выдачу патента Японии № 2005-159592
Сущность изобретения
Проблема, которую должно решить изобретение
Когда два потока изображений, которые нужно синхронизировать и воспроизвести, передают по отдельности через систему вещания и через Интернет, если моменты приема одного потока изображений отличаются от моментов приема другого потока изображений вследствие различия характеристик технологий передачи, т.е. особенно если поток, передаваемый через Интернет, приходит после вещательного потока, а буфер на стороне вещательного приемника не в состоянии «поглотить» (компенсировать) величину задержки, может быть затруднительно синхронизировать и воспроизвести эти потоки изображений.
С учетом указанных выше обстоятельств целью предлагаемой технологии является создание: приемного устройства, способного, когда два потока изображений, которые нужно синхронизировать и воспроизвести, передают по отдельности через систему вещания и через Интернет, с успехом синхронизировать и воспроизвести эти два потока изображений; и способа синхронизационной обработки этих изображений.
Способы решения проблемы
Для решения описанных выше проблем согласно предлагаемой технологии приемное устройство содержит: вещательный приемник, способный принимать одно из нескольких изображений в качестве вещательного потока через систему вещания, так что к этим нескольким изображениям добавлена метка опорного времени, и эти несколько изображений нужно синхронизировать и воспроизвести; приемник связи, способный принимать другие из указанных нескольких изображений в качестве потока связи через сеть связи; генератор критериального времени на основе метки опорного времени из состава вещательного потока, так что это критериальное время используется при генерации синхросигнала для представления указанных нескольких изображений; и модуль регулирования, конфигурированный для регулирования величины критериального времени на основе величины задержки метки опорного времени из состава потока связи относительно критериального времени.
В приемном устройстве модуль регулирования конфигурирован для регулирования критериального времени на основе величины задержки метки опорного времени из состава потока связи относительно критериального времени, причем указанное критериальное время генерируют на основе метки опорного времени из состава вещательного потока. В результате становится возможным синхронизировать и воспроизводить потоки, даже если поток связи принят после вещательного потока.
Модуль регулирования может быть конфигурирован для регулирования критериального времени на основе величины задержки метки опорного времени из состава потока связи, принятой посредством приемника связи в первый момент.
К каждому заданному блоку вещательного потока может быть добавлена информация о времени презентации, и также информацию о времени презентации добавляют к каждому заданному блоку потока связи, а приемное устройство может дополнительно содержать декодер принятого вещательного изображения, конфигурированный для декодирования вещательного потока, принятого вещательным приемником, так что одно изображение должно быть представлено на экране в момент, когда информация о времени презентации, добавленная к вещательному потоку, совпадает с указанным критериальным временем, декодер принятого изображения связи, конфигурированный для декодирования потока связи, принимаемого посредством приемника связи, так что другое изображение должно быть представлено на экране в момент, когда информация о времени презентации, добавленная к потоку связи, совпадает с указанным критериальным временем, и модуль слияния изображений, конфигурированный для осуществления слияния нескольких изображений, декодированных посредством декодера принятого вещательного изображения и декодера принятого изображения связи.
Модуль регулирования может быть конфигурирован для осуществления регулирования критериального времени на основе величины, полученной путем добавления заданного запаса к средней величине задержки меток опорного времени в составе потока связи, принятого посредством приемника связи в течение некоторого периода времени.
Информация о времени презентации может быть добавлена к каждому заданному блоку вещательного потока и потока связи, а приемное устройство может дополнительно содержать декодер принятого вещательного изображения, конфигурированный для декодирования вещательного потока, принимаемого посредством вещательного приемника, так что одно изображение должно быть представлено на экране в момент, когда информация о времени презентации, добавленная к вещательному потоку, совпадает с критериальным временем, декодер принятого изображения связи, конфигурированный для декодирования потока связи, принимаемого посредством приемника связи, и модуль слияния изображений, конфигурированный для слияния нескольких изображений, декодированных посредством декодера принятого вещательного изображения и декодера принятого изображения связи.
Предполагается, что в приемном устройстве информацию о времени презентации добавляют к каждому заданному блоку вещательного потока и не добавляют такую информацию о времени презентации к потоку связи. В соответствии с этим предположением модуль регулирования может быть конфигурирован для регулирования критериального времени на основе величины, полученной путем добавления заданного запаса к средней величине задержки меток опорного времени в составе потока связи, принятого посредством приемника связи за некоторый период времени. Другими словами, приемное устройство осуществляет прием и декодирование потока связи снова и снова, не имея информации о времени презентации, и воспроизводит этот поток связи. По этой причине здесь вместо полученной локальной величины задержки для регулирования критериального времени используется средняя величина задержки, полученная за некоторый период времени. Более того, поскольку задержка потока связи относительно вещательного потока является фатальной для синхронизации и воспроизведения, достаточно эффективно становится регулировать критериальное время на основе величины, полученной путем добавления запаса к средней величине.
Согласно другому аспекту предлагаемой технологии способ синхронизационной обработки отличается тем, что этот способ содержит: прием одного из нескольких изображений в виде вещательного потока из системы вещания, так что к этим нескольким изображениям может быть добавлена метка опорного времени, эти несколько изображений синхронизируют и воспроизводят; прием других изображений из этих нескольких изображений в виде потока связи через сеть связи; генерацию, посредством генератора критериального времени, соответствующего критериального времени на основе метки опорного времени из вещательного потока, указанное критериальное время используется для генерации синхросигнала для представления указанных нескольких изображений; и подстройку, посредством модуля регулирования, указанного критериального времени на основе величины метки опорного времени из состава потока связи относительно критериального времени.
Преимущества изобретения
Как описано выше, согласно предлагаемой технологии можно, когда два потока изображений, которые должны быть синхронизированы и воспроизведены, передают по отдельности посредством вещания и через Интернет, успешно синхронизировать и воспроизводить эти два потока изображений.
Краткое описание чертежей
Фиг. 1 Схема, показывающая конфигурацию системы для синхронизации и передачи вещательного потока и потока связи.
Фиг. 2 Временная диаграмма, иллюстрирующая операцию, в ходе которой приемное устройство согласно первому варианту предлагаемой технологии подстраивает генератор системного тактового сигнала (STC) и тем самым синхронизирует вещательный поток и поток связи.
Фиг. 3 Блок-схема, показывающая конфигурацию приемного устройства согласно первому варианту.
Фиг. 4 Временная диаграмма, иллюстрирующая сначала выбор вещательного канала, затем процедуру синхронизации вещательного потока и потока связи и, наконец, окончание синхронизационной обработки.
Способы реализации изобретения
Далее будут рассмотрены варианты предлагаемой технологии.
<Первый вариант>
Настоящее изобретение относится к: приемному устройству, конфигурированному для приема потока (далее именуемого «вещательный поток»), содержащего изображения, передаваемые в системе вещания, и потока (далее именуемого «поток связи»), содержащего изображения, передаваемые через Интернет, и для синхронизации и воспроизведения этих потоков; и к способу синхронизационной обработки в этом приемнике.
К примерам такой системы для синхронизации и передачи вещательного потока и потока связи относятся следующие.
1. 3D-программа
Фиг. 1 представляет схему, показывающую конфигурацию системы для передачи 3D-программа.
Изображение с одной из точек зрения из совокупности изображений с нескольких точек зрения, составляющих 3D-программу, передают через систему вещания, а изображение с другой точки зрения передают по сети связи. Приемник получает эти два изображения, переданные через систему вещания и по сети связи соответственно, синхронизирует, воспроизводит и объединяет их (осуществляет слияние) для представления 3D-изображения.
2. Многовидовая программа
Несколько видеокамер снимают изображения одного и того же объекта одновременно, полученное изображение одного из видов, т.е. главного вида, передают через систему вещания, а другие изображения одного или нескольких видов, т.е. дополнительных видов, передают по сети связи. Приемник получает эти изображения нескольких видов и представляет на дисплее изображение главного вида в главном окне и то же самое время представляет на дисплее изображения дополнительных видов в дополнительных окнах. В качестве альтернативы приемник поочередно выбирает главное изображение или изображение одного из дополнительных видов в качестве изображения, представляемого на дисплее в главном окне.
3. Программа с высоким разрешением
Например, изображение, снимаемое видеокамерой с высоким разрешением 4К (число пикселей: 3840×2160), разделено на четыре части, вследствие чего получают изображения четырех блоков, каждое из которых имеет размер высокой четкости HD (число пикселей: 1920×1080). Некоторые из них передают через систему вещания, а другие передают по сети связи. Приемник получает эти изображения четырех блоков, каждое из которых имеет размер HD, синхронизирует, воспроизводит и объединяет их для представления изображения с высоким разрешением, имеющего размер 4К. В качестве альтернативы, изображение, снимаемое видеокамерой с высоким разрешением, разлагают на частотные составляющие посредством вейвлетного преобразования или аналогичного преобразования и передают изображение, имеющее размер HD и содержащее составляющие с низким разрешением, через систему вещания, а остальные изображения, содержащие высокочастотные составляющие, передают по сети связи. Приемник осуществляет частотную синхронизацию принятых им четырех изображений, каждое из которых имеет размер HD, посредством обратного вейвлетного преобразования или аналогичного преобразования и затем реконструирует и представляет одно изображение с высоким разрешением.
4. Служба дублирования
В службе дублирования изображение и сопровождающую его речь на японском языке передают через систему вещания, а речь, дублированную на нескольких языках, для этого изображения передают по сети связи. Приемник получает изображение и речь на японском языке через систему вещания и в то же самое время получает речь, дублированную на нескольких языках, по сети связи, синхронизирует, воспроизводит и представляет вещательное изображение и дублированную речь по запросу пользователя.
На Фиг. 1 представлена схема, показывающая конфигурацию описанной выше системы для синхронизации и передачи вещательного потока и потока связи.
Здесь к примерам программного материала относятся 3D-программа, многовидовая программа, программа с высоким разрешением, дублированная программа и т.п. Оборудование 100 для вещания/связи через сеть разбивает программный материал на сигнал для вещания и сигнал для связи. Каждое кодирующее устройство осуществляет кодирование сигнала для вещания или сигнала для передачи через сеть (сигнала для связи) и превращает его в транспортный поток MPEG2_TS или в аналогичный поток. Один поток передают через систему вещания, а другой поток распространяют от сервера доставки через Интернет. В процессе кодирования в каждый пакет видео потока TS вставляют метку времени PCR (опорное время программы (Program Clock Reference)), т.е. периодическую метку опорного времени для программы. В качестве альтернативы пакеты PCR, каждый из которых содержит метку PCR, добавляют периодически.
Обычно приемное устройство 200 принимает вещательный поток и поток связи для одной программы. Обычно приемное устройство 200 выделяет метки PCR из принимаемого вещательного потока и метки PCR из потока связи и задает или калибрует тактовый сигнал STC (System Time Clock), т.е. критериальное время приемного устройства 200 на основе этих меток PCR. На основе тактового сигнала STC и меток времени презентации PTS (Presentation Time Stamps), т.е. информации о времени презентации, содержащейся в пакетах потока TS изображения, генерируют синхросигнал презентации изображения.
В этот момент, вследствие изменений трафика в сети связи приемное устройство 200 может принимать поток связи после вещательного потока, который нужно синхронизировать с потоком связи и воспроизвести. Если поток связи приходит после вещательного потока, необходимо сохранить принятый вещательный поток в буфере и тем самым задержать воспроизведение вещательного потока. Однако обычно заранее предполагают, что приемное устройство 200 однозначно определяет синхросигнал презентации потока изображения в соответствии с тактовым сигналом STC, генерируемым на основе меток PCR времени и на основе меток времени PTS, т.е. на основе информации управления временем воспроизведения, содержащейся в пакетах потока TS изображения. Вследствие этого, на самом деле трудно синхронизировать и воспроизводить вещательный поток и поток связи только посредством записи принимаемого вещательного потока в буфере.
В свете этого в рассматриваемом варианте используется схема, в которой время согласно тактовому сигналу STC приемного устройства больше метки PCR, вставленной в первый пакет потока TS изображения в составе принимаемого потока связи, разницу вычитают из величины времени согласно STC для подстройки.
На Фиг. 2 представлена временная диаграмма, показывающая операцию, в ходе которой приемное устройство 300 согласно первому варианту предлагаемой технологии подстраивает время согласно сигналу STC и тем самым синхронизирует вещательный поток и поток связи.
1. Приемное устройство 300 сравнивает величину метки PCR, полученной из первого пакета потока TS изображения из состава принимаемого потока связи после того, как произошла генерация команды синхронизации и воспроизведения вещательного потока и потока связи, т.е. величину метки PCR0, с текущей величиной времени согласно сигналу STC приемного устройства 300, т.е. с величиной времени STC0, и определяет, удовлетворяется ли условие STC0>PCR0.
2. Если указанное выше условие удовлетворяется, приемное устройство 300 вычисляет сдвиг А величины STC0 относительно величины PCR0 по следующей формуле.
3. Приемное устройство 300 подстраивает время согласно сигналу STC на основе следующей формулы с использованием сдвига Δ.
4. Приемное устройство 300 справляется с метками PTS времени в пакетах потока TS изображения в составе вещательного потока, метками PTS времени в пакетах потока TS изображения в составе потока связи и временем STC' согласно системному тактовому сигналу (далее - временем STC) и управляет синхросигналом презентации изображений из этих потоков. В частности, каждым из потоков - вещательным потоком и потоком связи, управляют таким образом, что изображение представляют, когда метка PTS в составе пакета TS изображения совпадает с временем STC'.
В соответствии с указанной выше процедурой можно синхронизировать и воспроизводить вещательный поток и поток связи.
[Конфигурация приемного устройства]
Фиг. 3 представляет блок-схему, показывающую конфигурацию приемного устройства 300 согласно рассматриваемому варианту.
Приемное устройство 300 содержит тюнер 301 (вещательный приемник), демультиплексор DeMUX 302 в составе вещательного приемника, буфер 303 изображения в составе вещательного приемника, декодер 304 принятого вещательного изображения (первый декодер изображения), генератор 305 системного тактового сигнала STC (генератор критериального времени), сетевой интерфейс 307 (приемник связи), браузер HTML 308, плеер VOD 309 (видео по требованию), потоковый буфер 310 в составе приемника связи, демультиплексор DeMUX 311 в составе приемника связи, буфер 312 изображения в составе приемника связи, модуль 313 регулирования системного тактового сигнала STC (модуль регулирования), декодер 314 принятого изображения связи и модуль 513 слияния изображений.
Тюнер 301 принимает вещательный поток (первый поток изображения) для канала, выбранного пользователем, генерирует транспортный поток (TS) и передает этот транспортный поток демультиплексору DeMUX 302 вещательного приемника.
Демультиплексор DeMUX 302 вещательного приемника осуществляет демультиплексирование транспортного потока, выделяет из него пакеты TS изображения, передает эти пакеты TS изображения в буфер 303 изображения в составе вещательного приемника в качестве потока изображения, выделяет метки PCR времени из пакетов потока TS изображения и передает эти метки PCR генератору 305 системного тактового сигнала STC.
Буфер 303 изображения в составе вещательного приемника осуществляет буферизацию потока изображения, который должен быть передан в декодер 304 принятого вещательного изображения.
Декодер 304 принятого вещательного изображения осуществляет декодирование потока изображения, считываемого из буфера 303 изображения в составе вещательного приемника, и передает сигнал изображения, переданного через систему вещания, в модуль 315 слияния изображений.
Генератор 305 системного тактового сигнала STC формирует тактовый сигнал STC с частотой 27 МГц с привязкой к меткам PCR, выделенным из вещательного потока, и передает этот сигнал STC в декодер 304 принятого вещательного изображения, декодер 314 принятого изображения связи и другие подобные модули.
Прикладное программное обеспечение для приема вещания, исполняемое HTML-браузером 308 (язык гипертекстовой разметки (HyperText Markup Language)) передает команду получить поток связи плееру VOD 309 (видео по требованию), вследствие чего этот плеер VOD 309 передает запрос. Сетевой интерфейс 307 передает этот запрос серверу доставки в составе оборудования 100 для вещания/связи через Интернет и принимает в ответ поток связи, который должен быть синхронизирован с вещательным потоком и воспроизведен, от сервера доставки.
Потоковый буфер 310 в составе приемника связи осуществляет буферизацию принятого потока связи. Здесь пакеты потока TS изображения, т.е. принятого потока связи, являются пакетами TTS (Timestamped TS (потока TS с метками времени)), содержащими метки PTS, потоковый буфер 310 в составе приемника связи непрерывно принимает сохраняемый поток связи для получения настолько большого числа пакетов потока TS с первоначальной частотой, насколько это возможно, с использованием меток PTS и передает поток связи в демультиплексор DeMUX 311 в составе приемника связи.
Демультиплексор DeMUX 311 в составе приемника связи выделяет пакеты потока TS изображения из потока связи, вызванного из потокового буфера 310, и передает эти пакеты TS изображения в буфер 312 изображения в составе приемника связи, выделяет метку PCR из самого первого пакета потока TS из состава принятого потока изображения и передает эту метку PCR в модуль 313 регулирования тактового сигнала STC.
Буфер 312 изображения в составе приемника связи осуществляет буферизацию потока изображения, который должен быть передан в декодер 314 принятого изображения связи.
Декодер 314 принятого изображения связи осуществляет декодирование потока изображения, воспроизводимого из буфера 312 изображения из состава приемника связи, и передает сигнал изображения, относящийся к потоку связи, в модуль 315 слияния изображений.
Модуль 315 слияния изображений объединяет (осуществляет слияние) сигнал изображения, относящийся к вещательному потоку, и сигнал изображения, относящийся к потоку связи, генерирует сигнал изображения для представления на экране дисплея и передает этот сигнал изображения дисплею, который не показан. Здесь сигналы изображения объединяют на основе способа, соответствующего способу разделения программного материала (3D-программа, многовидовая программа, программа с высоким разрешением, программа службы дублирования и т.п.) на вещательный материал и материал связи.
Модуль 313 регулирования тактового сигнала STC сравнивает системное время согласно сигналу STC от генератора 305 тактового сигнала STC с меткой PCR времени, поступающей от демультиплексора DeMUX 311 из состава приемника связи, генерирует данные для подстройки сигнала STC (сдвиг Δ) и передает эти данные для подстройки сигнала STC (сдвиг Δ) генератору 305 тактового сигнала STC.
Генератор 305 тактового сигнала STC подстраивает системный тактовый сигнал STC на основе данных для подстройки (сдвига Δ) от модуля 313 регулирования сигнала STC.
Главный контроллер 316 содержит CPU (центральный процессор (Central Processing Unit)), постоянное запоминающее устройство ПЗУ ROM (Read Only Memory), запоминающее устройство с произвольной выборкой ЗУПВ RAM (Random Access Memory) и другие подобные узлы. ПЗУ ROM постоянно хранит программы, выполняемые процессором CPU, и данные. Программы, хранящиеся в ПЗУ ROM, загружают в ЗУПВ RAM, и процессор CPU выполняет загруженные программы.
В соответствии с программами, загруженными в ЗУПВ RAM, главный контроллер 316 может работать, например, в качестве генератора 305 тактового сигнала STC, HTML-браузера 308, VOD-плеера 309 и модуля 313 регулирования тактового сигнала STC. Отметим, что генератор 305 тактового сигнала STC и модуль 313 регулирования тактового сигнала STC могут быть не программными, а аппаратными. Главный контроллер 316 способен принимать команды разного рода и данные, вводимые пользователем, с использованием непоказанного пульта дистанционного управления, например.
[Синхронизационная обработка вещательного потока и потока связи]
Далее будут рассмотрены операции от выбора вещательного канала и до синхронизированного воспроизведения вещательного потока и потока связи, выполняемые приемной аппаратурой 300.
Сначала пользователь приемной аппаратуры 300 выбирает вещательный канал с использованием непоказанного пульта дистанционного управления или аналогичного устройства. Главный контроллер 316 обрабатывает информацию о выбранном канале, введенную пользователем и принятую системой дистанционного управления или аналогичным устройством. Главный контроллер 316 управляет тюнером 301 на основе введенной пользователем информации о выборе канала.
Тюнер 301 передает вещательный поток принимаемого канала демультиплексору DeMUX 302 в составе вещательного приемника. Этот демультиплексор DeMUX 302 выделяет пакеты потока TS изображения, пакеты аудио потока TS и пакеты других потоков TS, таких как SI (Сервисная информация: информация о сетке программ) из вещательного потока. Демультиплексор DeMUX 302 в составе вещательного приемника передает выделенные пакеты потока TS изображения, т.е. поток изображения, в буфер 303 изображения в составе вещательного приемника. Этот буфер 303 изображения в составе вещательного приемника временно сохраняет поток изображения.
Более того, демультиплексор DeMUX 302 в составе вещательного приемника постоянно выделяет метки PCR и пакетов потока TS изображения и передает эти метки PCR в генератор 305 системного тактового сигнала STC. Генератор 305 сигнала STC формирует сигнал STC (системный тактовый сигнал (System Time Clock)) с частотой 27 МГц с привязкой к меткам PCR.
Декодер 304 принятого вещательного изображения декодирует поток изображения, считываемый из буфера 303 изображения в составе вещательного приемника, и передает сигнал изображения в модуль 315 слияния изображений. В это время декодер 304 принятого вещательного изображения управляет синхросигналом декодирования и передачи на выход потока изображения таким образом, чтобы изображение было представлено на дисплее в моменты, когда метки PTS (опорное время программы (Program Clock Reference)) пакетов потока TS изображения совпадает с временем согласно сигналу STC от генератора 305 системного тактового сигнала STC.
Сигнал вещательного изображения с выхода декодера 304 принятого вещательного изображения в модуль 315 слияния изображений.
В качестве примера этой операции, предполагается, что после выбора канала приемное устройство 300 получает прикладное программное обеспечение (прикладное программное обеспечение для приема вещания), относящееся к этому каналу или программе, через систему вещания или по сети связи и исполняет полученное прикладное программное обеспечение. При исполнении прикладного программного обеспечения для приема вещания приемное устройство 300: позволяет пользователю просматривать, например, 3D-программу, многовидовую программу, дублированную программу или другую программу, в составе которой синхронизируются и воспроизводятся вещательный поток и поток связи; получает команды, относящиеся к просмотру программы, от пользователя; и управляет плеером 309 видео по запросу (VOD) с целью передачи команды для получения потока связи.
Отметим, что прикладное программное обеспечение для приема вещания содержит, например, документы HTML (язык гипертекстовой разметки (Hyper Text Markup Language)), документы BML (язык вещательной разметки (Broadcast Markup Language)), документы MHEG (кодирование информации мультимедиа и гипермедиа (Multimedia and Hypermedia information coding)), скрипты Java (зарегистрированная торговая марка), файлы неподвижных изображений, файлы движущихся изображений и другие подобные документы и файлы.
Если плеер 309 VOD принимает команду для приема потока связи, этот плеер 309 VOD инициирует передачу сетевым интерфейсом 307 серверу доставки через Интернет запроса передать поток связи (поток связи для синхронизации с вещательным потоком и воспроизведения), относящийся к выбранному каналу или программе, и направляет команду подстроить тактовый сигнал STC в модуль 313 регулирования сигнала STC. Этот модуль 313 регулирования сигнала STC принимает команду подстроить сигнал STC и затем ожидает получения метки PCR от демультиплексора DeMUX 311 приемника связи.
В то же время потоковый буфер 310 в составе приемника связи сохраняет поток связи, передаваемый от сервера доставки через сетевой интерфейс 307, в ответ на этот запрос. Здесь потоковый буфер 310 в составе приемника связи сохраняет первый пакет потока TS изображения из состава потока связи, считывает этот первый пакет потока TS изображения сразу же после этого и передает указанный первый пакет потока TS изображения демультиплексору DeMUX 311 в составе приемника связи.
Отметим, что потоковый буфер 310 в составе приемника связи сохраняет поток связи в пакетном режиме. Если пакеты потока TS изображения, передаваемые от сервера доставки, представляют собой пакеты TTS, содержащие метки PTS, потоковый буфер 310 непрерывно вызывает сохраненный поток связи для получения такого большого числа пакетов потока TS, как только возможно, с исходной скоростью с использованием этих меток PTS и передает этот поток связи в демультиплексор DeMUX 311 в составе приемника связи.
Демультиплексор DeMUX 311 в составе приемника связи выделяет пакеты потока TS изображения из потока связи, считываемого из потокового буфера 310, передает эти пакеты потока TS изображения в буфер 312 изображения в составе приемника связи, выделяет метку PCR из полученного в первый момент пакета потока TS изображения и передает эту метку PCR в модуль 313 регулирования сигнала STC.
Здесь величина метки PCR, выделенной из пакета потока TS изображения, полученного в первый момент, будет обозначена PCR0. Модуль 313 регулирования сигнала STC получает эту метку PCR0, сравнивает эту метку с величиной системного времени (STC0), соответствующей сигналу STC, поступающему от генератора 305 тактового сигнала STC, и определяет, удовлетворяется ли условие STC0>PCR0. Если условие STC0>PCR0 удовлетворяется, это означает, что поток связи принимается после вещательного потока и этот поток связи следует синхронизировать с вещательным потоком и воспроизвести.
Если условие STC0>PCR0 удовлетворяется, модуль 313 регулирования сигнала STC вычисляет величину сдвига Δ между STC0 и PCR0 по следующей формуле.
Эту величину сдвига Δ направляют в генератор 305 сигнала STC.
Генератор 305 сигнала STC получает величину сдвига Δ и затем подстраивает сигнал STC по следующей формуле.
Как описано выше, подстраивают сигнал STC и задают величину STC', смещенную на величину задержки потока связи относительно вещательного потока. После этого каждый из декодеров - декодер 304 принятого вещательного изображения и декодер 314 принятого изображения связи управляет синхронизацией презентации каждого потока изображения на основе величины STC'. В результате вещательный поток и поток связи оказываются синхронизированы и воспроизведены.
Поскольку синхронизированные сигнал вещательного изображения и сигнал изображения связи поступают в модуль 315 слияния изображений, исходная программа, такая как 3D-программа, многовидовая программа, программа с высоким разрешением или дублированная программа оказывается реконструирована точно.
Отметим, что если удовлетворяется условие STC0>PCR0, подстраивают сигнал STC. Напротив, если удовлетворяется условие STC0<PCR0 или условие STC0=PCR0, подстраивать сигнал STC нет необходимости.
Более того, корректируют сигнал STC', возвращая его к исходному сигналу STC, одновременно с окончанием вещательной программы, декодируемой на основе сигнала STC.
На Фиг. 4 показана временная диаграмма, иллюстрирующая сначала выбор вещательного канала, затем процедуру синхронизации вещательного потока и потока связи и, наконец, окончание синхронизационной обработки, как это было описано выше.
Приемное устройство 300 обновляет тактовый сигнал STC с использованием сигнала STC. В результате момент времени Т1 для начала декодирования потока изображения оказывается задержан, и задают новый момент времени Т1'. На дисплее между моментами времени Т1 и Т1' показывают «замороженное» изображение. Затем, декодирование потока вещательного изображения и потока изображения связи возобновляется в момент времени Т1'. После этого, декодирование осуществляется с использованием сигнала STC в качестве опоры до окончания программы. Когда программа завершена, снова используют сигнал STC вместо сигнала STC', выбирают блок доступа, метка PTS которого совпала с сигналом STC, и осуществляют декодирование.
<Второй вариант>
В рассмотренном выше первом варианте предполагается, что пакеты потока TS изображения в составе потока связи представляют собой пакеты с метками времени (TTS). В качестве альтернативы пакеты потока TS изображения могут представлять собой пакеты потока TS, не содержащие меток PTS времени.
В этом случае, вся цепочка от потокового буфера 310 до декодера 314 изображения повторяет операции от приема потока связи до его декодирования включительно снова и снова независимо от сигнала STC. Вследствие этого, иногда правильная синхронизация вещательного потока и потока связи только путем подстройки тактового сигнала STC на основе разности между меткой PCR0, выделенной из пакета потока TS изображения, принятого в первый момент, и величиной STC0 может быть невозможной.
В свете указанного выше предположения необходимо получать величину сдвига Δ как среднюю величину задержки потока связи относительно вещательного потока.
Например, вычисляют разности между моментами времени, соответствующими сигналу STC, и метками PCR в течение некоторого периода времени от момента начала приема потока связи и определяют среднюю величину разностей по следующей формуле.
[Математическое выражение 1]
Если величина А положительна, к этой величине А добавляют запас m, получая величину сдвига Δ.
Генератор 305 тактового сигнала STC вычитает величину сдвига Δ из сигнала STC и передает результат, т.е. подстроенный сигнал STC', в декодер 304 принятого вещательного изображения и другие подобные модули. Затем этот декодер 304 принятого вещательного изображения управляет синхросигналом презентации потока изображения на основе этого сигнала STC'.
Пакеты потока TS, не содержащие меток PTS первоначально использовались для передачи сигнала медиа, не требующего точной синхронизации. Поэтому тактовый сигнал STC можно подстроить в достаточной степени на основе сдвига Δ, получаемого в виде средней величины задержки потока связи относительно вещательного потока.
Предлагаемая технология не ограничивается описанными выше иллюстративными примерами и может быть, со всей очевидностью, модифицирована различными способами, оставаясь в пределах существа настоящего изобретения.
Отметим, что предлагаемая технология может использовать следующие конфигурации.
(1) Приемное устройство, содержащее:
вещательный приемник, способный принимать одно из нескольких изображений в виде вещательного потока через систему вещания, к этим нескольким изображениям добавлена метка опорного времени, указанные несколько изображений подлежат синхронизации и воспроизведению;
приемник связи, способный принимать другое из указанных нескольких изображений в виде потока связи через сеть связи;
генератор критериального времени, конфигурированный для генерации критериального времени на основе метки опорного времени из состава вещательного потока, это критериальное время используют для генерации синхросигнала для представления указанных нескольких изображений; и
модуль регулирования, конфигурированный для подстройки критериального времени на основе величины задержки метки опорного времени из состава потока связи относительно критериального времени.
(2) Приемное устройство согласно (1), в котором
модуль регулирования конфигурирован для подстройки критериального времени на основе величины задержки метки опорного времени в составе потока связи, принятой приемником связи в первый момент.
(3) Приемное устройство согласно (1) или (2), в котором
к каждому заданному блоку вещательного потока добавляют информацию о времени презентации, а также добавляют информацию о времени презентации к каждому заданному блоку потока связи, и
приемное устройство дополнительно содержит
декодер принятого вещательного изображения, конфигурированный для декодирования вещательного потока, принимаемого вещательным приемником, так что указанное одно изображение будет представлено в момент, когда информация о времени презентации, добавленная к вещательному потоку, совпадет с критериальным временем,
декодер принятого изображения связи, конфигурированный для декодирования потока связи, принимаемого приемником связи, так что указанное другое изображение будет представлено в момент, когда информация о времени презентации, добавленная к потоку связи, совпадет с критериальным временем, и
модуль слияния изображений, конфигурированный для объединения (слияния) нескольких изображений, декодированных посредством декодера принятого вещательного изображения и декодера декодер принятого изображения связи.
Список цифровых позиционных обозначений
| 100 | оборудование для вещания/связи |
| 300 | приемное устройство |
| 301 | тюнер |
| 302 | демультиплексор DeMUX в составе вещательного приемника |
| 303 | буфер изображения в составе вещательного приемника |
| 304 | декодер принятого вещательного изображения |
| 305 | генератор системного тактового сигнала STC |
| 307 | сетевой интерфейс |
| 308 | HTML-браузер |
| 309 | VOD-плеер |
| 310 | потоковый буфер |
| 311 | демультиплексор DeMUX в составе приемника связи |
| 312 | буфер изображения в составе приемника связи |
| 313 | модуль регулирования системного тактового сигнала STC |
| 314 | декодер принятого изображения связи |
| 315 | модуль слияния изображений |
| 316 | главный контроллер. |
1. Приемное устройство, содержащее:
вещательный приемник (301), выполненный с возможностью принимать одно из нескольких изображений в виде вещательного потока через систему вещания, при этом указанные несколько первых изображений содержат первую метку опорного времени, указанные несколько первых изображений подлежат синхронизации и воспроизведению;
приемник (307) связи, конфигурированный для приема нескольких вторых изображений в виде коммуникационного потока через Интернет, при этом указанные несколько вторых изображений содержат вторую метку опорного времени;
генератор (305) критериального времени, конфигурированный для генерации критериального времени на основе первой метки опорного времени, при этом это критериальное время используют для генерации синхросигнала для представления указанных нескольких первых изображений и нескольких вторых изображений; и
модуль (313) регулирования, конфигурированный для подстройки критериального времени на основе величины задержки второй метки опорного времени относительно критериального времени, в котором
модуль (313) регулирования конфигурирован для подстройки критериального времени на основе величины задержки второй метки опорного времени, принятой через Интернет приемником связи в первый момент, при этом подстроенное критериальное время предназначено для использования декодером (304) принятого вещательного изображения и декодером (314) принятого изображения связи для управления моментом представления вещательного потока и коммуникационного потока, на основе подстроенного критериального времени.
2. Приемное устройство по п. 1, в котором
каждый блок вещательного потока содержит информацию о времени представления, и каждый блок коммуникационного потока содержит информацию о времени представления, и
это приемное устройство дополнительно содержит
декодер (304) принятого вещательного изображения, конфигурированный для декодирования вещательного потока, принимаемого вещательным приемником, так что указанное одно изображение будет представлено в момент, когда информация о времени представления, добавленная к вещательному потоку, совпадет с критериальным временем,
декодер (314) принятого изображения связи, конфигурированный для декодирования коммуникационного потока, принимаемого приемником связи, так что указанное другое изображение будет представлено в момент, когда информация о времени представления, добавленная к коммуникационному потоку, совпадет с критериальным временем, и
модуль (315) слияния изображений, конфигурированный для объединения (слияния) нескольких изображений, декодированных посредством декодера принятого вещательного изображения и декодера принятого изображения связи.
3. Приемное устройство по п. 1 или 2, в котором
модуль (313) регулирования конфигурирован для подстройки критериального времени на основе величины, полученной путем добавления запаса к средней величине задержки вторых меток опорного времени, принятых посредством приемника связи в течение некоторого промежутка времени.
4. Приемное устройство по п. 3, в котором
каждый блок вещательного потока из пары вещательного потока и коммуникационного потока содержит информацию о времени представления, и
это приемное устройство дополнительно содержит
декодер (304) принятого вещательного изображения, конфигурированный для декодирования вещательного потока, принимаемого вещательным приемником, так что указанное одно изображение будет представлено в момент, когда информация о времени представления, добавленная к вещательному потоку, совпадет с критериальным временем,
декодер (314) принятого изображения связи, конфигурированный для декодирования коммуникационного потока, принимаемого приемником связи, и
модуль (315) слияния изображений, конфигурированный для объединения нескольких изображений, декодированных посредством декодера принятого вещательного изображения и декодера принятого изображения связи.
5. Приемное устройство по п. 1, в котором первые изображения соответствуют первому виду, связанному с объектом, а вторые изображения соответствуют, по меньшей мере, второму виду, связанному с этим объектом.
6. Приемное устройство по п. 1, в котором изображения с высоким разрешением содержат первые изображения, а составляющие более низкого разрешения и высокочастотные составляющие содержатся во вторых изображениях.
7. Приемное устройство по п. 1, в котором первые изображения содержат данные первого языка, а вторые изображения содержат данные дубляжа на нескольких языках.
8. Способ обработки при приеме, содержащий:
прием одного из нескольких первых изображений в виде вещательного потока через систему вещания, при этом указанные несколько изображений содержат первую метку опорного времени, указанные несколько первых изображений подлежат синхронизации и воспроизведению;
прием нескольких вторых изображений в виде коммуникационного потока через Интернет, при этом указанные несколько изображений содержат вторую метку опорного времени;
генерацию, посредством генератора (305) критериального времени, величины критериального времени на основе первой метки опорного времени, при этом это критериальное время используют для генерации синхросигнала для представления указанных нескольких первых изображений и нескольких вторых изображений; и
подстройку, посредством модуля (313) регулирования, критериального времени на основе величины задержки второй метки опорного времени относительно критериального времени, в котором подстройку критериального времени осуществляют на основе величины задержки второй метки опорного времени, принятой через Интернет приемником связи в первый момент, при этом подстроенное критериальное время предназначено для управления моментом представления вещательного потока и коммуникационного потока, на основе подстроенного критериального времени.
9. Способ обработки при приеме по п. 8, в котором
каждый блок вещательного потока содержит информацию о времени представления, и каждый блок коммуникационного потока содержит информацию о времени представления, и
этот способ обработки информации дополнительно содержит следующее:
декодируют, посредством декодера (304) принятого вещательного изображения, вещательный поток, принимаемый вещательным приемником, так что указанное одно изображение будет представлено в момент, когда информация о времени представления, добавленная к вещательному потоку, совпадет с критериальным временем,
декодируют, посредством декодера (314) принятого изображения связи, коммуникационный поток, принимаемый приемником связи, так что указанное другое изображение будет представлено в момент, когда информация о времени представления, добавленная к коммуникационному потоку, совпадет с критериальным временем, и
объединяют, посредством модуля (315) слияния изображений, несколько изображений, декодированных посредством декодера принятого вещательного изображения и декодера принятого изображения связи.
10. Способ обработки при приеме по п. 8 или 9, в котором
критериальное время подстроено на основе величины, полученной путем добавления запаса к средней величине задержки вторых меток опорного времени, принятых посредством приемника связи в течение некоторого промежутка времени.
11. Способ обработки при приеме по п. 10, в котором
каждый блок из вещательного потока и коммуникационного потока содержит информацию о времени представления, и
этот способ обработки информации дополнительно содержит следующее:
декодируют, посредством декодера (304) принятого вещательного изображения, вещательный поток, принимаемый вещательным приемником, так что указанное одно изображение будет представлено в момент, когда информация о времени представления, добавленная к вещательному потоку, совпадет с критериальным временем,
декодируют, посредством декодера (314) принятого изображения связи, коммуникационный поток, принимаемый приемником связи, и
объединяют, посредством модуля (315) слияния изображений, несколько изображений, декодированных посредством декодера принятого вещательного изображения и декодера принятого изображения связи.
12. Способ обработки при приеме по п. 8, в котором первые изображения соответствуют первому виду, связанному с объектом, а вторые изображения соответствуют, по меньшей мере, второму виду, связанному с этим объектом.
13. Способ обработки при приеме по п. 8, в котором изображения с высоким разрешением содержат первые изображения, а составляющие более низкого разрешения и высокочастотные составляющие содержатся во вторых изображениях.
14. Способ обработки при приеме по п. 8, в котором первые изображения содержат данные первого языка, а вторые изображения содержат данные дубляжа на нескольких языках.
