Способ и устройство высокоэффективного сжатия мультимедийной информации большого объема по критериям ее ценности для запоминания в системах хранения данных - заявка 2016136329 на патент на изобретение в РФ

1. Способ сжатия мультимедийной информации большого объема в цифровой форме для ее передачи по каналам связи или запоминания в системах хранения данных, в котором видео-, речевой и аудиопотоки кодируются с учетом их специфики соответственно видео-, речевым и аудиокодеками, уплотняются в общий мультимедийный поток, передаваемый по телекоммуникационным каналам или помещаемым в виде отдельных файлов или в общем файле в запоминающие устройства, а на выходе канала или при извлечении из запоминающего устройства восстанавливаются в форме, приемлемой для потребителя или лица, принимающего решения (ЛПР), отдельно по каждому потоку или после разуплотнения общего потока и декодирования сжатой видео-, речевой и аудиоинформации объединяются в общий восстановленный мультимедийный поток, отличающийся тем, что для повышения эффективности сжатия мультимедийного потока и/или его составляющих общий поток и его отдельные составляющие делятся на информационно-значимую часть и информационно- незначимую часть (информационный шум) в соответствии с критериями ценности информации, задаваемыми ЛПР, при этом исключаются или значительно сокращаются в объеме информационно-незначимая часть.
2. Способ по п.1, в котором задаются со стороны ЛПР критерии ценности фрагментов мультимедийной информации для отбора ключевых кадров, ключевых слов и высказываний и ключевых акустических событий соответственно в ее видео-, речевой и аудиосоставляющих.
3. Способ по п.1, в котором задаются образцы частей сцен, которые определяются в отдельных кадрах видеокомпоненты МИ по уровню похожести на основе вычисления корреляции изображений или поисковых процедур, причем уровни и пороги похожести задаются на основе требований со стороны ЛПР.
4. Способ по п.1, в котором задаются списки ключевых слов и высказывания, а также акустических событий, которые должны быть выявлены в речевой и аудиокомпоненте МИ.
5. Способ по п.1, который производит отбор информационно-значимой части видео-, речевого и аудиокомпонент мультимедийной информации на основе критерия ценности, задаваемого ЛПР,
дополнительно кодируется или транскодируется выделенная информационно важная часть мультимедийной информации с целью ее сжатия с контролируемой погрешностью в соответствии с требованиями ЛПР к качеству восстановленной информации, отвечающей критериям ценности.
6. Способ по п.1, который реализует в каждом кадре видеокомпоненты мультимедийного потока выделение информационной части текущего при обработке кадра и сравнивает ее с соответствующей информационной частью эталонного ключевого кадра для получения оценки степени различия между сравниваемыми кадрами и назначения сравниваемого текущего кадра ключевым, если указанная оценка больше заданного порога.
7. Способ по п.1, реализующий выделение ключевых слов и выражений из заданного списка в речевой составляющей мультимедийного потока на основе их распознавания в потоке слитной речи.
8. Способ по п.1, реализующий выделение акустических событий из заданного списка в акустической составляющей мультимедийного потока на основе анализа их энергетических и спектральных характеристик.
9. Способ по п.1, который обеспечивает уплотнение выделенных кадров в видеопотоке, ключевых слов и выражений в речевом потоке, акустических событий в аудиопотоке вместе со служебной информацией, описывающей выделенные информационные фрагменты МИ, а также обеспечивает уплотнение выделенных фрагметов в общем мультимедийном потоке.
10. Способ по п.1, который осуществляет извлечение из СХД и разуплотнение отдельных потоков (совокупности отдельных выделенных кадров, ключевых слов и выражений) совместно с их речевым контекстом (сжатым речевым сигналом), акустических событий совместно с их акустическим контекстом (сжатым аудиосигналом) и декодирование этих потоков для последующего анализа со стороны ЛПР, а также разуплотнение общего потока и согласованное декодирование его отдельных составляющих.
11. Устройство, реализующее способ сжатия мультимедийной информации в соответствии с пп. 1-9 настоящей формулы и содержащее демультиплексор, на вход которого поступает мультимедийный поток совместно со служебной информацией, описывающей параметры этого потока, основные три выхода которого поступают соответственно на выделитель кадров в видеопотоке, выделитель ключевых слов и выражений в речевом потоке, выделитель акустических событий в аудиопотоке, выходы которых подключены к последовательно соединенным кодерам, форматизаторам и уплотнителям изображений, речевых сигналов и акустических сигналов; при этом три служебных выходов демультиплексора, несущие информацию о параметрах трех составляющих мультимедийного потока, поступают в блок параметров видео-, речевого и аудиопотока, а четвертый служебный выход синхронизирует работу местного синхрогенератора, выходы которых подаются на служебные входы выделителей, кодеров, форматизаторов для их согласованной по времени работы, причем выходы блока параметров соответственно подключены к параметрическим входам кодеров и форматизаторов, а выходы трех форматизаторов подключены к трем основным входам мультиплексора, на выходе которого формируется уплотненный общий поток МИ, а его служебный синхровход подключен к четвертому выходу местного синхрогенератора; для выделения ключевых кадров, ключевых слов и выражений и ключевых акустических событий на второй специальный вход каждого выделителя подаются данные об образцах сцен, ключевых словах и выражениях и акустических событий, которые подлежат выделению, из соответствующих баз данных, а на вторые специальные входы выделителей из блоков критериев ценности видеоизображений, речевых сообщений и акустических сигналов подается информация о критериях ценности для отбора ключевых элементов в указанных выделителях, причем вторые выходы этих блоков подключены ко входам соответствующих баз данных.
12. Устройство, реализующее обнаружение ключевых кадров в видеопотоке в соответствии с пп. 1 и 6, включающее запоминающее устройство конечного набора кадров видеопотока, выход которого подключен одновременно к трем ветвям с последовательно соединенными блоками сравнения с образцами изображений и решателю в первой ветви, первому переключателю во второй ветви и последовательно соединенным блоку выбора информационной части каждого кадра, второму переключателю и блоку формирования пакетов, причем вторые выходы блока выбора информационной части кадра и блока формирования пакетов подключены к блоку сравнения кадров, выход которого подключен к управляющим входам первого и второго переключателей, а синхронизация работы устройства обеспечивается местным синхрогенератором.
13. Устройство, реализующее обнаружение ключевых слов и выражений в речевом потоке в соответствии с пп. 1 и 7, включающее последовательно соединенные запоминающее устройство речевых кадров, переключатель, выделитель речевого контекста, формирователь речевых пакетов, причем переключатель подключен к декодеру речевого сигнала, выход которого подключен ко входу детектора КСВ и ко входу выделителя контекста, а первый выход детектора ключевого слова или выражения подключен ко второму входу формирователя речевых пакетов, причем второй выход детектора КСВ подключен ко второму входу выделителя контекста, а второй выход запоминающего устройства подключен к управляющему входу переключателя.
14. Устройство, реализующее обнаружение ключевых акустических событий в аудиопотоке в соответствии с пп. 1 и 8, включающее последовательно соединенные запоминающее устройство аудиокадров, переключатель, выделитель аудиоконтекста, формирователь аудиопакетов, причем переключатель подключен к декодеру аудиосигнала, выход которого подключен ко входу детектора КАС и ко входу выделителя контекста, а первый выход детектора КАС подключен ко второму входу формирователя аудиопакетов, причем второй выход детектора КАС подключен ко второму входу выделителя контекста, а второй выход запоминающего устройства подключен к управляющему входу переключателя.
15. Устройство, реализующее способ декомпрессии и восстановления выделенных ключевых фрагментов мультимедийной информации в соответствии с пп. 1 и 10 настоящей формулы и содержащее последовательно соединенные блоки разборки пакетов и разуплотнения отдельных составляющих МИ и устройство воспроизведения изображений, а также информации о ключевых словах и выражениях и акустических событиях, включая сопутствующие речевой и аудиоконтексты; при этом для восстановления ключевых изображений, речевой и аудиоинформации, мультиплексированных в общих поток выделенной МИ, этот общий поток поступает на последовательно соединенные сортировщик пакетов, несущих информацию об изображениях, ключевых словах и выражениях и ключевых акустических событиях и синхроинформации, блок согласования и блок совместного воспроизведения МИ, причем все указанные блоки синхронизированы общим местным синхрогенератором, вход которого подключен ко второму входу сортировщика пакетов.
Наверх