Способ предварительного подавления шума изображения
Изобретение относится к мультимедийной связи, в частности для предварительного подавления шума изображения на передающем конце. Технический результат - повышение качества изображения путем подавления шумов изображения. Для этого способ предварительного подавления шумов изображения содержит, по меньшей мере, следующие стадии: определения, является ли текущая величина обрабатываемого коэффициента дискретного косинусного преобразования (DCT) равной или меньше соответствующего порогового значения, используемого в данное время при квантовании коэффициентов DCT блоков изображения общего промежуточного формата (CIF), если это так, то устанавливают величину коэффициента DCT равной нулю, затем увеличивают используемое в данное время пороговое значение для использования его в качестве порогового значения при следующей обработке коэффициента DCT, в противном случае восстанавливают используемое в данное время пороговое значение в заданное первоначальное пороговое значение, которое используют в качестве порогового значения для следующей обработки коэффициента DCT; определения, является ли увеличенное пороговое значение больше заданного верхнего предела порогового значения, если это так, то заменяют увеличенное пороговое значение на заданный верхний предел. 7 з.п. ф-лы, 4 ил.
Область техники, к которой относится изобретение
Данное изобретение относится в целом к мультимедийной связи и, в частности, к способу предварительного подавления шума изображения на передающем конце.
Уровень техники
Обычно видеоизображение содержит большое количество данных. Невозможно передавать и хранить видеоизображение непосредственно. Примерами передачи видеоизображений являются видеоконференции, видеотелефоны и обучение на расстоянии и т.д. Примерами хранения видеоизображений являются мультимедийные базы данных, VCD и DVD и т.д. В системе видеослужбы, кроме видеоданных, имеются также звуковые данные, данные Т.120 и информация управления и т.д. В то же время абсолютно необходимо, чтобы система видеослужбы работала в режиме реального времени, была интерактивной и имела хорошее качество изображения. Поэтому данные видеоизображения необходимо сжимать с высокой степенью сжатия. В настоящее время имеются международные стандарты для сжатия видеоизображений. Н.261 и Н.263 являются стандартами ITU-T (сектор по стандартизации телекоммуникаций Международного союза по электросвязи), MPEG1, MPEG2 и MPEG4 являются стандартами ISO (Международная организация стандартизации). В этих стандартах задействованы некоторые современные технологии сжатия и они имеют много общих черт, таких как использование в них всех общего промежуточного формата (CIF), гибридного режима прогнозирования компенсации движения, дискретного косинусного преобразования (DCT) и т.д.
В видеосистеме, осуществляемой в соответствии с указанными выше стандартами, полученное видеоизображение неизбежно содержит некоторое количество шумов. Например, имеется высокочастотный импульсный шум, обусловленный большими изменениями в яркостных составляющих и в цветовых составляющих в небольшой зоне изображения, и случайный шум, создаваемый аналого-цифровым преобразованием и квантованием во время дискретизации сигналов. Без подавления шумов перед сжатием может сильно уменьшаться эффективность сжатия. Поэтому для обеспечения более высокой эффективности сжатия и хорошего качества изображения необходима предварительная и последующая обработка для уменьшения или устранения шумов в изображении.
Существует много способов для подавления шумов. Обычно в каждом из них используется адекватный способ фильтрации в пространственной области или в частотной области.
Способы фильтрации можно разделить на линейную фильтрацию, такую как одномерная фильтрация с использованием конечной импульсной характеристики (1-D FIR), двумерная фильтрация с использованием конечной импульсной характеристики (2-D FIR) и т.д., и на нелинейную фильтрацию, такую как медианная фильтрация, пороговая фильтрация и т.д.
В патенте US 5787203 под названием «Способ и система для фильтрации сжатых видеоизображений» раскрыт способ фильтрации в пространственной области. Используется способ нелинейной фильтрации для различий изображений после прогнозирования с компенсацией движения и перед дискретным косинусным преобразованием (DCT). Фильтрацию выполняют два раза: сначала пороговую фильтрацию, которая уменьшает или исключает случайный шум, затем перекрестную медианную фильтрацию, которая уменьшает или исключает импульсный шум. Они уменьшают полную скорость сжатия в битах на 10-20 %.
В патенте US 5325125 под названием «Межкадровый фильтр для системы сжатия видеоизображения» раскрыт способ с линейной фильтрацией непосредственно перед сжатием. В способе используется двумерный фильтр для отфильтровывания высокочастотных составляющих и высокочастотного импульсного шума в направлении диагонали изображения.
С целью эффективного уменьшения или устранения шума в существующих способах подавления шума, в первоначальную процедуру обработки добавляют процесс одномерной или двумерной фильтрации. Однако вычисление фильтрации занимает время и является тяжелой нагрузкой для системы. Например, для системы видеоконференции, для которой в сильной степени необходима работа в режиме реального времени и интерактивность, необходим способ подавления шума, который не занимает времени и по возможности сохраняет первоначальное изображение. В современной технике фильтрации пороговая фильтрация является способом с небольшим объемом вычислений. Основной принцип этого способа заключается в том, что на передающем конце квантование коэффициентов дискретного косинусного преобразования (DCT) блоков изображения общего промежуточного формата (CIF) выполняется в заданной последовательности, когда коэффициент DCT равен или меньше заданного порогового значения, то коэффициент DCT устанавливается равным нулю; а когда коэффициент DCT больше заданного порогового значения, то коэффициент DCT не изменяется. По существу, способ предварительного подавления шумов является способом фильтрации с постоянным пороговым значением. Недостаток этих способов предварительного подавления шумов заключается в том, что выбор порогового значения является противоречивым. Если выбрано небольшое пороговое значение, то можно получать более высокое качество изображения; однако при малом количестве равных нулю коэффициентов DCT, в результате эффективность сжатия является неудовлетворительной. Если выбрано большое пороговое значение, то эффективность сжатия является удовлетворительной, однако при слишком большом количестве равных нулю коэффициентов DCT качество изображения является неудовлетворительным.
Сущность изобретения
Задачей данного изобретения является создание способа с адаптивной пороговой фильтрацией для предварительного подавления шумов в изображении. На передающем конце квантование коэффициентов дискретного косинусного преобразования (DCT) блоков изображения общего промежуточного формата (CIF) выполняется последовательно. Если текущая величина обрабатываемого коэффициента DCT равна или меньше соответствующего порогового значения, используемого в данное время, то коэффициент DCT устанавливается равным нулю. В то же время увеличивают используемое в это время пороговое значение и используют его в качестве порогового значения при следующей обработке коэффициента DCT. Если увеличенное пороговое значение больше заданного верхнего предела порогового значения, то увеличенное пороговое значение заменяют на заданный верхний предел порогового значения. Если текущая величина обрабатываемого коэффициента DCT больше соответствующего порогового значения, используемого для обработки в данное время, то пороговое значение возвращают к заданному первоначальному пороговому значению, которое используют в качестве порогового значения при следующей обработке коэффициента DCT.
Способ предварительного подавления шума изображения дополнительно содержит следующее. На передающем конце при преобразовании видеоизображения из формата CCIR 601 в общий промежуточный формат (CIF) применяют низкочастотный фильтр с конечной импульсной характеристикой (КИХ-фильтр), в котором пороговая частота меньше 0,5π. При этом CCIR обозначает «Консультативный комитет по международной радиосвязи», а CCIR 601 обозначает стандарт 601, предложенный CCIR, который определяет стандарт цифрового видеовещания, соответствующий 525-625 линиям телевизионной системы. Яркостную составляющую и цветовую составляющую фильтруют с помощью низкочастотного КИХ-фильтра в вертикальном и горизонтальном направлении соответственно.
Указанный низкочастотный КИХ-фильтр является одномерным КИХ-фильтром.
Пороговая частота указанного низкочастотного КИХ-фильтра составляет между 0,25π и 0,4π.
После обработки яркостной составляющей и цветовой составляющей с помощью низкочастотного КИХ-фильтра с пороговой частотой менее 0,5π изображение дополнительно фильтруют с помощью одномерного медианного фильтра.
Если текущая величина обрабатываемого коэффициента DCT равна или меньше соответствующего порогового значения, используемого в данное время, то коэффициент DCT устанавливается равным нулю. В то же время увеличивают используемое в это время пороговое значение на единицу и используют его в качестве порогового значения при следующей обработке коэффициента DCT.
Указанные коэффициенты обрабатывают последовательно один за другим, при этом последовательность начинается в верхнем левом углу таблицы коэффициентов DCT и продолжается по зигзагообразной схеме.
Указанные первоначальное пороговое значение и верхний предел порогового значения можно задавать так, что первоначальное пороговое значение равно kQ, а верхний предел порогового значения равен 1.5kQ. При этом Q является уровнем квантования, a k является постоянной величиной между 0 и 1, определяемой шириной полосы канала.
Способ предварительного подавления шумов в изображении можно рассматривать как способ фильтрации с адаптивным пороговым значением. По сравнению со способом фильтрации с постоянным пороговым значением, можно более эффективно подавлять шум без уменьшения качества изображения и дополнительно повышать эффективность сжатия изображения. Естественно, что при фильтрации изображения с использованием нелинейного порогового значения вместе с уменьшением или устранением шума происходит потеря пограничной информации изображения. Однако глаз человека более чувствителен к низкочастотной составляющей изображения, в то время как чувствительность сильно уменьшается для высокочастотной составляющей. Поэтому в допустимом диапазоне восприятия человеческого зрения можно использовать способ для получения лучшего качества изображения. Другим преимуществом фильтрации с адаптивным пороговым значением является небольшой объем вычислений, что подходит для системы видеослужбы с высокими требованиями к реальности времени и интерактивности.
Краткое описание чертежей
На чертежах изображено:
фиг.1 - распределение коэффициентов DCT блоков 8х8 изображения с форматом Н.26Х (т.е. Н261, Н262 и т.д.);
фиг.2 - блок-схема варианта выполнения способа предварительного подавления шумов изображения, согласно данному изобретению;
фиг.3 - графическая схема процесса адаптивной пороговой фильтрации в варианте выполнения, согласно фиг.2;
фиг.4 - блок-схема другого варианта выполнения способа предварительного подавления шумов изображения, согласно данному изобретению.
Варианты выполнения изобретения
Ниже приводится подробное описание изобретения со ссылками на чертежи. Следует отметить, что данное описание изобретения не является ограничивающим.
На фиг.2 показана блок-схема варианта выполнения способа предварительного подавления шумов изображения, т.е. позиция фильтрации в процессе Н.26Х сжатия видеоизображения. Как показано на фиг.2, в данном варианте выполнения имеются два фильтра: одномерный КИХ-фильтр (фильтр с конечной импульсной характеристикой, FIR filter) и адаптивный пороговый фильтр. Одномерный КИХ-фильтр является линейным фильтром высокочастотного импульсного шума, а адаптивный пороговый фильтр является нелинейным фильтром случайного шума. Эти два фильтра работают в пространственной области и в частотной области соответственно. Ниже приводится описание одномерного низкочастотного КИХ-фильтра и, соответственно, адаптивного порогового фильтра.
Как показано на фиг.2, во время преобразования видеоизображения из формата CCIR 601 в формат CIF одномерный КИХ-фильтр обрабатывает яркостную составляющую и цветовую составляющую в горизонтальном и вертикальном направлении соответственно и подавляет высокочастотный импульсный шум, включенный в изображение. Естественно, что отфильтровывается также соответствующая высокочастотная часть изображения. Однако глаз человека более чувствителен к низкочастотной составляющей изображения, в то время как чувствительность сильно уменьшается для высокочастотной составляющей. За счет применения низкочастотного фильтра с подходящей пороговой частотой можно получать лучшее качество изображения в допустимом диапазоне восприятия человеческого зрения.
Для выбора пороговой частоты одномерного низкочастотного КИХ-фильтра в этом варианте выполнения выполняется спектральный анализ при рассматривании изображения в качестве одномерного сигнала. При сравнении сглаживающих кривых спектра изображения перед сжатием Н.26Х и спектра изображения после реконструкции, различия между этими двумя сглаживающими кривыми велики. После фильтрации с помощью фильтра с меньшей пороговой частотой (<0,5π), различия между этими двумя сглаживающими кривыми меньше. С помощью определения различий можно определить диапазон изменения пороговой частоты. Обычно он находится между 0,25π и 0,4π. При принятии в качестве примера фильтра седьмого порядка в этом варианте выполнения низкочастотный КИХ-фильтр может быть фильтром с пороговой частотой 0,4π и h={-2/256, 12/256, 66/256, 104/256, 66/256, 12/256, -2/256}.
После фильтрации с помощью одномерного КИХ-фильтра и сжатия Н.26Х можно уменьшить скорость в битах сжатия изображения на 10-20%. При том же уровне квантования качество изображения не изменяется. Однако в практической системе Н.26Х общая стратегия управления такова, что когда уменьшается буфер, то уменьшается уровень квантования для увеличения качества изображения.
На фиг.1 показано распределение коэффициентов DCT блоков 8×8 изображения с форматом Н.26Х. Как показано на фиг.1, после дискретного косинусного преобразования низкочастотные составляющие блока 8×8 изображения распределены в верхней левой части, а высокочастотные составляющие распределены в нижней правой части. Низкочастотные составляющие соответствуют деталям изображения, а высокочастотные составляющие соответствуют информации граничной части изображения и шуму, такому как случайный шум и высокочастотный импульсный шум. Поскольку наибольшая часть высокочастотного импульсного шума после фильтрации отфильтрована, то в данном случае основным шумом, подлежащим фильтрации, является случайный шум.
В этом варианте выполнения адаптивный пороговый фильтр сканирует таблицу коэффициентов DCT по зигзагообразной схеме, и 64 коэффициента DCT обрабатываются последовательно. Графическая схема обработки показана подробно на фиг.3. На фиг.3 *DCT_Coeff является указателем коэффициентов DCT. Пороговое значение Thresh коэффициента DCT коррелируется с уровнем Q квантования. По сравнению с постоянным пороговым значением переменное пороговое значение является более подходящим для изменения содержимого изображения и имеет преимущество для защиты важного содержимого изображения. Thresh_Max является верхним пределом порогового значения и составляет 1,5kQ. Первоначальное пороговое значение составляет kQ, где k находится в диапазоне между 0,0 и 1,0 и выбирается в зависимости от ширины полосы канала. Когда ширина полосы меньше, то выбирается большая величина k; например, когда ширина полосы меньше 384 кб/с, то k равно 1,0. Когда ширина полосы больше, то выбирается меньший k; например, когда ширина полосы меньше 2 Мб/с, то k равно 0,4. Такая обработка имеет преимущество получения возможно меньшего количества непрерывных нулей. Если коэффициент DCT равен или меньше порогового значения Thresh, то коэффициент DCT принимает значение 0, а пороговое значение Thresh увеличивается на 1. Когда пороговое значение Thresh больше верхнего предела Thresh_Max, то пороговое значение Thresh принимает значение Thresh_Max. Если коэффициент DCT больше порогового значения Thresh, то пороговое значение Thresh возвращают к первоначальному пороговому значению kQ. Эта обработка имеет преимущество защиты важной пограничной информации изображения.
Естественно, что при фильтрации изображения с нелинейным пороговым значением шум уменьшается или устраняется, но одновременно теряется часть пограничной информации изображения. Однако глаз человека более чувствителен к низкочастотной составляющей изображения, в то время как чувствительность сильно уменьшается для высокочастотной составляющей. Поэтому в допустимом диапазоне восприятия человеческого зрения можно использовать способ для получения лучшего качества изображения.
Этот вариант выполнения является высокоэффективным способом фильтрации для уменьшения или устранения шумов видеоизображения. В способе комбинируется линейная фильтрация и нелинейная фильтрация, а также комбинируется фильтрация в пространственной области и фильтрация в частотной области. В способе используется один линейный фильтр и один нелинейный фильтр. Поэтому с меньшим объемом вычислений можно уменьшать или устранять высокочастотный импульсный шум или случайный шум в видеоизображении. В первой фильтрации используют фильтр с низкой граничной частотой для преобразования формата без какого-либо увеличения объема вычислений. Во второй фильтрации, когда квантуют коэффициенты DCT, используют адаптивный пороговый фильтр. Как следует из фиг.3, это приводит лишь к очень небольшому увеличению объема вычислений. За счет использования способа, согласно этому варианту выполнения, для уменьшения или устранения шума скорость в битах сжатия уменьшается на 10-30%, так что увеличивается сжатие видеосигнала и повышается количество изображения.
На фиг.4 показана блок-схема другого варианта выполнения изобретения, т.е. блок схема другого варианта выполнения способа предварительного подавления шумов изображения. Этот вариант выполнения основан на предыдущем варианте выполнения с добавлением двумерного медианного 3×3 фильтра, установленного в положении перед преобразованием изображения в общий промежуточный формат. Поскольку объем вычисления больше, то медианный фильтр лучше реализовывать с помощью аппаратного обеспечения или программного обеспечения DSP (цифрового процессора сигналов). Медианный фильтр имеет характеристики для лучшего уменьшения или устранения шумов, а также для лучшего сохранения пограничной информации изображения. Таким образом, в комбинации с последующей обработкой с помощью адаптивной пороговой фильтрации можно обеспечить лучшее уменьшение или устранение шумов изображения.
Следует понимать, что данное изобретение никоим образом не ограничивается указанными выше вариантами выполнения. Предпочтительные варианты выполнения используются лишь для подробного описания изобретения. Для специалистов в данной области техники очевидно, что изобретение можно модифицировать или эквивалентно заменять, не выходя за объем и идею изобретения. В соответствии с этим, в объем защиты последующей формулы изобретения входит изобретение со всеми такими вариантами выполнения.
Способ предварительного подавления шумов изображения, включающий последовательную обработку величин коэффициентов дискретного косинусного преобразования (DCT) во время квантования величин коэффициентов (DCT) блоков изображения общего промежуточного формата (CIF), при этом способ содержит стадии
определения, является ли текущая величина обрабатываемого коэффициента DCT равной или меньшей соответствующего порогового значения, используемого в данное время, если это так, то устанавливают величину коэффициента DCT на ноль, затем увеличивают используемое в данное время пороговое значение для использования его в качестве порогового значения при следующей обработке коэффициента DCT, в противном случае восстанавливают используемое в данное время пороговое значение в заданное первоначальное пороговое значение для использования в качестве порогового значения для следующей обработки коэффициента DCT;
определения, является ли увеличенное пороговое значение больше заданного верхнего предела порогового значения, если это так, то заменяют увеличенное пороговое значение на заданный верхний предел.
2. Способ по п.1, отличающийся тем, что дополнительно содержит стадии фильтрации соответственно яркостной составляющей и цветовой составляющей в вертикальном и горизонтальном направлениях с помощью низкочастотного КИХ-фильтра, граничная частота которого меньше 0,5π, во время преобразования видеоизображения из формата CCIR 601 в общий промежуточный формат (CIF).
3. Способ по п.2, отличающийся тем, что низкочастотный фильтр с конечной импульсной характеристикой (КИХ-фильтр) является одномерным КИХ-фильтром.
4. Способ по п.2, отличающийся тем, что пороговая частота низкочастотного КИХ-фильтра может быть между 0,25 и 0,4π.
5. Способ по п.2, отличающийся тем, что дополнительно содержит стадию дополнительной фильтрации изображения с помощью двумерного медианного фильтра.
6. Способ по п.1, отличающийся тем, что используемое в данное время пороговое значение увеличивают на единицу для использования в качестве порогового значения при следующей обработке коэффициента DCT.
7. Способ по п.1, отличающийся тем, что последовательность обработки коэффициентов DCT начинается в верхнем левом углу таблицы коэффициентов DCT и проводится по зигзагообразной схеме.
8. Способ по п.1, отличающийся тем, что первоначальное пороговое значение и верхний предел порогового значения можно задавать так, что первоначальное пороговое значение равно kQ, а верхний предел порогового значения равен 1.5kQ, при этом Q является уровнем квантования, a k является постоянной величиной между 0 и 1, определяемой шириной полосы канала.
