Способ для имитирования зернистости фотопленки посредством мозаицирования предварительно вычисленных образцов
Изобретение относится к системам для имитирования зернистости фотопленки в изображении. Техническим результатом является снижение сложности декодера и повышение эффективности способа имитирования зернистости фотопленки в блоке входного изображения. Предложен способ для имитирования зернистости фотопленки в блоке входного изображения, в котором зернистость фотопленки имитируется в выходном изображении (19) с использованием предварительно установленных блоков зернистости (408) фотопленки из пула предварительно установленных блоков. Последующие блоки зернистости фотопленки выбираются посредством сопоставления средней яркости блока из пула со средней яркостью следующего одного из набора M×N пикселей в поступающем изображении, когда все из последующих блоков пикселей из изображения сопоставлены с выбранными блоками зернистости фотопленки, выбранные блоки зернистости фотопленки накладываются на большее изображение, соответствующее поступающему изображению. 2 н. и 11 з.п. ф-лы, 6 ил.
Перекрестная ссылка на родственные заявки
Заявка испрашивает приоритет по предварительной заявке на выдачу патента США под порядковым № 60/505146, поданной 23 сентября 2003 г., идеи которой включены в материалы настоящей заявки.
Область техники
Изобретение относится к технологии для имитирования зернистости фотопленки в изображении.
Уровень техники
Предшествующие публикации изобретателей настоящего изобретения, права на которые принадлежат заявителю данной заявки, предлагали имитирование зернистости фотопленки в декодированном видеопотоке, прежде всего посредством отфильтровывания зернистости из изображения перед сжатием. Видеопоток подвергался сжатию и последующей передаче в декодер для приема наряду с сообщением, содержащим в себе информацию о зернистости фотопленки, которая была представлена в потоке перед сжатием. После приема сжатого видеопотока и содержащего зернистость сообщения декодер декодировал сжатый видеопоток, а затем восстанавливал исходный зернистый вид изображения посредством имитирования зернистости фотопленки на основании содержимого сообщения информации о зернистости. Сообщение о зернистости фотопленки может принимать форму сообщения вспомогательной расширенной информации (SEI), сопровождающего кодированный видеопоток.
Имитирование зернистости фотопленки таким образом обеспечивает значительную экономию объема передаваемых данных для высококачественных применений, где сохранность зернистости фотопленки становится важной. Однако этот способ имитирования зернистости фотопленки повышает сложность декодера, поскольку декодер должен воспроизводить и смешивать зернистость фотопленки с декодированным видеопотоком, как задано переданным сообщением информации о зернистости фотопленки.
Таким образом, существует потребность в технологии для имитирования зернистости фотопленки, которая преодолевает недостатки предшествующего уровня техники.
Краткая сущность изобретения
Вкратце, настоящее изобретение предусматривает способ для имитирования зернистости фотопленки в блоке входного изображения. Способ прежде всего начинается вычислением среднего значения по меньшей мере одного параметра изображения для блока входного изображения. После этого блок зернистости фотопленки выбирается из по меньшей мере одного предварительно установленного пула блоков зернистости фотопленки, чьи параметры изображения наиболее близко соответствуют параметру изображения блока входного изображения. Выбранный блок затем смешивается с блоком входного изображения.
Выбор блока зернистости фотопленки из по меньшей мере одного пула заранее установленных блоков зернистости фотопленки для комбинации с входным изображением снижает сложность, связанную с имитированием зернистости фотопленки в декодере, которое выполнялось предшествующими способами. Кроме того, выбор блока зернистости фотопленки из по меньшей мере одного пула заранее установленных блоков зернистости фотопленки сокращает артефакты, которые в ином случае могли бы возникать при переходе между независимо сформированными блоками зернистости фотопленки.
Краткое описание чертежей
Фиг. 1 изображает этапы способа предшествующего уровня техники для имитирования зернистости фотопленки посредством мозаицирования независимо сформированных образцов зернистости фотопленки;
Фиг. 2 изображает этапы способа предшествующего уровня техники для формирования блоков зернистости фотопленки для способа по фиг. 1;
Фиг. 3 изображает часть декодера предшествующего уровня техники для формирования выходного изображения, содержащего зернистость фотопленки;
Фиг. 4 изображает этапы способа в соответствии с иллюстративным вариантом осуществления представленных принципов для имитирования зернистости фотопленки посредством мозаицирования заранее рассчитанных блоков зернистости фотопленки;
Фиг. 5 изображает этапы способа в соответствии с иллюстративным вариантом осуществления представленных принципов для предварительного установления блоков зернистости фотопленки, используемых в способе по фиг. 4; и
Фиг. 6 изображает этапы способа в соответствии с еще одним иллюстративным вариантом осуществления представленных принципов для имитирования зернистости фотопленки посредством мозаицирования блоков зернистости фотопленки, полученных из характеристик входного изображения.
Подробное описание
В соответствии с представленными принципами имитация зернистости фотопленки в изображении совершается посредством мозаицирования заранее установленных отдельных блоков пленки. Термин "мозаицирование" отдельных блоков пленки подразумевает построение композитного изображения посредством смешивания отдельных блоков зернистости фотопленки, которые являются меньшими по размеру. Чтобы оценить преимущество имитации зернистости фотопленки посредством мозаицирования заранее установленных образцов зернистости фотопленки, описание последовательности операций имитации зернистой фотопленки будет доказывать целесообразность этого подхода.
Фиг. 1 изображает этапы способа предшествующего уровня техники для имитирования зернистости фотопленки на поблочной основе. Способ по фиг. 1 прежде всего начинается инициализацией системных переменных во время этапа 10. Во время этапа 12 следующий один из набора блоков N×M пикселей (где каждое из N и M является целым числом, большим чем ноль) считывается из входного изображения 13. Считывание блоков во время этапа 12 происходит в порядке растрового сканирования. Перед этапом 12 входное изображение 13 типично подвергается фильтрации, чтобы удалить или по меньшей мере ослабить зернистость фотопленки, сопровождаемой разбиением, чтобы получить в результате неперекрывающиеся блоки из N×M пикселей. Начальное сжатие изображения само по себе может служить для удаления или ослабления зернистости фотопленки. В некоторых случаях входное изображение не будет содержать никакой начальной зернистости фотопленки либо вследствие того, что изображение захватывалось цифровым образом и/или формировалось компьютером. При таких обстоятельствах добавление зернистости в тех случаях, когда ее не существовало, будет улучшать изображение.
Вслед за этапом 12 числовое усреднение яркости изображения вычисляется в течение этапа 14 для только что считанного блока. Затем в течение этапа 16 происходит выбор параметра зернистости фотопленки. Выбор производится из набора параметров зернистости фотопленки, предоставленного в сообщении 17 о зернистости фотопленки, сопровождающем входное сообщение, в соответствии со значением усредненной яркости, вычисленным во время этапа 14. Типично сообщение о зернистости фотопленки принимает вид вспомогательного расширенного сообщения (SEI) и по этой причине термин "сообщение SEI" будет возникать в дальнейшем при ссылке на сообщение, содержащее в себе информацию о зернистости фотопленки. Поскольку характеристики зернистости фотопленки могут изменяться в зависимости от уровня яркости, выбор, выполняемый во время этапа 16, может давать в результате разные параметры зернистости фотопленки в зависимости от средней яркости, измеренной по извлеченному блоку изображения.
С использованием параметров зернистости фотопленки, выбранных во время этапа 16, блок N×M пикселей образцов зернистости фотопленки формируется в течение этапа 18 для использования при создании изображения 19 зернистости фотопленки. Каждый из блоков зернистости фотопленки, сформированных на протяжении этой последовательности операций, подвергается сохранению и наложению изображений, чтобы получить в результате изображение с зернистостью фотопленки, которое соответствует размеру исходного входного изображения. Эта последовательность операций наложения изображений составляет мозаицирование, которое обсуждалось раньше. Вслед за этапом 18, в течение этапа 20, происходит проверка, составляет ли блок, выбранный во время этапа 12, завершающий блок входного изображения 11. Если остаются дополнительные блоки, выполнение программы ответвляется на этап 12 и последующие за ним. В ином случае совершается этап 22 и последовательность операций заканчивается.
Фиг. 2 изображает отдельные этапы, которые в совокупности составляют этап 18 на фиг. 1 для формирования блока из N×M образцов зернистости фотопленки. Способ по фиг. 2 начинается с выполнения этапа 200, во время которого происходит инициализация системных переменных. После этого во время этапа 202 происходит формирование блока N×M случайных значений с использованием одного или более параметров, полученных из сообщения 17 SEI. Блок, сформированный во время этапа 204, подвергается дискретному косинусному преобразованию (ДКП, DCT) в течение этапа 204, чтобы получить соответствующий набор N×M частотных коэффициентов. Другие преобразования, помимо ДКП, также могли бы быть использованы. Коэффициенты, рассчитанные во время этапа 204, подвергаются частотной фильтрации во время этапа 206 с коэффициентами фильтрации, вычисленными в соответствии с одним или более параметрами, содержащимися в сообщении 17 SEI. Частотная фильтрация регулирует размер имитируемой зернистости. Частотно отфильтрованные коэффициенты подвергаются обратному дискретному косинусному преобразованию (ОДКП, IDCT) во время этапа 208, чтобы получить в результате изображение 19 зернистости фотопленки. Последовательность операций требует задания шумовой девиации, а также частот верхнего и нижнего срезов, которые управляют последовательностью операций фильтрации в частотной области. Для приложений кодирования видеосигнала сообщение 17 SEI типично передает такую информацию. Вслед за этапом 208 последовательность операций заканчивается.
Фиг. 3 изображает структурную схему части декодера 300, который выполняет смешивание зернистости фотопленки с исходным изображением. Блок 310 суммирования в пределах декодера 300 принимает декодированное входное изображение 13 на первом входе. Изображение 19 зернистости фотопленки по фиг. 2 подвергается распаковке блоков в фильтре 314 распаковки блоков перед приемом на втором входе блока 310 суммирования. Блок 310 суммирования суммирует входное изображение 13 и изображение 19 зернистости фотопленки, чтобы получить в результате выходное изображение 316, которое содержит в себе зернистость фотопленки. Так как отдельные блоки зернистости фотопленки были сформированы независимо, артефакты могут восприниматься в переходах между блоками. Таким образом, фильтр 314 распаковки блоков становится важным для сокращения визуальных артефактов, являющихся результатом мозаицирования зернистости фотопленки.
Подобным образом описанный способ предшествующего уровня техники для имитации зернистости фотопленки требует формирования зернистости фотопленки для смешивания с каждым обрабатываемым блоком пикселей входного изображения. В противоположность этому имитация зернистости фотопленки в соответствии с представленными принципами достигает большей эффективности посредством ограничения формирования зернистости фотопленки в виде последовательности операций создания пула, при которой вычисляется ограниченное количество блоков зернистости фотопленки. Этот подход значительно снижает вычислительную сложность последовательности операций имитации зернистости фотопленки.
Фиг. 4 изображает этапы способа в соответствии с первым вариантом осуществления представленных принципов для имитации зернистости фотопленки. Как обсуждено более подробно в дальнейшем, способ имитации зернистости фотопленки по фиг. 5 преимущественно устраняет формирование на лету зернистости фотопленки посредством выбора отдельных заранее рассчитанных блоков зернистости фотопленки из пула таких блоков. Способ по фиг. 4 прежде всего начинается инициализацией системных переменных во время этапа 400. Затем во время этапа 402 считывается следующий блок N×M пикселей из входного изображения 13. Считывание блоков во время этапа 402 происходит в порядке растрового сканирования. Как обсуждено выше, входное изображение 13, типично, будет обязано содержать всю свою зернистость удаленной или ослабленной и будет обязано разбиваться на неперекрывающиеся блоки N×M пикселей (где каждое из N и M является целым числом, большим чем ноль). Начальное сжатие изображения само по себе может служить для удаления или ослабления зернистости фотопленки. В некоторых случаях входное изображение не будет содержать никакой начальной зернистости фотопленки либо вследствие того, что изображение захватывалось цифровым образом и/или формировалось компьютером. При таких обстоятельствах добавление зернистости в тех случаях, когда ее не существовало, будет улучшать изображение.
Вслед за этапом 402 среднее значение параметра изображения, типично, среднее значение яркости, вычисляется во время этапа 404 для блока, только что считанного во время этапа 402. Затем блок зернистости фотопленки выбирается во время этапа 406 из по меньшей мере одного пула предварительно установленных блоков зернистости фотопленки способом, описанным в дальнейшем относительно фиг. 5. Вместо того чтобы полагаться на одиночный пул блоков зернистости фотопленки, могли бы существовать многочисленные пулы, из которых мог бы происходить выбор в зависимости от средней яркости изображения или в зависимости от одного или более параметров изображения. Когда более чем один блок имеется в распоряжении для одного и того же уровня яркости и цветового компонента, должен быть задан критерий выбора. Например, мог бы происходить псевдослучайный выбор блоков из пула, чтобы избежать создания шаблонов, когда в распоряжении имеется уменьшенное количество блоков. Также могут быть использованы преобразованные копии набора имеющихся в распоряжении блоков зернистости фотопленки.
Вслед за выбором блока во время этапа 406 выбранный блок типично подвергается преобразованию во время этапа 410, чтобы получить в результате блок 19 изображения зернистости фотопленки для смешивания с изображением зернистости фотопленки. Вслед за этапом 410 происходит проверка с целью определения того, остались ли дополнительные блоки изображений во время этапа 412. Если остаются дополнительные блоки изображения, выполнение программы ответвляется на этап 402 и этапы, следующие за ним. В противном случае, выполнение программы заканчивается на этапе 414.
Фиг. 5 иллюстрирует этапы способа в соответствии с представленными принципами для формирования предварительно установленных блоков 408 зернистости фотопленки по фиг. 4. Способ по фиг. 5 прежде всего начинается выполнением инициализации во время этапа 500, чтобы сбросить значения всех системных переменных. Затем во время этапа 502 происходит выбор набора параметров зернистости фотопленки из сообщения 17 SEI. После этого во время этапа 504 набор из К блоков образцов зернистости фотопленки (где К - целое число, большее чем ноль) формируется для каждого набора параметров в сообщении 17 SEI. Разные наборы параметров будут задавать разные цветовые компоненты и разные уровни яркости. Конкретная реализация с К=1 имеет результатом наименьшие вычислительные потребности, формируя только один блок зернистости фотопленки на набор параметров. Однако, чтобы избежать создания шаблонов, предпочтительно использовать большее количество блоков или даже различное количество блоков для разных уровней яркости.
Вслед за этапом 504 во время этапа 506 происходит проверка с целью определения того, остаются ли дополнительные наборы параметров. Если дополнительные наборы остаются, выполнение программы ответвляется на этап 502 и этапы, следующие за ним. В ином случае выполнение программы заканчивается во время этапа 508.
Последовательность операций, описанная относительно фиг. 5, для создания пула предварительно установленных блоков зернистости фотопленки остается полностью не зависимой от смешивания зернистости фотопленки, которое происходит в декодере 10, как описано относительно фиг. 3. Несмотря на вычислительное преимущество предупреждения формирования зернистости фотопленки, способ имитации зернистости фотопленки по фиг. 4 влечет за собой неудобства из-за остающейся неосведомленности касательно того, воспользуются ли входные изображения всеми блоками, сохраненными в пуле.
Фиг. 6 иллюстрирует альтернативный вариант осуществления способа имитации зернистости фотопленки согласно представленным принципам, которые пользуются характеристиками входных изображений. Как станет более понятно далее, способ имитации зернистости фотопленки по фиг. 6 не создает априори пул блоков зернистости фотопленки для всех возможных уровней яркости, представленных в сообщении 17 SEI. Вместо этого способ по фиг. 6 предпринимает создание ограниченного пула блоков зернистости фотопленки и берет на себя обязательство обновлять пул блоков в зависимости от характеристик входного сообщения.
Способ по фиг. 6 прежде всего начинается выполнением инициализации во время этапа 600, чтобы сбросить значения всех системных переменных. За этапом 600 следует этап 602, во время которого совершается выбор блока N×M пикселей из входного изображения 13. После этого во время этапа 604 вычисляется среднее значение по меньшей мере одного параметра изображения (например, среднее значение яркости изображения) предварительно выбранного блока изображения. Во время этапа 606 совершается проверка на наличие в распоряжении блока зернистости фотопленки, чья средняя яркость наиболее близко соответствует средней яркости выбранного блока изображения. Если ни одного такого блока не существует, то выполнение программы ответвляется на этап 608, где набор параметров выбирается из сообщения 17 SEI. Затем блок N×M зернистости фотопленки формируется из выбранных параметров во время этапа 610. Блок, сформированный во время этапа 610, далее поступает в пул предварительно рассчитанных блоков 408 зернистости фотопленки. Этап 612 следует за этапом 610. Этап 612 также следует за этапом 606 после определения того, что блок зернистости фотопленки в пуле имеет среднюю яркость, наиболее близко соответствующую таковой у выбранного блока изображения. Во время этапа 612 совершается выбор наиболее близко соответствующего блока зернистости фотопленки из пула 408 блоков зернистости фотопленки. Затем выбранный блок типично подвергается преобразованию во время этапа 614 для мозаицирования с предварительно выбранными блоками, чтобы получить в результате изображение 19 зернистости фотопленки. Этим путем блок преобразования смешивается с изображением зернистости фотопленки. Во время этапа 616 совершается определение того, составляет ли блок, выбранный во время этапа 602, завершающий блок. Если нет, выполнение программы ответвляется на этап 602. В противном случае выполнение программы заканчивается на этапе 618.
Вышеописанный способ может оценивать, что блоки не имеются в наличии, не только когда пул 408 пуст, но также, если существующие блоки недавно использовались для смешивания. Другие критерии для управления последовательностью операций создания и обновления пула также могли бы быть предусмотрены. Способ по фиг. 6 мог бы постепенно создавать и/или обновлять пул 408 предварительно установленных блоков зернистости фотопленки в зависимости от характеристик входных изображений. Например, пул 408 мог бы быть организован, чтобы компоновать большое количество блоков в пределах наиболее превалирующих уровней яркости, чтобы избежать создания визуальных шаблонов. Согласно этой стратегии распределение блоков зернистости фотопленки в пуле 408 могло бы постепенно приводиться в соответствие с изменениями в характеристиках изображения, имеющими отношение к затемнению и осветлению.
Вышеизложенное описывает технологию для имитирования зернистости фотопленки в изображении.
1. Способ имитирования зернистости пленки во входном изображении, содержащий этапы, на которых (а) устанавливают среднее значение по меньшей мере одного параметра части изображения; и
(b) выбирают блок зернистости изображения из по меньшей мере одной предварительно установленной группы блоков зернистости пленки при помощи сравнения установленного среднего по меньшей мере одного параметра изображения с соответствующим по меньшей мере одним параметром изображения блоков зернистости пленки в группе таким образом, чтобы по меньшей мере один параметр изображения выбранного блока наиболее близко соответствовал установленному среднему значению по меньшей мере одного параметра изображения.
2. Способ по п.1, дополнительно содержащий этап, на котором смешивают выбранный блок зернистости пленки в части изображения.
3. Способ по п.2, дополнительно содержащий этап, на котором распаковывают выбранный блок зернистости пленки перед смешиванием с блоком входного изображения.
4. Способ по п.1, в котором по меньшей мере один параметр изображения содержит яркость изображения.
5. Способ по п.1, дополнительно содержащий этап, на котором обновляют по меньшей мере одну группу предварительно установленных блоков зернистости пленки в соответствии с характеристиками входного изображения.
6. Способ по п.3, в котором отдельные блоки зернистости пленки выбираются для другого цветового компонента части изображения.
7. Способ по п.1, дополнительно содержащий этап, на котором выбирают блок зернистости пленки из множества групп блоков зернистости пленки.
8. Способ имитирования зернистости пленки во входном изображении, в котором зернистость пленки по меньшей мере была ослаблена и была разложена на блоки, содержащий этапы, на которых (а) выбирают последующий из набора блоков входного изображения;
(b) устанавливают среднее значение по меньшей мере одного параметра изображения для последующего блока изображения;
(с) выбирают из по меньшей мере одной группы предварительно установленных блоков зернистости пленки блок зернистости пленки при помощи сравнения установленного среднего по меньшей мере одного параметра изображения последующего блока изображения с соответствующим по меньшей мере одним параметром изображения блоков зернистости пленки в группе таким образом, чтобы по меньшей мере один параметр изображения выбранного блока наиболее близко соответствовал установленному среднему значению по меньшей мере одного параметра изображения последующего блока изображения;
(d) смешивают выбранные блоки зернистости пленки в последующем блоке изображения, чтобы получить выходное изображение с зернистостью пленки;
(е) повторяют этапы (a)-(d) для всех блоков в изображении.
9. Способ по п.8, в котором по меньшей мере один параметр изображения содержит яркость изображения.
10. Способ по п.8, дополнительно включающий в себя этап, на котором обновляют по меньшей мере одну группу предварительно установленных блоков зернистости пленки в соответствии с характеристиками входного изображения.
11. Способ по п.8, в котором отдельные блоки зернистости пленки выбираются для другого цветового компонента части изображения.
12. Способ по п.8, дополнительно включающий в себя этап, на котором выбирают блок зернистости пленки из множества групп блоков зернистости пленки.
13. Способ по п.8, дополнительно содержащий этап, на котором распаковывают следующий блок зернистости пленки перед каждым выполнением этапа (d).
