Способ преобразования изображения в звуковой образ

Изобретение относится к акустике, в частности к способам для преобразования зрительной информации в звуковую форму для ее восприятия слепыми. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включает ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы, обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме, последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы. При этом двумерный массив пикселей растрового изображения развертывается в одномерный массив пикселей по траектории раскручивающейся спирали из центра изображения к краю, на основе получившегося одномерного массива пикселей формируется массив цифровых данных звуковой волны, в которой амплитуда звуковой волны пропорциональна яркости пикселей, частота звуковой волны кодируется цветом пикселей. Технический результат – сокращение количества вычислительных ресурсов. 3 з.п. ф-лы, 4 ил.

 

Изобретение относится к способам преобразования визуальной информации в другие виды с целью ее восприятия инвалидами по зрению (слепыми) или людьми с ослабленным зрением. В настоящем изобретении предлагается преобразование зрительной информации в звуковую форму (воспринимаемую слухом). После обучения восприятию мобильная система на базе данного изобретения должна заменить слепому зрение.

Помимо выше описанного основного применения данное изобретение должно также помочь зрячим людям облегчить задачу визуального мониторинга в таких приложениях, как видеонаблюдение, охрана объектов или восприятие дополнительных видов (например, восприятие водителем автомобиля изображения с камеры заднего вида, не отвлекаясь от основного вида спереди).

Существуют различные способы представления визуальной информации в звуковом виде. Например, способ формирования акустического образа [патент Российской Федерации 2119785, 1998.10.10] требует сложной четырехкомпонентной системы источников аудиосигнала, которая не сможет применяться в мобильном устройстве.

Метод и система для получения аудио образа из графических данных [европейский патент EP 1369839, 2003.12.10] позволяют создать аудиообразы для небольших по размеру изображений, например символов. Однако этот метод в настоящее время не актуален в связи с наличием систем прямого преобразования TTS (text-to-speech = текст-в-речь), которые способны озвучивать символьную информацию после распознавания текста с помощью компьютерной программы, а для представления произвольного изображения данный метод непригоден из-за ограниченной разрешающей способности.

В изобретении [патент Японии JP 2004020869, 2004.01.22] используется панорамная камера (all azimuth imaging apparatus), позволяющая получить звуковой сигнал о том, что данное место вам знакомо.

Способ представления видеоинформации [патент РФ 2223552, 2004.02.10] предназначен для представления цветных изображений в виде комбинации массива выпуклых и плоских точек (тактильное восприятие) и звуковых сигналов (восприятие слухом). Данный способ дает невысокую разрешающую способность и требует довольно большого времени на «ощупывание» изображения.

Устройство идентификации цвета [патент WO 2005085781, 2005.09.15] выделяет лишь один цвет в изображении, и этот цвет преобразует в звуковой сигнал. По этому звуковому сигналу человеком распознается цвет. Очевидно, что данное устройство дает слишком мало информации для ориентации слепому.

Наиболее близким аналогом (прототипом) настоящего изобретения является метод и устройство для визуализации изображений с помощью звука [патент США US 6963656, 2005.11.08]. Данный метод предполагает шифрование пространственной информации в форму полифонической музыкальной последовательности. Ввиду недостаточной разрешающей способности данного метода предполагается разбиение изображения на части с выделением некоторых признаков, которые кодируются по частям.

Недостатком прототипа является то, что этот метод не является универсальным ввиду бесконечного разнообразия возможного разбиения произвольного изображения на отдельные части.

Для последующего рассмотрения настоящего изобретения определим понимание следующих терминов.

Цифровое растровое изображение – совокупность числовых элементов (пикселей, см. ниже), которые с определенной точностью и масштабом представляют некоторое изображение, являющееся или прямым, или косвенным (например, через фантазию художника) отражением материального мира. Эти числовые элементы могут обрабатываться в микропроцессорных системах, таких как компьютер, мобильный телефон, цифровая фото- или видеокамера. Для удобства обработки эта совокупность числовых элементов представляется в виде двумерного массива, так что отдельный элемент изображения имеет два индекса, определяющих координату местоположения данного элемента в прямоугольной области, ограничивающей изображение.

Пиксель (англ. Pixel = Picture Element) – «наименьший элемент поверхности визуализации, которому может быть независимым образом заданы цвет, интенсивность и другие характеристики изображения» (ГОСТ 27459-87). Размер пикселя определяет масштаб изображения, который для цели представления в звуковом виде не является существенным. Поэтому далее в описании будем подразумевать, что каждый отдельный пиксель как элемент изображения характеризуется только цветом и интенсивностью (яркостью).

Итак, информация, воспринимаемая зрением, может быть преобразована в форму цифрового растрового изображения с помощью сканера, фото- или видеокамеры. Полученные цифровые данные с помощью обработки могут быть тем или иным способом преобразованы в форму звуковых колебаний, которые при воспроизведении воспринимаются как звуковые (акустические) образы.

Сущность настоящего изобретения состоит в том, что двумерный массив данных (яркость и цвет для каждого пикселя) растрового изображения с помощью спиралеобразной развертки (начиная из центра изображения к его периферии) представляется в виде одномерного массива, который служит основой для синтеза цифрового массива данных звуковой волны. При этом данные яркости пикселей формируют текущую амплитуду (огибающую) звуковой волны, а данные цветности пикселей формируют величину текущей частоты колебания звуковой волны. Для монохромного изображения звуковой сигнал будет однотонным (сигнал будет меняться только по амплитуде).

Для того чтобы было ясно, какую часть спирали отображает в данный момент звуковой сигнал, после каждого пол-оборота спирали в звуковую последовательность сигналов вставлен один из двух сигналов-разделителей, имеющих частоты ниже и выше всех возможных частот, кодирующих цвета изображения. Например, если спираль начинается с верхнего пикселя начального оборота спирали, то после каждого нечетного пол-оборота вставлен низкочастотный разделитель (в нижней точки спирали), а после каждого четного пол-оборота вставлен высокочастотный разделитель (в верхней точки спирали).

В случае больших изображений (с большим числом пикселей) для получения приемлемой длины звуковой волны изображение на периферии «загрубляется», т.е. данные пикселей объединяются и усредняются. В результате один «виртуальный» пиксель заменяет несколько исходных. Например, четыре расположенные рядом пикселя (квадратом 2х2) заменяются одним эквивалентным пикселем, у которого цвет будет соответствовать частоте, равной среднеарифметическому от частот цвета четырех исходных пикселей, и яркость эквивалентного пикселя будет равна среднеарифметическому значению яркости четырех исходных пикселей. По мере удаления от начальной точки спирали число объединяемых пикселей возрастает. Например, сначала некоторое число оборотов спирали кодирование производится без объединения пикселей, затем несколько оборотов спирали с объединением и усреднением по 4 (2х2) рядом расположенных пикселей, захватывая в 2 раза более широкую полосу пикселей, далее – некоторое число оборотов спирали с объединением и усреднением по 9 (3х3) рядом расположенных пикселей, потом несколько оборотов спирали с объединением и усреднением по 16 (4х4) соседних пикселей и т.д. Таким образом, время, необходимое для воспроизведения части звуковой волны, соответствующей одному обороту спирали на периферии изображения, покрывающему широкую площадь изображения, существенно уменьшается. При этом уменьшается разрешающая способность – информация от периферийных частей изображения представляется в обобщенном виде – так же, как человеческий глаз воспринимает информацию с периферийной части картины, когда взгляд сосредоточен в ее центре.

Центральная точка, с которой первоначально начинается спиралеобразная развертка изображения, служит аналогом «точки взгляда», т.е. места, куда сфокусированы глаза человека, когда он начинает осматривать картинку. Звуковая волна, сформированная на базе спиралеобразной развертки, начиная из некоторой начальной точки изображения, отличной от центральной, будет аналогом «перемещения взгляда» при осмотре картинки глазами. Перемещение начальной точки развертки из центра изображения в иную точку изображения, получение и воспроизведение соответствующих звуковых образов для слуха подобны последовательному осмотру изображения, когда глаза фокусируют взгляд последовательно на разные участки изображения. При этом область, непосредственно примыкающая к начальной точке, там, где объединения и усреднения данных пикселей еще нет, будет иметь наилучшее разрешение. Поэтому эта область будет основой формирования наиболее информативной части звуковой волны. Наличие указательного устройства в системе (мышь, тачпад, сенсорный экран) позволит слепому перемещать виртуальный «взгляд» и многократно формировать звуковые образы для одного и того же растрового изображения, воспринимая которые можно будет опознавать представленный на картинке образ.

На Фиг.1 представлен принцип спиралеобразной развертки данных растрового изображения в одномерный массив для кодирования с целью получения сигнала звуковой волны и варианты его осуществления.

На Фиг.2 представлен принцип кодирования данных пикселей с помощью набора звуковых волн для монохромного и цветного изображения. Для варианта цветного изображения показана вставка разделительных сигналов.

На Фиг.3 представлено объединение пикселей с загрублением разрешающей способности по мере удаления развертки от начальной точки спирали к периферийным участкам изображения для быстрого охвата всего изображения.

На Фиг.4 представлено последовательное формирование нескольких звуковых сигналов для одного растрового изображения посредством изменения начальной точки спиралеобразной развертки для лучшего распознавания образов, присутствующих на изображении.

Реализация изобретения не представляет технических проблем. В качестве источника растрового изображения может использоваться цифровой фотоаппарат или цифровая видеокамера, камера мобильного телефона, web-камера ноутбука, планшета или стационарного компьютера.

Преобразование видеоданных в звуковые данные согласно настоящему способу осуществляется универсальным способом, не зависящим от того, что представлено на изображении. Такое преобразование не связано с распознаванием образов, и, следовательно, оно не потребует больших вычислительных ресурсов, сравнимых с потребностями искусственного интеллекта. Поэтому оно может осуществляться с помощью мобильной компьютерной или микропроцессорной системы в реальном времени. В качестве такой системы может использоваться, например, микропроцессорная система цифрового фотоаппарата, цифровой видеокамеры, мобильного телефона/смартфона, карманного/планшетного компьютера, ноутбука. Если нет требования мобильности, возможно использование и стационарного компьютера.

Практически для всех перечисленных устройств, кроме цифрового фотоаппарата, система воспроизведения звука и указательное устройство (мышь, трекбол, тачпад – сенсорная панель или сенсорный экран) являются стандартными элементами, входящими в комплектацию. Поэтому при наличии программы, реализующей вышеописанный способ преобразования изображения в звуковой образ, данные системы способны стать устройством, получающим технический результат согласно настоящему изобретению.

1. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включающий:

- ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы;

- обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме;

- последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы,

отличающийся тем, что

- двумерный массив пикселей растрового изображения развертывается в одномерный массив пикселей по траектории раскручивающейся спирали из центра изображения к краю,

- на основе получившегося одномерного массива пикселей формируется массив цифровых данных звуковой волны, в которой

- амплитуда звуковой волны пропорциональна яркости пикселей,

- частота звуковой волны кодируется цветом пикселей.

2. Способ преобразования цифрового растрового изображения в звуковой образ по п. 1,

отличающийся тем, что

через каждые пол-оборота и каждый оборот спирали вставляются сигналы-разделители, частота которых больше и меньше значений частоты всех сигналов, которыми кодируются цвета пикселей.

3. Способ преобразования цифрового растрового изображения в звуковой образ по п. 1 или 2,

отличающийся тем, что

- на периферийной части траектории развертки данные яркости и цветности усредняются для нескольких рядом расположенных пикселей, так что одна точка аудиоданных амплитуды/частоты звуковой волны формируется на базе нескольких пикселей исходного изображения, и

- число объединяемых для усреднения пикселей увеличивается по мере удаления от точки начала развертки.

4. Способ преобразования цифрового растрового изображения в звуковой образ по п. 1 или 2,

отличающийся тем, что

- воспроизведение звуковой волны для одного и того же изображения может прерываться слушателем и повторяться несколько раз сначала,

- начало развертки с помощью указательного устройства смещается слушателем в любую точку изображения, отличную от предыдущей начальной точки, и для повторного воспроизведения формируется измененная звуковая волна с новой разверткой, начинающейся с указанной точки.



 

Похожие патенты:

Изобретение относится к тактильным устройствам вывода. Технический результат заключается в уменьшении массы устройства вывода и повышении максимальной скорости вывода данных.

Изобретение относится к области педагогики, в частности к педагогике профессионально-технического образования и среднего специального образования (инклюзивное образование), социальной педагогике, и может быть использовано для реабилитации и социализации молодых инвалидов с сохранным интеллектом и людей с ограниченными возможностями здоровья (ОВЗ).

Изобретение относится к устройству для ввода данных в шрифте Брайля на сенсорной панели. Достигаемый технический результат - создание устройства, которое интуитивно и удобно воспринимается пользователем как зрячим, так и слепым, отвечает требованиям безопасности и конфиденциальности.

Изобретение относится к средствам информирования и ориентации инвалидов по зрению при их передвижении по городской территории. Способ состоит в размещении на стационарных объектах стационарных радиоинформаторов и размещении на инвалидах носимых абонентских устройств, автоматической передаче носимым абонентским устройством в радиоэфир сигнала запроса, по получении которого каждый стационарный радиоинформатор, находящийся в данный момент в зоне действия абонентского устройства, передает в радиоэфир ответ, содержащий его персональные данные, а абонентское устройство поочередно получает и запоминает полученные ответы от всех стационарных радиоинформаторов, находящихся в данный момент в зоне действия этого абонентского устройства, и автоматически направляет сигнал запроса на передачу информации стационарному радиоинформатору, который по получении этого сигнала запроса передает в радиоэфир сообщение о стационарном объекте, на котором он установлен, а абонентское устройство воспроизводит полученную от этого стационарного радиоинформатора информацию в виде звуковых повторяющихся сообщений.

Изобретение относится к текстильному изделию для использования слепыми или слабовидящими людьми. Текстильное изделие (1) содержит основной слой (2) и носитель информации, который содержит осязательную информацию и выполнен в виде вышивки (3) точек шрифта Брайля, расположенной на основном слое (2), в котором вышивка (3) является многослойной.

Изобретение относится к средствам для ориентации инвалидов по зрению. Способ информирования инвалидов о прибывающих на остановку транспортных средствах общего пользования состоит в размещении на транспортных средствах общего пользования радиомодулей, пультов водителей и звукоизлучателей и размещении на инвалидах носимых абонентских устройств, при этом абонентское устройство инвалида автоматически передает в радиоэфир сигнал запроса, после чего радиомодуль каждого транспортного средства, находящегося в данный момент в зоне действия абонентского устройства, по получении сигнала запроса передает в радиоэфир ответ на полученный сигнал запроса, абонентское устройство поочередно получает и запоминает полученные ответы от всех радиомодулей, находящихся в данный момент в зоне действия этого абонентского устройства, и автоматически направляет сигнал запроса на передачу информации радиомодулю транспортного средства, который по получении этого сигнала запроса на передачу информации передает в радиоэфир сообщение о транспортном средстве, на котором он установлен, а абонентское устройство воспроизводит полученную от этого радиомодуля информацию в виде звуковых повторяющихся сообщений, затем радиомодуль выбранного инвалидом транспортного средства передает на пульт водителя сигнал для водителя и подает команду на установленный на транспортном средстве звукоизлучатель, который воспроизводит звуковой сигнал ориентирования, по которому инвалид определяет необходимое направление движения к открытой двери транспортного средства.

Изобретение относится к средствам для обеспечения жизнедеятельности инвалидов по зрению, а именно предназначено для получения информации и облегчения ориентации незрячих людей в пространстве.

Изобретение относится к техническим средствам для распознавания глухонемым человеком смысла речи собеседника, распознавания направления распространения звука речи и искусственного синтеза звуков речи.

Изобретение относится к информационным технологиям и может быть использовано при тактильной передаче и приеме информации, кодированной по системе Брайля, в компьютерах, мобильных телефонах, электронных записных книжках, регистрирующих устройствах и системах управления.

Изобретение относится к техническим средствам для распознавания направления распространения звука речи и ориентации глухонемых людей в пространстве. .

Изобретение относится к акустике, в частности к способам для преобразования зрительной информации в звуковую форму для ее восприятия слепыми. Способ преобразования цифрового растрового изображения в звуковой образ для произвольного статического изображения или отдельного кадра видеоизображения, представленного в цифровом виде как двумерная матрица пикселей, включает ввод цифровых данных массива пикселей изображения в оперативную память микропроцессорной системы, обработку с помощью микропроцессора, формирующую из данных изображения одномерный массив данных в цифровой форме, последующее воспроизведение полученного сигнала в виде звуковых колебаний с помощью аудиосистемы. При этом двумерный массив пикселей растрового изображения развертывается в одномерный массив пикселей по траектории раскручивающейся спирали из центра изображения к краю, на основе получившегося одномерного массива пикселей формируется массив цифровых данных звуковой волны, в которой амплитуда звуковой волны пропорциональна яркости пикселей, частота звуковой волны кодируется цветом пикселей. Технический результат – сокращение количества вычислительных ресурсов. 3 з.п. ф-лы, 4 ил.

Наверх