Hardware of a digital processing of maps in real time
Обработка и передача изображений
© электронная версия подготовлена АВТЭКС Санкт-Петербург, http://www.autex.spb.su
Hardware of a digital processing of maps in real time
Kostrov V., Smirnov M.
The Murom Institute of the Vladimir State University
Today in engineering there is almost no area which would be not mentioned to some extent with a digital processing of maps.
The computerized procedures are applied to simplification of human perception of x-ray, ultrasonic and other maps. Criterion of quality of processing in this case is value judgment by the person of the obtained map.
Other usage of methods of an image processing is the problem solving, the maps connected to machine perception. In this case the procedures extracting from the map some information and representing it in the shape, suitable for computer processing are applied.
Usage of the computer system as finite "customer" of the processed map, frequently forces to carry out a digital processing in real time. To provide the mode of a real time scale, at an image processing it is possible two paths:
1. Usage of the multiprocessing systems based on general purpose microprocessors;
2. Usage of microsystems the based specialized processors having the specialized architecture and the command system oriented to processing of audio, video and the graphics information in real time.
Usage of multiprocessing systems the general purpose processors constructed on a basis allows to build high-powered systems, being based on readily available element base. However at usage of similar systems acutely there is a question of parallel algorithms of processing.
The increase in high-speed performance of the system of a digital processing by overgrowth of quantity of processors results the map in the following negative moments: first, to conflict of processor units in the system; second, to limitation of productivity of the system; thirdly, to necessity of usage of parallel algorithms or creations new, suitable for implementation on multiprocessors. Also negative factors high cost of the given systems and special requirements to the operating systems supporting the given multiprocessor complexes are important.
Usage as the main calculator of units of a digital processing of signals which contain high-powered signal processors, allows to handle the high-speed dataflow up to the basic computer, and to give last to be engaged in functions peculiar to it: support of data bases, statistical processing, a terminating connection of the information to the screen monitor and printing, etc.
Features of a digital processing of maps define the main requirements showed to DSP. DSP should have the built - in arrangements of execution of main arithmetic operations - multiplyings and storage (general-purpose microprocessors have no the built - in multiplier) besides in DSP the greatest possible shortening instruction time (instruction cycle) is required.
More high efficiency DSP for problem solving a digital processing of maps - consequence of orientation to solution of narrower circle of tasks on the general-purpose microprocessor.
Initially DSP are oriented to high-speed data processing in the format from a floating point, in a parallel way with it the additional increase in speed of processing is possible to achieve by application of the parallel or mixed pipeline parallel architecture at construction of digital units of processing of signals.
Устранение чересстрочной развертки с применением вейвлет-преобразования
Моисеев А.А., Волохов В.А.
Ярославский государственный университет им. П.Г. Демидова
150000, Россия, Ярославль, ул. Советская, 14. Тел. (4852) 79-77-75. E-mail: [email protected]
Введение
В телевизионных стандартах PAL, SECAM видеоинформация передается с частотой 50 полей/сек., где поле (полукадр) представляет собой совокупность четных (либо нечетных строк) кадра [1]. В устройствах, для которых стандартной является кадровая скорость 25 кадров/сек., производится совмещение верхнего и нижнего полукадра, при этом вследствие того, что эти полукадры были получены в различные моменты времени, возникает искажение изображения движущихся объектов [2-7].
Для устранения данного эффекта применяются различные методы. В общем случае задачу устранения чересстрочной развертки можно представить в виде

где






Далее будут кратко рассмотрены наиболее известные методы устранения эффекта чересстрочной развертки.
Обзор методов устранения чересстрочной развертки
На сегодняшний день существует множество различный методов устранения чересстрочной развертки (деинтерлейсинг) [8, 9]. Все они различаются по скорости работы и качеству обработки кадров видеопоследовательности. Одним из наиболее простых методов является метод дублирования поля (duplicate field). В данном случае кадр формируется посредством дублирования строк полукадра (поля), в результате вертикальное разрешение кадра уменьшается вдвое, что приводит к потере половины информации (рис. 1а).
Смешивание полей (blend fields together) – также достаточно простой метод деинтерлейсинга, заключающийся в смешении строк верхнего и нижнего полукадров [10]. Данный метод дает лучший результат по сравнению с предыдущим методом, но при интенсивном движении результирующий кадр сильно размывается (рис. 1б).
Еще один метод заключается в интерполяции строк одного из полей по данному полю [11]. Фактически данный метод, как метод дублирования, уменьшает эффективное вертикальное разрешение вдвое.
Данные методы относятся к линейным алгоритмам деинтерлейсинга без компенсации движения. Также необходимо отметить, что существуют и нелинейные методы деинтерлейсинга, одним из самых простых является алгоритм с применением медианной фильтрации.
Наиболее эффективными являются методы деинтерлейсинга с компенсацией движения. В этой группе алгоритмов используется информация из обоих полей и набор векторов движения



Одним из наиболее простых методов с компенсацией движения является метод рекурсивного (time-recursive) деинтерлейсинга

В большинстве алгоритмов с КД производится обработка не всего кадра, а только той его части, которая изменяется в результате движения. Для этого вводится порог движения, в соответствии с которым определяется наличие движения в кадре.
![]() Полный кадр | ![]() Увеличенный фрагмент кадра |
Описание предлагаемого метода
В данной работе предлагается метод устранения чересстрочной развертки с применением дискретного вейвлет-преобразования с использованием компенсации движения. Полный кадр видеопоследовательности преобразуется с помощью двумерного разделимого вейвлет-фильтра (выполняется два уровня преобразования). Далее производится поиск векторов движения (ВД) в пространстве вейвлет-коэффициентов согласно следующему алгоритму: определяются «опорные» вектора движения для области «2.4» (см. рис. 3б); производится поиск векторов движения для областей «2.1», «2.2», «2.3», при этом в качестве начальных точек поиска используются вектора движения, полученные для области «2.4»; аналогичная процедура повторяется для областей «1.1», «1.2», «1.3» (в качестве начальной точки поиска выступают удвоенные вектора движения для области «2.4»). Далее определяются вектора движения посредством уточнения «опорных» векторов движения с учетом векторов, полученных для более низких уровней преобразования, и производится КД.
Преимущество данного метода компенсации движения состоит в том, что вектора движения определяются для различных масштабов изображения (благодаря свойству кратномасштабности вейвлет-преобразования), при этом уменьшается ошибка определения ВД, вызванная шумами, искажениями и т.д.
Далее с использованием векторов движения определяются области кадра, в которых присутствует движение. Производится обработка вейвлет-коэффициентов, соответствующих движущимся областям. Экспериментальные результаты показали, что для такой обработки достаточно одного уровня вейвлет-преобразования. При этом наилучший результат достигается при обработке области «1.3», соответствующей горизонтальным частотам изображения.
![]() а) | ![]() б) | ![]() в) | ![]() г) |
Рис. 1. Результат работы фильтров деинтерлейсинга: а) дублирование полей; б) смешивание полей; в) интерполяция; г) алгоритм с компенсацией движения |
![]() а) | ![]() б) |
Рис. 2. Иллюстрация работы алгоритма: а) поиск векторов движения; б) два уровня вейвлет-преобразования |
Результат обработки кадров тестовой видеопоследовательности «Теннис» приведен на рис. 3. Видно, что предлагаемый в работе алгоритм более качественно обрабатывает контуры движущихся объектов. В обработанном кадре отсутствуют артефакты, возникающие после применения алгоритма компенсации движения.
![]() а) | ![]() б) | ![]() в) |
Рис. 3. Сравнение результатов работы алгоритмов деинтерлейсинга: а) исходный фрагмент кадра; б) фрагмент кадра, обработанного стандартным алгоритмом с компенсацией движения; в) фрагмент кадра обработанного предложенным алгоритмом |
Заключение
Предложен алгоритм устранения чересстрочной развертки с применением вейвлет-преобразования. В алгоритме применен метод компенсации движения в области вейвлет-коэффициентов. Фильтрация движущихся областей кадра производится с помощью двумерных разделимых цифровых вейвлет-фильтров, что дает лучшие результаты по сравнению с другими методами. Предлагаемый алгоритм позволяет более качественно обрабатывать контуры движущихся объектов. В обработанном кадре отсутствуют артефакты, возникающие после применения алгоритма компенсации движения.
Работа выполнена при финансовой поддержке Российского фонда фундаментальных исследований (грант № 06-02-17195).
Литература
Цифровая обработка телевизионных и компьютерных изображений / Под ред. Зубарева Ю.Б., Дворковича В.П. – М.: Радио и связь, 1997. – 212 с.
Vetro A., Christopoulos C., Sun H.: Video Transcoding architectures and techniques: an overview // IEEE Signal Processing Magazine. 2003. V. 20, No. 2. P. 18-29.
Pigeon S., Guillotel P. Advantages and drawbacks of interlaced and irogressive scanning formats // CEC HAMLET Deliverable N° R2110/WP2/DS/R/004/b1, Y2/M6 1995.
International Organization for Standardization. Generic Coding of Moving Pictures and Associated Audio, Draft recommendation H.262, ISO/IEC 13812-2, March 1994.
Guillotel P., Pigeon S. Coding efficiency comparisons of both interlaced and progressive scanning Formats // CEC HAMLET Deliverable N° R2110/WP2/DS/R/012/b1, Y2/M12 1995.
Vanderdorpe L. Motion compensated conversion from interlaced to progressive formats // Signal Processing : Image Communication. 1994. V. 6, No. 3. P. 193-211.
Guillotel P., Pigeon S. Progressive versus interlaced coding // European Workshop on Image Analysis and Coding for TV, HDTV and Multimedia Applications, 1996. P. 181-186.
De Haan G., Bellers E. Deinterlacing – An overview // Proc. of the IEEE. 1998. V. 86, №. 9. P. 1839-1857.
De Haan G., Bellers E. De-interlacing of video data // IEEE Trans. on Consumer Electronics. 1997. V. 43, № 3. P. 819-824.
De Haan G., Bellers, E.B.: Deinterlacing of video data // IEEE Transactions on Consumer Electronics, 1997. V. 43, № 3. P. 819-825.
Hentschel C., Comparison between median filtering and vertical edge controlled interpolation for flicker reduction // IEEE Tr. on Cons. Electr.1989. V. 35, № 3. P. 279-289.
Delogne P., Cuvelier L., Maiso, B., Caillie B.V., Vandendorpe L. Improved interpolation, motion estimation and compensation for interlaced pictures // IEEE Transactions on Image Processing. 1994. V. 3, № 5. P. 482–491.
Sugiyama K., Nakamura H. A method of de-interlacing with motion compensated interpolation //. IEEE Transactions on Consumer Electronics. 1999. V. 45, № 3. P. 611-616.
Jung Y., Choi B., Park Y., Ko S. An Effective deinterlacing technique using motion compensated Interpolation // IEEE Transactions on Consumer Electronics. 2000. V. 46, № 3. P. 460–466.
Kwon O., Sohn K., Lee C. Deinterlacing using directional interpolation and motion compensation // IEEE Transactions on Consumer Electronics. 2003. V. 49, № 1. P. 198–203.
Capodiferro L. Interlaced to progressive conversion by median filtering // Chiarglione, L. (ed.): Signal Processing of HDTV, II, Elsevier Science Publishers, 1990.
de-interlacing technique using wavlet transform
Moiseev A., Volohov V.
Yaroslavl State University
150000, Russia, Yaroslavl, Sovetskaya st., 14. Phone. (4852) 79-77-75. E-mail: [email protected]
In television standard PAL, SECAM frame-rate is equal 50 field-per-second, where field is interlaced frame of video-data. Devices which use 25 frame-per-second interlaced video has some drawbacks: line twitter, crawl, and large area flicking, due to the alternative sampling in every other field.
At present day there are many different de-interlacing methods [2]. All of then are differ by performance and quality of de-interlaced images.
![]() a) | ![]() b) | ![]() c) |
Fig. 1. a) original frame; b) MC method; c) proposed algorithm |
In this paper Motion-Compensated de-interlacing technique by the mean of discrete wavelet-transform is proposed. Interlaced frame is transformed by 2D separable wavelet filter (two layer decomposition is applied). After that in wavelet domain motion compensation are performed. Using motion vectors moving domain in frame are detected. Processing of wavelet coefficients corresponding to moving domain are performed. Experimental results shows that for such processing one level of wavelet transform is enough. In this case the best result could be achieved under horizontal region of first level of wavelet transform is processed. De-interlaced pictures from test sequence “Tennis” are shown on the figure 3.
The advanced Motion-Compensated de-interlacing algorithm using wavelet-transform is proposed. Multiscale motion compensation in wavelet domain is applied. Filtering of frame’s moving domain is implemented by the mean of 2D separable wavelet filters, that yields better result compared to other methods.
References
De Haan G., Bellers E.B. Deinterlacing – An overview // Proceedings of the IEEE. 1998. Vol. 86, No. 9. P. 1839-1857.
УВЕЛИЧЕНИЕ ИЗОБРАЖЕНИЙ С ПОМОЩЬЮ МНОГОФАЗНОЙ ИНТЕРПОЛЯЦИИ
Щербаков М.А., Сорокин С.В.
Пензенский государственный университет
Увеличение используется во многих сферах обработки изображений. Оно реализуется путем вставки «нулевых» пикселей в изображение для того чтобы увеличить его размер, а затем с помощью интерполяции новым пикселям присваивается соответствующее значение яркости. Рассмотрим увеличение изображений в четное число раз. Обобщенное увеличение также возможно с простыми изменениями предложенного метода.
Для того чтобы увеличить изображение в 2 раза, сначала создается двухмерный массив с нулевыми элементами. Число строк и столбцов в два раза превышает число строк и столбцов исходного изображения. Для интерполяции оставшихся пикселей используется метод, известный как многофазная интерполяция (polyphase interpolation), также известная как медианная интерполяция [1].
Медианный фильтр впервые представил Туки [2] в 1970 г. под названием «бегущая медиана» для сглаживания дискретных данных. Для ее определения через












То есть элементы в окне фильтра сортируются по величине и значение среднего элемента отсортированной последовательности, т.е. медианы, является выходом фильтра. Если отсортированные элементы окна обозначить


![]()
| | ||||||||||||||||||||||||||||||||||||
Рис. 1. | Рис. 2. |
Сначала вычисляется значение пикселей, у которых оригинальные пиксели находятся в четырех углах. Они вычисляются с помощью простой медианы четырех элементов – ближайших пикселей.
Т.е. чтобы вычислить значение пикселя «11», обведенного квадратом на рис. 1, на вход простого медианного фильтра поступают четыре элемента, обведенные кружками на этом же рисунке. Т.к. все пиксели «00» расположены на одном и том же расстоянии от элементов «11» и являются оригинальными, используется простой медианный фильтр, т.е. используется вес 1 для всех четырех элементов. Полученный массив показан на рис. 2, где кружками обозначены исходные элементы, а квадратами обозначены сформировавшиеся элементы.
Оставшиеся пиксели, обозначенные «01» и «10», вычисляются используя взвешенный медианный фильтр, на вход которого подается четыре ближайших соседа. Таким образом, каждый пиксель, обозначенный «01» на предыдущих рисунках, является результатом интерполяции, в которой используется два оригинальных пикселя и два пикселя, значение которых были получены с помощью предыдущей интерполяции. Подобным образом, значения пикселей «10» получаются используя оригинальные пиксели сверху и снизу, и интерполированные пиксели справа и слева.
Значения пикселей «11» не являются оригинальными, т.к. они были получены с помощью простого медианного фильтра. Поэтому они менее достоверны чем оригинальные пиксели, и при определении значений пикселей «01» и «10» они должны иметь меньшие весовые коэффициенты по сравнению с оригинальными элементами. Следовательно, при использовании взвешенного медианного фильтра для определения пикселей «01» и «10» пикселям «11» назначаются весовые коэффициенты «0.5», а оригинальным пикселям «00» - единичные коэффициенты. Весовой коэффициент «0.5» подразумевает, что когда оба пикселя «11» имеют значение, находящееся между двумя пикселями «00», выходом взвешенного медианного фильтра будет являться либо значение одного из пикселей «00», либо их среднее. Таким образом, элементы «11», отличающиеся от пикселей «00», не будут иметь сильное влияние на выход взвешенного медианного фильтра; только когда значение элементов «11» лежит между двумя оригинальными пикселями, они будут непосредственно влиять на результат интерполяции. Выбор весового коэффициента 0.5 является произвольным, т.к. любой вес, лежащий между нулем и единицей будет также влиять на выход фильтра. Следует отметить, что алгоритмы вычисления элементов «01» и «10» должны слегка отличаться благодаря тому факту, что эти элементы имеют разную ориентацию двух ближайших оригинальных пикселей.
В качестве примера рассмотрим увеличение черно-белого изображения. Пиксель в i-ой строке и j-ом столбце имеет яркость





Пиксели результирующего массива Х получаются следующим образом:

![]() | ![]() |
Рис. 3 | Рис. 4 |
На рис. 3 представлено исходное изображение, где белым квадратом выделен объект увеличения. На рисунке 4 представлены результаты увеличения с использованием бикубической интерполяции (рис. 4а) и многофазной интерполяции (рис. 4б). Для кубической интерполяции [3] значение выходного пикселя является взвешенным средним четырех ближайших соседних пикселей. По сравнению с билинейной интерполяцией и с интерполяцией по ближайшему соседу бикубическая интерполяция демонстрирует наилучшие результаты и применяется во многих профессиональных пакетах обработки изображений, таких как Matlab и Adobe Photoshop. При сравнении полученных изображений ясно видно, что при многофазной интерполяции пропадает ступенчатость, а также намного четче видны грани изображения. Также стоит отметить, что изображение на рис. 4б в целом выглядит немного размыто благодаря сглаживающему свойству медиан.
В конце необходимо сказать, что взвешенная медианная интерполяция нашла применение в видео обработке и сжатии изображений [4,5].
Литература
S.K. Milta, G.L. Sicuranza. Nonlinear image processing. Academic press. 2001. – p. 455.
J.W. Tukey. Nonlinear (nonsuperposable) methods for smoothing data. In Congr. Rec. EASCON, p.673 (1974).
Р.Гонсалес, Р.Вудс «Цифровая обработка изображений», М.:Техносфера, 2005. – 1072 с.
R.Queiroz, D.Florencio and R. Schafer. Nonexpansive pyramid for image coding using a nonlinear filterbank. IEEE Trans. Image Process. 7(2), 246-252 (February 1995).
L.Yin, R.Yang, M. Gabbouj and Y. Neuvo. Weighted median filters: a tutorial. IEEE Trans. Circ. Syst.II, 43(3), 157-192 (March 1996).
ЛИНЕЙНО-КУСОЧНАЯ АППРОКСИМАЦИЯ УРАВНЕНИЯ ОПТИМАЛЬНОЙ ФИЛЬТРАЦИИ ДВОИЧНЫХ ИЗОБРАЖЕНИЙ
Колупаев А.В.
Вятский Государственный Университет
В последние годы в связи с большими успехами вычислительной техники проблема восстановления искаженных шумами изображений, интенсивно решается и к настоящему времени предложены различные методы обработки изображений, представляющие практический интерес.
В работе [1] синтезирован алгоритм оптимальной фильтрации цифровых полутоновых изображений (ЦПИ), аппроксимированных двумерными дискретнозначными марковскими процессами. Особенностью алгоритма является необходимость вычисления нелинейной функции, что требует значительных вычислительных ресурсов. Предложенный в [2] квазиоптимальный алгоритм существенно снижает объём вычислений, но может быть применён лишь при отношениях сигнал/шум по мощности сигнала

В данной работе рассмотрены отличные от [2] аппроксимации нелинейной функции, позволяющие приблизить квазиоптимальный алгоритм по эффективности к оптимальному.
Любое ЦПИ с

Будем считать, что изображение передаётся с помощью двоичных фазоманипулированных импульсов последовательной разверткой от левого верхнего угла кадра вниз построчно по мере поступления элементов изображения. Тогда фильтрацию текущего элемента изображения можно производить, отталкиваясь только от каузально расположенного множества ранее принятых элементов. Примем также, что помеха представляет собой аддитивный гауссовский шум с нулевым средним.
Тогда уравнение оптимальной, с точки зрения минимальной вероятности возникновения ошибок, фильтрации элементов изображений, аппроксимированных двумерными марковскими процессами с двумя равновероятными значениями и симметричной матрицей вероятностей переходов, записывается в рекуррентном виде с учётом корреляционных связей по горизонтали, вертикали и диагонали [1]:
(1), где i, j – положение элемента в пространстве; u(q,r) – логарифм отношения апостериорных вероятностей состояний дискретного параметра; [f(M1) – f(M2)] – разность логарифмов функций правдоподобия состояний дискретного параметра двоичного сигнала элемента изображения (i, j); z(u,П) – нелинейные функции-поправки, содержащие в себе априорные данные о статистике фильтруемого процесса, соответственно по горизонтали, вертикали и диагонали, равные:
. Аргументами этой функции являются известные априорно элементы матрицы вероятностей перехода случайного марковского процесса из одного состояния в другое:


Значение дискретного параметра сигнала, вычисляемого по уравнению (1), определяется сравнением логарифма отношения апостериорных вероятностей с порогом Н. Согласно критерию идеального наблюдателя, порог устанавливается таким образом, чтобы минимизировать среднюю вероятность ошибки. Для двоичной симметричной марковской цепи, с одинаково нежелательными ошибками как первого, так и второго рода, оптимальным является выбор порогового значения H=0.
Рекуррентное вычисление экспоненциальных функций, содержащихся в слагаемом

На рис.1 изображены графики семейства функций



Рис.1 – семейство функций z
Для осуществления линейно-кусочной аппроксимации необходимо получить уравнения прямых, наиболее близких к исходной функции на каждом промежутке области определения, а также границы этих промежутков. Для дифференцируемых функций уравнение касательной в точке x0 записывается следующим образом [4]:






Из анализа графиков на рис.1 можно заметить, что для качественной аппроксимации функции z(u) потребуется не менее трёх прямых для описания характера функции при: больших положительных, больших отрицательных и близких к нулю значениях u. В этом случае необходимо провести касательные в точках:



Тогда коэффициенты уравнений касательных (2) в точках








Во всех остальных точках функция z(u) дифференцируема, следовательно, вычисления пределов функций в уравнениях коэффициентов (3) могут быть заменены вычислением самих функций:






На рис.2 изображена функция z(u) и прямые линии, которыми эта функция аппроксимируется в первом приближении.

Рис.2 – Аппроксимация функции z
Для приближенного случая, в уравнении (1) функции



где значение функций




В уравнении (8) присутствуют только линейные функции, не требующие трудоёмких вычислений, выражения

На рис.3 приведены результаты сравнительного исследования области применения уравнений оптимальной и квазиоптимальной фильтрации двоичных изображений.
В качестве объективной количественной оценки восстановления двоичных коррелированных изображений принято отношение:






Рис. 3 – Зависимости выигрышей по мощности от


Результаты исследования показывают, что при отношениях сигнал-шум на входе

Литература
Петров Е.П. Фильтрация двумерных марковских полей с дискретными параметрами/Е.П. Петров/ Вятск. Госуд. техн. ун-т. – Киров, 1995. – 22 с. – Деп. в ВИНИТИ 18.04.95, № 1061-В95
Трубин И.С. Метод цифровой внутрикадровой фильтрации монохромных изображений /И.С. Трубин, Е.Л. Буторин/ Вятск. Госуд. ун-т. - Киров, 2004. - 11 с. - Деп. в ВИНИТИ 12.05.04, №792-В2004.
Претт У. Цифровая обработка изображений: Пер. с англ. – М.: Мир, 1982. – кн. 1 – 312 с.
В.А.Кудрявцев, Б.П.Демидович. Краткий курс высшей математики. М.:Наука, 1975. - 272 с.
Цифровая обработка сигналов и ее применение
Digital signal processing and its applications
страница 1
скачать
Другие похожие работы: