OpenCV на python: поиск прямоугольников и эллипсов

Разобравшись с выделением контуров объектов на видео, перейдем к более сложной задаче — обнаружению прямоугольников и эллипсов. Более того, мы не только научимся находить их в кадре, но еще и сможем определять угол их наклона!

Хорошим примером использования подобных алгоритмов может стать ситуация, когда роботу нужно правильно ухватиться за предмет. Прямо как на картинке.

Если смотреть на цилиндр сверху, то он превратится в прямоугольник. Зная его координаты в кадре и угол наклона можно рассчитать поворот схвата манипулятора, чтобы правильно ухватиться за предмет.

Сегодня на уроке:

Функция OpenCV для поиска прямоугольников minAreaRect
Функция OpenCV для поиска эллипсов fitEllipse
Отсечение лишних контуров по площади
Вычисление угла поворота прямоугольника в OpenCV
Определение угла поворота прямоугольника в видеопотоке

1. Функция OpenCV для поиска прямоугольников minAreaRect

В OpenCV имеется функция, которая пытается найти прямоугольник максимального размера, который может вписаться в заданный замкнутый контур. Надо заметить, что эта функция не определяет является ли контур прямоугольным, она пытается вписать в него прямоугольник оптимальным способом. Это важно!

minAreaRect( контур )

контур — это контур, в который мы собираемся вписать прямоугольник (тип аргумента — Nx2 массив NumPy).

Напишем программу, которая найдет на картинке все прямоугольники. За основу возьмем код из предыдущего урока про поиск контуров.

#!/usr/bin/env python

import sys
import numpy as np
import cv2 as cv

hsv_min = np.array((0, 54, 5), np.uint8)
hsv_max = np.array((187, 255, 253), np.uint8)

if __name__ == '__main__':
    fn = 'image2.jpg' # имя файла, который будем анализировать
    img = cv.imread(fn)

    hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) # меняем цветовую модель с BGR на HSV
    thresh = cv.inRange( hsv, hsv_min, hsv_max ) # применяем цветовой фильтр
    _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE)
    
    # перебираем все найденные контуры в цикле
    for cnt in contours0:
        rect = cv.minAreaRect(cnt) # пытаемся вписать прямоугольник
        box = cv.boxPoints(rect) # поиск четырех вершин прямоугольника
        box = np.int0(box) # округление координат
        cv.drawContours(img,[box],0,(255,0,0),2) # рисуем прямоугольник

    cv.imshow('contours', img) # вывод обработанного кадра в окно

    cv.waitKey()
    cv.destroyAllWindows()

Результат работы программы:

Видно, что алгоритм попытался вписать прямоугольники во вложенные мусорные контуры на самих объектах. Далее мы разберемся как с этим бороться.

Теперь попробуем тоже самое, но с эллипсами.

2. Функция OpenCV для поиска эллипсов fitEllipse

Как и в случае minAreaRect, функция поиска эллипсов не сможет отличить на картинке объект с действительно эллиптическим контуром от квадрата. Она лишь пытается эллипс вписать в любой контур с количеством точек >=5.

fitEllipse( контур )

контур — это контур, в который мы собираемся вписать прямоугольник (тип аргумента — Nx2 массив NumPy).

Слегка изменим предыдущую программу, убрав из неё minAreaRect и добавив fitEllipse.

#!/usr/bin/env python

import sys
import numpy as np
import cv2 as cv

hsv_min = np.array((0, 77, 17), np.uint8)
hsv_max = np.array((208, 255, 255), np.uint8)

if __name__ == '__main__':
    fn = 'donuts.jpg'
    img = cv.imread(fn)

    hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV )
    thresh = cv.inRange( hsv, hsv_min, hsv_max )
    _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE)
    for cnt in contours0:
        if len(cnt)>4:
            ellipse = cv.fitEllipse(cnt)
            cv.ellipse(img,ellipse,(0,0,255),2)

    cv.imshow('contours', img)

    cv.waitKey()
    cv.destroyAllWindows()

Условие

if len(cnt)>4:

необходимо для того, чтобы отсечь контуры с контурами меньше 5 точек. Результат работы программы:

Надо заметить, что эллипсы лучше пытаться вписать в округлые объекты, а прямоугольники в прямоугольные:) В противном случае, алгоритм может выдать неадекватные результаты.

3. Отсечение лишних контуров по площади

Следующий шаг — разберемся с паразитными микроконтурами, которые мы обнаружили на объектах. Избавиться от них можно, вычислив площадь занимаемую этими контурами, а затем просто отсечь контуры с маленькой площадью.

Внесем в нашу программу модификацию:

box = np.int0(box) # округление координат
area = int(rect[1][0]*rect[1][1]) # вычисление площади
if area > 500:
    cv.drawContours(img,[box],0,(255,0,0),2)

Запускаем программу.

4. Вычисление угла поворота прямоугольника в OpenCV

Наконец, вычислим углы наклона всех прямоугольников относительно горизонта. Здесь нам не понадобятся специальные функции OpenCV, достаточно будет простой математики.

#!/usr/bin/env python

import sys
import numpy as np
import cv2 as cv
import math

hsv_min = np.array((0, 54, 5), np.uint8)
hsv_max = np.array((187, 255, 253), np.uint8)

color_blue = (255,0,0)
color_yellow = (0,255,255)
 
if __name__ == '__main__':
    fn = 'image2.jpg' # имя файла, который будем анализировать
    img = cv.imread(fn)

    hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) # меняем цветовую модель с BGR на HSV
    thresh = cv.inRange( hsv, hsv_min, hsv_max ) # применяем цветовой фильтр
    _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE)

    # перебираем все найденные контуры в цикле
    for cnt in contours0:
    rect = cv.minAreaRect(cnt) # пытаемся вписать прямоугольник
    box = cv.boxPoints(rect) # поиск четырех вершин прямоугольника
    box = np.int0(box) # округление координат
    center = (int(rect[0][0]),int(rect[0][1]))
    area = int(rect[1][0]*rect[1][1]) # вычисление площади

    # вычисление координат двух векторов, являющихся сторонам прямоугольника
    edge1 = np.int0((box[1][0] - box[0][0],box[1][1] - box[0][1]))
    edge2 = np.int0((box[2][0] - box[1][0], box[2][1] - box[1][1]))

    # выясняем какой вектор больше
    usedEdge = edge1
    if cv.norm(edge2) > cv.norm(edge1):
        usedEdge = edge2
    reference = (1,0) # горизонтальный вектор, задающий горизонт

    # вычисляем угол между самой длинной стороной прямоугольника и горизонтом
    angle = 180.0/math.pi * math.acos((reference[0]*usedEdge[0] + reference[1]*usedEdge[1]) / (cv.norm(reference) *cv.norm(usedEdge)))
 
    if area > 500:
        cv.drawContours(img,[box],0,(255,0,0),2) # рисуем прямоугольник
        cv.circle(img, center, 5, color_yellow, 2) # рисуем маленький кружок в центре прямоугольника
        # выводим в кадр величину угла наклона
        cv.putText(img, "%d" % int(angle), (center[0]+20, center[1]-20), 
                   cv.FONT_HERSHEY_SIMPLEX, 1, color_yellow, 2)

    cv.imshow('contours', img)

    cv.waitKey()
    cv.destroyAllWindows()

Помним, что цветовые фильтры hsv_min и hsv_max нужно каждый раз настраивать под конкретный объект и освещение!

Запускаем программу, указав в ней в качестве исходного — изображение с макетными платами.

OpenCV на python, поиск прямоугольников и вычисление угла наклона

Ура! Работает. Ну и последний шаг — подключим видеопоток.

5. Определение угла поворота прямоугольника в видеопотоке

Здесь нам потребуется вспомнить урок про наложение текста и геометрических фигур на кадр в OpenCV.

#!/usr/bin/env python

import cv2 as cv
import numpy as np
import video
import math

if __name__ == '__main__':
    cv.namedWindow( "result" )
    cap = video.create_capture(0)

    hsv_min = np.array((0, 0, 255), np.uint8)
    hsv_max = np.array((72, 51, 255), np.uint8)

    color_blue = (255,0,0)
    color_red = (0,0,128)

    while True:
        flag, img = cap.read()
        img = cv.flip(img,1)
        try:
            hsv = cv.cvtColor(img, cv.COLOR_BGR2HSV )
            thresh = cv.inRange(hsv, hsv_min, hsv_max)
            _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE)

            for cnt in contours0:
                rect = cv.minAreaRect(cnt)
                box = cv.boxPoints(rect)
                box = np.int0(box)
                center = (int(rect[0][0]),int(rect[0][1]))
                area = int(rect[1][0]*rect[1][1])

                edge1 = np.int0((box[1][0] - box[0][0],box[1][1] - box[0][1]))
                edge2 = np.int0((box[2][0] - box[1][0], box[2][1] - box[1][1]))

                usedEdge = edge1
                if cv.norm(edge2) > cv.norm(edge1):
                    usedEdge = edge2

                reference = (1,0) # horizontal edge
                angle = 180.0/math.pi * math.acos((reference[0]*usedEdge[0] + reference[1]*usedEdge[1]) / (cv.norm(reference) *cv.norm(usedEdge)))

                if area > 500:
                    cv.drawContours(img,[box],0,color_blue,2)
                    cv.circle(img, center, 5, color_red, 2)
                    cv.putText(img, "%d" % int(angle), (center[0]+20, center[1]-20), cv.FONT_HERSHEY_SIMPLEX, 1, color_red, 2)
            cv.imshow('result', img)
        except:
            cap.release()
            raise
        ch = cv.waitKey(5)
        if ch == 27:
            break

    cap.release()
    cv.destroyAllWindows()

Помним про правильную настройку фильтров! Если всё сделано правильно, получится примерно это:

К размышлению

Итак, хорошая новость — мы умеем определять угол наклона прямоугольника. Плохая новость — мы не можем быть уверены, что в кадре именно прямоугольник! Та же ситуация с эллипсом. Попробуем разобраться с более продвинутыми методами детектирования геометрических объектов на следующих уроках!

OpenCV на python: поиск прямоугольников и эллипсов: 4 комментария

Петр говорит 02.12.2020 в 21:20:

Добрый день! А новых уроков не было и не предвидится?(

Ответить ↓
- Олег Евсегнеев говорит 02.12.2020 в 21:37:
  
  Сейчас делаем нового робота на RPI, скорее всего после его выпуска появятся и новые уроки.
  
  Ответить ↓
Владимир говорит 02.11.2021 в 23:39:

Добрый день. А какой метод использовать, чтобы искать произвольные фигуры?

Ответить ↓
Роман говорит 26.04.2024 в 13:46:

Я наверное многое не понимаю, но почему площадь вписанного прямоугольника находится, как rect[1][0]*rect[1][1]?

Ответить ↓