Разобравшись с выделением контуров объектов на видео, перейдем к более сложной задаче — обнаружению прямоугольников и эллипсов. Более того, мы не только научимся находить их в кадре, но еще и сможем определять угол их наклона!
Хорошим примером использования подобных алгоритмов может стать ситуация, когда роботу нужно правильно ухватиться за предмет. Прямо как на картинке.
Если смотреть на цилиндр сверху, то он превратится в прямоугольник. Зная его координаты в кадре и угол наклона можно рассчитать поворот схвата манипулятора, чтобы правильно ухватиться за предмет.
Сегодня на уроке:
- Функция OpenCV для поиска прямоугольников minAreaRect
- Функция OpenCV для поиска эллипсов fitEllipse
- Отсечение лишних контуров по площади
- Вычисление угла поворота прямоугольника в OpenCV
- Определение угла поворота прямоугольника в видеопотоке
1. Функция OpenCV для поиска прямоугольников minAreaRect
В OpenCV имеется функция, которая пытается найти прямоугольник максимального размера, который может вписаться в заданный замкнутый контур. Надо заметить, что эта функция не определяет является ли контур прямоугольным, она пытается вписать в него прямоугольник оптимальным способом. Это важно!
minAreaRect( контур )
контур — это контур, в который мы собираемся вписать прямоугольник (тип аргумента — Nx2 массив NumPy).
Напишем программу, которая найдет на картинке все прямоугольники. За основу возьмем код из предыдущего урока про поиск контуров.
#!/usr/bin/env python
import sys
import numpy as np
import cv2 as cv
hsv_min = np.array((0, 54, 5), np.uint8)
hsv_max = np.array((187, 255, 253), np.uint8)
if __name__ == '__main__':
fn = 'image2.jpg' # имя файла, который будем анализировать
img = cv.imread(fn)
hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) # меняем цветовую модель с BGR на HSV
thresh = cv.inRange( hsv, hsv_min, hsv_max ) # применяем цветовой фильтр
_, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE)
# перебираем все найденные контуры в цикле
for cnt in contours0:
rect = cv.minAreaRect(cnt) # пытаемся вписать прямоугольник
box = cv.boxPoints(rect) # поиск четырех вершин прямоугольника
box = np.int0(box) # округление координат
cv.drawContours(img,[box],0,(255,0,0),2) # рисуем прямоугольник
cv.imshow('contours', img) # вывод обработанного кадра в окно
cv.waitKey()
cv.destroyAllWindows()
Результат работы программы:
Видно, что алгоритм попытался вписать прямоугольники во вложенные мусорные контуры на самих объектах. Далее мы разберемся как с этим бороться.
Теперь попробуем тоже самое, но с эллипсами.
2. Функция OpenCV для поиска эллипсов fitEllipse
Как и в случае minAreaRect, функция поиска эллипсов не сможет отличить на картинке объект с действительно эллиптическим контуром от квадрата. Она лишь пытается эллипс вписать в любой контур с количеством точек >=5.
fitEllipse( контур )
контур — это контур, в который мы собираемся вписать прямоугольник (тип аргумента — Nx2 массив NumPy).
Слегка изменим предыдущую программу, убрав из неё minAreaRect и добавив fitEllipse.
#!/usr/bin/env python
import sys
import numpy as np
import cv2 as cv
hsv_min = np.array((0, 77, 17), np.uint8)
hsv_max = np.array((208, 255, 255), np.uint8)
if __name__ == '__main__':
fn = 'donuts.jpg'
img = cv.imread(fn)
hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV )
thresh = cv.inRange( hsv, hsv_min, hsv_max )
_, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE)
for cnt in contours0:
if len(cnt)>4:
ellipse = cv.fitEllipse(cnt)
cv.ellipse(img,ellipse,(0,0,255),2)
cv.imshow('contours', img)
cv.waitKey()
cv.destroyAllWindows()
Условие
if len(cnt)>4:
необходимо для того, чтобы отсечь контуры с контурами меньше 5 точек. Результат работы программы:
Надо заметить, что эллипсы лучше пытаться вписать в округлые объекты, а прямоугольники в прямоугольные:) В противном случае, алгоритм может выдать неадекватные результаты.
3. Отсечение лишних контуров по площади
Следующий шаг — разберемся с паразитными микроконтурами, которые мы обнаружили на объектах. Избавиться от них можно, вычислив площадь занимаемую этими контурами, а затем просто отсечь контуры с маленькой площадью.
Внесем в нашу программу модификацию:
box = np.int0(box) # округление координат area = int(rect[1][0]*rect[1][1]) # вычисление площади if area > 500: cv.drawContours(img,[box],0,(255,0,0),2)
Запускаем программу.
4. Вычисление угла поворота прямоугольника в OpenCV
Наконец, вычислим углы наклона всех прямоугольников относительно горизонта. Здесь нам не понадобятся специальные функции OpenCV, достаточно будет простой математики.
#!/usr/bin/env python
import sys
import numpy as np
import cv2 as cv
import math
hsv_min = np.array((0, 54, 5), np.uint8)
hsv_max = np.array((187, 255, 253), np.uint8)
color_blue = (255,0,0)
color_yellow = (0,255,255)
if __name__ == '__main__':
fn = 'image2.jpg' # имя файла, который будем анализировать
img = cv.imread(fn)
hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) # меняем цветовую модель с BGR на HSV
thresh = cv.inRange( hsv, hsv_min, hsv_max ) # применяем цветовой фильтр
_, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE)
# перебираем все найденные контуры в цикле
for cnt in contours0:
rect = cv.minAreaRect(cnt) # пытаемся вписать прямоугольник
box = cv.boxPoints(rect) # поиск четырех вершин прямоугольника
box = np.int0(box) # округление координат
center = (int(rect[0][0]),int(rect[0][1]))
area = int(rect[1][0]*rect[1][1]) # вычисление площади
# вычисление координат двух векторов, являющихся сторонам прямоугольника
edge1 = np.int0((box[1][0] - box[0][0],box[1][1] - box[0][1]))
edge2 = np.int0((box[2][0] - box[1][0], box[2][1] - box[1][1]))
# выясняем какой вектор больше
usedEdge = edge1
if cv.norm(edge2) > cv.norm(edge1):
usedEdge = edge2
reference = (1,0) # горизонтальный вектор, задающий горизонт
# вычисляем угол между самой длинной стороной прямоугольника и горизонтом
angle = 180.0/math.pi * math.acos((reference[0]*usedEdge[0] + reference[1]*usedEdge[1]) / (cv.norm(reference) *cv.norm(usedEdge)))
if area > 500:
cv.drawContours(img,[box],0,(255,0,0),2) # рисуем прямоугольник
cv.circle(img, center, 5, color_yellow, 2) # рисуем маленький кружок в центре прямоугольника
# выводим в кадр величину угла наклона
cv.putText(img, "%d" % int(angle), (center[0]+20, center[1]-20),
cv.FONT_HERSHEY_SIMPLEX, 1, color_yellow, 2)
cv.imshow('contours', img)
cv.waitKey()
cv.destroyAllWindows()
Помним, что цветовые фильтры hsv_min и hsv_max нужно каждый раз настраивать под конкретный объект и освещение!
Запускаем программу, указав в ней в качестве исходного — изображение с макетными платами.
Ура! Работает. Ну и последний шаг — подключим видеопоток.
5. Определение угла поворота прямоугольника в видеопотоке
Здесь нам потребуется вспомнить урок про наложение текста и геометрических фигур на кадр в OpenCV.
#!/usr/bin/env python
import cv2 as cv
import numpy as np
import video
import math
if __name__ == '__main__':
cv.namedWindow( "result" )
cap = video.create_capture(0)
hsv_min = np.array((0, 0, 255), np.uint8)
hsv_max = np.array((72, 51, 255), np.uint8)
color_blue = (255,0,0)
color_red = (0,0,128)
while True:
flag, img = cap.read()
img = cv.flip(img,1)
try:
hsv = cv.cvtColor(img, cv.COLOR_BGR2HSV )
thresh = cv.inRange(hsv, hsv_min, hsv_max)
_, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE)
for cnt in contours0:
rect = cv.minAreaRect(cnt)
box = cv.boxPoints(rect)
box = np.int0(box)
center = (int(rect[0][0]),int(rect[0][1]))
area = int(rect[1][0]*rect[1][1])
edge1 = np.int0((box[1][0] - box[0][0],box[1][1] - box[0][1]))
edge2 = np.int0((box[2][0] - box[1][0], box[2][1] - box[1][1]))
usedEdge = edge1
if cv.norm(edge2) > cv.norm(edge1):
usedEdge = edge2
reference = (1,0) # horizontal edge
angle = 180.0/math.pi * math.acos((reference[0]*usedEdge[0] + reference[1]*usedEdge[1]) / (cv.norm(reference) *cv.norm(usedEdge)))
if area > 500:
cv.drawContours(img,[box],0,color_blue,2)
cv.circle(img, center, 5, color_red, 2)
cv.putText(img, "%d" % int(angle), (center[0]+20, center[1]-20), cv.FONT_HERSHEY_SIMPLEX, 1, color_red, 2)
cv.imshow('result', img)
except:
cap.release()
raise
ch = cv.waitKey(5)
if ch == 27:
break
cap.release()
cv.destroyAllWindows()
Помним про правильную настройку фильтров! Если всё сделано правильно, получится примерно это:
К размышлению
Итак, хорошая новость — мы умеем определять угол наклона прямоугольника. Плохая новость — мы не можем быть уверены, что в кадре именно прямоугольник! Та же ситуация с эллипсом. Попробуем разобраться с более продвинутыми методами детектирования геометрических объектов на следующих уроках!
Добрый день! А новых уроков не было и не предвидится?(
Сейчас делаем нового робота на RPI, скорее всего после его выпуска появятся и новые уроки.
Добрый день. А какой метод использовать, чтобы искать произвольные фигуры?
Я наверное многое не понимаю, но почему площадь вписанного прямоугольника находится, как rect[1][0]*rect[1][1]?