python

关注公众号 jb51net

关闭
首页 > 脚本专栏 > python > OpenCV图像识别姿态估计

OpenCV图像识别之姿态估计Pose Estimation学习

作者:uncle_ll

这篇文章主要为大家介绍了OpenCV图像识别之姿态估计Pose Estimation学习,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪

目标

在本章中,将学习

基础

在上一节相机校准中,了解了相机矩阵、失真系数等。给定图案图像,可以利用以上信息来计算其姿势或物体在空间中的位置,例如其旋转方式, 对于平面物体,可以假设Z=0Z = 0Z=0,问题就变成了如何将相机放置在空间中以查看图案图像。 因此,如果知道对象在空间中的位置,可以在其中绘制一些2D图来模拟3D效果。

问题是,想在棋盘的第一个角上绘制3D坐标轴(X,Y,Z) X轴为蓝色,Y轴为绿色,Z轴为红色。 因此,实际上Z轴应该感觉像它垂直于棋盘平面

首先,从先前的校准结果中加载相机矩阵和失真系数

import cv2
import pickle
import glob
import numpy as np
# load previously save data
with open(r"cam_calib.p", "rb") as f:
    data = pickle.load(f)
    mtx = data['cam_matrix']
    dist = data['dist_coeffs']

现在创建一个绘制绘制,该函数将棋盘上的角(使用cv2.findChessboardCorners()获得) 和轴点绘制为3D。

def draw(img, corners, imgpts):
    corner = tuple(corners[0].ravel())
    img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255, 0, 0), 5)
    img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0, 255, 0), 5)
    img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0, 0, 255), 5)
    return img

然后,与前面的情况一样,创建终止条件,对象点(棋盘上角的3D点)和轴点。 轴点是3D空间中用于绘制轴的点。 绘制长度为3的轴(单位将根据基于该尺寸校准的棋子方形寸)。因此X轴从(0,0,0)绘制为(3,0,0),Y轴也同样如此。 对于Z轴,从(0,0,0)绘制为(0,0,-3)。 负号表示它朝向相机绘制。

criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
objp = np.zeros((6*7, 3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)

现在,加载每个图像,搜索7x6的网格图像。如果找到,将使用子角像素对其进行优化。然后使用函数cv2.solvePnPRansac()计算旋转和平移。一旦有了这些变换矩阵,就可以使

用它们将轴点投影到图像平面上。简而言之,在图像平面上找到与3D空间中(3,0,0),(0,3,0),

(0,0,3)中的每一个相对应的点。一旦获得它们,就可以使用draw()函数从第一个角到这些点中的每个点绘制线条。

for fname in glob.glob('right*.jpg'):
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (7, 6),None)
    if ret == True:
        corners2 = cv2.cornerSubPix(gray,corners,(11, 11), (-1, -1), criteria)
        # Find the rotation and translation vectors.
        ret,rvecs, tvecs = cv2.solvePnP(objp, corners2, mtx, dist)
        # project 3D points to image plane
        imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist)
        img = draw(img,corners2,imgpts)
        cv2.imshow('img',img)
        k = cv2.waitKey(0) & 0xFF
        if k == ord('s'):
            cv2.imwrite(fname[:6]+'.png', img)
cv2.destroyAllWindows()

每个轴长3个单位。

绘制立方体

如果要绘制立方体,修改draw()函数和轴点。 修改后的draw()函数:

def draw(img, corners, imgpts):
    imgpts = np.int32(imgpts).reshape(-1,2)
    # draw ground floor in green
    img = cv2.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3)
    # draw pillars in blue color
    for i, j in zip(range(4),range(4,8)):
        img = cv2.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3)
    # draw top layer in red color
    img = cv2.drawContours(img, [imgpts[4:]],-1,(0,0,255),3)
    return img

修改的轴点。它们是3D空间中多维数据集的8个角:

axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0],
                   [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])

如果对图形,增强现实等感兴趣,则可以使用OpenGL渲染更复杂的图形(感谢毛星云大佬)。

附加资源

以上就是OpenCV图像识别之姿态估计Pose Estimation学习的详细内容,更多关于OpenCV图像识别姿态估计的资料请关注脚本之家其它相关文章!

您可能感兴趣的文章:
阅读全文