将2D/3D物体投影到平面上的算法（增强现实）？

Question

我正在使用从网络摄像头拍摄图像并在棋盘平面（实时）上插入2D/3D对象的标记（这是一个棋盘）来处理关于增强现实的项目。

通过使用openCV我能够检测到棋盘角落并绘制它。我使用Direct3D渲染框架（通过使用正交投影），以便以后我可以使用它来投影2D/3D对象。

现在我坚持在这个阶段。我知道有ARToolkit等库，但我想了解它背后的技术和算法。我如何找到可以将3D物体映射到棋盘平面的变换矩阵？

Answer 1

本文解释得很好：

H. Kato和M. Billinghurst。基于视频的增强现实会议系统的标记跟踪和hmd校准。 Augmented Reality，1999.（IWAR '99）Proceedings。第二IEEE和ACM国际研讨会，85-94页，1999年 1，2，7,9

快速解释：

1. 查找标记的corders并从它

   创建2D边缘

2. 创建基矢量U1，使用由所述边缘 （http://twitpic.com/4fmbsu）

3. 使用叉积所限定的平面上的两个基标记的U2矢量U1，U2得到叔他第三矢量U3

4. 使用它们来构建你的矩阵