Link Search Menu Expand Document

Bootstrap

Table of contents
  1. 预检测
  2. 多视角重建

预检测

以下内容均是针对图片中只有单人的情况

目前的版本只实现了top-down的方法,假设bbox检测一定是准确的。

对于人体数据,首先需要使用YOLO进行检测:

python3 apps/preprocess/extract_keypoints.py ${data} --mode yolo

对检测好的人体,需要人工核实一遍,补上缺失的框

python3 apps/annotation/annot_track.py ${data} --max_person 1

这里不补好像也没关系,后面会自动筛选出来。

确认无误后,使用预训练的网络,OpenPose/HRNet检测一遍所有框。

python3 apps/preprocess/extract_keypoints.py ${data} --mode hrnet --force

如果需要检测脚,运行OpenPose检测脚部关键点

python3 apps/preprocess/extract_keypoints.py ${data} --mode feet --force

多视角重建

进行单帧的多视角重建:

  • 输入:单帧多视角单人2D关键点,相机参数
  • 输出:重建出来的3D关键点

这里重建的结果暂时不考虑遮挡问题,直接全部拿去训练。

多视角重建:

python3 apps/realtime/recon_body.py ${data} --min_view 4

这里限定最少使用4个视角。

观察重建之后的结果:

python3 apps/annotation/annot_keypoints.py ${data} --annot annot_0

如果某一帧的结果是错误的,那么对原始数据进行标注修改,再重新运行多视角重建。

python3 apps/annotation/annot_mv_keypoints.py ${data}