pifuhd の代わりに、PIFu

June 19, 2020

Facebook の pifuhd がすごいぞーっと言うことで、試してみたかったのですが、GPU の Memory が足りなかったので、PIFu を試しました・・・。

テスト画像、女性2種類、ガチャピン

pifuhd

https://github.com/facebookresearch/pifuhd

PIFu

https://github.com/shunsukesaito/PIFu

PIFu を試す

人物の画像は、ぱくたそ さんを使用しました。

登場する画像4種類

  • サンプルの ryota
  • 女性1
  • 女性2
  • ガチャピン

ガチャピンは、人間ではないので、どうなるのか予測不能です。

マスク画像

それぞれに、マスク画像を用意する必要があります。

ryotaは、最初からあります。
それ以外は、Photoshop で作成しました。

pifuhd では、Posenet で クロッピングするようなので、そうしたほうがかっこいいですが、今回は飛ばしました。

生成された OBJモデル

3Dプリンターのスライサーソフトで読み込んでみました。

Ryota

なかなかの出来ではないでしょうか。

女性1

足を上げている点が、難易度を上げている気がしますが・・・

一見きれい・・・?

あ、なんかぐちゃぐちゃ

女性2

わりと素直な姿勢だと思います。
学習データに近いのではないかと思います。

素晴らしい!

ガチャピン

人間ではないので、学習データとは大きく異なると思います。

髪の毛もないし、頭部が大きすぎます。
足も短すぎると思います。

こ、これは!!
ぐちゃぐちゃです。

感想

自前のマシンでHDを試せないのが残念ですが、
本当に試したければ、 Google colab ですぐに試せるようです。

素直にそっちをやりましょう。