impact 发表于 2010-7-27 11:49

【宅技术】AR(现实扩展)在MIKU上的应用

AR(Augmented Reality):现实扩展。简单地说就是说是将虚拟的景物重叠到真实的景物之重。
和AR相关的一个概念是AV(Augmented Virtually)虚拟扩展。
看一下《诺基亚的现实增强愿景》和《微软的愿景未来2019》的视频,能够有个很直观的理解。

使用的程序:
GLUT(ttp://www.opengl.org/resources/libraries/glut/)
MikuMikuDance(DirectX9 Ver)(ttp://www.geocities.jp/higuchuu4/index.htm)
artk_alive(ttp://ppyy.hp.infoseek.co.jp/artk_alive.html)
以上程序的开发者都提供了源代码,有兴趣的人可以自己继续开发。

测试使用的系统环境
win 7 ultimate、intel E7300、P43主板、4G内存、ATI HD 5500 SERIES、logitech pro 9000摄像头

=================================================================
1.基础安装
自行安装DIRECTX和Microsoft Visual C++ 2008 runtime还有.NET framework

2.安装GLUT
GLUT代表OpenGL应用工具包,英文全称为OpenGL Utility Toolkit,是一个和窗口系统无关的软件包,
它由Mark Kilgard在SGI时写的。作为AUX库的功能更强大的替代品,用于隐藏不同窗口系统 API的复杂性。
将下载后glut-3.7.6-bin.zip解压。将其中的glut32.dll复制到C:\Windows\System32

3.安装artk_alive
artk_alive是ARToolKit(ttp://www.hitl.washington.edu/artoolkit/)的派生软件。
ARToolKit是加藤博一在华盛顿大学HITL工作时开发的AR软件。
artk_alive作为ARToolKit的派生,可以读取MikuMikuDance的PMD文件(模型文件)。
将artk_alive.zip解压得到ARTK_Alive文件夹待用。

4.解压MikuMikuDance(简称MMD)
在MikuMikuDance_v706\UserFile\Model文件夹下有若干pmd文件,这就是MMD的模型文件。
这次我们使用初音ミクVer2.pmd这个文件。
=================================================================

ARToolKit基础原理
http://i789.photobucket.com/albums/yy179/ladeo/AR00.jpg
连接在电脑上的USB摄像头将现实环境拍摄下来。在现实环境中放入marker(1个特定的印刷图案)。
软件探测到marker之后就会将事先定义好的3D模型在电脑中的显示的现实环境中,演算(生成)出虚拟物体。
从而达到AR的效果。

=================================================================

MARK的准备
http://i789.photobucket.com/albums/yy179/ladeo/AR_marker.jpg
将此图片打印出来。
小提示:演算出来的虚拟物体的大小和marker大小成正比。
如果是在桌面上玩的话建议把此图片缩小到60%后打印出来。

打印好后将6个mark分别减下来。注意黑框外边一定要留白边。否则USB摄像头的识别能力会大大下降!
将4个小marker贴在筷子上(方便运动)。
左上角的marker就代表MIKU,左下角的mark是ARToolKit测试用marker,本次用不上。
http://i789.photobucket.com/albums/yy179/ladeo/AR01.jpg
制作好的marker

启动ARTK_Alive程序
打开ARTK_Alive文件夹里的ARTK_Alive.exe程序。
首先进入USB摄像头的设定画面。
http://i789.photobucket.com/albums/yy179/ladeo/AR02.jpg
这里注意帧率最好不要低于30

装过FFDSHOW会让你选择一下
http://i789.photobucket.com/albums/yy179/ladeo/AR03.jpg
我选的ffdshow

进入摄像头的拍摄的画面发现marker已经生效了
http://i789.photobucket.com/albums/yy179/ladeo/AR04.jpg

但是MIKU还没有出现。
点击鼠标右键,选择打开PMD文件(MMD文件夹里的初音ミクVer2.pmd)。
http://i789.photobucket.com/albums/yy179/ladeo/AR05.jpg
MIKU出现了!因为是3D的转动marker或者转动摄像头,MIKU也会跟着动。

两种玩法
一种是用大葱的marker去触摸MIKU(还可以掀裙子… Orz),看MIKU的反应。
http://i789.photobucket.com/albums/yy179/ladeo/AR06.jpg

另一种是按下键盘上的”J”键,可以和MIKU玩猜拳。自己任选一种和MIKU比试。
http://i789.photobucket.com/albums/yy179/ladeo/AR07.jpg

平手的话继续。胜负都有相应的反应。
结束之后再按一次”J”键,重来。

结尾:
artk_alive的作者还制作了一个软件artk_mmd。这个软件除了读取PMD文件,还可以读取MMD的VMD文件。
VMD是MMD的动作文件,也就是说可以让虚拟角色在桌面上舞蹈…
前提是还要安装一个Bullet Physics SDK到C:\Program Files\bullet文件夹下
基本上是nico上的MAD在你的桌子上的实现(非常强大!)

今年情人节KONAMI作为特别活动制作了LOVEPLUS角色的AR(应该是用的ARToolKit)

参考来源:
1.工学ナビー(ttp://kougaku-navi.net/ARToolKit.html)
2.window100%
3.天涯海阁
现实增强(扩张实境)及其相关应用简介『Augmented Reality』
ttp://www.web20share.com/2009/12/augmented-reality.html

交互改变未来:现实增强应用『Augmented Reality』
ttp://www.web20share.com/2010/01/augmented-reality-videos.html

4.VPVP wiki
ttp://www6.atwiki.jp/vpvpwiki/pages/65.html

macroth 发表于 2010-7-27 11:56

好贴马克

saiyling 发表于 2010-7-27 12:01

很有兴趣,有空来仔细学习一下~

水生物种 发表于 2010-7-27 12:21

还没看懂,不过先MARK

lupin 发表于 2010-7-27 12:39

看不懂。。。先MARK了再说

LEGEND-911 发表于 2010-7-27 13:22

之前那個ARFigure作者的新作?

hzqiji 发表于 2010-7-27 14:21

我记得这个去年有人贴过了啊

akitox 发表于 2010-7-27 15:13

技术的MIKU 蛋痛的MIKU。哦也

啥都控星人 发表于 2010-7-27 15:33

MARK

DGIL 发表于 2010-7-27 15:38

技术宅GJ,就算2012后也能创造新世界的!我坚信!

mayahs 发表于 2010-7-27 15:55

http://kougaku-navi.net/files_ARToolKit/image/AR_Sacchi_4.png
http://kougaku-navi.net/files_ARToolKit/image/AR_Ver2_2.png

地址进去看了下 ,这几张很有感觉啊

superoyfc 发表于 2010-7-27 17:35

自制方块玩过那个女仆的………………说心里话这套技术还相当不成熟……………………

水羽楠叶 发表于 2010-7-27 21:23

先MARK

kokyou 发表于 2010-7-27 21:33

先MARK

nustxujun 发表于 2010-7-28 15:05

mark先。。有时间尝试一下看看

rei_2014 发表于 2010-7-28 15:22

回去玩玩看。

Elevation 发表于 2010-7-28 19:45

MARK
等主机过来试试

soniccc 发表于 2010-7-28 21:52

今年情人节KONAMI作为特别活动制作了LOVEPLUS角色的AR(应该是用的ARToolKit)
望向发帖时间。。是上年对吧

25876994 发表于 2010-7-28 23:12

好帖马克

pzgr43 发表于 2010-7-28 23:45

3DMark

valkrie 发表于 2010-7-29 11:17

被掐脖子的表情不错
页: [1]
查看完整版本: 【宅技术】AR(现实扩展)在MIKU上的应用