Enter your email address:


feedburner count

Time Of Flight and 3D camera

Labels: , ,

Gesturetek là nhà sản xuất ra thuật toán 3D sensing dựa trên nguyên lý Time Of Flight, có thể hiểu là họ có quyền sở hưu trí tuệ về mặt software. Gesturetek liên kết với Canesta (http://www.canesta.com) để sản xuất ra chip 3D sensing, chip sẽ được nhúng vào thuật tóan để tính toán việc capture và dựng lại mô hình 3D, chip này Canesta định bán đại trà cho các nhà sản xuất thiết bị OEM để tích hợp vô sản phẩm của họ. Có thể Microsoft đã mua chip này và gắn cho Camera Project Natal của họ. Hiện Canesta
cũng đã bán chip cho Hitachi để tích hợp vô Tivi của họ, người dùng có thể gesture để control TV menu http://news.cnet.com/8301-17938_105-10253925-1.html.

Về thuật toán Time Of Flight :



Hầu hết chúng ta ai cũng biết ánh sáng phải mất thời gian để đi từ điểm này đến điểm khác. Ví dụ hạt photon của ánh sáng đi từ ngôi sao này đến ngôi sao khác có thể tốn thời gian hàng trăm triệu năm , mà ta gọi là triệu năm ánh sáng. Do ánh sáng có tốc độ, nếu ta biết thời gian ta có thể tính khoảng cách. Ánh sáng trỏ tới mỗi pixel trên sensor của camera được phản chiếu từ nhiều nguồn trong cảnh quan trước ống kính. Canesta chip đo được khoảng thời gian ánh sáng trải qua đề đi từ khung cảnh đến pixel trên sensor, do đó nó 1 tính được khoảng cách của điểm sáng đó tới pixel trên sensor. Sau khi đo khoảng cách từ hàng triệu điểm trên vật thể, Canesta sẽ dụng lại mô hình 3D wireframe của vật thể đó. Các bạn có hình dung ra được chưa, ví dụ cái mũi của chúng ta, khoảng cách từ đỉnh mũi và chân lổ mũi tới camera sẽ khác nhau, Camesta sẽ thu thập được hàng triệu điểm ảnh từ cái mũi của chúng ta và do biết được khoảng cách nó biết được chiều sâu dựng lại được mô hình 3D của cái mũi.



Về cơ bản , chip của Canesta dùng nguyên lý hơi giống nguyên lý của radar. Ở Radar, sóng radio được phát ra, từ angten cho tới đối tượng , sau đó sống radio được phản ngược lại, lúc đó radar đo được khoảng cách của đối tượng. Nhưng ở Canesta , sóng radio được thanh bằng ánh sáng hồng ngoại. Vì sao dùng hồng ngoại, vì hồng ngoại mắt người không nhìn thấy được, và nó không bị phụ thuộc vào ánh sáng môi trường đang là tối (ban đêm, trong phòng tắt đèn) hay đang sáng. Trên chip sẽ có các timers , nó bắn liên tục các photon hồng ngoại tới vật thể , và no sẽ thu được một mãng khoảng cách trả về , và nó dùng mãng khoảng cách này để dụng lại mô hình 3D của vật thể. Một tính tóan này đều nào trên 1 con chip , do đó không làm ảnh hướng đến CPU của thiết bị xài tới nó.
Việc ứng dụng chip này là vô tận, có thể kể : hệ thp61ng cảnh báo an tòan cho xe ôtô có thể detect những object nguy hiểm ngoài tầm nhìn của tài xế, điện thoại 3D hologram như trong phim star war, điều khiển giao diện hương trình bằng cách Gesture như phim Minority Report, dùng hỗ trợ cho vũ khi trong chiến tranh. Ôi vô vàn không kể hết, kỹ nguyên mới sắp bắt đầu, y chang như trong cácc phim khoa học giả tưởng.



Project Natal : phân tích chi tiết về mặt công nghệ, dự đoán giá và đối thủ

Labels: , , , ,






Trước khi đi chi tiết vào kỷ thuật đằng sau Project Natal thì xin dẫn nhập một chút . Chẳng là dạo gần đây đang tham gia một dự án research Multi Touch table tương như Microsoft Surface (http://www.microsoft.com/surface/) nên mình hiểu rất rõ về cơ chế motion detect của camera và hồng ngoại. Khi xem Microsoft show hàng Project Natal thì lúc đầu mình thấy nó rất giống PlayStaion 2 eyetoy đã từng chơi rất lâu từ thời PS2 . Cũng dùng cơ thể để tương tác với các object trong game mà không cần controller .


Đây là EyeToy Play trailer :

Link : http://www.youtube.com/watch?v=6D_EniA3YZc

Đây là game EyeToy Play: Hero :

http://www.youtube.com/watch?v=7OXF_uVy6tI&feature=related


Đây là game Eyetoy Boxing :

http://www.youtube.com/watch?v=dj3UrfjbGIs&feature=related


Còn đây là game Eyetoy Virtual Fighter :

http://www.youtube.com/watch?v=w3UOufHgwh0&feature=related


Nhưng sau khi xem kỹ lại kỹ thuật capture thì 2 công nghê này khác nhau. \

Công nghệ của Sony Playstion eyetoy trên PS2 là công nghệ motion detect 2D bình thường, hầu hết các camera về an ninh đều có khả năng này và một số software cho webcam trên pc cũng có khả năng này. Eyetoy nó detect được vật thể chuyện động , sau đó extract đối tượng ra khỏi background , rồi sau đó detect va chạm giữa đội tượng thật và đồi tượng 3D, nhưng chỉ giới hạn detect ở mức độ 2D.

Công nghệ ở project Natal, ta thấy rõ là mức độ kinh hoàng hơn , mọi chuyển động của người thật đều được true mapping 1:1 chính xác gần như hòan hảo. Người thật giơ tay trái → nhân vật 3D giơ tay trái, người thật đá chân phải → nhân vật 3D đá chân phải, người thật khum người xuống , → nhân vật 3D khum người xuống. Rõ ràng là hơn Ps2 eyetoy.

Nhưng cái shock nhất ở đây là 2 công nghệ này bắt ngưồn từ 1. Có thể nói nó cùng cha đẻ, có thể coi PS2 Eyetoy là version 1 chỉ detect được 2D , còn Project Natal là version 2 detect được 3D.


Bây giờ mình sẽ đi vô chi tiết nguồn gốc bí ẩn đằng sau Project Natal.


Chuyện kể rằng ngày xửa ngày xưa xa lắm rồi ở đất nước Israel có 1 công ty nhỏ đựoc thành lập lấy tên là 3DV Systems, họ gồm những thành viên đam mê lĩnh vưc computer vision nghiên cứu vể khả năng tương tách giữa máy tính và con người. Họ đã nghiên cưu ra công nghệ gọi là Time Of Flight , tính khỏan cách từ vật thể đến camera dựa trên thời gian bay của ánh sáng hồng ngoại từ camera tới vật thể và đi ngược trở lại camera. Kỹ thuật Time Of Flight này sẽ được bàn kỹ hơn .Năm 2000 họ đã release một camera có khả năng capture 3D đặt tên nó là Zcam. Zcam có chip 3D sensor để capture được chiều sâu của đối tượng (cột tọa độ Z trong đồ họa 3D) và dựng lại đối tượng 3D dạng thô rồi chuyền tới ứng dụng để sử lý tiếp, Zcam còn có khả năng detect đựoc hand and body gesture để truyền lệch đến ứng dụng xử lý.

3DV dự định sẽ tung ra sản phẩm camera 3D Zcam vào cuối năm 2008 , dự định sẽ bán với giá 69.9$ thấp hơn Ps2 Eyetoy (lúc mới ra buulde eyetoy + game là $100). Nhưng cuối cùng sản phẩm đã không có mặt trên thị trường. Vì sao ? Tại vì Micrsoft đã mua lại quyền sử dụng công nghệ 3D capture này. Đây cũng là nguồn gốc tạo ra Project natal mà các bạn đã thấy.

Trước khi tiếp tục bài viết rất dài này , các bạn hãy xem qua một số tech show của 3DV, các bạn sẽ mườn tượng được mối liên hệ của nó tới Project Natal :


Capturing Depth - A human face : http://www.3dvsystems.com/gallery/movies/Face.mpg


Video conferencing with the background of your choice :

http://www.3dvsystems.com/gallery/movies/Background%20Replacement.mpg


Tracking full body :

http://www.3dvsystems.com/gallery/movies/Skeleton.mpg


Immersion in virtual reality :

http://www.3dvsystems.com/gallery/movies/VirtualGame.mpg


Let your fingers do the trick (gesture để điều khiển menu và chương trình):

http://www.3dvsystems.com/gallery/movies/Vista%20Flip%203D.mpg

http://www.3dvsystems.com/gallery/movies/Windows%20Media%20Center.mpg

Throw a ball at your TV :

http://www.3dvsystems.com/gallery/movies/VirtualSquash.mpg



A new gaming experience:


http://www.3dvsystems.com/gallery/movies/Flight%20Simulator.mpg


http://www.3dvsystems.com/gallery/movies/Boxing%20-%20Heavy%20Bag.mpg


http://www.3dvsystems.com/gallery/movies/Boxing%20-%20The%20ring.mpg


http://www.3dvsystems.com/gallery/movies/Boxing%20Mix%20No%20MX.mov



Mình tiếp tục bài viết, bên cạnh 3DV system , còn có một công ty khác cũng sở hữu công nghệ Time of Flight này là Gesturetek. Công ty này sở hữa thương hiệu 3D Depth Sensing ứng dụng kỹ thuật Time of Flight and và Gesture series, hiện cả 2 đại gia Sony và Microsoft đều mua công ngjệ của Gesturetek cho Ps2 Eyetoy và Xbox 360 Camera Vision. Trong trang web này , các bạn có thể thấy demo (flash) y chang như những gì Microsoft Project Natal đã trình diễn http://www.gesturetek.com/3ddepth/introduction.php


Scroll chuột xuống cuối trang web bạn sẽ thấy logo Eyetoy và Xbox360 http://www.gesturetek.com/3ddepth/introduction.php



Vấn để chúng ta cần phân tích thêm là ở chỗ , Sony đã mua bản quyền hồi năm 2005 http://www.gesturetek.com/press/press_feb17_05.php , và sau đó 1 năm sau năm 2006 Microsoft mới mua bản quyền http://www.gesturetek.com/press/press_may10_06.php


Và theo mình biết thì chưa thấy sản phẩm game motion gesture nào trên xbox360 ra đời (ai biết thì bổ sung dùm mình). Và cho mãi tới hôm nay , năm 2009 , Microsoft mới sghow hàng, và quay lại trang này http://www.gesturetek.com/3ddepth/introduction.php ta lại thấy công nghệ của Gesturetek đã tiến bộ hơn xưa, đã đạt đến khả năng capture 3D motion. Vậy câu hỏi đặt ra là tại sao Sony lại không show hàng tương tự như Microsoft , vì cả 2 đều cùng một nguồn như nhau mà. Có 3 giả thuyết :

  • Giả thuyết 1 : Microsoft lại chơi trò độc quyền, tung tiền mua đứt công nghệ 3D Sensing này cho tới năm 2015, và Gesturetek không được bán 3D sensing tới cty khác, chỉ được bán kỹ thuật Gesture Recognite .

  • Giả thuyết 2 : Sony muốn làm tiền, chế thêm cái sensor cầm trên tay để bán kiếm thêm tiền, vì Eyetoy mà ap dụng 3D sensing vô thì y chang Project Natal.

  • Giả thuyết 3 : 3D sensing của Gesturetek ra sau khi có PS3 Eye trên thị trường, do Sony đã lỡ sản xuất ra PS3 Eye tràn lan trên thị trường rồi , bây giờ để gắn chip 3D sensing vô thì phải ra model PS3 Eye version 2 , gamer người đã mua Ps3 Eye version đầu sẽ phản đối, buộc sony phải tao thêm phụ kiện đi kèm với Ps3 Eye cũ mà ta đã thấy ở E3 2009.


Một điều thú vị nũa là Jonny Lee, anh chàng nổi tiếng trên youtube hacking wiimote để biến bàn tay của mình thành điều khiển gesture ứng dụng từ xa như Minority Report movies cũng được mời về tham gia dự án này Project natal của Microsoft.


Sự việc càng ngày càn hấp d7ã, nên mình mở topic này ra để mọi người đưa ra cácc giả thuyết .


Về phần mình thì mình đưa ra giả thuyết thế này :

  • Microsoft muống độc quyền cong nghệ Time Of Flight nên đã mua cả 3DV và Gestureek.

  • Giá của Natal 3D camera sẽ khoản 69.99$ bằng với giá Zcam mà 3DV định reselase cuối năm 2008 .