Hành trình Khoa học, Không gian và Thời gian!
Thông thường, phải mất nhiều thiết bị và chuyên môn đắt tiền để tạo ra một bản dựng lại 3D chính xác khuôn mặt của một ai đó. Giờ đây, các nhà nghiên cứu đã tạo ra kỳ tích bằng cách sử dụng video được ghi trên điện thoại thông minh thông thường. Quay video liên tục ở mặt trước và hai bên của khuôn mặt sẽ tạo ra một đám mây dữ liệu dày đặc. Một quy trình gồm hai bước sử dụng dữ liệu đó với một số trợ giúp từ các thuật toán học sâu để xây dựng một bản dựng lại kỹ thuật số của khuôn mặt.
Thông thường, phải mất nhiều thiết bị và chuyên môn đắt tiền để tạo ra một bản dựng lại 3D chính xác khuôn mặt của một người nào đó thực tế và trông không đáng sợ nhưng giờ đây, các nhà nghiên cứu của Đại học Carnegie Mellon đã tạo ra kỳ tích bằng cách sử dụng video được ghi trên điện thoại thông minh thông thường.
Sử dụng điện thoại thông minh để quay video liên tục ở mặt trước và hai bên của khuôn mặt sẽ tạo ra một đám mây dữ liệu dày đặc. Một quy trình gồm hai bước được phát triển bởi Viện Robotics của CMU sử dụng dữ liệu đó với một số trợ giúp từ các thuật toán học sâu để xây dựng một bản dựng lại kỹ thuật số của khuôn mặt. Các thí nghiệm của nhóm cho thấy phương pháp của họ có thể đạt được độ chính xác dưới milimet, vượt trội so với các quy trình dựa trên máy ảnh khác.
Một khuôn mặt kỹ thuật số có thể được sử dụng để xây dựng hình đại diện để chơi game hoặc cho thực tế ảo hoặc tăng cường và cũng có thể được sử dụng trong hoạt hình, nhận dạng sinh trắc học và thậm chí các thủ tục y tế. Kết xuất 3D chính xác của khuôn mặt cũng có thể hữu ích trong việc chế tạo mặt nạ phẫu thuật hoặc mặt nạ tùy chỉnh.
Simon Lucey, giáo sư nghiên cứu tại Viện Robotics cho biết: “Xây dựng tái tạo 3D khuôn mặt là một vấn đề mở trong tầm nhìn và đồ họa máy tính bởi vì mọi người rất nhạy cảm với vẻ ngoài của các đặc điểm trên khuôn mặt. Ngay cả những bất thường nhỏ trong quá trình tái tạo cũng có thể khiến kết quả cuối cùng trông không thực tế.”
Máy quét laser, ánh sáng có cấu trúc và thiết lập phòng thu đa lõi có thể tạo ra các bản quét chính xác cao của khuôn mặt nhưng những cảm biến chuyên dụng này rất đắt đối với hầu hết các ứng dụng. Tuy nhiên, phương pháp mới được phát triển của CMU chỉ cần một điện thoại thông minh.
Phương pháp mà Lucey đã phát triển với các sinh viên thạc sĩ Shubham Agrawal và Anuj Pahuja, đã được trình bày vào đầu tháng 3 tại Hội nghị mùa đông của IEEE về Ứng dụng của Tầm nhìn máy tính (WACV) ở Snowmass, Colorado. Nó bắt đầu với việc quay 15-20 giây video. Trong trường hợp này, các nhà nghiên cứu đã sử dụng iPhone X trong cài đặt chuyển động chậm.
Tốc độ khung hình cao của chuyển động chậm là một trong những điều quan trọng đối với phương pháp của chúng tôi vì nó tạo ra một đám mây điểm dày đặc.
Sau đó, các nhà nghiên cứu sử dụng một kỹ thuật thường được sử dụng gọi là bản đồ hóa và bản đồ hóa đồng thời trực quan (SLAM). Visual SLAM tam giác các điểm trên một bề mặt để tính toán hình dạng của nó, đồng thời sử dụng thông tin đó để xác định vị trí của máy ảnh. Điều này tạo ra một hình dạng ban đầu của khuôn mặt nhưng thiếu dữ liệu để lại những khoảng trống trong mô hình.
Trong bước thứ hai của quá trình này, các nhà nghiên cứu làm việc để lấp đầy những khoảng trống đó trước tiên bằng cách sử dụng các thuật toán học sâu. Tuy nhiên, học sâu được sử dụng theo một cách hạn chế: nó xác định hồ sơ cá nhân và các mốc như tai, mắt và mũi. Các kỹ thuật thị giác máy tính cổ điển sau đó được sử dụng để lấp đầy các khoảng trống.
Học sâu là một công cụ mạnh mẽ mà chúng ta sử dụng hàng ngày. Nhưng học sâu có xu hướng ghi nhớ các giải pháp, hoạt động chống lại những nỗ lực bao gồm các chi tiết phân biệt của khuôn mặt. Nếu bạn sử dụng các thuật toán này chỉ để tìm các mốc, bạn có thể sử dụng các phương pháp cổ điển để điền vào các khoảng trống dễ dàng hơn nhiều.
Phương pháp này không nhất thiết phải nhanh chóng; phải mất 30-40 phút thời gian xử lý. Nhưng toàn bộ quá trình có thể được thực hiện trên điện thoại thông minh.
Ngoài việc tái tạo khuôn mặt, các phương pháp của nhóm CMU cũng có thể được sử dụng để chụp hình học của hầu hết mọi đối tượng. Tái tạo kỹ thuật số của các đối tượng đó sau đó có thể được tích hợp vào hình ảnh động hoặc có thể được truyền qua internet đến các trang web nơi các đối tượng có thể được sao chép bằng máy in 3D.
Nguồn truyện:
Tài liệu được cung cấp bởi Đại học Carnegie Mellon . Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.