Các nhà khoa học máy tính phát triển công cụ mới tạo video từ văn bản theo chủ đề

Trong một thế giới của những nhiếp ảnh gia và nhà quay phim mới làm quen ghi lại nội dung thông qua điện thoại thông minh và thiết bị cầm tay của họ cần có một công cụ thông minh, dễ sử dụng để tự động tạo phim và dựng phim. Đến nay, nhiều video chất lượng vẫn dựa vào các công cụ chỉnh sửa dựa trên khung chuyên nghiệp để xử lý các cảnh quay thô và tạo ra một video mạch lạc với cốt truyện hấp dẫn.

Một nhóm các nhà khoa học máy tính toàn cầu, từ các trường đại học Tsinghua và Beihang ở Trung Quốc, Đại học Harvard ở Mỹ và IDC Herzliya ở Israel đã phát triển “Write-A-Video”, một công cụ mới tạo video từ văn bản theo chủ đề. Sử dụng các từ và chỉnh sửa văn bản, công cụ sẽ tự động xác định cảnh hoặc cảnh nào được chọn từ kho lưu trữ để minh họa cốt truyện mong muốn. Công cụ này cho phép người dùng mới làm quen tạo ra các đoạn phim chất lượng theo cách đơn giản và thân thiện với người dùng mà không yêu cầu kỹ năng sản xuất và chỉnh sửa video chuyên nghiệp.

Nhóm dự kiến ​​sẽ trình bày công việc của họ tại ACM SIGGRAPH Châu Á được tổ chức từ ngày 17 đến 20 tháng 11 tại Brisbane, Úc. SIGGRAPH Châu Á giờ là năm thứ 12 thu hút những người sáng tạo và kỹ thuật được kính trọng nhất từ ​​khắp nơi trên thế giới về đồ họa máy tính, hoạt hình, tương tác, chơi game và các công nghệ mới nổi.

Mặc dù các công cụ chỉnh sửa video hiện tại vẫn đòi hỏi kiến ​​thức về xử lý và chỉnh sửa video, phương pháp mới của các nhà nghiên cứu cho phép người mới tạo video kể chuyện một cách tự nhiên hơn. Write-A-Video, theo các nhà nghiên cứu, cho phép người dùng tạo một đoạn phim bằng cách chỉnh sửa văn bản đi kèm với video. Ví dụ: thêm hoặc xóa văn bản và di chuyển các câu xung quanh chuyển đổi sang các thao tác chỉnh sửa video, chẳng hạn như tìm các ảnh tương ứng, cắt và sắp xếp lại các ảnh, và tạo kết quả dựng phim cuối cùng.

Giáo sư Ariel Shamir, Trưởng khoa Khoa học máy tính Efi Arazi tại IDC Herzliya cho biết: “Write-A-Video sử dụng những tiến bộ hiện tại trong việc hiểu video tự động và giao diện người dùng duy nhất để cho phép tạo video tự nhiên và đơn giản hơn. Với công cụ của chúng tôi, người dùng cung cấp đầu vào chủ yếu dưới dạng chỉnh sửa văn bản. Công cụ tự động tìm kiếm các ảnh ứng viên phù hợp về mặt ngữ nghĩa từ kho lưu trữ video, sau đó sử dụng phương pháp tối ưu hóa để lắp ráp dựng phim bằng cách tự động cắt và sắp xếp lại các cảnh quay.”

Write-A-Video cũng cho phép người dùng khám phá các kiểu hình ảnh cho từng cảnh bằng cách sử dụng các thành ngữ điện ảnh tạo ra. Ví dụ: phim có nhịp độ nhanh hơn hoặc chậm hơn, chuyển động ít hoặc nhiều nội dung, v.v…

Khi chọn ảnh chụp ứng viên từ kho lưu trữ video, phương pháp cũng xem xét tính hấp dẫn thẩm mỹ của ảnh, chọn ảnh chụp sáng lý tưởng, tập trung tốt và không bị mờ hoặc không ổn định. Tại bất kỳ thời điểm nào, người dùng có thể kết xuất phim và xem trước kết quả dựng phim video với lời tường thuật bằng giọng nói đi kèm.

Nghiên cứu của nhóm cho thấy các công cụ kỹ thuật số thông minh kết hợp khả năng của con người và thuật toán với nhau có thể hỗ trợ người dùng trong quá trình sáng tạo. Công việc của các nhà khoa học chứng minh tiềm năng của kết hợp ngữ nghĩa trực quan tự động trong chỉnh sửa tính toán dựa trên thành ngữ, cung cấp một cách thông minh để giúp tạo video dễ tiếp cận hơn với những người không chuyên.

Đối với nghiên cứu, phương pháp này đã được thử nghiệm trên nhiều phần khác nhau của kho lưu trữ văn bản và video theo chủ đề với đánh giá định lượng và nghiên cứu người dùng. Người dùng không có bất kỳ trải nghiệm chỉnh sửa video nào có thể tạo video thỏa đáng bằng công cụ Write-A-Video đôi khi còn nhanh hơn cả các chuyên gia sử dụng phần mềm chỉnh sửa dựa trên khung. Tại SIGGRAPH Châu Á, nhóm sẽ trình diễn ứng dụng Viết-A-Video và giới thiệu nhiều ví dụ về sản phẩm chuyển văn bản thành video.

Nhóm nghiên cứu bao gồm Miao Wang (Phòng thí nghiệm trọng điểm của Nhà nước về Công nghệ và Hệ thống thực tế ảo / Đại học Beihang và Đại học Thanh Hoa); Guo-Wei Yang (Đại học BNRist / Tsinghua); Shi-Min Hu (Đại học BNRist / Tsinghua); Shing-Tung Yau (Harvard) và Ariel Shamir (IDC Herzliya, Israel).

Một video minh họa dự án có thể được xem tại đây: https://vimeo.com/357657704

Nguồn truyện:

Tài liệu được cung cấp bởi Hiệp hội cho máy tính . Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.