Hành trình Khoa học, Không gian và Thời gian!
Các nhà nghiên cứu khoa học máy tính đã phát triển một kỹ thuật giúp giảm hơn 60% thời gian đào tạo cho các mạng học sâu (deep learning networks) mà không làm mất đi độ chính xác, đẩy nhanh sự phát triển của các ứng dụng trí tuệ nhân tạo (AI) mới.
Các nhà nghiên cứu của Đại học bang Bắc Carolina đã phát triển một kỹ thuật giúp giảm hơn 60% thời gian đào tạo cho các mạng học sâu (deep learning networks) mà không làm mất đi độ chính xác, đẩy nhanh sự phát triển của các ứng dụng trí tuệ nhân tạo (AI) mới.
Xipeng Shen, giáo sư khoa học máy tính tại NC State và đồng tác giả của bài báo cho biết: “Mạng học sâu là trung tâm của các ứng dụng AI được sử dụng trong mọi thứ, từ ô tô tự lái đến công nghệ thị giác máy tính”.
“Một trong những thách thức lớn nhất đối với sự phát triển của các công cụ AI mới là lượng thời gian và sức mạnh tính toán cần có để đào tạo các mạng học sâu để xác định và đáp ứng các mẫu dữ liệu có liên quan đến các ứng dụng của họ. cách để đẩy nhanh quá trình đó, mà chúng tôi gọi là Tái sử dụng thích ứng sâu (Adaptive Deep Reuse). Chúng tôi đã chứng minh rằng nó có thể giảm thời gian đào tạo tới 69% mà không mất độ chính xác. “
Đào tạo một mạng lưới học tập sâu liên quan đến việc phá vỡ một mẫu dữ liệu thành nhiều điểm dữ liệu liên tiếp. Hãy nghĩ về một mạng được thiết kế để xác định xem có một người đi bộ trong một hình ảnh nhất định. Quá trình bắt đầu bằng cách chia một hình ảnh kỹ thuật số thành các khối pixel liền kề nhau. Mỗi khối dữ liệu được chạy qua một bộ các bộ lọc tính toán. Kết quả sau đó được chạy qua một bộ lọc thứ hai. Điều này tiếp tục lặp đi lặp lại cho đến khi tất cả dữ liệu đã được chạy qua tất cả các bộ lọc, cho phép mạng đưa ra kết luận về mẫu dữ liệu.
Khi quá trình này đã được thực hiện cho mọi mẫu dữ liệu trong một tập dữ liệu, đó được gọi là epoch. Để tinh chỉnh một mạng học sâu, mạng có thể sẽ chạy qua cùng một bộ dữ liệu cho hàng trăm kỷ nguyên. Và nhiều bộ dữ liệu bao gồm từ hàng chục nghìn đến hàng triệu mẫu dữ liệu. Rất nhiều lần lặp lại của rất nhiều bộ lọc được áp dụng cho nhiều dữ liệu có nghĩa là việc đào tạo một mạng lưới học tập sâu cần rất nhiều sức mạnh tính toán.
Thời điểm đột phá cho nhóm nghiên cứu của Shen đến khi nhận ra rằng nhiều khối dữ liệu trong một tập dữ liệu tương tự nhau. Ví dụ: một mảng bầu trời xanh trong một hình ảnh có thể tương tự như một mảng bầu trời xanh ở nơi khác trong cùng một hình ảnh hoặc với một mảng bầu trời trong một hình ảnh khác trong cùng một bộ dữ liệu.
Bằng cách nhận ra các khối dữ liệu tương tự này, một mạng học sâu có thể áp dụng các bộ lọc cho một khối dữ liệu và áp dụng kết quả cho tất cả các khối dữ liệu tương tự trong cùng một bộ, tiết kiệm rất nhiều năng lượng tính toán.
“Chúng tôi không chỉ có thể chứng minh rằng những điểm tương đồng này tồn tại, mà chúng tôi có thể tìm thấy những điểm tương đồng này cho kết quả trung gian ở mỗi bước của quy trình”, Lin Ning, một tiến sĩ nói. sinh viên tại NC State và tác giả chính của bài báo. “Và chúng tôi đã có thể tối đa hóa hiệu quả này bằng cách áp dụng một phương pháp gọi là băm nhạy cảm cục bộ (locality sensitive hashing).”
Nhưng điều này đặt ra hai câu hỏi bổ sung. Mỗi khối dữ liệu nên lớn đến mức nào? Và ngưỡng nào mà các khối dữ liệu cần phải đáp ứng để được coi là “tương tự”?
Các nhà nghiên cứu nhận thấy rằng cách tiếp cận hiệu quả nhất là bắt đầu bằng cách xem xét các khối dữ liệu tương đối lớn bằng cách sử dụng ngưỡng tương đối thấp để xác định độ tương tự. Trong các kỷ nguyên tiếp theo, các khối dữ liệu trở nên nhỏ hơn và ngưỡng tương tự nghiêm ngặt hơn, cải thiện độ chính xác của mạng học sâu. Các nhà nghiên cứu đã thiết kế một thuật toán thích ứng tự động thực hiện những thay đổi gia tăng này trong quá trình đào tạo.
Để đánh giá kỹ thuật mới của họ, các nhà nghiên cứu đã thử nghiệm nó bằng cách sử dụng ba mạng dữ liệu và tập dữ liệu sâu được sử dụng rộng rãi làm thử nghiệm của các nhà nghiên cứu học sâu: CifarNet sử dụng Cifar10; AlexNet sử dụng ImageNet; và VGG-19 sử dụng ImageNet.
Thích ứng sâu sử dụng lại cắt giảm thời gian đào tạo cho AlexNet 69 phần trăm; cho VGG-19 bằng 68 phần trăm; và cho CifarNet 63% – tất cả đều không mất độ chính xác.
“Điều này chứng tỏ rằng kỹ thuật này làm giảm đáng kể thời gian đào tạo,” Hui Guan, một tiến sĩ nói. sinh viên tại NC State và đồng tác giả của bài báo. “Nó cũng chỉ ra rằng mạng càng lớn, càng có nhiều khả năng thích ứng sâu có thể giảm thời gian huấn luyện – vì AlexNet và VGG-19 đều lớn hơn CifarNet.”
“Chúng tôi nghĩ rằng Adaptive Deep Reuse là một công cụ có giá trị và mong muốn được hợp tác với các đối tác nghiên cứu và công nghiệp để chứng minh làm thế nào nó có thể được sử dụng để thúc đẩy AI,” Shen nói.
Bài viết, “Tái sử dụng sâu thích ứng: Tăng tốc đào tạo CNN khi đang bay”, sẽ được trình bày tại Hội nghị quốc tế về kỹ thuật dữ liệu lần thứ 35, được tổ chức vào ngày 8 đến 11 tháng 4 tại Macau SAR, Trung Quốc. Công trình được thực hiện với sự hỗ trợ của Quỹ khoa học quốc gia dưới các số cấp CCF-1525609, CNS-1717425 và CCF-1703487.
Nguồn tin tức:
Tài liệu được cung cấp bởi Đại học bang North Carolina . Bản gốc được viết bởi Matt Shipman. Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.