Tin tức Khoa học Skynet

Làm thế nào để đánh giá độ thông minh của trí tuệ nhân tạo (AI)?

Ngày:
Th3 21, 2019
Tóm tắt:

Các nhà khoa học đang đưa các hệ thống AI vào thử nghiệm. Các nhà nghiên cứu đã phát triển một phương pháp để cung cấp cái nhìn thoáng qua về phổ ‘trí thông minh’ đa dạng được quan sát trong các hệ thống AI hiện tại, đặc biệt phân tích các hệ thống AI này bằng một công nghệ mới cho phép phân tích và định lượng tự động hóa….

Chia sẻ:
BÀI VIẾT ĐẦY ĐỦ

Trí tuệ nhân tạo (AI) và các thuật toán học máy như Deep Learning đã trở thành một phần không thể thiếu trong cuộc sống hàng ngày của chúng ta: chúng cho phép trợ lý kỹ thuật số hoặc dịch vụ dịch thuật, cải thiện chẩn đoán y tế và là một phần không thể thiếu trong các công nghệ tương lai như xe tự lái… Dựa trên số lượng dữ liệu ngày càng tăng và kiến ​​trúc máy tính mới lạ mạnh mẽ, các thuật toán học tập dường như đạt đến khả năng của con người, đôi khi còn vượt trội hơn cả.
Vấn đề: cho đến nay nhiều người dùng vẫn chưa biết, hệ thống AI chính xác đạt được kết luận như thế nào. Do đó, điều này thường có thể vẫn chưa rõ ràng, liệu hành vi ra quyết định của AI có thực sự ‘thông minh’ hay liệu các phương pháp đó cũng chỉ đạt những thành công trung bình.

Các nhà nghiên cứu từ TU Berlin, Viện Fraunhofer Heinrich Hertz HHI cùng Đại học Công nghệ, Thiết kế Singapore (SUTD) đã giải quyết câu hỏi này và đã đưa ra một cái nhìn thoáng qua về phổ “trí thông minh” đa dạng được quan sát trong các hệ thống AI hiện tại, phân tích cụ thể các hệ thống AI này bằng với một công nghệ mới cho phép phân tích và định lượng tự động hóa.

Điều kiện tiên quyết quan trọng nhất đối với công nghệ mới này là một phương pháp được phát triển trước đó bởi TU Berlin và Fraunhofer HHI, thuật toán được gọi là thuật toán tuyên truyền liên quan đến lớp (LRP – Layer-wise Relevance Propagation) cho phép hệ thống AI hiển thị theo các biến đưa ra quyết định của họ. Mở rộng LRP, phân tích liên quan phổ mới (SpRAy) có thể xác định và định lượng một phổ rộng các hành vi ra quyết định đã học. Theo cách này, giờ đây chúng ta đã có thể phát hiện ra các quyết định không mong muốn ngay cả trong các tập dữ liệu rất lớn.

Cái gọi là ‘AI có thể giải thích (explainable AI)’ này là một trong những bước quan trọng nhất đối với ứng dụng thực tế của AI, theo Tiến sĩ Klaus-Robert Müller, Giáo sư về Machine Learning tại TU Berlin. “Cụ thể trong chẩn đoán y tế hoặc trong các hệ thống quan trọng về an toàn, không nên sử dụng các hệ thống AI có sử dụng các chiến lược giải quyết vấn đề không ổn định hoặc thậm chí gian lận.”

Bằng cách sử dụng các thuật toán mới được phát triển của họ, các nhà nghiên cứu cuối cùng đã có thể đưa bất kỳ hệ thống AI hiện có nào vào thử nghiệm và cũng rút ra thông tin định lượng về chúng: toàn bộ quang phổ bắt đầu từ hành vi giải quyết các vấn trung thực, đến các chiến lược gian lận cho đến các giải pháp chiến lược “thông minh” rất phức tạp được quan sát thấy.

Tiến sĩ Wojciech Samek, trưởng nhóm tại Fraunhofer HHI nói: “Chúng tôi rất ngạc nhiên bởi một loạt các chiến lược giải quyết vấn đề đã học. Ngay cả các hệ thống AI hiện đại không phải lúc nào cũng tìm thấy một giải pháp có ý nghĩa theo quan điểm của con người, nhưng đôi khi được sử dụng cái gọi là ‘Chiến lược thông minh Hans (Clever Hans Strategies)’. “

Clever Hans là một con ngựa được cho là có thể đếm và được coi là một trí tuệ khoa học trong những năm 1900. Sau một cuộc điều tra chính thức vào năm 1907, nhà tâm lý học Oskar Pfungst đã chứng minh rằng con ngựa không thực sự thực hiện những nhiệm vụ bộ đếm này, mà đang theo dõi phản ứng của người huấn luyện. Hans đã không thành thạo toán học nhưng trong khoảng 90% các trường hợp, chú ngựa có thể rút ra câu trả lời đúng từ phản ứng của người hỏi.

Nhóm nghiên cứu xung quanh Klaus-Robert Müller và Wojciech Samek cũng phát hiện ra các chiến lược “Clever Hans” tương tự trong các hệ thống AI khác nhau. Ví dụ, một hệ thống AI đã giành chiến thắng trong một số cuộc thi phân loại hình ảnh quốc tế vài năm trước đã theo đuổi một chiến lược có thể được coi là “ngây thơ” theo quan điểm của con người. Nó phân loại hình ảnh chủ yếu trên cơ sở bối cảnh. Hình ảnh được gán cho hạng mục “con tàu” khi có rất nhiều nước trong ảnh. Các hình ảnh khác được phân loại là “tàu” nếu đường ray có mặt. Tuy nhiên, các hình ảnh khác đã được phân loại chính xác bởi watermark bản quyền của họ. Do đó, nhiệm vụ thực sự, cụ thể là phát hiện các khái niệm về tàu hoặc tàu hỏa, do hệ thống AI này không giải quyết được – ngay cả khi nó thực sự phân loại chính xác phần lớn hình ảnh.

Bản đồ nhiệt cho thấy khá rõ rằng thuật toán đưa ra quyết định tàu / không vận chuyển trên cơ sở các pixel đại diện cho nước và không dựa trên các pixel đại diện cho tàu.
Bản đồ nhiệt cho thấy khá rõ rằng thuật toán đưa ra quyết định tàu / không vận chuyển trên cơ sở các pixel đại diện cho nước và không dựa trên các pixel đại diện cho tàu.
Tín dụng: Truyền thông tự nhiên Bản quyền và CC BY Lizenz

Các nhà nghiên cứu cũng có thể tìm thấy các loại chiến lược giải quyết vấn đề sai lầm này trong một số thuật toán AI tiên tiến, được gọi là mạng lưới thần kinh sâu (Deep Neural Networks) – thuật toán được coi là miễn dịch chống lại những sai sót đó. Các mạng này dựa trên quyết định phân loại của họ một phần dựa trên các tạo tác được tạo ra trong quá trình chuẩn bị hình ảnh và không liên quan gì đến nội dung hình ảnh thực tế.

“Các hệ thống AI như vậy không hữu ích trong thực tế. Việc sử dụng chúng trong chẩn đoán y tế hoặc trong các lĩnh vực quan trọng về an toàn thậm chí sẽ kéo theo những nguy hiểm to lớn”, ông Klaus-Robert Müller nói. “Có thể hiểu được rằng khoảng một nửa số hệ thống AI hiện đang sử dụng hoàn toàn hoặc rõ ràng dựa vào các chiến lược ‘Cleaver Hans’ như vậy. Đã đến lúc kiểm tra một cách có hệ thống, để có thể phát triển hệ thống AI an toàn.”

Với công nghệ mới của họ, các nhà nghiên cứu cũng xác định các hệ thống AI có chiến lược “thông minh” bất ngờ. Ví dụ bao gồm các hệ thống đã học cách chơi các trò chơi Atari Breakout và Pinball. “Ở đây, AI hiểu rõ khái niệm trò chơi và tìm ra một cách thông minh để thu thập nhiều điểm theo cách nhắm mục tiêu và có rủi ro thấp. Hệ thống đôi khi thậm chí còn can thiệp theo cách mà một người chơi thực sự sẽ không làm được”, Wojciech Samek nói.

“Ngoài việc hiểu các chiến lược AI, công việc của chúng tôi thiết lập khả năng sử dụng AI có thể giải thích được cho thiết kế bộ dữ liệu lặp, cụ thể là loại bỏ các vật phẩm trong bộ dữ liệu sẽ khiến AI học các chiến lược còn thiếu sót, cũng như giúp quyết định các ví dụ không được gắn nhãn nào cần được chú thích và thêm vào để những thất bại của một hệ thống AI có thể được giảm bớt”, trợ lý giáo sư SUTD Alexander Binder nói.

“Công nghệ tự động của chúng tôi là nguồn mở và có sẵn cho tất cả các nhà khoa học. Chúng tôi thấy công việc của chúng tôi là bước đầu tiên quan trọng để làm cho các hệ thống AI mạnh mẽ hơn, có thể giải thích và bảo mật hơn trong tương lai, và sẽ phải tuân theo. Đây là điều kiện tiên quyết cần thiết cho chung. sử dụng AI”, Klaus-Robert Müller nói.

Nguồn bài viết:

Tài liệu được cung cấp bởi Đại học Công nghệ và Thiết kế Singapore . Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.


Tạp chí tham khảo :

  1. Sebastian Lapuschkin, Stephan Wäldchen, Alexander Binder, Grégoire Montavon, Wojciech Samek, Klaus-Robert Müller. Hé lộ những dự đoán của Clever Hans và đánh giá những gì máy thực sự học được . Truyền thông tự nhiên , 2019; 10 (1) DOI: 10.1038 / s41467-019-08987-4

Bài viết liên quan

Bài viết mới