Hành trình Khoa học, Không gian và Thời gian!
Các nhà nghiên cứu đã mô tả kết quả của các thí nghiệm sử dụng mạng lưới thần kinh nhân tạo để dự đoán với độ chính xác cao hơn bao giờ hết về cách các khu vực khác nhau trong não phản ứng với các từ cụ thể. Công việc sử dụng một loại mạng thần kinh tái phát được gọi là bộ nhớ ngắn hạn (LSTM) trong tính toán của nó với các mối quan hệ của từng từ với những gì xuất hiện trước đó để bảo tồn ngữ cảnh tốt hơn….
Trí tuệ nhân tạo AI có thể giúp chúng ta hiểu cách bộ não hiểu ngôn ngữ được không? Khoa học thần kinh có thể giúp chúng ta hiểu tại sao AI và mạng lưới thần kinh có hiệu quả trong việc dự đoán nhận thức của con người được không?
Theo nghiên cứu từ Alexander Huth và Shailee Jain từ Đại học Texas tại Austin (UT Austin) cho thấy cả hai đều có thể xảy ra.
Trong bài báo trình bày tại Hội nghị năm 2018 về Hệ thống xử lý thông tin thần kinh (NeurIPS), các học giả đã mô tả kết quả của các thí nghiệm sử dụng mạng thần kinh nhân tạo để dự đoán với độ chính xác cao hơn bao giờ hết về cách các khu vực khác nhau trong não phản ứng với các từ cụ thể.
Huth, trợ lý giáo sư khoa học thần kinh và khoa học máy tính tại UT Austin cho biết: “Có vẻ như cần phải có hệ thống với nó, nhưng thực tế, đó không phải là cách ngôn ngữ hoạt động. Giống như mọi thứ trong sinh học, rất khó để giảm xuống một bộ phương trình đơn giản.”
Công việc sử dụng một loại mạng thần kinh tái phát được gọi là bộ nhớ ngắn hạn (LSTM) bao gồm trong tính toán của nó các mối quan hệ của từng từ với những gì xuất hiện trước đó để đảm bảo ngữ cảnh tốt hơn.
“Nếu một từ có nhiều nghĩa, bạn suy ra nghĩa của từ đó cho câu cụ thể đó tùy thuộc vào những gì đã nói trước đó”, Jain, một nghiên cứu sinh trong phòng thí nghiệm của Huth tại UT Austin nói. “Giả thuyết của chúng tôi là điều này sẽ dẫn đến những dự đoán tốt hơn về hoạt động của não vì não quan tâm đến bối cảnh.”
Nghe có vẻ là điều hiển nhiên, nhưng trong nhiều thập kỷ, các thí nghiệm khoa học thần kinh đã xem xét phản ứng của não đối với từng từ riêng lẻ mà không có ý nghĩa về mối liên hệ của chúng với chuỗi từ hoặc câu. (Huth mô tả tầm quan trọng của việc thực hiện “khoa học thần kinh thế giới thực” trong một bài báo tháng 3 năm 2019 trên Tạp chí Khoa học thần kinh nhận thức – Journal of Cognitive Neuroscience .)
Trong công việc của họ, các nhà nghiên cứu đã chạy thử nghiệm để kiểm tra và cuối cùng dự đoán, các khu vực khác nhau trong não sẽ phản ứng như thế nào khi nghe những câu chuyện (cụ thể là Giờ phát thanh Moth). Họ đã sử dụng dữ liệu được thu thập từ các máy fMRI (chụp cộng hưởng từ chức năng) để ghi lại những thay đổi về mức độ oxy trong máu trên não dựa trên cách các nhóm tế bào thần kinh hoạt động. Điều này phục vụ cho các khái niệm ngôn ngữ được “đại diện” trong não.
Sử dụng các siêu máy tính mạnh mẽ tại Trung tâm điện toán nâng cao Texas (TACC), họ đã đào tạo một mô hình ngôn ngữ bằng phương pháp LSTM để có thể dự đoán từ nào sẽ đến tiếp theo – một nhiệm vụ gần giống với các tìm kiếm tự động của Google, mà tâm trí con người đã được rèn luyện đặc biệt đạt đến trình độ lão luyện.
Huth nói: “Khi cố gắng dự đoán từ tiếp theo, mô hình này phải ngầm học tất cả những thứ khác về cách ngôn ngữ hoạt động. Giống như những từ có xu hướng theo các từ khác, mà không bao giờ thực sự truy cập vào não hoặc bất kỳ dữ liệu nào về não . “
Dựa trên cả mô hình ngôn ngữ và dữ liệu fMRI, họ đã đào tạo một hệ thống có thể dự đoán bộ não sẽ phản ứng như thế nào khi lần đầu tiên nghe thấy từng từ trong một câu chuyện mới.
Những nỗ lực trong quá khứ đã chỉ ra rằng có thể bản địa hóa các phản ứng ngôn ngữ trong não một cách hiệu quả. Tuy nhiên, nghiên cứu mới cho thấy rằng việc thêm yếu tố theo ngữ cảnh – trong trường hợp này lên tới 20 từ xuất hiện trước đó – cải thiện đáng kể dự đoán hoạt động của não. Họ thấy rằng dự đoán của họ đã được cải thiện ngay cả khi số lượng bối cảnh ít nhất được sử dụng. Càng nhiều thông tin về bối cảnh được cung cấp, độ chính xác của dự đoán của họ càng cao.
Jain nói: “Phân tích của chúng tôi cho thấy rằng nếu LSTM kết hợp nhiều từ hơn, thì việc dự đoán từ tiếp theo sẽ tốt hơn. Điều đó có nghĩa là nó phải bao gồm thông tin từ tất cả các từ trong quá khứ.”
Các nghiên cứu đã tiến triển hơn. Nó khám phá những phần nào của bộ não nhạy cảm hơn với số lượng bối cảnh đó. Ví dụ, họ đã tìm thấy các khái niệm dường như được định vị vào vỏ não và thính giác ít bị phụ thuộc vào bối cảnh.
Huth giải thích: “Nếu bạn nghe thấy từ chó, khu vực này không quan tâm đến 10 từ trước đó là gì, nó sẽ chỉ đáp lại âm thanh của từ chó”.
Mặt khác, các khu vực não liên quan đến tư duy cấp cao dễ xác định chính xác hơn khi bao gồm nhiều bối cảnh hơn. Điều này đã giúp hỗ trợ các lý thuyết về trí tuệ và hiểu ngôn ngữ.
“Có một sự tương ứng thực sự tốt đẹp giữa hệ thống phân cấp của mạng nhân tạo và hệ thống phân cấp của bộ não, mà chúng tôi thấy thú vị,” Huth nói.
Xử lý ngôn ngữ tự nhiên – hay NLP – đã có những bước tiến lớn trong những năm gần đây. Nhưng khi trả lời các câu hỏi, có những cuộc trò chuyện tự nhiên hoặc phân tích tình cảm trong các văn bản bằng văn bản, NLP vẫn còn một chặng đường nghiên cứu dài. Các nhà nghiên cứu tin rằng mô hình ngôn ngữ do LSTM phát triển của họ có thể giúp ích trong các lĩnh vực này.
LSTM (và các mạng thần kinh nói chung) hoạt động bằng cách gán các giá trị trong không gian chiều cao cho các thành phần riêng lẻ (ở đây là các từ) để mỗi thành phần có thể được xác định bởi hàng ngàn mối quan hệ khác nhau của nó với nhiều thứ khác.
Các nhà nghiên cứu đã đào tạo mô hình ngôn ngữ bằng cách cung cấp cho nó hàng chục triệu từ được rút ra từ các bài đăng của Reddit. Hệ thống của họ sau đó đưa ra dự đoán về cách hàng ngàn voxels (pixel ba chiều) trong não của sáu đối tượng sẽ phản ứng với tập truyện thứ hai mà cả người mẫu và cá nhân đều không được nghe thấy trước đó. Vì họ quan tâm đến tác động của độ dài bối cảnh và hiệu ứng của các lớp riêng lẻ trong mạng lưới thần kinh, nên về cơ bản họ đã kiểm tra 60 yếu tố khác nhau (20 độ dài duy trì ngữ cảnh và ba kích thước lớp khác nhau) cho mỗi đối tượng.
Tất cả điều này dẫn đến các vấn đề tính toán ở quy mô lớn, đòi hỏi sức mạnh tính toán, bộ nhớ, lưu trữ và truy xuất dữ liệu khổng lồ. Tài nguyên của TACC rất phù hợp với vấn đề. Các nhà nghiên cứu đã sử dụng siêu máy tính Maverick, chứa cả GPU và CPU cho các tác vụ điện toán và Corral, một tài nguyên lưu trữ và quản lý dữ liệu, để bảo tồn và phân phối dữ liệu. Bằng cách song song hóa vấn đề trên nhiều bộ xử lý, họ có thể chạy thử nghiệm tính toán trong vài tuần thay vì nhiều năm.
“Để phát triển các mô hình này một cách hiệu quả, bạn cần rất nhiều dữ liệu để đào tạo,” Huth nói. “Điều đó có nghĩa là bạn phải đọc toàn bộ tập dữ liệu của mình mỗi lần bạn muốn cập nhật các trọng số. Và điều đó vốn đã rất chậm nếu bạn không sử dụng các tài nguyên song song như các tài nguyên tại TACC.”
Điều này đang khiến Huth và Jain xem xét một phiên bản hệ thống hợp lý hơn, trong đó thay vì phát triển mô hình dự đoán ngôn ngữ và sau đó áp dụng nó vào não, họ phát triển một mô hình dự đoán trực tiếp phản ứng của não. Họ gọi đây là một hệ thống đầu cuối (end-to-end system) và đó là nơi Huth và Jain hy vọng sẽ đi vào nghiên cứu trong tương lai của họ. Một mô hình như vậy sẽ cải thiện hiệu suất của nó trực tiếp trên các phản ứng của não. Một dự đoán sai về hoạt động của não sẽ phản hồi vào mô hình và thúc đẩy cải tiến.
“Nếu điều này hoạt động, thì có khả năng mạng này có thể học cách đọc văn bản hoặc ngôn ngữ tiếp nhận tương tự như cách bộ não của chúng ta làm”, Huth nói. “Hãy tưởng tượng Google Dịch, nhưng nó hiểu những gì bạn đang nói, thay vì chỉ học một bộ quy tắc.”
Với một hệ thống như vậy, Huth tin rằng đây chỉ là vấn đề thời gian cho đến khi một hệ thống đọc suy nghĩ có thể chuyển hoạt động của não sang ngôn ngữ là khả thi. Trong khi đó, họ đang đạt được những hiểu biết sâu sắc về cả khoa học thần kinh và trí tuệ nhân tạo từ các thí nghiệm của họ.
“Bộ não là một cỗ máy tính toán rất hiệu quả và mục đích của trí tuệ nhân tạo là chế tạo những cỗ máy thực sự tốt trong tất cả các nhiệm vụ mà bộ não có thể làm”, Jain nói. “Nhưng, chúng ta không hiểu nhiều về bộ não. Vì vậy, chúng ta cố gắng sử dụng trí thông minh nhân tạo để đặt câu hỏi đầu tiên về cách thức hoạt động của bộ não, và sau đó, dựa trên những hiểu biết mà chúng ta có được thông qua phương pháp thẩm vấn này, và thông qua khoa học thần kinh lý thuyết, chúng tôi sử dụng những kết quả đó để phát triển trí tuệ nhân tạo tốt hơn.
“Ý tưởng là để hiểu các hệ thống nhận thức, cả sinh học và nhân tạo, và sử dụng chúng cùng lúc để hiểu và chế tạo các máy móc tốt hơn.”
Nguồn bài viết:
Tài liệu được cung cấp bởi Đại học Texas tại Austin, Trung tâm Điện toán Nâng cao Texas . Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.
Tạp chí tham khảo :