Hành trình Khoa học, Không gian và Thời gian!
Nhà thiên văn học đã phát hiện ra rằng một quy trình mới để đánh giá các dự án nghiên cứu khoa học được đề xuất là có hiệu quả – nếu không muốn nói là như vậy – so với phương pháp đánh giá ngang hàng truyền thống.
Một nhóm các nhà khoa học do một nhà thiên văn học thuộc Đại học bang Michigan dẫn đầu đã phát hiện ra rằng một quy trình mới để đánh giá các dự án nghiên cứu khoa học được đề xuất là hiệu quả – nếu không muốn nói là như vậy – so với phương pháp đánh giá ngang hàng truyền thống.
Thông thường khi một nhà nghiên cứu đệ trình một đề xuất, cơ quan tài trợ sau đó yêu cầu một số nhà nghiên cứu trong lĩnh vực cụ thể đó đánh giá và đưa ra khuyến nghị tài trợ. Một hệ thống đôi khi có thể hơi cồng kềnh và chậm chạp – không hoàn toàn là một khoa học chính xác.
Wolfgang Kerzendorf, trợ lý giáo sư tại khoa Vật lý và Thiên văn học của MSU, và Toán học, Khoa học và Kỹ thuật, cho biết: “Như trong tất cả các nỗ lực của con người, điều này có một sai sót.
Chi tiết trong ấn phẩm Thiên văn học thiên nhiên (Nature Astronomy) , Kerzendorf và các đồng nghiệp đã thử nghiệm một hệ thống mới phân phối khối lượng công việc của các đề xuất dự án cũng như xem xét trong số những người đề xuất, được gọi là phương pháp “đánh giá ngang hàng phân tán”.
Tuy nhiên, nhóm đã tăng cường nó bằng cách sử dụng hai tính năng mới lạ khác: Sử dụng máy học để kết hợp các nhà đánh giá với các đề xuất và đưa vào cơ chế phản hồi trong đánh giá.
Về cơ bản, quy trình này bao gồm ba tính năng khác nhau được thiết kế để cải thiện quy trình đánh giá ngang hàng.
Đầu tiên, khi một nhà khoa học đệ trình một đề xuất để đánh giá, trước tiên anh ta hoặc cô ta được yêu cầu xem lại một số bài báo của đối thủ cạnh tranh, một cách để giảm số lượng bài báo được yêu cầu xem xét.
Kerzendorf chia sẻ: “Nếu bạn hạ thấp số lượng đánh giá mà mỗi người phải làm, họ có thể dành thêm một chút thời gian cho mỗi đề xuất.”
Thứ hai, bằng cách sử dụng máy tính – học máy – các cơ quan tài trợ có thể kết hợp người đánh giá với các đề xuất về các lĩnh vực mà họ là chuyên gia. Quá trình này có thể đưa sự thiên vị của con người ra khỏi phương trình, dẫn đến việc xem xét chính xác hơn.
“Về cơ bản, chúng tôi xem xét các bài báo mà độc giả tiềm năng đã viết và sau đó đưa ra cho những người này những đề xuất mà họ có thể đánh giá tốt”, Kerzendorf nói. “Thay vì một nhà phê bình tự báo cáo chuyên môn của họ, máy tính sẽ thực hiện công việc đó.”
Và thứ ba, nhóm đã giới thiệu một hệ thống phản hồi trong đó người gửi đề xuất có thể đánh giá nếu phản hồi họ nhận được là hữu ích. Cuối cùng, điều này có thể giúp cộng đồng thưởng cho các nhà khoa học luôn đưa ra những lời chỉ trích mang tính xây dựng.
Phần này của quá trình không phải là không quan trọng. Một đánh giá tốt mang tính xây dựng xứng đáng với một chút tiền thưởng, một phần thưởng cho công việc họ đưa vào để xem xét các đề xuất khác.
Để thực hiện thí nghiệm, Kerzendorf và nhóm của ông đã xem xét 172 đề xuất rằng mỗi yêu cầu sử dụng kính viễn vọng trên Đài thiên văn Nam châu Âu, đài quan sát trên mặt đất 16 quốc gia ở Đức.
Các đề xuất đã được xem xét theo cả cách truyền thống và sử dụng đánh giá ngang hàng phân tán. Kết quả cho thấy từ quan điểm thống kê, nó dường như không thể phân biệt kết quả giữa con người và máy tính cho thấy hiệu quả cao.
Tuy nhiên, Kerzendorf cho biết đây là một thử nghiệm mới lạ thử nghiệm một cách tiếp cận mới để đánh giá nghiên cứu đánh giá ngang hàng, một nghiên cứu có thể tạo ra sự khác biệt trong thế giới khoa học.
Kerzendorf chia sẻ thêm: “Mặc dù chúng tôi suy nghĩ rất nghiêm túc về khoa học, đôi khi chúng tôi không dành thời gian để suy nghĩ nghiêm túc về việc cải thiện quá trình phân bổ nguồn lực trong khoa học nhưng đây là một nỗ lực xứng đáng để làm điều này.”
Nguồn truyện:
Tài liệu được cung cấp bởi Đại học bang Michigan . Lưu ý: Nội dung có thể được chỉnh sửa cho kiểu dáng và độ dài.
Tạp chí tham khảo :