Từ camera RGB-D đến robot bám theo người trong không gian trong nhà

Công nghệ cốt lõi

Một nguyên mẫu robot di động kết hợp nhận biết hình ảnh, theo dõi mục tiêu và điều khiển chuyển động — với kết quả định lượng riêng cho từng phép thử và các giới hạn được báo cáo rõ.

Đề tài KH&CN cấp trường năm 2021 của Đại học Công nghiệp Hà Nội đặt câu hỏi thực dụng: làm thế nào để robot di động có thể nhận biết một người, duy trì theo dõi và điều chỉnh chuyển động để đi theo mục tiêu trong môi trường trong nhà? Nhóm nghiên cứu xây dựng và thử nghiệm một hệ thống tích hợp camera RGB-D, thuật toán thị giác máy tính, định vị và điều khiển bám trên một robot bánh vi sai.

Cấu trúc hệ thống robot và các thành phần cảm biến – điều khiển.

Một chuỗi xử lý từ ảnh đến chuyển động

Camera Kinect v2 cung cấp ảnh màu và dữ liệu chiều sâu. Mô hình phát hiện SSD-MobileNetV2 nhận diện người; bộ lọc hạt duy trì vị trí mục tiêu qua các khung hình và hỗ trợ tìm lại đối tượng khi mục tiêu xuất hiện trong vùng nhìn. Vị trí mục tiêu được đưa vào bộ điều khiển Pure Pursuit để tạo chuyển động bám. Hệ thống định vị kết hợp bộ lọc Kalman mở rộng (EKF) với dữ liệu từ cảm biến laser SICK NAV245, encoder và la bàn.

Cấu hình này ghép bốn việc thường phải xử lý cùng nhau: cảm nhận chiều sâu, nhận dạng và theo dõi, ước lượng trạng thái robot, rồi điều khiển chuyển động. Báo cáo mô tả robot bánh vi sai được thiết kế và chế tạo; đây là nguyên mẫu nghiên cứu, không phải xác nhận triển khai thương mại.

Thử nghiệm nhận dạng và theo dõi đối tượng trong các tình huống khác nhau.

Những phép thử cho thấy điều gì?

Trong phép so sánh theo dõi trên 1.643 khung hình, cấu hình đề xuất với 200 hạt đạt độ chính xác 96%, so với 65% của KCF trong điều kiện màu sắc và ánh sáng được mô tả tại báo cáo. Đây là kết quả của bài thử theo dõi, không phải tỷ lệ thành công của toàn bộ nhiệm vụ robot.

Điều khiển bám quỹ đạo được đánh giá riêng ở tốc độ 0,6 m/s. Với đường chữ nhật, sai số vị trí trung bình là 0,0203 m và sai số góc trung bình 0,6939°. Với đường tròn, các giá trị tương ứng là 0,0164 m và 0,7081°. Hai bộ số liệu thuộc hai hình dạng quỹ đạo khác nhau, vì vậy cần đọc cùng điều kiện thử thay vì gộp thành một chỉ số chung.

Ở thử nghiệm tích hợp bám người tại hành lang A10 của HaUI, báo cáo ghi tần số đáp ứng vị trí đối tượng 12 Hz và khoảng cách đặt mong muốn 0,8 m. Trong phần mô tả tình huống thử, khoảng cách mục tiêu trên ảnh thay đổi từ 0,6 đến 2 m; báo cáo cũng nêu sai số lớn nhất theo hai trục x/y lần lượt là 2 m và 0,39 m. Nhóm chỉ ra tốc độ xử lý và ánh sáng là những yếu tố hạn chế; khi vật thể ở quá gần có thể thiếu dữ liệu chiều sâu, còn tăng tốc độ robot có thể làm hệ thống không bám được.

Đáp ứng vị trí của robot và đối tượng trong thử nghiệm tích hợp.

Giá trị và bước tiếp theo

Đề tài cung cấp một quy trình tích hợp từ phần cứng, phần mềm xử lý ảnh đến điều khiển robot, cùng các phép thử trên nguyên mẫu. Hướng ứng dụng được đặt trong phạm vi logistics tại xưởng có mặt sàn phẳng đáp ứng yêu cầu công nghiệp và dịch vụ trong nhà. Báo cáo hiện chứng minh các thử nghiệm nghiên cứu trong phạm vi đó; chưa đủ căn cứ để kết luận hệ thống đã vận hành tại kho hoặc cơ sở logistics thực tế.

Để chuyển từ nguyên mẫu sang đánh giá ứng dụng, cần xác nhận lại định nghĩa các chỉ số, thử nghiệm trong nhiều điều kiện chiếu sáng và khoảng cách, đồng thời làm rõ khả năng hoạt động liên tục và an toàn khi robot di chuyển. Các bước này là khuyến nghị đánh giá tiếp theo, không phải kết quả đã hoàn tất trong báo cáo.

Thông tin đề tài: Chủ nhiệm TS. Nguyễn Anh Tú; đề tài KH&CN cấp trường, 2021; Đại học Công nghiệp Hà Nội. Báo cáo ghi các đầu ra gồm hệ thống, thiết kế/chế tạo, chương trình xử lý ảnh theo dõi và chương trình điều khiển bám.

Nguồn:Báo cáo tổng kết đề tài KH&CN cấp trường 2021