Nghiên cứu, thiết kế và chế tạo hệ thống theo dõi và bám đối tượng trên robot di động phục vụ Logistic sử dụng RGB-D Camera

VI | EN

Bài toán đặt ra

Robot di động ngày càng được sử dụng trong vận chuyển, hỗ trợ sản xuất và các hoạt động dịch vụ. Tuy nhiên, việc thiết lập trước quỹ đạo hoặc điều khiển robot thủ công làm giảm tính linh hoạt và đòi hỏi người vận hành phải có hiểu biết về hệ thống.

Đề tài tập trung phát triển khả năng để robot nhận biết người cần theo dõi, xác định vị trí tương đối và chủ động điều chỉnh chuyển động để bám theo đối tượng, hướng tới các ứng dụng logistics trong nhà xưởng và robot dịch vụ trong môi trường trong nhà.

Giải pháp được phát triển

Nhóm nghiên cứu chế tạo robot di động dạng hai bánh vi sai, tích hợp các chức năng nhận dạng, theo dõi, định vị và điều khiển chuyển động. Camera RGB-D cung cấp đồng thời thông tin hình ảnh và chiều sâu; dữ liệu cảm biến được xử lý để xác định đối tượng, vị trí mục tiêu và tạo lệnh điều khiển giúp robot bám theo người.

Mô hình robot thực nghiệm sau khi thiết kế và chế tạo.

Công nghệ cốt lõi

SSD-MobileNet V2 được lựa chọn theo hướng giảm khối lượng tính toán cho nền tảng robot di động; bộ lọc hạt duy trì việc theo dõi đối tượng khi di chuyển. Dữ liệu laser, encoder và la bàn số được hợp nhất bằng bộ lọc Kalman mở rộng để phục vụ định vị, trong khi thuật toán Pure Pursuit được sử dụng cho điều khiển bám.

Cấu trúc hệ thống robot và các thành phần cảm biến – điều khiển.

Kết quả thử nghiệm

Nhóm nghiên cứu xây dựng tập dữ liệu 6.000 ảnh người và sử dụng transfer learning để huấn luyện mô hình nhận dạng. Sau khi khảo sát ảnh hưởng của số lượng hạt đến độ chính xác và thời gian xử lý, cấu hình 200 hạt được lựa chọn cho phép thử so sánh.

Thử nghiệm nhận dạng và theo dõi đối tượng trong các tình huống khác nhau.

Thử nghiệm hệ thống tích hợp

Sau khi đánh giá riêng các thành phần, nhóm nghiên cứu tích hợp nhận dạng, theo dõi và điều khiển để thử nghiệm robot bám đối tượng. Kết quả cho thấy robot có thể nhận dạng và di chuyển theo người trong điều kiện thử nghiệm; báo cáo đồng thời ghi nhận các giới hạn về tốc độ xử lý, ánh sáng và sai lệch khi đối tượng di chuyển nhanh hoặc ở quá gần camera.

Đáp ứng vị trí của robot và đối tượng trong thử nghiệm tích hợp.

Sản phẩm của đề tài

• Hệ thống theo dõi và bám đối tượng trên robot di động sử dụng RGB-D Camera.

• Quy trình thiết kế, chế tạo robot di động.

• Chương trình xử lý ảnh theo dõi đối tượng.

• Chương trình điều khiển bám đối tượng.

• Bản thiết kế hệ thống bám và theo dõi đối tượng sử dụng trên robot di động.

Công bố khoa học liên quan

Real-time Target Human Tracking using Camshift and LucasKanade Optical Flow Algorithm

Advances in Science, Technology and Engineering Systems Journal, 2021 • DOI: 10.25046/aj0602103

Xem công bố →

Nghiên cứu phương pháp điều khiển bám quỹ đạo cho robot di động

Tạp chí Khoa học và Công nghệ – Trường Đại học Kinh tế – Kỹ thuật Công nghiệp, 2021

Xem công bố →

A Real-Time Human Tracking System Using Convolutional Neural Network and Particle Filter

ICISN 2021 • DOI: 10.1007/978-981-16-2094-2_50

Xem công bố →

Khả năng ứng dụng và hướng phát triển

Giải pháp hướng tới robot logistics trong xưởng sản xuất và robot dịch vụ hoạt động trong nhà. Báo cáo ghi nhận sản phẩm đã được thử nghiệm, đánh giá trong môi trường sản xuất thực tế với sự hỗ trợ của Công ty Cổ phần Công nghệ Năng Lực Việt. Các hướng phát triển tiếp theo tập trung vào nâng cao độ chính xác định vị, tránh vật cản, an toàn chuyển động và phối hợp nhiều robot.