Neural Reconstruction Engine trong DRIVE Sim biến dữ liệu video đã ghi thành phiên bản mô phỏng 3D.
Mô phỏng xe tự hành đặt ra hai thách thức: tạo nên một thế giới với đủ chi tiết và đủ độ chân thực để AI driver nhận thức bản mô phỏng là thật; Và, cũng như tạo mô phỏng ở quy mô đủ lớn để bao gồm tất cả các trường hợp mà AI driver cần được đào tạo và thử nghiệm đầy đủ.
Để giải quyết những thách thức này, các nhà nghiên cứu của NVIDIA đã tạo ra các công cụ dựa trên AI mới để xây dựng các mô phỏng trực tiếp từ dữ liệu trong thế giới thực. NVIDIA Founder và CEO, Jensen Huang đã giới thiệu bước đột phá này trong bài phát biểu chính tại GTC.
Nghiên cứu này bao gồm công trình đoạt giải thưởng được công bố lần đầu tiên tại SIGGRAPH, một hội nghị đồ họa máy tính được tổ chức vào tháng trước.
Neural Reconstrution Engine
Neural Reconstruction Engine là một bộ công cụ AI mới dành cho nền tảng mô phỏng NVIDIA DRIVE Sim sử dụng nhiều mạng AI để biến dữ liệu video đã được ghi thành phiên bản mô phỏng.
Quy trình (pipeline) mới sử dụng AI để tự động trích xuất các thành phần chính cần thiết cho mô phỏng, bao gồm môi trường, tư liệu 3D và các kịch bản có thể xảy ra. Những phần này sau đó được tái tạo thành các cảnh mô phỏng có tính chân thực của các bản ghi dữ liệu, nhưng hoàn toàn phản ứng và có thể được điều khiển khi cần thiết. Để đạt được mức độ chi tiết và đa dạng này bằng tay là rất tốn kém, mất thời gian và không thể mở rộng.
Môi trường và các tư liệu (assets)
Một mô phỏng cần một môi trường để hoạt động. Một quy trình AI chuyển đổi dữ liệu video 2D từ quá trình lái xe trong thế giới thực sang một môi trường động, 3D digital twin – có thể được tải vào trong DRIVE Sim.
Một môi trường mô phỏng 3D được tạo ra từ dữ liệu lái xe được ghi lại sử dụng AI.
DRIVE Sim AI pipeline tuân theo một quy trình tương tự để dựng lại các 3D assets khác. Các kỹ sư có thể sử dụng các assets để dựng lại cảnh hiện tại hoặc đặt chúng vào một thư viện assets lớn hơn để sử dụng trong bất kỳ mô phỏng nào.
Sử dụng pipeline khai thác assets là chìa khóa để phát triển thư viện DRIVE Sim và đảm bảo nó phù hợp với sự đa dạng và phân phối của thế giới thực.
Assets có thể được khai thác từ dữ liệu trong thế giới thực, chuyển thành các object 3D và tái sử dụng trong các cảnh khác. Ở đây, chiếc xe kéo được dựng lại từ cảnh bên trái và được sử dụng trong một mô phỏng khác được hiển thị bên phải
Các tình huống
Tình huống là các sự kiện diễn ra trong quá trình mô phỏng trong môi trường kết hợp với các assets.
Engine tái cấu trúc nơ-ron (Neural Reconstruction Engine) chỉ định các hành vi dựa trên AI cho các diễn viên trong cảnh, để khi được trình bày với các sự kiện ban đầu, họ sẽ hành xử chính xác như đã làm trong lái xe thực tế. Tuy nhiên, vì họ có mô hình hành vi AI, các số liệu trong mô phỏng có thể phản hồi và phản ứng với những thay đổi của AV hoặc các yếu tố cảnh khác.
Bởi vì tất cả các tình huống này đều xảy ra trong mô phỏng, chúng cũng có thể được điều khiển để thêm các tình huống mới. Thời gian và vị trí của các sự kiện có thể được thay đổi. Các nhà phát triển thậm chí có thể kết hợp các yếu tố hoàn toàn mới, tổng hợp hoặc có thật, để làm cho một tình huống khó khăn hơn, chẳng hạn như thêm một đứa trẻ đuổi theo một quả bóng vào cảnh bên dưới.
Các object tổng hợp có thể được trộn lẫn với các tình huống trong thế giới thực
Tích hợp vào DRIVE Sim
Khi môi trường, assets và tình huống đã được trích xuất, chúng sẽ được tập hợp lại trong DRIVE Sim để tạo mô phỏng 3D của cảnh đã ghi hoặc trộn với các assets khác để tạo ra một cảnh hoàn toàn mới.
DRIVE Sim cung cấp các công cụ cho các nhà phát triển để điều chỉnh các đối tượng động và tĩnh, đường đi của xe cũng như vị trí, hướng và các thông số của cảm biến trên xe.
Các cảnh tương tự trong DRIVE Sim cũng được sử dụng để tạo dữ liệu tổng hợp được gắn nhãn trước để đào tạo hệ thống nhận thức. Sự ngẫu nhiên được áp dụng trên đầu các cảnh được tạo lại để tăng thêm tính đa dạng cho dữ liệu đào tạo. Việc xây dựng các cảnh ngoài dữ liệu trong thế giới thực giúp giảm đáng kể khoảng cách giữa mô phỏng đến thực tế.
Các cảnh được dựng lại có thể được tăng cường với assets tổng hợp và được sử dụng để tạo ra dữ liệu mới với sự thật nền tảng để đào tạo hệ thống nhận thức AV
Khả năng trộn lẫn và kết hợp các định dạng mô phỏng là một lợi thế đáng kể trong việc thử nghiệm toàn diện và xác thực các AV theo quy mô. Các kỹ sư có thể điều khiển các sự kiện trong một thế giới – thứ sẽ đáp ứng và phù hợp với nhu cầu của họ một cách chính xác.
Neural Reconstruction Engine là kết quả làm việc của nhóm nghiên cứu tại NVIDIA và sẽ được tích hợp vào các bản phát hành DRIVE Sim trong tương lai. Bước đột phá này sẽ cho phép các nhà phát triển tận dụng cả mô phỏng dựa trên vật lý và mô phỏng theo hướng nơ-ron trên cùng một nền tảng dựa trên đám mây.
Theo NVIDIA
Bài viết liên quan