Hướng dẫn cài đặt NVIDIA TAO Toolkit cho người mới

NVIDIA TAO Toolkit là gì?

NVIDIA TAO Toolkit (Train, Adapt, Optimize) là một bộ công cụ AI no-code / low-code được phát triển bởi NVIDIA, được xây dựng dựa trên nền tảng TensorFlow và PyTorch. Mục tiêu của TAO là hỗ trợ đơn giản hóa và tăng tốc quá trình huấn luyện, tùy biến và tối ưu mô hình học sâu bằng cách trừu tượng hóa sự phức tạp của các kiến trúc mạng và các framework học sâu truyền thống.

TAO Toolkit cung cấp đầy đủ các công cụ cần thiết để bạn có thể huấn luyện mô hình AI một cách nhanh chóng và hiệu quả. Ngoài ra, TAO còn cung cấp hơn 100 mô hình thị giác máy tính đã được huấn luyện sẵn và lưu trữ trên NGC (NVIDIA GPU Cloud). Bạn hoàn toàn có thể chọn và triển khai một mô hình phù hợp, tùy chỉnh lại trên bộ dữ liệu riêng, xuất mô hình tối ưu và triển khai inference với chỉ vài dòng lệnh — hoặc thậm chí không cần viết dòng code nào.

Vậy NVIDIA TAO Toolkit tiện lợi như vậy thì làm sao để tải và cài đặt?

Tương tự như NVIDIA Container Toolkit (nếu bạn chưa biết có thể tham khảo bài viết: Hướng dẫn cài đặt NVIDIA Container Toolkit tích hợp với Docker), TAO Toolkit được NVIDIA đóng gói sẵn trong các Docker container và phát hành trên NGC. Người dùng có thể lựa chọn tải về và sử dụng trực tiếp container từ NGC, hoặc cài đặt công cụ launcher để sử dụng thuận tiện hơn.

Nếu bạn chỉ muốn dùng TAO Toolkit để chạy nhanh một tác vụ để test thử, thì việc “pull” container từ NGC là một lựa chọn hợp lý. Tuy nhiên, nếu bạn có nhu cầu sử dụng lâu dài, cần tùy biến nhiều, triển khai lên hệ thống thực tế thì mình khuyên bạn nên cài đặt launcher trực tiếp vào máy. Việc này sẽ giúp bạn chủ động hơn trong việc chọn phiên bản phù hợp với môi trường hiện có, đồng thời dễ dàng tích hợp với hệ thống khi cần gắn các thư mục dữ liệu, mount từ host, làm việc với Streamlit hoặc các ứng dụng khác.

Nói đơn giản cho dễ hiểu thì có 2 cách để cài đặt và sử dụng TAO:

  1. Cài đặt bằng cách pull container từ NGC về: cách này dùng để test nhanh mô hình và không cần cấu hình gì
  2. Cài đặt TAO Launcher về máy: cách này có thể hỗ trợ bạn tùy biến quy trình huấn luyện, gắn thư mục dữ liệu từ host (mounts volumes) và tích hợp với các ứng dụng như Streamlit,…

Vậy nếu bạn đang thắc mắc làm sao để tải và sử dụng TAO Toolkit thì dưới đây là hướng dẫn chi tiết về cách cài đặt TAO Launcher để bạn có thể bắt đầu.

Cài đặt NVIDIA TAO Toolkit

Trước khi vào phần cài đặt hãy kiểm tra xem hệ thống của bạn đã đáp ứng đủ yêu cầu về hệ thống chưa nhé:

Về phần cứng:

  • Tối thiểu:
    – CPU: 8 nhân
    – RAM: 8 GB
    – SSD: >= 100 GB
    – NVIDIA GPU: ít nhất là 1 GPU ví dụ các dòng RTX 10/20 series từ 1060 đổ lên có khả năng tính toán >= 6.1
    – GPU RAM: 4 GB
  • Đề xuất:
    – CPU: 8 nhân
    – RAM: 32 GB
    – SSD: >= 100 GB
    – NVIDIA GPU: ít nhất là 1 GPU ví dụ các dòng A100, V100, RTX 30/40 series
    – GPU RAM: 32 GB

Về phần mềm:

  • Hệ điều hành: Ubuntu 18.04 LTS hoặc 20.04 (Ubuntu 22.04 cũng tương thích với FTMS bare-metal)
  • Python: ≥ 3.6.9 (thường Python 3.12 trong container)
  • Docker CE: phiên bản > 19.03.5
  • Docker API: 1.40
  • NVIDIA Container Toolkit: >1.3.0‑1
  • Driver NVIDIA: phiên bản >465 (khuyến nghị ≥520–550 hoặc mới hơn khi dùng FTMS)
  • Python-pip: >21.06 và python-dev nếu cần build gói C/C++

Nếu bạn đã đáp ứng đủ yêu cầu về hệ thống thì chúng ta cùng bắt đầu tải và cài đặt NVIDIA TAO Toolkit nào.

  1. Đầu tiên các bạn phải tải và cài đặt xong Docker + NVIDIA Container Toolkit. Nếu như đây là lần đầu bạn có thể xem các bài viết dưới đây:
    – NVIDIA NIM: Biến ý tưởng ứng dụng AI thành hiện thực trong tầm tay
    – Hướng dẫn cài đặt NVIDIA Container Toolkit tích hợp với Docker
    Ngoài ra bạn hãy đăng nhập vào NGC bằng tài khoản của bạn, nếu bạn chưa có hãy tạo cho mình 1 tài khoản, đăng nhập vào và tạo API Key của riêng bạn, nếu bạn không biết làm như nào hãy xem trong bài viết về NVIDIA NIM ở trên.
  2. Sau khi bạn có API Key, mở Terminal Ubuntu của bạn và đăng nhập vào NGC Docker Registry (nvcr.io) bằng lệnh: 
    docker login nvcr.io

    Nó sẽ hỏi bạn về username và password.

    Username: $oauthtoken
Password: <NGC_API_KEY_CUA_BAN>

    Nếu bạn đăng nhập thành công sẽ có 1 dòng thông báo:
    ” Login Succeeded “

  3. Tiếp theo là cài môi trường ảo vì TAO Launcher là một gói Python nên việc cài đặt nó trong một môi trường ảo sẽ tránh bị xung đột với thư viện của hệ thống.
    Cài đặt Python, pip, và venv (nếu bạn chưa cài môi trường ảo bao giờ)

    sudo apt update
sudo apt install -y python3 python3-pip python3-venv

    Sau khi cài đặt xong, bạn có thể tạo thư mục để lưu hoặc cứ để ngoài thư mục gốc tùy bạn nhưng mình khuyên là nên tạo thư mục để dễ quản lý hơn. Nếu bạn không tạo thư mục có thể bỏ qua bước này.

    mkdir ~/tao
#Sau khi tạo hãy di chuyển đến thư mục tao để tiếp tục cài đặt
cd ~/tao
  4. Tạo môi trường ảo 
    #tao_env là tên môi trường ảo của bạn
#Bạn có thể đặt tùy ý miễn sao bạn nhớ nó là môi trường ảo là được :>
python3 -m venv tao_env

    Sau khi tạo xong bạn hãy kích hoạt nó bằng lệnh:

    source tao_env/bin/activate

    * Lưu ý là bạn phải di chuyển đến thư mục chứa môi trường ảo của bạn ở đây mình ví dụ là home/tao thì sau lệnh này, bạn sẽ thấy dấu nhắc lệnh của bạn thay đổi kiểu:

    (tao_env) user@tencuaban:~/tao$

    Sau khi sử dụng xong bạn muốn ngắt thì sử dụng lệnh:

    deactivate
  5. Cài đặt TAO Launcher 
    pip install nvidia-tao

    Lệnh này sẽ cài đặt TAO Launcher vào thẳng môi trường ảo của bạn
    Sau khi cài xong bạn có thể sử dụng lệnh dưới đây để kiểm tra bạn đã cài đặt thành công hay chưa:

    tao --help
#hoặc
tao info

    Nếu khi chạy mà trả về là:

    usage: tao [-h] {list,stop,info,dataset,deploy,model} ...

Launcher for TAO Toolkit.

optional arguments:
  -h, --help            show this help message and exit

task_groups:
  {list,stop,info,dataset,deploy,model}

    Là kết quả của “tao –help” hoặc khi chạy ” tao info ” sẽ là:

    Configuration of the TAO Toolkit Instance
task_group: ['model', 'dataset', 'deploy']
format_version: 3.0
toolkit_version: 5.0.0
published_date: 07/14/2023

    Nếu khi chạy một trong 2 lệnh trên mà được kết quả như thế thì xin chúc mừng, bạn đã cài đặt thành công NVIDIA TAO Toolkit!

Nhất Tiến Chung (NTC) hiện là nhà cung cấp các giải pháp hạ tầng CNTT, điện toán hiệu năng cao (HPC) và lưu trữ cho AI. Chúng tôi là đối tác NPN cấp Elite của NVIDIA cho các hệ thống DGX và hệ thống cụm siêu máy tính DGX SuperPOD với sức mạnh lưu trữ song song của DDN và kết nối mạng tốc độ cao từ hãng Mellanox (thuộc NVIDIA).

Với vai trò là đối tác NPN chính thức của NVIDIA, chúng tôi có thể giúp bạn có được các sản phẩm GPU cao cấp nhất của NVIDIA như L4, L40S, H200, H200 NVL, B200,…, đặc biệt là với thực trạng khan hiếm GPU do các hạn chế thương mại về nhập khẩu GPU như hiện nay.

Bạn muốn trở thành đối tác bán hàng NVIDIA của NTC?

Đăng ký ngay

____
Bài viết liên quan
An Lam
Góp ý / Liên hệ tác giả