Thế hệ tiếp theo của Trí tuệ Nhân tạo

Lĩnh vực trí tuệ nhân tạo đang phát triển nhanh chóng. Chỉ mới 8 năm kể từ khi kỷ nguyên hiện đại của học sâu bắt đầu tại cuộc thi ImageNet năm 2012. Sự tiến bộ trong lĩnh vực này kể từ đó thật ngoạn mục và không ngừng phát triển.

Không chỉ đã phát triển với tốc độ nhanh, mà chúng còn đang tăng tốc từng ngày. 5 năm tới, lĩnh vực AI sẽ còn trông rất khác so với hiện nay. Các phương pháp hiện được coi là tiên tiến sẽ trở nên lỗi thời; các phương pháp ngày nay mới ra đời hoặc đang ở ngoài rìa sẽ là xu hướng chủ đạo.

Thế hệ trí tuệ nhân tạo tiếp theo sẽ như thế nào? Phương pháp tiếp cận AI mới nào sẽ mở ra những khả năng vượt bậc trong công nghệ và kinh doanh? Bài viết này nêu bật ba trọng tâm mới trong AI đã sẵn sàng để định nghĩa lại lĩnh vực quan trọng này – và cả xã hội – trong những năm tới.

Giải pháp hạ tầng Deep Learning, Trí tuệ Nhân tạo - AI

1. Học không giám sát (Unsupervised Learning)

Mô hình thống trị trong thế giới AI ngày nay là học có giám sát. Trong học tập có giám sát, các mô hình AI học từ các tập dữ liệu mà con người đã sắp xếp và gắn nhãn theo các danh mục được xác định trước. (Thuật ngữ “học có giám sát” xuất phát từ thực tế là các “giám sát viên” của con người chuẩn bị trước dữ liệu.)

Quá trình gắn nhãn thủ công cho hàng nghìn hoặc hàng triệu điểm dữ liệu rất phức tạp và tốn kém. Việc con người phải gắn nhãn dữ liệu bằng tay trước khi các mô hình học máy có thể thu nạp nó đã trở thành một nút thắt lớn trong AI.

Ở cấp độ sâu hơn, học tập có giám sát thể hiện một hình thức học tập hẹp và có giới hạn. Thay vì có thể khám phá và hấp thụ tất cả thông tin, mối quan hệ và hàm ý tiềm ẩn trong một tập dữ liệu nhất định, các thuật toán được giám sát chỉ định hướng cho các khái niệm và danh mục mà các nhà nghiên cứu đã xác định trước đó.

Ngược lại, học không giám sát là một cách tiếp cận AI, trong đó các thuật toán học từ dữ liệu mà không có nhãn hoặc hướng dẫn do con người cung cấp.

Nhiều nhà lãnh đạo AI coi việc học tập không giám sát là biên giới tuyệt vời tiếp theo trong trí tuệ nhân tạo. Theo lời của huyền thoại AI Yann LeCun: “Cuộc cách mạng AI tiếp theo sẽ không bị giám sát”. Giáo sư Jitenda Malik của Đại học UC Berkeley còn nói một cách màu mè hơn: “Nhãn là thuốc phiện của nhà nghiên cứu học máy”.

Học không giám sát hoạt động như thế nào? Tóm lại, hệ thống tìm hiểu về một số nơi trên thế giới dựa trên những nơi khác trên thế giới. Bằng cách quan sát hành vi, các mẫu và mối quan hệ giữa các thực thể — ví dụ: các từ trong văn bản hoặc người trong video — hệ thống khởi động sự hiểu biết tổng thể về môi trường của nó. Một số nhà nghiên cứu tóm tắt điều này bằng cụm từ “dự đoán mọi thứ từ mọi thứ khác”.

Học không giám sát phản ánh chính xác hơn cách con người tìm hiểu về thế giới: thông qua khám phá và suy luận kết thúc mở mà không cần đến “bánh xe đào tạo” của học có giám sát. Một trong những lợi thế cơ bản của nó là sẽ luôn có nhiều dữ liệu không được gắn nhãn hơn dữ liệu được gắn nhãn trên thế giới (và dữ liệu trước đây thì dễ kiếm hơn nhiều).

Theo lời của LeCun, người thích thuật ngữ có liên quan chặt chẽ “học tập tự giám sát”: “Trong học tập tự giám sát, một phần đầu vào được sử dụng như một tín hiệu giám sát để dự đoán phần còn lại của đầu vào …. Thêm kiến thức về cấu trúc của thế giới có thể được học thông qua học tập tự giám sát hơn là từ [các mô hình AI khác], vì dữ liệu là không giới hạn và lượng phản hồi được cung cấp bởi mỗi ví dụ là rất lớn. ”

Học không giám sát đang có tác động biến đổi trong quá trình xử lý ngôn ngữ tự nhiên. NLP đã có những tiến bộ đáng kinh ngạc gần đây nhờ một kiến trúc học tập không giám sát mới được gọi là Transformer, có nguồn gốc tại Google khoảng ba năm trước. (Xem # 3 bên dưới để biết thêm về Transformers.)

Nỗ lực áp dụng phương pháp học không giám sát vào các lĩnh vực khác của AI vẫn còn ở giai đoạn trước đó, nhưng tiến bộ nhanh chóng đang được thực hiện. Lấy một ví dụ, một công ty khởi nghiệp có tên Helm.ai đang tìm cách sử dụng phương pháp học không giám sát để đi trước những người dẫn đầu trong ngành công nghiệp xe tự hành.

Nhiều nhà nghiên cứu coi việc học tập không giám sát là chìa khóa để phát triển AI ở cấp độ con người. Theo LeCun, thành thạo việc học không giám sát là “thách thức lớn nhất trong ML và AI trong vài năm tới”.

2. Học liên kết (Federated Learning)

Một trong những thách thức bao trùm của kỷ nguyên kỹ thuật số là quyền riêng tư của dữ liệu. Vì dữ liệu là mạch máu của trí tuệ nhân tạo hiện đại, các vấn đề về quyền riêng tư của dữ liệu đóng một vai trò quan trọng (và thường là giới hạn) trong quỹ đạo của AI. Trí tuệ nhân tạo bảo vệ quyền riêng tư – các phương pháp cho phép các mô hình AI học hỏi từ bộ dữ liệu mà không ảnh hưởng đến quyền riêng tư của chúng – do đó nó ngày càng trở thành mục tiêu theo đuổi quan trọng. Có lẽ cách tiếp cận hứa hẹn nhất để bảo vệ quyền riêng tư của AI là giải háp học liên kết hay Federated Learning.

Khái niệm về học liên kết lần đầu tiên được các nhà nghiên cứu tại Google đưa ra vào đầu năm 2017. Trong năm qua, mối quan tâm đến học liên kết đã bùng nổ: hơn 1.000 bài nghiên cứu về học liên kết đã được xuất bản trong sáu tháng đầu năm 2020, so với chỉ 180 bài. trong tất cả năm 2018.

Cách tiếp cận tiêu chuẩn để xây dựng mô hình học máy ngày nay là tập hợp tất cả dữ liệu đào tạo ở một nơi, thường là trên đám mây, và sau đó đào tạo mô hình trên dữ liệu. Nhưng cách tiếp cận này không khả thi đối với phần lớn dữ liệu trên thế giới, vì lý do riêng tư và bảo mật không thể chuyển đến kho lưu trữ dữ liệu trung tâm. Điều này làm cho nó vượt quá giới hạn đối với các kỹ thuật AI truyền thống.

Học tập liên kết giải quyết vấn đề này bằng cách lật lại phương pháp tiếp cận thông thường đối với AI.

Thay vì yêu cầu một tập dữ liệu thống nhất để đào tạo một mô hình, việc học liên kết sẽ để dữ liệu ở vị trí của nó, được phân phối trên nhiều thiết bị và máy chủ. Thay vào đó, nhiều phiên bản của mô hình được gửi đi — một đến mỗi thiết bị có dữ liệu huấn luyện — và được huấn luyện cục bộ trên mỗi tập con dữ liệu. Các tham số mô hình kết quả, nhưng không phải dữ liệu đào tạo, sau đó được gửi trở lại đám mây. Khi tất cả các “mô hình nhỏ” này được tổng hợp, kết quả là một mô hình tổng thể hoạt động như thể nó đã được đào tạo trên toàn bộ tập dữ liệu cùng một lúc.

Trường hợp sử dụng học tập liên hợp ban đầu là đào tạo các mô hình AI trên dữ liệu cá nhân được phân phối trên hàng tỷ thiết bị di động. Như các nhà nghiên cứu đó đã tóm tắt: “Các thiết bị di động hiện đại có quyền truy cập vào nhiều dữ liệu phù hợp với mô hình học máy …. Tuy nhiên, dữ liệu phong phú này thường nhạy cảm về quyền riêng tư, số lượng lớn hoặc cả hai, điều này có thể ngăn cản việc đăng nhập vào trung tâm dữ liệu …. Chúng tôi ủng hộ một giải pháp thay thế khiến dữ liệu đào tạo được phân phối trên các thiết bị di động và tìm hiểu mô hình chia sẻ bằng cách tổng hợp các bản cập nhật được tính toán cục bộ. ”

Gần đây, chăm sóc sức khỏe đã nổi lên như một lĩnh vực đặc biệt hứa hẹn cho việc áp dụng phương pháp học liên kết.

Rất dễ để hiểu lý do vì sao. Có rất nhiều trường hợp ứng dụng AI rất có giá trị trong lĩnh vực chăm sóc sức khỏe. Dữ liệu chăm sóc sức khỏe, đặc biệt là thông tin nhận dạng cá nhân của bệnh nhân, cực kỳ nhạy cảm; một tập hợp các quy định như HIPAA hạn chế việc sử dụng và di chuyển chúng. Học tập liên kết có thể cho phép các nhà nghiên cứu phát triển các công cụ AI chăm sóc sức khỏe, cứu sống bệnh nhân mà không cần chuyển hồ sơ sức khỏe nhạy cảm khỏi nguồn của chúng hoặc để lộ chúng với các vi phạm về quyền riêng tư.

Một loạt các công ty khởi nghiệp đã xuất hiện để theo đuổi việc học liên kết trong lĩnh vực chăm sóc sức khỏe. Được thành lập nhiều nhất là Owkin có trụ sở tại Paris; những người chơi ở giai đoạn trước bao gồm Lynx.MD, Ferrum Health và Secure AI Labs.

Ngoài chăm sóc sức khỏe, một ngày nào đó học tập liên kết có thể đóng vai trò trung tâm trong việc phát triển bất kỳ ứng dụng AI nào liên quan đến dữ liệu nhạy cảm: từ dịch vụ tài chính đến phương tiện tự hành, từ các trường hợp sử dụng của chính phủ đến các sản phẩm tiêu dùng các loại. Được kết hợp với các kỹ thuật bảo vệ quyền riêng tư khác như quyền riêng tư khác biệt và mã hóa đồng hình, học liên kết có thể cung cấp chìa khóa để mở ra tiềm năng to lớn của AI trong khi giảm thiểu thách thức khó khăn về quyền riêng tư dữ liệu.

Làn sóng luật bảo mật dữ liệu đang được ban hành trên toàn thế giới gần nay (bắt đầu với GDPR và CCPA, với nhiều luật tương tự sắp ra mắt) sẽ chỉ thúc đẩy nhu cầu về các kỹ thuật bảo vệ quyền riêng tư này. Mong đợi việc học tập liên kết sẽ trở thành một phần quan trọng của hệ thống công nghệ AI trong những năm tới.

3. Hệ thống Transformer

Chúng ta đã bước vào kỷ nguyên vàng để xử lý ngôn ngữ tự nhiên.

Việc OpenAI phát hành GPT-3, mô hình ngôn ngữ mạnh mẽ nhất từng được chế tạo, đã thu hút giới công nghệ vào mùa hè này. Nó đã thiết lập một tiêu chuẩn mới trong NLP: nó có thể viết thơ ấn tượng, tạo mã hoạt động, soạn các bản ghi nhớ kinh doanh đáng suy nghĩ, viết các bài báo về chính nó, và hơn thế nữa.

GPT-3 chỉ là mô hình mới nhất (và lớn nhất) trong chuỗi các mô hình NLP được kiến trúc tương tự — BERT của Google, GPT-2 của OpenAI, RoBERTa của Facebook và những mô hình khác — đang xác định lại những gì có thể có trong NLP.Bước đột phá công nghệ quan trọng tạo nên cuộc cách mạng về ngôn ngữ AI này là Transformer.

Transformers đã được giới thiệu trong một bài báo nghiên cứu năm 2017 mang tính bước ngoặt. Trước đây, các phương pháp NLP tiên tiến nhất đều dựa trên mạng nơ-ron tuần hoàn (ví dụ: LSTM). Theo định nghĩa, mạng nơ-ron tuần hoàn xử lý dữ liệu theo tuần tự – tức là từng từ một, theo thứ tự các từ xuất hiện.

Sự đổi mới tuyệt vời của Transformers là làm cho quá trình xử lý ngôn ngữ được song song hóa: tất cả các mã thông báo trong một phần văn bản nhất định được phân tích cùng một lúc chứ không phải theo trình tự. Để hỗ trợ sự song song này, Transformers chủ yếu dựa vào một cơ chế AI được gọi là sự chú ý. Sự chú ý cho phép một mô hình xem xét mối quan hệ giữa các từ bất kể chúng cách xa nhau như thế nào và xác định những từ và cụm từ nào trong một đoạn văn là quan trọng nhất để “chú ý”.

Tại sao song song hóa lại có giá trị như vậy? Bởi vì nó làm cho Transformers hiệu quả hơn về mặt tính toán so với RNN, có nghĩa là chúng có thể được đào tạo trên các bộ dữ liệu lớn hơn nhiều. GPT-3 đã được đào tạo trên khoảng 500 tỷ từ và bao gồm 175 tỷ thông số, vượt xa bất kỳ RNN nào đang tồn tại.

Cho đến nay, Transformers hầu như chỉ gắn liền với NLP, nhờ sự thành công của các mô hình như GPT-3. Nhưng chỉ trong tháng này, một bài báo đột phá mới đã được phát hành áp dụng thành công Transformers vào thị giác máy tính. Nhiều nhà nghiên cứu AI tin rằng công việc này có thể định trước một kỷ nguyên mới trong thị giác máy tính. (Như nhà nghiên cứu ML nổi tiếng Oriol Vinyals đã nói một cách đơn giản, “Ý kiến của tôi là: những cơn co giật chia tay.”)

Trong khi các công ty AI hàng đầu như Google và Facebook đã bắt đầu đưa các mô hình dựa trên Transformer vào sản xuất, hầu hết các tổ chức vẫn đang trong giai đoạn đầu sản xuất và thương mại hóa công nghệ này. OpenAI đã công bố kế hoạch làm cho GPT-3 có thể truy cập thương mại thông qua API, có thể tạo mầm mống cho toàn bộ hệ sinh thái các công ty khởi nghiệp đang xây dựng ứng dụng trên đó.Kỳ vọng Transformers sẽ là nền tảng cho thế hệ AI hoàn toàn mới trong những năm tới, bắt đầu với ngôn ngữ tự nhiên. Lĩnh vực trí tuệ nhân tạo thú vị như thập kỷ trước, nó có thể chỉ là khúc dạo đầu của thập kỷ trước.

____
Bài viết liên quan