Trong khi OpenAI đang đứng đầu trong sự phát triển của Generative AI, nhiều người đã nhận định rằng Google đang thụt lùi phía sau. Tuy nhiên, không chịu thua kém, Google đã giới thiệu một Mô hình Ngôn ngữ Lớn (LLM) mới, Google PaLM 2, tại sự kiện Google I/O năm 2023 của mình. Cùng tìm hiểu với Công Ty Quảng Cáo Marketing Online Limoseo về Google PaLM 2 là gì trong bài viết dưới đây nhé.
MỤC LỤC
1. Google PaLM 2 là gì?
Tại sự kiện Google I/O 2023 diễn ra vào ngày 10 tháng 5, CEO Sundar Pichai đã tiết lộ về sản phẩm mới nhất của Google: Google PaLM 2.
Viết tắt của Pathways Language Model 2, LLM nâng cấp của Google là phiên bản thứ hai của PaLM (phiên bản đầu tiên được ra mắt vào tháng 4 năm 2022). Bạn còn nhớ về PaLM không? Sự ra đời của nó đã gây sốc và thu hút sự quan tâm lớn, nhờ khả năng trò chuyện, kể câu chuyện hài hước cơ bản,… Sau 6 tháng, GPT-3.5 của OpenAI đã áp đảo mọi thứ, bao gồm cả PaLM.
Kể từ đó, OpenAI đã ra mắt GPT-4, một phiên bản nâng cấp lớn dựa trên GPT-3.5, và mô hình mới này đang được tích hợp vào nhiều công cụ, đáng chú ý nhất là Bing AI Chat của Microsoft. Google đang muốn cạnh tranh với OpenAI và GPT-4, và hy vọng LLM nâng cấp của mình có thể thu hẹp khoảng cách đáng kể. Việc ra mắt Bard của Google gần như không nhận được sự chú ý nào.
Pichai đã thông báo rằng Google PaLM 2 sẽ có 4 kích cỡ mô hình khác nhau: Gecko, Otter, Bison và Unicorn.
Gecko rất nhẹ nhàng nên có thể hoạt động trên thiết bị di động và đủ nhanh cho các ứng dụng tương tác tuyệt vời trên thiết bị, thậm chí khi không có kết nối mạng. Tính linh hoạt này giúp Google PaLM 2 có thể được tinh chỉnh để hỗ trợ mọi loại sản phẩm theo nhiều cách hơn, nhằm giúp đỡ nhiều người hơn.
Với khả năng xử lý khoảng 20 token mỗi giây, trong đó token là các giá trị được gán cho các từ thực để sử dụng trong các mô hình Generative AI, có vẻ như đây sẽ là yếu tố quan trọng thay đổi cách thức triển khai công cụ AI trên thiết bị di động.
2. Dữ liệu huấn luyện cho Google PaLM 2
Google chưa chia sẻ thông tin chính thức về dữ liệu huấn luyện của Google PaLM 2 vì nó vẫn mới ra mắt. Tuy nhiên, một báo cáo về Google PaLM 2 cho biết Google muốn Google PaLM 2 hiểu sâu về toán học, logic và khoa học, và đa phần dữ liệu huấn luyện của Google sẽ tập trung vào các lĩnh vực này.
Khi PaLM được công bố, Google xác nhận rằng nó đã được huấn luyện với hơn 540 tỷ tham số, một con số rất ấn tượng vào thời điểm đó.
GPT-4 của OpenAI được cho là sử dụng hơn 1 nghìn tỷ tham số, và có thậm chí có những ước tính cho rằng số lượng tham số đó có thể lên tới 1,7 nghìn tỷ. Rõ ràng, để cạnh tranh trực tiếp với các mô hình LLM của OpenAI, Google PaLM 2 ít nhất cũng sẽ có một số lượng tham số tương đương hoặc lớn hơn.
Một yếu tố quan trọng khác là dữ liệu ngôn ngữ được sử dụng để huấn luyện Google PaLM 2. Google đã huấn luyện Google PaLM 2 với hơn 100 ngôn ngữ khác nhau để giúp nó hiểu sâu và phù hợp với ngữ cảnh, đồng thời cải thiện khả năng dịch thuật.
Tuy nhiên, không chỉ giới hạn ở ngôn ngữ nói, LLM cũng đã được huấn luyện bằng hơn 20 ngôn ngữ lập trình, giúp nó trở thành một tài nguyên quý giá cho các nhà phát triển.
3. Google PaLM 2 đã sẵn sàng mang lại sức mạnh cho các dịch vụ của Google, nhưng vẫn cần điều chỉnh
Chúng ta không cần chờ lâu để có thể trải nghiệm Google PaLM 2 và xem nó có thể thực hiện những gì. Nếu may mắn, việc chạy bất kỳ ứng dụng hoặc dịch vụ nào của Google PaLM 2 sẽ tốt hơn Bard.
Tuy nhiên, từ góc kỹ thuật, bạn đã có thể sử dụng Google PaLM 2. Google xác nhận rằng Google PaLM 2 đã được triển khai và sử dụng trong 25 sản phẩm của họ, bao gồm Android, Youtube, Gmail, Google Docs, Google Slides, Google Sheets,…
Tuy nhiên, báo cáo về Google PaLM 2 cũng tiết lộ rằng còn nhiều công việc phải làm, đặc biệt là trong việc xử lý phản hồi có nội dung gây hại bằng nhiều ngôn ngữ.
Ví dụ, khi đối mặt với các yêu cầu cụ thể về nội dung gây hại, Google PaLM 2 có thể tạo ra hơn 30% phản hồi có nội dung gây hại. Đối với các ngôn ngữ như tiếng Anh, tiếng Đức và tiếng Bồ Đào Nha, Google PaLM 2 tạo ra hơn 17% phản hồi có nội dung gây hại (bao gồm những gợi ý liên quan đến sắc tộc và tôn giáo, khiến con số này còn cao hơn).
Dù các nhà nghiên cứu đã cố gắng làm sạch dữ liệu huấn luyện cho LLM, thì chắc chắn vẫn sẽ có một số yêu cầu có nội dung gây hại vượt qua quá trình kiểm duyệt. Bước tiếp theo là tiếp tục huấn luyện Google PaLM 2 để giảm số lượng phản hồi có nội dung gây hại đó.
4. Thời kỳ bùng nổ của các mô hình ngôn ngữ lớn
OpenAI không phải là công ty đầu tiên giới thiệu mô hình ngôn ngữ lớn, nhưng các mô hình GPT-3, GPT-3.5 và GPT-4 của họ đã đóng vai trò quan trọng trong sự phát triển của Trí tuệ Nhân tạo Tạo dữ liệu.
Google PaLM 2 của Google còn một số vấn đề cần giải quyết, nhưng việc sử dụng nó trong một số dịch vụ của Google đã thể hiện sự tự tin của công ty đối với mô hình LLM mới nhất của họ. Công Ty Quảng Cáo Marketing Online Limoseo hy vọng bài viết này đã giúp bạn hiểu hơn về Google PaLM 2 là gì.
