Mô hình AI của Apple được đào tạo trên chip của Google chứ không phải GPU NVIDIA hay chip Apple Silicon

Bài nghiên cứu của Apple mới được công bố sáng hôm nay đề cập đến cơ sở hạ tầng đào tạo và các chi tiết khác cho các mô hình AI được dùng trong các tính năng được công bố tại WWDC hồi tháng 6. Apple đã giới thiệu nhiều tính AI khác nhau trong đó có cả những tính năng xử lý trên đám mây và những tính năng xử lý trực tiếp trên thiết bị. Tất cả các tính năng AI này được gọi chung là Apple Foundation Model hay AFM.

Đối với AFM trên máy chủ, Apple đã chia sẻ rằng họ đào tạo một mô hình AI gồm 6.3 nghìn tỷ token từ đầu trên 8,192 chip TPUv4. Chip TPUv4 của Google có sẵn trong các hộp chứa với 4,096 chip mỗi hộp.

Apple Foundation Model (AFM)

Apple cho biết thêm rằng các mô hình AFM (cả trên thiết bị và đám mây) đều được đào tạo trên chip TPUv4 và cụm TPU đám mây v5p. V5p là một phần của 'Siêu máy tính' AI đám mây của Google và đã được công bố vào tháng 12 năm ngoái.

Mỗi pod v5p được tạo thành từ 8,960 chip và theo Google, nó cung cấp gấp đôi số phép toán dấu phẩy động mỗi giây (FLOPS) và gấp ba lần bộ nhớ so với TPU v4 để đào tạo các mô hình nhanh hơn gần ba lần.

Đối với mô hình AI trên thiết bị cho các tính năng như viết và chọn hình ảnh, Apple sử dụng mô hình 6.4 tỷ tham số được đào tạo từ đầu bằng cùng công thức như máy chủ AFM. Theo Apple, mô hình này đã được đào tạo trên 2048 chip TPU v5p.

Apple Intelligence

Các chi tiết khác được chia sẻ trong bài báo bao gồm đánh giá mô hình cho các phản hồi có hại, các chủ đề nhạy cảm, tính chính xác của sự kiện, hiệu suất toán học và sự hài lòng của con người với đầu ra của mô hình. Theo Apple, máy chủ AFM và các mô hình trên thiết bị dẫn đầu các đối thủ trong ngành về việc ngăn chặn các đầu ra có hại.

Ví dụ, máy chủ AFM, khi so sánh với GPT-4 của OpenAI có tỷ lệ vi phạm đầu ra có hại là 6.3%, thấp hơn đáng kể so với 28.8% của GPT-4 theo dữ liệu của Apple. Tương tự, trên thiết bị, tỷ lệ vi phạm 7.5% của AFM thấp hơn điểm số 21.8% của Llama-3-8B (do Meta, công ty mẹ của Facebook đào tạo).

Đối với tóm tắt email, tin nhắn và thông báo, AFM trên thiết bị có tỷ lệ hài lòng lần lượt là 71.3%, 63% và 74.9%. Bài báo nghiên cứu chia sẻ rằng những điều này dẫn trước các mô hình Llama, Gemma và Phi-3.

Chưa rõ tại sao Apple lại chọn chip Google để đào tạo các mô hình AI thay vì sử dụng GPU của NVIDIA - giải pháp được coi là hiệu quả nhất, tốc độ đào tạo AI nhanh nhất hiện nay. Có lẽ chi phí và mối quan hệ tốt giữa Apple và Google là một trong những yếu tố đã tác động đến điều này.