OpenAI vừa ra mắt Ultrafast, một tầng dịch vụ xem trước cho phép GPT-5.6 Sol vận hành nhanh hơn chuẩn tới 14 lần, với tốc độ tạo tối đa khoảng 750 token đầu ra mỗi giây.
Các điểm chính
- Ultrafast giúp GPT-5.6 Sol chạy nhanh hơn xử lý tiêu chuẩn tới 14 lần.
- Cerebras cung cấp sức mạnh tính toán cho chế độ này, hỗ trợ tối đa 750 token đầu ra mỗi giây.
- Dịch vụ đang ở giai đoạn xem trước giới hạn, sẽ mở rộng truy cập khi năng lực hạ tầng tăng lên.
Bản xem trước OpenAI Ultrafast
OpenAI thông báo ra mắt Ultrafast ngày 13/8, triển khai trước qua API cho một nhóm khách hàng hạn chế, tập trung vào tối ưu tốc độ. Công ty cho biết sẽ mở rộng quyền truy cập theo tiến độ mở rộng công suất.
Dịch vụ này được vận hành trên hạ tầng của Cerebras và được thiết kế để giữ nguyên năng lực của GPT-5.6 Sol trong khi rút ngắn đáng kể thời gian tạo phản hồi. Token đầu ra là các đơn vị văn bản được mô hình sinh ra. Theo OpenAI, trước đây để đạt tốc độ gần thời gian thực, người dùng thường phải chấp nhận dùng mô hình nhỏ hơn hoặc chuyên biệt hơn, trong khi Ultrafast được định vị nhằm mang lại “nhiều giá trị hữu ích hơn trên mỗi giây xử lý”.
OpenAI dự báo các quy trình như ứng phó sự cố, nghiên cứu tài chính, chăm sóc khách hàng, thương mại và nghiên cứu trực tuyến sẽ là những lĩnh vực được hưởng lợi nhiều nhất. Kỹ sư có thể dùng chế độ này để rà soát log, trace và các thay đổi mã gần nhất ngay trong lúc sự cố đang diễn ra, trong khi hệ thống hỗ trợ khách hàng có thể xử lý các yêu cầu nhiều bước theo thời gian thực trong cuộc hội thoại.
Đọc thêm: Anthropic theo đuổi thương vụ Decart 6 tỷ USD khi chuẩn bị IPO
Tác động của GPT-5.6 Sol
Các khách hàng dùng sớm cho biết tốc độ mới thay đổi cách mô hình được tích hợp vào các quy trình tương tác. John Crepezzi của Jane Street gọi mức tăng tốc là “ấn tượng” và cho rằng nó khiến việc phối hợp làm việc tập trung cùng mô hình trở nên khả thi hơn.
Courtland Lykins, phụ trách sản phẩm AI giọng nói tại Podium, cho biết Ultrafast đặc biệt hữu ích cho nền tảng thoại của công ty vì “tốc độ đã hoàn toàn thay đổi trải nghiệm cuộc gọi” trong các tác vụ phức tạp. OpenAI cũng nhấn mạnh các nhà nghiên cứu tài chính có thể phân tích tín hiệu thị trường và giao dịch đang biến động mà không phải chờ các lô xử lý chậm hơn – một kịch bản phụ thuộc mạnh vào dữ liệu đầu vào liên tục thay đổi.
Bản xem trước hiện vẫn bị giới hạn bởi năng lực hạ tầng, chưa được triển khai rộng rãi cho công chúng. OpenAI cho biết họ đang sử dụng phản hồi từ nhóm khách hàng đầu tiên để xác định những trường hợp sử dụng mang lại giá trị lớn nhất từ tốc độ, trước khi mở rộng phân phối.
Mối liên kết với Cerebras bắt đầu trước Ultrafast. Tháng 1, OpenAI công bố hợp tác với nhà sản xuất chip này nhằm bổ sung 750 megawatt năng lực tính toán AI độ trễ thấp vào nền tảng. Tháng 2, GPT-5.3-Codex-Spark trở thành mô hình đầu tiên trong khuôn khổ hợp tác, sử dụng phần cứng của Cerebras để đạt tốc độ trên 1.000 token mỗi giây trong các tác vụ lập trình thời gian thực.
Bài tiếp theo: Khối lượng giao dịch Virtuals Protocol tăng vọt 180%, phe bò nhắm mốc 0,68 USD
