Điểm chính
OpenAI đại tu kiến trúc thoại của ChatGPT để cho phép luồng âm thanh chạy liên tục, không bị ngắt quãng. Hệ thống mới GPT-Live cho phép ChatGPT vừa nói vừa lắng nghe. Thời gian khởi tạo một phiên thoại giảm từ sáu lượt trao đổi mạng xuống chỉ còn một. Âm thanh được xử lý trên một “đường cao tốc” riêng, trong khi suy luận và gọi công cụ chạy bất đồng bộ. OpenAI công bố tài liệu kỹ thuật chi tiết về quá trình tái xây dựng.
OpenAI đã tái thiết toàn bộ hạ tầng thoại đứng sau ChatGPT, giới thiệu kiến trúc mới mang tên GPT-Live. Hệ thống này giữ cho luồng âm thanh chảy liên tục, để các tác vụ suy luận sâu và sử dụng công cụ không còn làm gián đoạn cuộc trò chuyện.
OpenAI trình bày các thay đổi trong loạt bài đăng ngày 3/8 và một bài blog mô tả chi tiết cách họ xây dựng lại hệ thống từ phía client tới mô hình. Theo công ty, thời gian khởi động một phiên thoại đã được rút gọn từ sáu lượt trao đổi mạng xuống chỉ còn một.
Cách GPT-Live vận hành
GPT-Live định tuyến âm thanh qua một đường xử lý nhanh chuyên biệt, tách biệt với lớp suy luận và các cuộc gọi tới công cụ. Những quy trình nặng hơn đó được chạy bất đồng bộ, nghĩa là chúng hoàn thành ở chế độ nền mà không phải tạm dừng luồng âm thanh.
Kết quả là các phiên thoại khởi động nhanh hơn, duy trì liên tục, không còn các khoảng lặng khó chịu mà người dùng từng gặp khi ChatGPT phải xử lý yêu cầu phức tạp.
OpenAI cho biết trong một bài đăng rằng kiến trúc mới xử lý tối ưu ngay khoảnh khắc bắt đầu phiên, khiến cuộc hội thoại trở nên tự nhiên hơn từ câu trao đổi đầu tiên. Việc tái kiến trúc này nhằm khắc phục điểm nghẽn cấu trúc của hệ thống cũ, nơi mọi bước suy luận đều buộc lớp âm thanh phải chờ đợi.
GPT-Live nhắm thẳng vào độ trễ của ChatGPT Voice
Từ năm 2024 tới nay, OpenAI đẩy mạnh đầu tư vào năng lực thoại. Trước đó, công ty đối mặt phê bình rằng phản hồi bằng giọng nói của ChatGPT thiếu tự nhiên và chậm chạp khi xử lý các yêu cầu nhiều bước. GPT-Live chính là câu trả lời kỹ thuật trực tiếp cho vấn đề này.
Động thái phát hành GPT-Live diễn ra sau tiết lộ hồi tháng trước: một phiên bản nội bộ của mô hình thế hệ kế tiếp của OpenAI đã tạo ra mười kết quả toán học mới với chi phí token khoảng 2.000 USD, cho thấy công ty đang mở rộng đầu tư hạ tầng trên toàn bộ dải sản phẩm.
Đọc tiếp: Qwen và DeepSeek đưa AI Trung Quốc áp sát Anthropic
