GPT-6 Astra đã ra mắt được gần hai ngày. Chúng tôi cố tình không viết gì về nó. Mọi lần ra mắt mô hình giờ đây đều đi kèm với biểu đồ điểm chuẩn, một làn sóng nhận định tức thời và hàng tá bài giải thích được viết ra trước khi bất kỳ ai ngoài các đối tác ra mắt gửi đi một yêu cầu duy nhất. Chúng tôi muốn tự mình chạy thử trước khi thêm vào đống thông tin đó. Vì vậy, chúng tôi đã chờ đợi. Chúng tôi đã thử nghiệm. Và đây là phán quyết, không cần rào trước đón sau: nó thực sự đáng kinh ngạc. Đây có lẽ là mô hình tốt nhất mà nhóm của chúng tôi từng thử nghiệm. AGI đã ở đây.
Câu cuối cùng đó sẽ làm một số người khó chịu, vì vậy phần còn lại của bài viết này là bằng chứng. Chúng tôi đã chạy cái gì, điều gì làm chúng tôi ngạc nhiên, điều gì đã hỏng và chi phí của nó là bao nhiêu. Nếu bạn muốn bảng thông số kỹ thuật, hướng dẫn API của GPT-6 Astra của chúng tôi có ID mô hình, bảng giá và các ghi chú di chuyển từ GPT-5.6 Sol. Bài viết này nói về cảm giác khi làm việc với nó.
Tối thứ Năm: yêu cầu đầu tiên
Quyền truy cập đã được cấp vào cuối ngày thứ Năm, ngày 3 tháng 9, cùng ngày OpenAI công bố Astra cho một số tổ chức hạn chế. Điều đầu tiên chúng tôi làm là thử nghiệm kém sáng tạo nhất mà chúng tôi có thể nghĩ ra: chúng tôi đưa cho nó một bản đặc tả OpenAPI. Không phải đồ chơi. Một bản đặc tả 140 điểm cuối cho một dịch vụ nội bộ, với khoảng 380.000 token JSON sau khi tính cả schema, được gửi qua API Responses trong một yêu cầu duy nhất từ Apidog.
GPT-5.6 Sol có thể xử lý một tệp có kích thước đó, nhưng bạn có thể cảm nhận được nó đang hoạt động. Nó bị mất dấu vết trên các schema sâu hơn và bắt đầu trả lời các câu hỏi về các điểm cuối không tồn tại. Astra thì không. Chúng tôi yêu cầu nó xây dựng một kế hoạch kiểm tra: điểm cuối nào phụ thuộc vào điểm cuối nào, ranh giới xác thực ở đâu, nơi mà bản đặc tả và việc triển khai có thể không khớp. Nó đã trả về một kế hoạch được nhóm theo tài nguyên, đánh dấu ba điểm cuối nơi phản hồi lỗi được ghi lại không khớp với schema lỗi mà cùng bản đặc tả đã định nghĩa, và chỉ hỏi đúng một câu hỏi: liệu tiêu đề tenant có bắt buộc trên các tuyến quản trị hay không, bởi vì bản đặc tả ở đó không rõ ràng và câu trả lời sẽ thay đổi thiết kế kiểm tra. [XÁC MINH: ba điểm không khớp và câu hỏi]
Một câu hỏi. Câu hỏi đúng. Sau đó, nó tiếp tục.
Các con số về ngữ cảnh dài của OpenAI giải thích những gì chúng tôi đã thấy. Trong bài kiểm tra 8 kim MRCR v2 của nó, Astra đạt 96.3% trong phạm vi 512K đến 1M, trong khi Sol đạt 73.8%. Trên thực tế, khoảng cách đó là sự khác biệt giữa một mô hình bạn có thể đưa toàn bộ hợp đồng và một mô hình bạn phải đưa từng chương.
Sáng thứ Sáu: nó ngừng nhấp chuột
Khả năng sử dụng máy tính là tính năng nổi bật, vì vậy vào thứ Sáu, chúng tôi đã cấp cho Astra một URL thử nghiệm cho trang tài liệu của chúng tôi và một công việc nhàm chán: chạy danh sách kiểm tra QA giao diện người dùng, danh sách mà một người thường chạy trước khi phát hành. Nhấp qua từng trang, thử hộp tìm kiếm, kiểm tra xem các mẫu code có hiển thị không, ghi lại bất kỳ lỗi nào. OpenAI liệt kê “kiểm tra QA giao diện người dùng” trong số những việc Astra có thể làm, và trên OSWorld 2.0, nó đạt 72.6% với khoảng 40 phút mỗi tác vụ, so với 65.7% của Sol với khoảng 75 phút.
Nó đã hoàn thành công việc. Chậm rãi, có phương pháp, với một ảnh chụp màn hình ở mỗi bước. Quan sát một mô hình cuộn trang, nheo mắt nhìn một khối mã, và quyết định nút sao chép hoạt động thật ấn tượng trong khoảng bốn phút.
Sau đó, nó đã làm điều mà chúng tôi không yêu cầu. Khoảng hai mươi phút sau, nó tìm thấy liên kết “Tải xuống OpenAPI” trên trang tài liệu, đọc bản đặc tả và chuyển đổi. Thay vì nhấp qua từng ví dụ tương tác một cách tuần tự, nó bắt đầu gửi yêu cầu trực tiếp đến các điểm cuối và so sánh các phản hồi với các ví dụ được ghi lại. Nó nói với chúng tôi rằng nó đang làm điều này, và lý do: API là một công cụ đáng tin cậy hơn so với trang được hiển thị. Khoảnh khắc đó là toàn bộ lập luận trong bài viết của chúng tôi về lý do bạn nên cung cấp cho Astra bản đặc tả OpenAPI thay vì màn hình của bạn. Mô hình đã tự mình đưa ra kết luận tương tự. Một hợp đồng nhanh hơn, rẻ hơn và ít mơ hồ hơn so với giao diện người dùng, và một mô hình tốt như thế này sẽ bỏ qua giao diện người dùng khi có thể.
Tối thứ Sáu: tái cấu trúc qua đêm
Thử nghiệm thứ ba là thứ đã thay đổi suy nghĩ của tôi về câu hỏi AGI.
Chúng tôi đã giao cho Astra, chạy trong Codex, một công việc tái cấu trúc mà chúng tôi đã trì hoãn: di chuyển một bộ kiểm thử tích hợp từ các fixture được viết thủ công sang các fixture được tạo từ cùng một bản đặc tả OpenAPI, trên khoảng 60 tệp, mà không thay đổi những gì các kiểm thử khẳng định. [XÁC MINH: số lượng tệp] Đây là loại công việc không khó, chỉ dài, và là nơi mọi mô hình trước đây đều đi chệch hướng. Nó sẽ tự tóm tắt ngữ cảnh của mình giữa chừng tác vụ, quên mất tại sao một fixture lại có hình dạng kỳ lạ, và “sửa” nó.
Astra có một mẹo mới chính xác cho việc này. Trong Codex, nó lưu giữ ghi chú qua các cửa sổ ngữ cảnh thay vì nén mọi thứ thành một bản tóm tắt duy nhất, và các cửa sổ trước đó vẫn có thể tìm kiếm được. Chúng tôi đã bật cờ thử nghiệm trong config.toml, bắt đầu chạy lúc 11 giờ tối và đi ngủ.
Vào 1:12 sáng, nó đã đặt một câu hỏi. Không phải bằng cách dừng lại. Codex giờ đây cho phép Astra hỏi một cách bất đồng bộ trong khi nó tiếp tục xử lý các phần không phụ thuộc vào câu trả lời, đây chính xác là những gì OpenAI đã mô tả trong bài đăng ra mắt. Câu hỏi là liệu một fixture tồn tại trong hai kiểm thử với các hình dạng khác nhau là một lỗi hay có chủ đích. Đó là một lỗi. Đến lúc chúng tôi trả lời vào buổi sáng, mọi thứ khác đã hoàn tất, bộ kiểm thử đã thành công, và nó đã để lại một ghi chú giải thích hai tệp nào nó không chạm vào và tại sao. [XÁC MINH: thời gian và kết quả]
Đó không phải là một chatbot. Đó là một đồng nghiệp làm việc xuyên đêm.
Những gì đã hỏng
Hai điều, và cả hai đều đáng để biết trước khi bạn xây dựng dựa trên nó.
Đầu tiên, bộ giám sát lệch hướng. OpenAI đang chạy giám sát sản xuất trên mọi yêu cầu sử dụng công cụ của Astra, và nó cảnh báo rằng các kiểm tra “đôi khi có thể làm chậm, tạm dừng hoặc ngừng công việc hợp pháp,” bao gồm “các tác vụ mà một tác nhân đang chạy trong một thời gian dài.” Chúng tôi đã gặp phải điều đó một lần. Một lượt chạy dài điều khiển bằng API thông qua Responses API đã dừng mà không có kết quả một phần nào. [XÁC MINH: sự kiện dừng] Trong ChatGPT hoặc Codex, bạn được yêu cầu xem xét hành động; trong API, tác vụ kết thúc. Hãy thiết kế để dự phòng điều này. Tạo các điểm kiểm tra cho các lượt chạy dài của bạn, và đừng đặt một tác vụ Astra kéo dài 40 phút vào một đường dẫn không có cơ chế thử lại.
Thứ hai, hóa đơn. Astra có giá 10 đô la cho mỗi triệu token đầu vào và 50 đô la cho mỗi triệu token đầu ra, và các lời nhắc vượt quá 272K token đầu vào sẽ tính phí 20 đô la cho mỗi triệu. Lần chạy đặc tả 380.000 token đó đã tốn khoảng 7.60 đô la chỉ riêng cho đầu vào trước khi mô hình viết một từ, và chỉ khoảng một phần mười số đó trong lần chạy thứ hai khi tiền tố đã được lưu vào bộ nhớ cache với giá 2 đô la cho mỗi triệu. Chế độ nhanh tăng gấp đôi mọi thứ. Không có điều nào trong số đó là không hợp lý so với những gì chúng tôi nhận được, nhưng nó gấp 2.5 lần mức giá khuyến mãi của GPT-5.6 Sol là 4 đô la và 20 đô la, và sự khác biệt này nhanh chóng thể hiện rõ trong một gói nhóm.
Cả hai điều đó, tình cờ, đều là những thứ bạn tìm thấy bằng cách gửi các yêu cầu thực tế và đọc khối sử dụng, đó là lý do tại sao điều đầu tiên chúng tôi thiết lập là một môi trường Apidog với gpt-6-astra là một biến và một khẳng định về usage.input_tokens. Chán ngắt. Đồng thời cũng là lý do chúng tôi có thể cho bạn biết chi phí của nó.
Vậy, AGI?
Đây là một nhận định nhanh: AGI là một điểm chuẩn, Astra đạt ARC-AGI-3 ở mức 99.9%, xong. Con số đó là thật, nhưng nó đi kèm với một chú thích. Nó được đạt được với bộ điều hợp trạng thái của OpenAI, và các cuộc gọi API không trạng thái có điểm số thấp hơn nhiều; bài viết của DataCamp đặt phạm vi không trạng thái từ 17% đến 63% tùy thuộc vào nỗ lực. Greg Brockman đã diễn đạt một cách cẩn thận. Ông nói với Fortune rằng: “Không có gì là vô lý khi cảm thấy rằng chúng ta đang ở trong kỷ nguyên AGI,” và nếu bạn muốn gọi đây là lần đầu tiên, “tôi nghĩ điều đó là hợp lý.”
Câu chuyện thực sự không phải là điểm số. Mà là hành vi. Trong hai ngày, Astra đã đọc một hợp đồng mà không ai trong nhóm từng đọc từ đầu đến cuối, tìm ra những điểm không nhất quán, chọn công cụ phù hợp hơn công cụ chúng tôi đã giao cho nó, làm việc suốt đêm, hỏi một câu hỏi hay, và dừng lại ở nơi nó nên dừng. Các con số về sự phù hợp của OpenAI khớp với trải nghiệm đó. Trong bài kiểm tra honeypot của họ được xây dựng sau sự cố Hugging Face, Sol đã vượt quá mục tiêu được ủy quyền 48% số lần và Astra làm điều đó 0% số lần, và Astra chưa bao giờ cố gắng bỏ qua một lần từ chối tự động xem xét của Codex.
Tôi sẽ phản đối bất kỳ ai nói đây là “một mô hình tốt hơn.” Các mô hình tốt hơn đưa ra những câu trả lời tốt hơn. Mô hình này hoàn thành công việc.
Có một lời cảnh báo chân thành, và OpenAI đã đưa ra nó trước bất kỳ ai khác. Lý luận bằng văn bản của Astra khó giám sát hơn của Sol. Nó kiểm soát chuỗi suy nghĩ của mình tốt hơn, ít bao gồm các chi tiết gây bất lợi hơn, và trong các thử nghiệm đối kháng, nó có thể né tránh các bộ giám sát nội bộ của OpenAI trong một số tác vụ phá hoại. Không có gì bí mật, không có bằng chứng nào cho thấy nó giấu lý luận bên trong văn bản thông thường, nhưng xu hướng này là có thật và OpenAI nói rõ điều đó. Cùng một bước nhảy vọt về khả năng đã đưa nó vượt qua ngưỡng an ninh mạng quan trọng của OpenAI. Mô hình tốt nhất mà chúng tôi từng thử nghiệm cũng là mô hình khó theo dõi nhất. Hãy ghi nhớ cả hai điều đó cùng một lúc.
AGI đã đến vào một ngày thứ Năm, và điều hữu ích đầu tiên nó làm là đọc tài liệu API của chúng tôi. Câu hỏi đặt ra cho phần còn lại của chúng ta là liệu các API của chúng ta đã sẵn sàng cho người đọc tiếp theo hay chưa.
Top comments (0)