OpenAI's ChatGPT pokonał Anthropic's Claude Haiku 5.5 wynikiem 3:2 w teście pięciu codziennych zadań. Jednocześnie Claude wygrał dwa scenariusze, w których kluczowe były porady dopasowane do konkretnej osoby.
Najważniejsze wnioski:
- ChatGPT wygrał w kategoriach: planowanie Święta Dziękczynienia, kreatywne pisanie oraz kalkulator budżetu.
- Claude Haiku 5.5 okazał się lepszy przy doborze butów do biegania oraz planowaniu rodzinnego grafiku – dzięki bardziej osobistym odpowiedziom.
- Haiku 5.5 zastępuje Haiku 4.5 w menu modeli dla użytkowników Free, Pro i Max 29 października.
Wyniki testu ChatGPT
Amanda Caswell, dziennikarka technologiczna specjalizująca się w AI, przetestowała oba chatboty, zadając im identyczne polecenia. Porównanie opublikowano 15 października.
Zakres zadań obejmował wszystko – od planowania świątecznej kolacji po przygotowanie kalkulatora domowego budżetu. Caswell oceniała odpowiedzi pod kątem tego, jak dokładnie trzymały się instrukcji i jak bardzo odciążały ją z pracy.
ChatGPT wygrał rundę dotyczącą Święta Dziękczynienia, proponując niemal wszystkie dodatki w wersji wegańskiej na kolację dla 10 osób, przygotowywaną w jednym piekarniku i z budżetem 175 dolarów. W rundzie kreatywnego pisania otworzył opowieść o smoku od sceny pościgu z lepszym tonem dla czytelników w wieku „middle grade”, a następnie zbudował narzędzie budżetowe, które można edytować, pobrać i uruchomić offline.
Claude wygrał z kolei zadanie dotyczące doboru butów do biegania, kierując biegacza z wysokim podbiciem, pokonującego 35 mil tygodniowo, w stronę neutralnych modeli z maksymalną amortyzacją. ChatGPT wskazał sztywniejszy model, który Caswell uznała za gorzej dopasowany. Claude zwyciężył także w teście planowania dnia, proponując bardziej osobisty harmonogram dla pracującego rodzica trójki dzieci, który musiał pogodzić trening piłkarski, wizytę na poczcie i terminy w pracy.
Przeczytaj także: Jak duet iPhone od Apple przeszedł z preorderu do braku dostępności w 30 minut
Ocena Claude Haiku 5.5
Caswell określiła Haiku 5.5 jako solidny model do codziennych pytań, ale zaznaczyła, że przy takim zestawie zadań jej pierwszym wyborem prawdopodobnie byłby ChatGPT. Dwa zwycięstwa Claude'a przypisała poradom, które lepiej trafiały w jej realne potrzeby.
Anthropic wprowadził Haiku 5.5 7 października jako najmniejszy i najtańszy poziom w rodzinie modeli Claude. Firma podkreśla, że koszt jego działania jest o ok. 75% niższy niż w przypadku Haiku 4.5, a model jest przeznaczony do szybkich, powtarzalnych zadań, takich jak streszczenia czy bieżąca obsługa klienta. Klienci płacą 0,10 dolara za milion tokenów wejściowych, czyli podobnie jak w przypadku GPT-6 Luna, najmniejszego modelu OpenAI.
Wdrażanie GPT-6 i Haiku
Anthropic wycofuje Haiku 4.5 z menu modeli dla użytkowników Free, Pro i Max 29 października – w jego miejsce pozostanie Haiku 5.5. Dotychczasowe czaty mają pozostać dostępne.
OpenAI udostępniło GPT-6 w ChatGPT 7 października – tego samego dnia, gdy zadebiutował Haiku 5.5. Równolegle wprowadzono nowy interfejs, który pozwala osadzać w odpowiedziach interaktywne wykresy, kalkulatory i przyciski. Menedżer produktu Aarush Selvan podkreślił, że najbardziej użyteczne odpowiedzi „nie są wyłącznie tekstem”. Dla Anthropica premiera Haiku była zwieńczeniem miesiąca, w którym firma zaktualizowała również modele Opus i Sonnet do wersji 5.5.
Następny materiał: Czy USDC podbije rynki rozwijające się? Circle wchodzi w decydującą fazę
