GPT-6 Luna в сравнении с DeepSeek на рабочих задачах | Bunin lab

GPT-6 Luna в сравнении с DeepSeek на рабочих задачах

GPT-6 Luna в сравнении с DeepSeek на рабочих задачах. В 8 раз дешевле, а результат почти тот же.

Я давно не писал про то как работает наш проект ИИ-ОКК. Оценка звонков и диалогов менеджеров с клиентами.

В целом все хорошо. Проект работает стабильно, помогает нам улучшать качество работы менеджеров, а так же понимать какие ошибки мы совершаем при работе с клиентами.

Какое-то время назад мы с дорогого Claude, (который определял тип звонков и оценивал диалоги с клиентами) переехали на DeepSeek. Прошло не так много времени и DeepSeek стал не дешевым. Точнее так, у него появились приколы как с электричеством. С 04:00 до 07:00 и с 09:00 до 13:00 по турецкому времени тариф дороже (пиковые часы), и это как раз время, когда у нас больше всего звонков. В остальное время в два раза дешевле. Как мы под это подстроились писал тут. При всем при этом он всё равно дешевле Claude. Чтобы у вас был порядок цен. В Турции оценка звонков по токенам выходит около 350$ в месяц на Claude и около 280$ на DeepSeek. По моему разбору про который писал здесь DeepSeek нам ещё и поднял качество оценки.

Я пошел дальше. Не так давно вышла GPT-6 Luna - облегченная и дешевая версия. Я начал тестить ее на оценке звонков. И результат оказался сопоставимым с DeepSeek. Например верность определения типа диалога у Luna 89,1% (проверял на 366 звонках, где правильный ответ знали заранее), у DeepSeek 91%. Сами оценки диалогов почти одинаковые. На 71 живом звонке Luna в среднем ставит на 2,4 балла выше. А на 32 звонках, где менеджеры оспаривали оценку DeepSeek, она поставила в среднем на 9,5 балла больше, то есть ближе к позиции самих менеджеров.

При том, что стоимость Luna оказалась в 8 раз дешевле. Все сегодняшние тесты обошлись меньше чем в 1$. Я полагаю, что мы доведем стоимость токенов в месяц примерно до 170$. Вместо почти 300. При этом не потеряем на качестве. Но есть нюансы, о них ниже.

С 1 октября на Luna у нас уже работают анализ переписок с водителями в WhatsApp, а сегодня я перевёл на неё и звонки. На DeepSeek остались мелочи: подсказка менеджеру, что делать на следующем звонке, и перевод оценок на турецкий.

Где Luna косячит. Тревоги по критичным ошибкам - это когда система сразу пишет нам, что менеджер серьёзно накосячил в диалоге. Luna присылает их в два раза реже DeepSeek, но больше половины неверные. С 1 по 11 октября по перепискам было 25 таких тревог. Разобрали все: верные 2, спорных 8, ложных 15.

6 ложных из 15 из-за Битрикса. Он режет одну переписку с водителем на куски, и модель видела только кусок. Оператор ответил через несколько часов уже в другом куске, а она решила, что водителя бросили. Теперь даём ей всю переписку водителя за сутки и ждём продолжения до 8 рабочих часов. На проверке 4 из этих 6 ложных алертов пропали.

На звонках тоже нашли косяк. Трубку взяла жена клиента, менеджер сказал, что у него не хватает номера удостоверения сам номер не называл. А Luna записала это как раскрытие личных данных. Поправили одной строчкой в промте.

Не смертельно, по сути DeepSeek может ошибаться так же, но в других моментах. Всё можно доработать.

Интересно ещё то, что у Luna быстрее скорость обработки диалогов. Звонок она оценивает секунд за 17, а DeepSeek больше минуты. И у неё нет пиковых часов. Сегодня утром система сразу взялась за 97 звонков, которые раньше висели бы в очереди до 13:00 (из-за пиковых часов DeepSeek).

Единственное на чем пока не удается сэкономить это 11labs для перевода турецких звонков из голоса в текст. Альтернативы ему пока нет. Яндекс на турецких звонках проиграл ему 279:0, разбор об этом тут.

Спасибо, что дочитали 🙏