«Обучим модель на ваших данных» звучит одинаково у всех, а означает три разные работы. Сроки у них отличаются в десятки раз.
Первая: модели пишут инструкцию под вашу отрасль, где названы номенклатура, критерии и типичные ошибки. Делается за дни, меняется за час, результат виден сразу.
Вторая: рядом с моделью ставят поиск по вашим документам. Модель заглядывает в прайс и регламенты, но остаётся прежней. Про этот способ у нас был отдельный выпуск.
Третья: модель действительно дообучают на ваших примерах, и вот это долго. Переучивать все веса дорого настолько, что в 2021 году придумали способ дообучать малую часть: обучаемых чисел стало в тысячи раз меньше. Данные всё равно нужны ваши и размеченные, а при смене модели работу повторяют.
Мы делаем первое, умеем второе и за третье не берёмся. Размеченная выборка остаётся активом компании, инструкция такой ценности не имеет.
Когда вам обещают обучение на ваших данных, какую из трёх работ имеют в виду?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Модель это большая таблица чисел, и каждое из них занимает место в памяти видеокарты. Чтобы она влезла в карту подешевле, значения огрубляют: вместо длинного хранят короткое. Это и называют сжатием, по-инженерному квантизацией. Модель становится легче и быстрее, но отвечает уже немного по-другому.
Насколько по-другому, решает способ сжатия. В работе 2022 года это разобрали на 35 000 опытов: две модели занимают в памяти одинаково, а отвечают неодинаково, потому что ужаты они по-разному.
Как у нас. Мы прогнали одну модель в двух сжатиях на 179 записях эталона. Первое выдало 120 разборов в минуту, но потеряло три с лишним пункта точности, и два звонка не разобрались совсем. Второе считало вдвое медленнее и держалось выше, без единого срыва. В прод пошло второе: скорость без качества не считается.
Поэтому «у нас та же модель, что у них» само по себе ничего не значит. В каком сжатии она работает у вашего подрядчика и что он на этом потерял?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Свой сервер под ИИ считают обычно по картам. А счёт приходит из трёх строк, и вторая с третьей появляются позже.
Первая строка, железо. Тут всё понятно: карта, сервер, диски.
Вторая, электричество. Четыре карты верхнего класса, по шестьсот ватт каждая, дают два с половиной киловатта на одних только картах и около трёх на узел. У класса попроще расход двести ватт, и те же четыре штуки укладываются в восемьсот. От этой разницы зависит, встанет сервер в вашу стойку или потребует отдельного ввода и охлаждения, а это уже стройка, а не закупка.
Третья, человек. Несколько карт в работе требуют того, кто их администрирует и дежурит. По нашему расчёту за три года эта строка выходит дороже самого железа.
Масштаб явления видно и снаружи: по данным энергетического агентства, дата-центры съели полтора процента мирового электричества за 2024 год и прибавляют по двенадцать процентов в год.
Ваша смета на свой сервер состоит из одной строки или из трёх?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Разговор с генеральным директором на «Бренд года».
Спросили: когда вы последний раз слышали, как в вашей компании разговаривают с клиентом? Ответ: в офисе. То есть слышно то, что происходит рядом, за соседним столом.
Дальше выяснилось, что звонков у них от пятидесяти в день.
Пятьдесят разговоров, из которых руководитель случайно слышит два или три, и то краем уха. Записи есть, но слушать их некому: это часы времени каждый день.
Ровно это и делает Анфиса. Разбирает все разговоры и письма, а вечером присылает сводку: где назвали цену, где обещали перезвонить, где клиент ушёл молча.
Субтитры расшифровала Анфиса.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Подрядчик показывает экран: проверка прошла, всё зелёное. Стоит спросить, что именно она проверила.
Правило старше любого ИИ: проверка показывает, что ошибка есть, а доказать отсутствие ошибок она не может. Записал это Эдсгер Дейкстра в 1970 году.
Наш случай. Мы проверяли, переживёт ли разбор звонков отказ поставщика модели: подсунули заведомо битый ключ и увидели, что запасной путь жив. Только вот готовая строка лежала в кэше на диске, в сеть за ней никто не ходил, и проверка отработала вхолостую, оставаясь при этом зелёной.
На приёмке просите показать сам сбой: пусть подрядчик при вас выдернет то, что должно упасть.
А вам на демо давали выбрать записи самому?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Один и тот же вопрос, заданный модели дважды, даёт два разных ответа. Модель считает вероятности: у каждого следующего слова свой вес, и есть ручка, которая решает, всегда ли брать самое тяжёлое или иногда второе. Её называют температурой: ниже ставишь, ровнее ответы и однообразнее формулировки.
Полностью разброс не убирает даже ноль. В 2024 году пять моделей настроили на повторяемость и прогнали восемь задач по десять раз: точность гуляла между прогонами до 15 пунктов, и ни одна из них не повторила свой результат на всех восьми.
Как у нас. Две попытки одной проверки на 179 записях эталона разошлись на процент с небольшим. Обиднее другое: порог приёмки мы назначили по удачному прогону, и его не взяла та же конфигурация, по которой он поставлен.
Отсюда практический вывод: цифру в приёмке имеет смысл писать вместе с числом прогонов и разбросом. Ваш подрядчик показывал точность одним числом или несколькими прогонами?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Вот полностью то, что я сказал со сцены на «Бренд года».
Начал с вопроса: кто на этой неделе слышал, как его менеджер разговаривает с клиентом? Дальше арифметика. Сорок звонков в день, руководитель слушает два, а про остальные тридцать восемь в компании никто ничего не знает.
Анфиса разбирает все звонки и все письма, а вечером присылает собственнику короткую сводку: кто назвал цену, кому забыли перезвонить, какая заявка ушла молча.
Мы не CRM и не телефония. Мы уши компании.
Пять сертификатов разыграли там же, на сцене, и через месяц расскажем, что победители у себя нашли.
Субтитры расшифровала Анфиса, тем же движком, которым она разбирает звонки.
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Модель не настраивают ползунками. Ей пишут инструкцию обычными словами (её называют промптом), и она ведёт себя как программа: поменяли формулировку, поменялся результат у всех будущих ответов. Разница одна, и она неприятная: ошибку тут никто не подчеркнёт красным, работа просто пойдёт чуть иначе.
Насколько чуть, померили в 2023 году. Задание модели оставляли тем же, а меняли только оформление: разделители, пробелы, порядок примеров. На одной открытой модели разброс точности дошёл до 76 пунктов.
Как у нас. Решающее поле ответа мы держим в схеме первым. Опустите его ниже, и модель цепляется за раннее решение, а всё остальное подгоняет под него. Про то, как пример из инструкции возвращается готовым ответом, мы разбирали отдельно.
Отсюда простое требование при приёмке: инструкция хранится с историей правок, а после каждой из них прогоняется набор примеров с известным ответом.
А кто у вашего подрядчика правит инструкцию модели и кто это проверяет?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Восемнадцать секунд с «Бренд года».
Спросили человека из маркетинга: прослушиваются ли у вас звонки? Ответ: всё абсолютно на ручном управлении, максимум конспектируем встречи встроенными сервисами.
Получается, переговоры в календаре компания расшифровывает, а полсотни телефонных разговоров за день не слышит никто.
А у вас это как устроено?
Спасибо площадке: национальная премия для сильнейших брендов России, brand-award.ru, канал премии t.me/brandawards
Единого гудка «занято» в мире нет. В каждой стране он звучит по-своему.
В России это 425 герц, звук и пауза почти по полсекунды. В Британии тон ниже, 400 герц, и щёлкает он заметно чаще. В США вместо одного тона звучат сразу два, 480 и 620 герц.
Причина скучная. Каждая страна строила телефонную сеть сама и выбирала звук на свой вкус. До шестидесятых годов гудок отличался даже у соседних узлов одной сети: тон зависел от того, чем именно его вырабатывали в конкретном здании.
В Америке единый набор сигналов появился в 1965 году вместе с первой электронной станцией. Международная рекомендация пришла позже и просто записала то, что уже сложилось, переделывать никого не стали. Так гудок «занято» стал местным акцентом связи.
А ещё это готовый ответ компании тому, кто до неё не дозвонился. Слышит его только он.
Счёт за ИИ считают в токенах. Токен это кусок текста, на которые модель режет речь перед чтением: иногда целое слово, чаще часть слова или даже пара букв.
В английском на токен приходится около четырёх знаков. В русском их меньше: на своих же фразах мы намерили 2,9. Одна и та же мысль по-русски обходится примерно в полтора раза дороже английской, хотя на вид она такой же длины.
Как у нас. Инструкция на разбор одного разговора занимает почти шесть тысяч токенов, и скорость упирается именно в неё: при лимите двенадцать тысяч в минуту выходит два или три звонка. Мощность железа тут ни при чём.
Что спросить, когда называют цену: считает ли подрядчик в запросах или в токенах, входит ли в счёт ответ модели вместе с вопросом.
А вы знаете, за что именно вам выставляют счёт?
Анфиса разбирает звонки, письма и заявки: anfisa-phone.ru
Заявка приходит письмом чаще, чем кажется по отчётам, и в сам отчёт она обычно не попадает.
Звонок в отделе продаж слышно: он звенит, его берут, о нём говорят до вечера. Письмо приходит тихо, ложится в общий ящик и живёт ровно до тех пор, пока его держит в голове человек, который его открыл. Через неделю эти цифры уже не восстановить: сколько писем пришло, на какие ответили, какая доля была запросом цены.
Проверить это можно руками за один вечер. Выгрузите входящие за две недели и разложите их на четыре стопки: заявка, запрос цены, переписка по текущей сделке, всё остальное. Потом посмотрите, у скольких писем из первых двух стопок нет вашего ответа. Обычно неожиданной оказывается именно эта цифра.
Разбирать переписку к тому же дешевле: расшифровывать нечего, и одно письмо обходится в пять-десять раз меньше телефонного разговора.
Анфиса читает почту так же, как звонки, ничего в ящике не трогает и показывает, на что не ответили: @anfisa_phone
В восемь вечера вам приходит одно сообщение. Сколько было обращений, сколько целевых, сколько горячих и кто как отработал.
И одна строка о том, что стоит поправить завтра.
Читается за минуту, а если захотите проверить любой пункт, там же лежит запись разговора и разбор, так что верить мне на слово не придётся.
А что вы знаете о сегодняшнем дне отдела прямо сейчас?
Красного телефона между Кремлём и Белым домом никогда не было. В кино он есть, в жизни его не было ни разу.
Линию открыли 30 августа 1963 года, после Карибского кризиса, когда стало ясно: обычная дипломатическая переписка идёт часами, а решение нужно за минуты. Поставили телетайп, и кабель тянулся из Вашингтона через Лондон, Копенгаген, Стокгольм и Хельсинки в Москву.
Голос отвергли намеренно. В разговоре легко сказать лишнее, а на чужом языке ещё и понять не так. Написанное успевают перевести, проверить и показать своим, прежде чем ответить. И у обеих сторон остаётся одна и та же лента, а не два пересказа одного разговора.
Первую проверку связи отправили из Вашингтона: фраза про бурую лису, которая перепрыгнула через ленивую собаку, и все цифры подряд. В ней задействована вся клавиатура. Москва ответила описанием заката, где были все буквы русского алфавита.
Красные аппараты стояли у военных, отсюда и картинка из кино.
Голосом быстрее, буквами точнее. Какие вопросы у вас нельзя решать в разговоре?
Обновление: запись разговора скачивается и пересылается прямо из карточки звонка.
Привычный финал разбора: этот звонок должен услышать сам менеджер. Теперь в карточке для этого есть кнопки «Скачать» и «Поделиться», и mp3 уходит ему в мессенджер в два касания, в том числе из Telegram.
Файл обычный, без плееров и личных кабинетов: запись можно приложить к задаче, отправить письмом или включить на планёрке. Теперь разбор с менеджером можно начать с самой записи, а не с пересказа по памяти.
Напишите: @anfisa_phone
Сильный продавец отличается привычками, а не характером. Спросил задачу, назвал цену, договорился о следующем шаге.
Меня зовут Анфиса. Я считаю эти привычки по каждому менеджеру и показываю, где кто проседает.
К понедельнику у вас готовый список к разговору с отделом, и рядом с каждым пунктом лежит запись с таймкодом: можно открыть и послушать то место, о котором идёт речь.
О чём вы говорите с продавцами на планёрке?
3 апреля 1973 года инженер Мартин Купер вышел на Шестую авеню в Нью-Йорке, достал трубку весом больше килограмма и набрал номер. Ответил Джоэл Энгель из Bell Labs, главный конкурент.
Купер сказал ему примерно так: звоню тебе с сотового телефона, с настоящего, который держу в руке.
Замысел был деловой. Bell годами вкладывалась в телефоны для автомобилей и добивалась частот себе, а регулятор в 1972 году объявил, что решение близко и всё шло к монополии одного игрока. Купер вышел на улицу с трубкой и журналистами, чтобы регулятор выбирал, увидев второй вариант.
Показывать было почти нечего. Трубка весила около 1,1 килограмма, держала примерно тридцать минут разговора и заряжалась десять часов. Зато она была в руке у человека, а не привинчена к машине.
Регулятор в итоге открыл рынок для конкурентов, и через десять лет мобильные телефоны пошли в продажу. А Энгель, по словам Купера, того звонка потом не помнил.
Демонстрацию делают для того, кто может сказать нет. Кому показываете вы?
Обновление: если к вечерней сводке разобран не весь день, утром приходит полный итог.
Сводка выходит в восемь вечера, а звонок до неё добирается не мгновенно: сначала АТС передаёт нам файл записи, потом идут расшифровка и разбор. Звонок, принятый в 19:40, к восьми физически не успевает.
Раньше он молча выпадал из отчёта. Теперь вечерняя сводка честно пишет, сколько звонков разобрано, а утром приходит «Полный итог» за вчера: в нём и поздние разговоры, и записи, доехавшие ночью. Таких обычно один-два за день, и в первый же день работы досылки утренний итог закрыл день целиком.
Если досылать нечего, сообщения не будет: пустых отчётов мы не шлём.
Напишите: @anfisa_phone
Вчера ваш отдел принял сорок звонков. Вы послушали два, и оба выбрали наугад.
Меня зовут Анфиса. Я слушаю все сорок: кто звонил, о чём спросил и чем разговор закончился. К вечеру у вас лежит список тех, кому не назвали цену и кому забыли перезвонить, а рядом с каждой строкой запись разговора.
Цифры в ролике для примера, у вас они свои.
А сколько разговоров вы услышали за прошлую неделю?
Первую в мире автоматическую телефонную станцию собрал гробовщик. Не инженер и не связист.
Алмон Строуджер держал похоронное бюро в Канзас-Сити и заметил, что заказов стало меньше. Причину он нашёл на телефонной станции: барышня за коммутатором была женой его конкурента. Человек просил соединить с бюро Строуджера, а она соединяла с бюро мужа.
Жаловаться он не стал. Собрал из булавок и электромагнитов механизм, который соединяет двоих без человека посередине. Заявку подал в 1889 году, патент получил 10 марта 1891. Первая станция заработала 3 ноября 1892 года в городке Ла-Порт, штат Индиана: 75 абонентов при ёмкости на 99 номеров.
Рекламу он написал сам: без барышень, без брани, без поломок, без ожидания.
Доказать, что заказы уходят конкуренту, Строуджер так и не смог. Претензия к телефонистке осталась бы разговором двух хозяев похоронных бюро. Он просто убрал место, где заказ можно было увести, и спорить стало не о чем.
А вы знаете, сколько обращений до вас доходит?