AI сметката што плаќаше за HTML

  • 94% помалку токени по барање
  • Сметка за AI: од 11.400 на 1.180 долари месечно
  • 122.000 долари заштеда годишно
  • 94% Помалку влезни токени по барање
  • од $11.4k на $1.2k Месечна сметка за AI, пред и потоа
  • $122k Заштеда годишно

Ситуацијата

Онлајн продавница користеше голем јазичен модел за описи на производи, означување на нови производи и нацрт-одговори на е-пошта од купувачите. Работеше, и токму тоа беше проблемот: работеше доволно добро за никој да не погледне внатре. За четири месеци месечната фактура за API порасна од 2.900 на 11.400 долари, а бројот на производи и пораки порасна за неколку проценти. Финансиите го забележаа, тимот претпостави дека цените пораснале или дека моделот станал попричлив, а првото решение на масата беше да се премине на поевтин модел и да се прифатат полоши описи. Пред некој да намали што било, не замолија да откриеме каде навистина одат парите.

Што всушност беше скршено

Скапиот дел не беше моделот. Беше влезот. Секое барање во AI процес се наплаќа и за токените што ги праќате и за токените што ги добивате назад, а во овој процес токените што се праќаа тивко експлодираа. Зедовме записи од барањата за еден ден и ја измеривме големината на секое барање. За опис на производ треба името, неговите својства и кратко упатство, неколку стотици токени. Просечното барање носеше повеќе од шеснаесет пати толку.

Причината беше чекор пред моделот, во подготовката на текстот. Процесот требаше да ја земе страницата на производот од добавувачот, да ја сведе на чист текст и да го прати понатаму. По една промена на алатката за преземање месеци порано, чистењето почнало тивко да паѓа на повеќето страници и да се враќа на суровата страница: менија, линкови од подножјето, вграден CSS, скрипти за следење и, на некои страници, слики вградени како base64 текст. Моделот сепак пишуваше пристојни описи, бидејќи вистинските податоци за производот беа некаде таму, закопани во кодот што плаќаше да го чита.

Втора грешка ја множеше првата. Кога одговорот на моделот за една ставка во серијата не можеше да се прочита, логиката за повторување ја праќаше целата серија одново, а не само таа ставка, и повторуваше до пет пати. Една лоша ставка можеше истата преголема серија да ја прати шест пати. Ништо во системот не ги броеше токените по задача, па немаше аларм, само сметка што стигнуваше на крајот на месецот.

Што се промени

Помалку влезни токени по барање
94%
Месечна сметка за AI, пред и потоа
од $11.4k на $1.2k
Заштеда годишно
$122k
Побрзи одговори
3×
Повторувања на цела серија
0
Аларм при влошување на токените
Истиот ден

Чекор по чекор

Прво мерење, па промени

Цел ден го запишувавме бројот на токени во секое барање и одговор и ги групиравме по вид на задача. За еден час сликата беше јасна: задачите за описи имаа далеку повеќе влезни токени отколку што оправдува нивната содржина, а мал дел од сериите носеше голем дел од трошокот, бидејќи биле повторувани по неколку пати. Планот за поевтин модел ќе го намалеше квалитетот без да допре ниту една од двете причини.

Поправка на подготовката од корен

Го изградивме одново чистењето за да ја извлекува само содржината на производот: наслов, својства, спецификации и описот на добавувачот, без повторувања и скратени. Кога извлекувањето ќе падне, сега ја запира таа ставка и ја пријавува, наместо да се врати на суровата страница. Една функција одлучува што значи „чист влез“, и ја користи секој вид задача.

Повторувај ја ставката, не серијата

Неуспешните ставки сега се повторуваат сами, со пауза меѓу обидите, најмногу двапати, а грешката при читање враќа јасна порака за таа една ставка. Истите барања се кешираат, па повторно пуштање задача врз непроменети производи не чини ништо.

Буџет за токени со аларм

Секоја задача сега ја запишува потрошувачката на токени, а секој вид задача има буџет по ставка. Барање што ќе го надмине се запишува и се означува истиот ден, па тивко влошување се појавува како предупредување, а не како фактура.

94% Помалку влезни токени по барање

Контактирајте нѐ

Кажете ни што сакате да изградиме. Ви кажуваме од каде да почнеме и што е потребно.

Што прво нѐ прашуваат

Зошто едноставно да не се премине на поевтин модел?

Затоа што проблемот не беше моделот. Поевтин модел ќе продолжеше да го чита истиот суров HTML и истите повторени серии, по пониска цена по токен, но со полоши описи. Поправката на влезот ја намали сметката повеќе отколку што можеше која било промена на моделот, а квалитетот остана ист.

Како да откриете каде одат парите за AI?

Запишувајте ги токените на секое барање и одговор, групирани по вид на задача, најмалку еден ден вистински сообраќај. Споредете ја големината на влезот со она што задачата навистина го бара. Преголемите влезови, повторените барања и недостасувачкиот кеш брзо се гледаат штом ќе можете да ги видите.

Може ли ова повторно да се случи по поправката?

Истата грешка сега би се фатила уште првиот ден: неуспешното извлекување ја запира ставката наместо да се врати на суровата страница, а секој вид задача има буџет за токени со аларм. Влошувањето се појавува како ознака, а не како изненадување на крајот на месецот.

АвторОсновач и имагинатор

Објавено