My Chat GPT – własny interfejs ChatGPT z kontrolą kosztów

Korzystając z gotowych narzędzi AI, użytkownik zazwyczaj widzi tylko efekt: zadaje pytanie i otrzymuje odpowiedź. W rozwiązaniach firmowych opartych na API równie ważne jest jednak to, ile kosztuje każde zapytanie, jak rośnie zużycie modelu i jak kontrolować wydatki przy większej skali.

W ramach projektu stworzyłem własny interfejs do pracy z modelami OpenAI, który umożliwia prowadzenie rozmów, a jednocześnie pokazuje wykorzystanie tokenów i szacowany koszt pracy modelu. Projekt pozwala spojrzeć na AI nie tylko od strony użytkownika, ale również od strony architektury i ekonomiki rozwiązania.

Problem

Przy pojedynczym zapytaniu koszt wykorzystania modelu może być niewielki. Sytuacja zmienia się jednak, gdy z rozwiązania korzysta wielu pracowników albo AI staje się elementem regularnie wykonywanego procesu. Bez monitorowania zużycia trudno ocenić, ile rozwiązanie będzie kosztowało po jego wdrożeniu na większą skalę.

Rozwiązanie

Aplikacja łączy prosty interfejs konwersacyjny z mechanizmem monitorowania wykorzystania modeli językowych.

• umożliwia prowadzenie rozmowy z modelami OpenAI przez API,
• monitoruje liczbę tokenów wejściowych i wyjściowych,
• przelicza wykorzystanie modelu na szacowany koszt zapytań,
• pokazuje koszt poszczególnych interakcji i całej sesji,
• pozwala obserwować, jak sposób korzystania z modelu wpływa na koszt rozwiązania.

Co pokazuje ten projekt?

Wdrożenie AI w firmie to nie tylko wybór modelu i przygotowanie interfejsu. Trzeba również myśleć o kosztach eksploatacji, sposobie wykorzystania API i skalowaniu rozwiązania.

• większa przejrzystość kosztów wykorzystania modeli AI,
• możliwość analizowania kosztu konkretnych zastosowań,
• lepsze planowanie rozwiązania przed jego skalowaniem,
• punkt wyjścia do budowy własnych interfejsów AI dla pracowników lub klientów,
• możliwość dalszej rozbudowy o limity, role użytkowników i monitoring wykorzystania.

Technologia

• Python — logika aplikacji i obsługa danych,
• Streamlit — interfejs użytkownika dostępny w przeglądarce,
• OpenAI API — komunikacja z modelami językowymi i obsługa zapytań.

To prototyp R&D pokazujący, że przy projektowaniu firmowych rozwiązań AI liczy się nie tylko to, co model potrafi zrobić, ale również ile kosztuje jego wykorzystanie i jak zachowa się rozwiązanie po zwiększeniu liczby użytkowników i zapytań.