Фото чека превращается в строку расходов
Сфотографировали чек, отправили боту: сумма, категория и место уже в таблице.
Как выглядит сценарий
Фото чека
Что на чеке▶
Модель▦
Строка расходов▶
Подтверждение▶
Ответ▶
- Исполнение + данные
- LLM
Учёт трат разваливается не на дисциплине, а на трении: чтобы записать покупку, нужно открыть приложение, выбрать категорию, ввести сумму. Сфотографировать чек занимает две секунды, и на этом участие человека заканчивается.
Что внутри
- Фото чека — вход, картинка приходит вложением к сообщению.
- Что на чеке — модель читает фотографию и заполняет поля: место, сумма, дата, категория. Отдельной ноды распознавания здесь нет вовсе.
- Строка расходов сохраняет разобранное. Поле «Документ» у неё пустое намеренно: значение, пришедшее на вход, выигрывает у поля, а разбор уже отдаёт готовый объект с нужными ключами. Так между моделью и таблицей нет места, где поля можно перепутать.
- Подтверждение отвечает человеку, что именно записано.
Отвечать подтверждением стоит всегда: без него не видно, что бот прочитал сумму неверно, а узнаётся это через месяц при разборе.
Что настроить под себя
- Категории написаны прямо в описании поля
category. Перечислите свои, и модель начнёт раскладывать по ним. Отдельного справочника заводить не нужно. - Коллекция. Замените
REPLACE_MEна идентификатор своей. - Модель должна уметь принимать картинки. Это не любая модель из списка, и если фото до неё не доедет, ответ будет уверенным и выдуманным.
Что подключить
Коллекция в разделе «Таблицы» и бот Telegram. Никаких внешних сервисов: чек нигде не хранится, в базу уезжают только четыре поля.
Вторая половина пары — «Сколько я потратил»: она читает ту же коллекцию и отвечает на вопросы о ней.