Все ноды/Data/DataFrame Ops

DF: уникальные строки

SQL SELECT DISTINCT: удаляет дубликаты по набору колонок.

Как попробовать

Как применять

Оставляет по одной строке на каждый уникальный набор значений — SQL SELECT DISTINCT. Типичное место — после склейки нескольких выгрузок через df_concat или перед рассылкой, чтобы один адрес не получил два письма. Если кроме схлопывания нужны суммы или средние, берите df_groupby_agg: он делает то же разбиение на группы, но с подсчётом.

Как это работает

Пустой список «Столбцы» означает строгое сравнение: дубликатом считается строка, совпавшая с другой по всем колонкам. Перечислите колонки — и сравнение пойдёт только по ним, а остальные значения будут взяты у той строки, которая уцелела.

Кто уцелеет, решает «Какое вхождение оставить»: first — первая встреченная строка, last — последняя. Речь именно о порядке строк во входной таблице.

Строки после схлопывания нумеруются заново, с нуля.

Частые ошибки

• «Оставить самую свежую» без сортировки. first и last — это позиция в таблице, а не дата. Поставьте перед нодой df_sort по нужной колонке, и только тогда «последняя» станет «самой свежей».
• Ожидание, что уцелевшая строка соберёт значения из отброшенных. Лишние строки отбрасываются целиком; объединять значения умеет df_groupby_agg.
• Сравнение считают «умным». Оно точное: Иван, иван и Иван — три разных значения. Приведите колонку к единому виду заранее — например, через df_update.
• Указана колонка, которой нет в таблице, — нода падает. Сверяйте имена по предпросмотру предыдущего шага в журнале запуска.

Входы

Выходы

Настройки