|
|
Регистрация Восстановить пароль |
Повторная активизация e-mail |
Регистрация | Задать вопрос |
Заплачу за решение |
Новые сообщения |
Сообщения за день |
Расширенный поиск |
Правила |
Всё прочитано |
|
Опции темы | Поиск в этой теме |
10.09.2020, 13:55 | #1 |
Новичок
Джуниор
Регистрация: 10.09.2020
Сообщений: 2
|
Найти дубликаты в двух фреймах данных
Доброго времени суток, собственно сабж: есть два pandas.dataframe нужно найти записи в первом фрейме, которые есть во втором и их как-нибудь пометить сделал через перебор фреймов - очень долго, есть ли стандартные способы pandas?
Код:
Последний раз редактировалось maksdev1981; 10.09.2020 в 14:13. |
10.09.2020, 21:21 | #2 |
Старожил
Регистрация: 23.10.2010
Сообщений: 2,306
|
Возможно и есть, я не дока.
Но можно отметить, что в вашем варианте для каждой строки из df1 вы просматриваете весь df2. Думаю, что если предварительно выполнить сортировку df1 и df2, например, по фамилии, то отбор можно ускорить.
Как-то так, ...
|
11.09.2020, 08:40 | #3 |
Новичок
Джуниор
Регистрация: 10.09.2020
Сообщений: 2
|
ViktorR, Я не весь код показал делал и сортировку естественно, прибавка в скорости была, но незначительная. Остановился на классике пока - загрузил оба фрейма в базу данных и sql обработал, но все таки уверен, что есть способ сделать это и не выгружая данные никуда Кто бы направил
|
13.09.2020, 18:46 | #4 |
Старожил
Регистрация: 23.10.2010
Сообщений: 2,306
|
Натолкнулся на книгу:
Плас Дж. Вандер, Python для сложных задач: наука о данных и машинное обучение, 2018. Глава 3. Манипуляции над данными с помощью пакета Pandas Может это поможет?
Как-то так, ...
|
Похожие темы | ||||
Тема | Автор | Раздел | Ответов | Последнее сообщение |
Есть два екселевского файла, нужно в них как-то строки проверить на дубликаты, по возможности эти дубликаты строк найти и как ни будь пометить, например заливтой ячейки. | L6go1as | Общие вопросы C/C++ | 1 | 23.06.2013 22:51 |
ссылки во фреймах | Света12 | Помощь студентам | 0 | 02.11.2012 18:39 |
Найти матрицу, представляющую собой сумму двух данных матриц | lokomotiv | C# (си шарп) | 0 | 17.12.2011 14:34 |
найти пересечение двух прямоугольников заданных координатами двух углов | Этотак | Помощь студентам | 0 | 11.05.2011 23:55 |
Помогите найти дубликаты в столбце | komar73 | Microsoft Office Excel | 8 | 30.06.2009 20:21 |