Comrade Excel TV. Объединить много XLSX файлов в один CSV при помощи Python

Описание

В этом уроке мы дополним урок по объединению XLSX файлов с помощью Python.

Что мы добавим:

1. Воспользуемся модулем os, чтобы сменить рабочую директорию и не указывать директорию каждый раз заново
2. Воспользуемся модулем tqdm для создания Progress Bar
3. При помощи команды print мы вначале каждого витка цикла выведем на экран время старта обработки каждого файла

Решение

В первой ячейке импортируем модули:

import glob
import pandas as pd
import os
from tqdm import tqdm_notebook as tqdm
from datetime import datetime
os.chdir(r'c:\Users\Timur\Downloads\PQ\Comrade Excel TV 2.1. Отобразить время запуска\0002. Объединить много XLSX файлов в один CSV')
os.getcwd()

По сравнению с прошлым вариантом здесь добавился импорт модуля os для смены директории, модуль tqdm для Progress Bar и модуль datetime для вывода даты и времени.

Команда os.getcwd() выводит на экран текущую рабочую директорию. Мы вводим эту команду просто, чтобы убедиться, что директория сменилась.

Во второй ячейке получим список всех XLSX файлов в папке:

files = [item for item in glob.glob('*{}'.format('.xlsx'))]
files

В третьей ячейке создаем цикл, который обработает и объединит все файлы XLSX в один датайрейм:

combined = pd.DataFrame()
for filename in tqdm(files):
    print(filename, "Начало: ", datetime.time(datetime.now()))
    file = pd.read_excel(filename,
                         skiprows=8,
                         header=1,
                         usecols=['Дата\nконтракта','Код точки\nпродаж','Пользователь','MSISDN','ICC'])
    file = file[['Дата\nконтракта','Код точки\nпродаж','Пользователь','MSISDN','ICC']]
    file.columns=['date','posid','user','msisdn','icc']
    combined = pd.concat([combined, file])
print("Готово: ", datetime.time(datetime.now()))

Здесь мы применили функцию tqdm для вывода Progress Bar, а также перед обработкой файла выводим время начала его обработки.

В четвертой ячейке запишем получившийся датафрейм в файл CSV:

combined.to_csv(os.getcwd()+'\combined.csv')