Python Импорт данных №3. Импорт с веб-сайта (HTML)

Файлы к уроку:

• Для спонсоров Boosty
• Для спонсоров VK

• YouTube
• VK

Ссылки:

• Страница курса
• Плейлист YouTube
• Плейлист ВК

Описание

В этом уроке мы импортируем одну определенную таблицу с веб-страницы.

Решение

Сначала импортируем модули pandas, requests, bs4:

import pandas as pd
import requests
import bs4

Сохраним строку с адресом веб-страницы в переменную url:

url = 'https://www.macrotrends.net/stocks/charts/MCD/mcdonalds/net-income'

Скачаем весь код веб-страницы:

source = requests.get(url).text

Передадим полученный код функции BeautifulSoup:

soup = bs4.BeautifulSoup(source, 'lxml')

Выберем одну таблицу с классом historical_data_table:

table = soup.select_one('.historical_data_table')

Прочитаем эту таблицу с помощью pd.read_html:

pandas_table = pd.read_html(str(table))
pandas_table = pandas_table[0]

Запишем датафрейм в CSV файл:

historical_data.to_csv('mcd_income.csv',
                       index=False)

Примененные функции

• pandas.read_html
• requests.get
• bs4.BeautifulSoup
• bs4.BeautifulSoup.select_one
• pandas.DataFrame.to_csv

Курс Импорт данных в Python

Номер урока	Урок	Описание
1	Python Импорт данных №1. Импорт Excel	Научимся импортировать данные из книг MS Excel в формате xlsx.
2	Python Импорт данных №2. Импорт CSV	Научимся импортировать данные из текстовых файлов CSV.
3	Python Импорт данных №3. Импорт с веб-сайта (HTML)	Импортируем таблицу с веб-страницы и запишем результат в CSV файл.
4	Python Импорт данных №4. Импорт таблиц XML	Научимся импортировать таблицы XML на примере данных с сайта Банка России.
5	Python Импорт данных №5. Импорт таблиц из PDF	Научимся импортировать нужные таблицы из PDF файлов, объединять их по вертикали в одну большую таблицу и записывать результат в CSV файл.
6	Python Импорт данных №6. Импорт таблиц из Word	Научимся импортировать таблицы из документов MS Word в формате docx.
7	Python Импорт данных №7. Импорт таблиц из Word	В этом уроке мы извлечем таблицу из документа Word и запишем ее в файл CSV. Для этого нам понадобится модули python-docx и pandas.