Comrade Excel TV. Python: автоматизация браузера с Selenium, Получение данных ЕГРЮЛ, автоматическое скачивание выписок ЕГРЮЛ

Описание

В этом уроке мы разберем следующие темы:

• Как автоматизировать браузер
• Как автоматически получать информацию с сайтов с Python Selenium
• Как автоматически скачивать файлы с Python Selenium
• Как автоматически получать информацию из ЕГРЮЛ
• Как автоматически скачивать выписки из ЕГРЮЛ

Для решения этих задач мы будем использовать Selenium — модуль Python. Этот модуль позволяет автоматизировать работу браузера. В данном уроке мы разберем его работу на примере браузера Mozilla Firefox.

Задачи, которые чаще всего решают с помощью Python Selenium:

• Открытие веб-страниц
• Получение текстового содержимого из определенных блоков веб-страниц
• Заполнение форм на веб-страницах
• Скачивание файлов

Мы познакомимся с модулем Selenium на примере сайта egrul.nalog.ru. Имея большой список ИНН мы получим информацию по каждому ИНН и запишем эту информацию в CSV файл. Также мы научимся скачивать PDF выписки из ЕГРЮЛ.

Решение

Получить данные с сайта ЕГРЮЛ

С помощью модулей Python мы откроем браузер, введем поисковой запрос и получим текст определенного элемента. Нам сначала нужно скачать драйвер для Firefox и положить его в нужно место. После этого мы готовы вводить код.

Сначала импортируем модули.

import os
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys #чтобы нажимать клавиши
import time #чтобы делать задержку

Запустим браузер и откроем нужную веб-страницу.

browser = webdriver.Firefox()
browser.get('https://egrul.nalog.ru/index.html')

Найдем форму для ввода запроса и введем в нее запрос.

inn_form = browser.find_element_by_id('query')
inn_form.send_keys('7728240240')
inn_form.send_keys(Keys.ENTER)
time.sleep(3)

Найдем элемент с результатом запроса и выведем на экран текст.

content = browser.find_elements_by_class_name('res-text')
for item in content:
    print(item.text)

Скачать выписку ЕГРЮЛ

Сначала импортируем нужные модули.

import os
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
import re

Сделаем настройки, которые позволят нам скачивать файлы без диалоговых окон.

fp = webdriver.FirefoxProfile()
fp.set_preference("browser.download.folderList", 2);
fp.set_preference("browser.download.manager.showWhenStarting", False);
fp.set_preference("browser.download.dir", os.getcwd());
fp.set_preference("pdfjs.disabled", True);
fp.set_preference("plugin.scan.Acrobat", "99.0");
fp.set_preference("plugin.scan.plid.all", False);
fp.set_preference("browser.helperApps.alwaysAsk.force", False);
fp.set_preference("plugin.disable_full_page_plugin_for_types", "application/pdf")
fp.set_preference("pdfjs.disabled", True)
fp.set_preference("browser.helperApps.neverAsk.saveToDisk", "application/pdf")

Откроем веб-страницу, введем поисковой запрос и скачаем появившийся PDF файл.

browser = webdriver.Firefox(firefox_profile=fp)
browser.get('https://egrul.nalog.ru/index.html')
inn_form = browser.find_element_by_id('query')
inn_form.send_keys('7728240240')
inn_form.send_keys(Keys.ENTER)
time.sleep(3)
find = browser.find_elements_by_tag_name('button')
find[2].click()