Power Query Веб-запросы №1. Котировки Yahoo Finance

Файлы к уроку:

• Для спонсоров Boosty
• Для спонсоров VK

• YouTube
• VK

Ссылки:

• Страница курса
• Плейлист YouTube
• Плейлист ВК

Описание

Вы хотите получить историю котировок акций MCD с 2000 года по текущий день с сайта Yahoo Finance. Вы копируете ссылку на раздел с историческими данными, вставляете ссылку в Power Query и получаете только 100 строк.

Решение

Для решения мы воспользуемся следующим функционалом:

• DateTimeZone.LocalNow
• Number.From
• Date.From
• Table.FromList
• List.Numbers
• Text.From

Сначала мы создадим последовательность интервалов дат. После этого для каждого интервала обратимся к url и получим нужную таблицу.

Примененные функции

• Table.FromList
• List.Numbers
• Number.From
• Date.From
• DateTimeZone.LocalNow
• Splitter.SplitByNothing
• Table.AddColumn
• Web.Page
• Web.Contents
• Text.From
• Table.RemoveRowsWithErrors
• Table.SelectColumns
• Table.ExpandTableColumn
• Text.Contains
• Table.SelectRows
• Table.RenameColumns
• Table.TransformColumns
• Text.BeforeDelimiter
• Table.Sort
• Order.Ascending

Код

let
   list_utcdates = Table.FromList(
      List.Numbers(
         (
            Number.From(Date.From(DateTimeZone.LocalNow()))
               - Number.From(Date.From("01/01/1970"))
         )
            * 86400, 
         48, 
         - 86400 * 120
      ), 
      Splitter.SplitByNothing(), 
      {"Дата начала"}
   ), 
   tab_add_col_1 = Table.Buffer(
      Table.AddColumn(
         list_utcdates, 
         "Дата конца", 
         each [Дата начала] + 86400 * 119
      )
   ), 
   tab_add_col_2 = Table.AddColumn(
      tab_add_col_1, 
      "Пользовательская", 
      each Web.Page(
         Web.Contents(
            "http://finance.yahoo.com/quote/MCD/history?period1="
               & Text.From([Дата начала])
               & "&period2="
               & Text.From([Дата конца])
               & "&interval=1d&filter=history&frequency=1d"
         )
      ){[ClassName = "W(100%) M(0)"]}[Data]
   ), 
   tab_remove_errs = Table.RemoveRowsWithErrors(
      tab_add_col_2, 
      {"Пользовательская"}
   ), 
   col_select = Table.SelectColumns(tab_remove_errs, {"Пользовательская"}), 
   col_expand = Table.ExpandTableColumn(
      col_select, 
      "Пользовательская", 
      {"Date", "Open", "High", "Low", "Close*", "Adj Close**", "Volume"}, 
      {"Date", "Open", "High", "Low", "Close*", "Adj Close**", "Volume"}
   )
in
   col_expand

Этот урок входит в курс Веб-запросы в Power Query

Номер урока	Урок	Описание
1	Котировки Yahoo Finance	Вы хотите получить историю котировок акций MCD с 2000 года по текущий день с сайта Yahoo Finance. Вы копируете ссылку на раздел с историческими данными, вставляете ссылку в Power Query и получаете только 100 строк.
2	HTML, получение данных по облигациям	Мы хотим получить данные по всем облигациям со страницы bonds.finam.ru
3	Многостраничное извлечение	На разных страницах находятся сайта находятся котировки золота на каждый год. Нужно соединить все данные в одну таблицу.
4	JSON, Котировки Yahoo Finance 2	В этом уроке мы разберем еще один способ скачивания котировок с Yahoo Finance. Этот способ намного удобнее и быстрее. Здесь мы научимся обрабатывать формат JSON.
5	Котировки Московской биржи	В этом уроке мы научимся получать прямо в Excel котировки разных ценных бумаг с сайта Московской биржи. Московская биржа предоставляет возможность скачивать котировки и другую информацию по ценным бумагам при помощи специальных ссылок. Если мы введем такую ссылку в Power Query, создав запрос из интернета, то получим интересующие нас котировки прямо в Excel.
6	Неразмеченный текст	Вы делаете запрос к Web-странице и сталкиваетесь с неразмеченным текстом. Вы хотите при помощи Power Query этот неразмеченный текст преобразовать в нормальную красивую таблицу.
7	Текстовый документ, веб-страница, List.Zip	В этом запросе мы научимся получать нужную информацию из текста веб-страницы.
8	Youtube Data API	В этом уроке мы научимся получать данные из Youtube Data API. Узнаем как получить данные о Youtube канале: список видео и плейлистов, названия, описания, длительность, тэги, количество лайков, дизлайков, просмотров и комментариев.
9	Личный OneDrive — подключаемся напрямую к файлам и папкам	В этом уроке мы разберем как напрямую подключиться к файлам и папкам на личном OneDrive.
10	Подключение Google Spreadsheets, Google Drive (Excel.Workbook, Web.Contents)	В этом уроке мы научимся подключаться к xlsx файлам, которые находятся в вашем Google Drive.
11	Получить все станции метро	Получим таблицу с перечнем станций метрополитена даже с координатами широты и долготы.
12	Получить ссылки с веб-страницы (Html.Table)	Получить URL с веб-страницы. Сделать запрос к каждому URL, получить таблицы и объединить их всех по вертикали.
13	Получить все URL с веб-страницы	Получим нужные URL с веб-страницы в Excel. Сделать запрос к каждому URL, получить таблицы и объединить их по вертикали.
14	Ищем работу через API Head Hunter (hh.ru)	Получим таблицу с перечнем вакансий с сайте HH. Получим вакансии, в названии или описании которых встречаются слова SQL, Pandas, Power Query, Power Pivot, Power BI.
15	Запрос к XML Sitemap	Сделаем запрос к sitemap.xml, чтобы извлечь список всех веб-страниц сайта.