Power Query. Веб-запросы. Многостраничное извлечение

Описание

На разных страницах сайта находятся котировки золота на каждый год. Нужно соединить все данные в одну таблицу.

При помощи Power Query мы получим табличные данные с каждой веб-страницы, а потом объединим их по вертикали в одну большую таблицу.

Решение

Для решения мы воспользуемся следующим:

• Web.Page
• Web.Contents
• Список из чисел
• Table.FromList
• Ссылки

Формула для получения данных для одного года будет следующей:

= Web.Page(Web.Contents("http://www.calc.ru/kotirovka-dollar-ssha.html?date=2000")){[ClassName="result_table"]}[Data]

Нам нужно эту формулу применить к каждому году с 2000 по 2018. Для этого вместо вместо подстроки «2000» мы будем передавать параметр из отдельного столбца. К каждой строке этого столбца мы применить эту формулу.

Примененные функции

• Table.FromList
• Splitter.SplitByNothing
• Table.AddColumn
• Web.Page
• Web.Contents
• Text.From
• Table.ExpandTableColumn
• Table.TransformColumnTypes
• Table.UnpivotOtherColumns
• Table.CombineColumns
• Combiner.CombineTextByDelimiter
• QuoteStyle.None
• Table.SelectRows
• Table.NestedJoin
• JoinKind.LeftOuter
• Table.RemoveColumns
• Table.Sort
• Table.ReplaceValue
• Replacer.ReplaceValue

Код

let
   list_years = Table.FromList(
      {2000 .. 2018}, 
      Splitter.SplitByNothing(), 
      {"Год"}
   ), 
   tab_add_col = Table.AddColumn(
      list_years, 
      "Пользовательская", 
      each Web.Page(
         Web.Contents(
            "http://www.calc.ru/kotirovka-dollar-ssha.html?date="
               & Text.From([Год])
               & ""
         )
      ){[ClassName = "result_table"]}[Data]
   ), 
   col_expand = Table.ExpandTableColumn(
      tab_add_col, 
      "Пользовательская", 
      {"Дата", "Курс"}, 
      {"Дата", "Курс"}
   ), 
   col_type = Table.TransformColumnTypes(col_expand, {{"Дата", type date}})
in
   col_type