PR

netkeibaのスクレイピングができない?Rseleniumで解決する方法

men riding stallion horses R
Photo by Tom Fisk on Pexels.com

競馬データを使って分析や予想モデルを作るために、netkeibaからレース情報や血統データを取得したいと思ったことはありませんか? RでWebスクレイピングをするなら、便利なのがrvestパッケージです。しかし、netkeibaのページによっては、ブラウザでは情報が表示されているのに、rvestではうまく取得できないことがあります。その原因の一つが、JavaScriptによって動的に生成されるWebページです。このようなページでは、rvestだけでは必要なデータを取得できない場合があります。そこで今回は、Rからブラウザを自動操作できるRSeleniumを使ったスクレイピング方法を紹介します。 実際にnetkeibaの競走馬の血統表を例に、rvestでは取得できないデータをRSeleniumと組み合わせて取得する方法を、コードとともに解説します。rvestを使ったスクレイピングで行き詰まっている方は、ぜひ参考にしてみてください。

1 netkeibaのスクレイピングができない

競馬データを使って分析したり、競馬予想モデルを作ったりするために、netkeibaからレース情報を取得したいと思ったことはありませんか?Rを使ってスクレイピングする場合、まず候補になるのがrvestというパッケージです。rvestを使えば、WebページのHTMLを取得し、CSSセレクタなどを使って必要な情報を抽出できます。ですが、必ずしも毎回、必要なデータをうまく取得できない場合があります。

netkeibaからスクレイピングする場合、ページによってスクレイピングができる場合とできない場合があります。

1.1 rvestでスクレイピングできるケース

例えば、次のコードは、2026年11月1日に開催された天皇賞(秋)(https://race.netkeiba.com/race/result.html?race_id=202605041111&rf=race_list)の各馬のレース結果一覧を取得するコードです。

library(tidyverse)
library(rvest)

url <- "https://race.netkeiba.com/race/result.html?race_id=202605041111&rf=race_list"

html <- read_html(url)

html |> 
  html_element("#All_Result_Table") |> 
  html_table() |> 
  View()

レース結果一覧の表の部分は、id属性に”All_Result_Table”が設定された要素になっています。そのため、html_element()関数の引数に#All_Result_Tableを指定するだけで、レース結果の一覧表を簡単に取得できます。さらに、html_table()関数を使えば、data.frame形式に変換できます。

1.2 rvestでスクレイピングできないケース

しかし、netkeibaのページをスクレイピングしていると、rvestだけではうまく取得できないケースに遭遇することがあります。

  • ブラウザでは表示されているのに、rvestで取得したhtmlにはデータが含まれていない
  • ボタンをクリックしないと目的の情報が表示されない

といった感じです。例えば、次のコードは前者のケースです。

天皇賞のレース結果一覧データ取得と同様の方法で、ダノンデサイル号の血統データ(2代前まで)を取得しようとして書いたコードです。

血統表の部分は、class属性に”blood_table”が設定されたtable要素になっています。レース結果の一覧表を取得したときと同様に、html_element()関数の引数にこのCSSセレクタ(table.blood_table)を指定しているのですが、read_htmlで取得したhtmlからは見つけられずエラーになってしまいます。

library(tidyverse)
library(rvest)

url <- "https://db.netkeiba.com/horse/2021105143"
html <- read_html(url)
html |> 
  html_element("table.blood_table") |> 
  html_table() |> 
  View()             # エラーになる

1.3 なぜ、rvestではスクレイピングできないのか?

血統表の部分がJavaScriptによって動的に生成されているためです。

「Webページが動的に生成される」とは、Webページの表示内容が最初から完成しているのではなく、ページを開いたときにプログラムが実行され、その場で組み立てられることです。以下のようなことが起こっています。

  1. ブラウザが最初のhtmlをサーバーから取得する
  2. ブラウザがhtmlを解析し、JavaScriptを実行する
  3. JavaScriptが必要に応じてサーバーにデータを要求する
  4. 取得したデータを使って、JavaScriptがhtmlを書き換える
  5. ブラウザに更新された情報が表示される

このようなページについて、rvestのread_html()で取得したhtmlには、JavaScriptによって動的に生成されるデータが含まれてません。このため、rvestを使用するだけでは必要なデータを取得できないということが起こります。

こうした場合に選択肢となるのが、Seleniumです。

今回は、RからSeleniumを利用するためのパッケージであるRSeleniumを紹介します。

2 Seleniumとは何か

Seleniumは、Webブラウザをプログラムから自動操作するためのツールです。RやPythonなど、さまざまなプログラミング言語から利用できます。Rから利用する場合には、RSeleniumというパッケージを使います。Seleniumを使うと、例えば次のような操作ができます。

  • Chromeなどのブラウザを起動する
  • 指定したURLを開く
  • JavaScriptの実行後に表示された情報を取得する
  • ボタンをクリックする
  • フォームに文字を入力する
  • ページをスクロールする
  • 別のページに移動する

2.1 rvestとSeleniumの違い

それぞれの役割を整理すると、次のようになります。

ツール主な役割
rvest– Webページのhtmlデータを取得する。<br>- htmlデータから必要な情報を抽出する
RSeleniumRからSeleniumを介してWebブラウザを操作する。<br>- ブラウザを起動する<br>- Webページを開く<br>- ボタンをクリックする<br>- テキストボックスに文字を入力する<br>- 動的に生成されるコンテンツを取得する

rvestはHTMLの解析、Seleniumはブラウザの操作が得意です。

Seleniumを使えば、実際にブラウザでページを開いて操作できるため、JavaScriptによって生成されるデータも取得できるようになります。

3 RからRSeleniumを使ってみる

ここからは、実際にRからRSeleniumを使ってみましょう。WebブラウザにChromeを使用する前提で解説します。

3.1 RSeleniumのインストール

まずはRSeleniumをインストールします。

install.packages("RSelenium")

RSeleniumを利用するには、Rのパッケージだけでなく、Selenium Server、Webブラウザ、およびブラウザを操作するためのWebDriverが必要です。今回の例では、Chromeを操作するためにChromeDriverを使用します。RからRSeleniumを使ってSelenium Serverに接続し、Selenium ServerがChromeを操作します。

こちらの記事も参考にしてください。

RSeleniumを使うために必要なファイルとインストール方法
RSeleniumを使うためには、Chrome、java、selenium、Chrome用のWebDriverが必要です。この記事は、これらのアプリ、ファイルのインストール方法、ダウンロード方法をまとめたものです。

3.2 Seleniumを起動する

RSeleniumを使うためには、Selenium Serverは別途起動しておく必要があります。

# selenium起動
system("java -Dwebdriver.chrome.driver=/path/to/driver/chromedriver -jar selenium-server-standalone-3.141.59.jar &")

/path/to/driver/の部分はご自身のPCのchromedriverのフォルダを指定してください。

3.3 Selenium Serverに接続するには?

Selenium Serverが起動している状態で、次のコードを実行します。

library(RSelenium)

# Selenium Serverに接続
remDr <- remoteDriver(
  remoteServerAddr = "localhost",
  port = 4444L,
  browserName = "chrome"
)

remoteDriver()でSelenium Serverへの接続先情報を指定します。

3.4 Chromeを起動するには?

remoteDriver()が返したremoteDriverオブジェクトに対して、open()を実行するとChromeが起動します。

# Chromeを起動
remDr$open()

3.5 Webページを開くには?

次に、目的のWebページを開いてみます。

# Webページを開く
remDr$navigate(
  "https://db.netkeiba.com/horse/2021105143"
)

navigate()を使うことで、指定したURLに移動できます。

3.6 HTMLを取得するには?

次に、ブラウザに表示されているHTMLを取得してみます。

# HTMLを取得
html <- remDr$getPageSource()[[1]]

getPageSource()を使うと、ブラウザ上に読み込まれている現在のページのHTMLを取得できます。ここで取得できるHTMLは、rvestのread_html()で直接取得したHTMLとは異なり、ブラウザでJavaScriptが実行された後のDOMの状態を反映したものです。ブラウザで表示されているものと同じhtmlを取得できれば、後はrvestによる操作で必要な情報を取得することができます。

3.7 ブラウザを終了するには?

最後に、ブラウザを終了します。

# Chromeを閉じる
remDr$close()

3.8 Seleniumを停止する

selenium-server-standalone-3.141.59.jarのpidを取得して、killして停止します。

# まず、selenium.jarのpidを確認
system("ps -A | grep 'java'")
pid <- system("ps -A | grep 'java'", intern = TRUE)

# selenium.jarのpid
pid_selenium <- pid %>% 
  str_subset("selenium") %>% 
  str_trim() %>% 
  str_extract("^\\d+")

system(paste0("kill ", pid_selenium))

system("ps -A | grep 'java'")

これで、RからChromeを起動し、Webページを開いて情報を取得する基本的な流れを確認できました。

3.9 Rseleniumを使って血統データを取得してみる

手順は以下の通りです。

  1. Seleniumを起動する
  2. Selenium Serverに接続して、remoteDriverオブジェクトを取得する
  3. remoteDriverオブジェクトを使用して、Chromeを起動する
  4. remoteDriverオブジェクトを使用して、所定のurlのページを開く
  5. remoteDriverオブジェクトを使用して、htmlデータを取得する
  6. remoteDriverオブジェクトを使用して、Chromeを終了する
  7. 取得したhtmlデータを用いて、rvestを使用して必要なデータを取得する
  8. Seleniumを停止する
library(tidyverse)
library(rvest)
library(RSelenium)

# selenium起動
system("java -Dwebdriver.chrome.driver=/path/to/driver/chromedriver -jar selenium-server-standalone-3.141.59.jar &")

# Selenium Serverに接続
remDr <- remoteDriver(
  remoteServerAddr = "localhost",
  port = 4444L,
  browserName = "chrome"
)

# Chromeを起動
remDr$open()

# Webページを開く
url <- "https://db.netkeiba.com/horse/2021105143"
remDr$navigate(url)

# HTMLデータを取得
html_source <- remDr$getPageSource()[[1]]

# Chromeを閉じる
remDr$close()

# 必要なデータを取得する
#   seleniumで取得したhtmlソース(html_source)をread_htmlでパース
#   血統表データの取得
html <- read_html(html_source)
html |> 
  html_element("table.blood_table") |> 
  html_table() |> 
  View()

上記のコードを実行すると以下のように血統表部分のデータを取得することができます。

Pasted image 20261122231447.png

4 まとめ

今回は、netkeibaのスクレイピングでrvestだけでは対応できないケースと、その解決策の一つとしてRSeleniumを紹介しました。

特に、次のようなケースではRSeleniumが役立ちます。

  • JavaScriptによって動的に生成されるデータを取得したい
  • ボタンのクリックやスクロールなど、ブラウザ上の操作が必要
  • ページ遷移を伴う操作を自動化したい

rvestはHTMLを解析するための便利なパッケージですが、欲しいデータがJavaScriptにより動的に生成される場合、rvestだけでは欲しいデータを入手できない場合があります。この場合、RSeleniumを使うことで、動的に生成されるデータを入手することができるようになります。RSeleniumを使用してhtmlを入手できれば、rvestを組み合わせることで、必要なデータを抽出することができるようになります。netkeibaのデータを使って競馬分析や競馬予想モデルに挑戦したい方は、RSeleniumも選択肢の一つとして試してみてはいかがでしょうか。