競馬予想AI　netkeibaのスクレイピングでオッズ、人気も取得

library(rvest)
library(stringr)
library(RSelenium)
library(tidyverse)

# レースの条件等、各馬にとって共通のデータを読み込む

get_scheduled_race_cond <- function(html, race_id){

    #レース
    race_No <- html %>%
        html_element(".RaceNum") %>%
        html_text() %>%
        str_remove("R") %>%
        as.integer()

    #レース名
    race_name <- html %>%
        html_element(".RaceName") %>%
        html_text() %>%
        str_trim()

    race_data01 <- html %>%
        html_element(".RaceData01") %>%
        html_text() %>%
        str_remove_all("n")

    race_data02 <- html %>%
        html_element(".RaceData02") %>%
        html_text() %>%
        str_split("n") %>%
        unlist()

    # 開催
    kaisai <- paste0(race_data02[2:4], collapse = "")

    #競馬場
    place <- race_data02[3]

    #クラス
    class <- paste0(race_data02[5:6], collapse = "")

    #馬場
    turf <- race_data01 %>%
        str_split("/") %>%
        .[[1]] %>%
        .[2] %>%
        str_trim() %>%
        str_sub(1,1)

    # 距離
    distance <- race_data01 %>%
        str_split("/") %>%
        .[[1]] %>%
        .[2] %>%
        str_extract("\d+") %>%
        as.integer()

    #左右
    rotation <- race_data01 %>%
        str_split("/") %>%
        .[[1]] %>%
        .[2] %>%
        str_replace("^.*\((.)\)$", "\1")


    df.cond <- tibble("race_id" = race_id,
        "開催" = kaisai,
        "競馬場" = place,
        "レース" = race_No,
        "レース名" = race_name,
        "クラス" = class,
        "馬場" = turf,
        "距離" = distance,
        "左右" = rotation
        )

    df.cond

}

# 各馬のデータを読み込む

get_scheduled_race_horse <- function(html, race_id){

    # 出馬表の読み込み
    df <- html %>%
        html_elements("div.RaceTableArea") %>%
        html_table() %>%
        .[[1]]

    # 列名の修正
    names(df) <- names(df)　 %>%
        str_replace_all("n", "") %>%
        str_replace("(^.*オッズ.*$)|(^.*更新.*$)", "オッズ")

    # 1行目は不要なので削除
    df <- df[-1, ]

    # 必要な列のみ抽出
    df <- df %>%
        select(`枠`, `馬番`, `馬名`, `性齢`, `斤量`, `騎手`, `厩舎`, `オッズ`, `人気`)

    # 型変換
    # htmlの中身によって、
    データが入っている場合と入っていない場合があるので場合分け
    #
    # 枠、馬番　：　データの入手日時、時間によって、入っていたり入っていなかったりする
    # オッズ、人気　：　データの入手方法（seleniumを使うかどうか）で
    # 入っていたり入っていなかったりする

    if(str_detect(df$枠[1], "\d")){
        df[c("枠", "馬番")] <- lapply(df[c("枠", "馬番")], as.integer) %>%
            as.data.frame()
    }

    df["斤量"] <- lapply(df["斤量"], as.double) %>%
        as.data.frame()

    if(str_detect(df$オッズ[1], "\d")){
        df["オッズ"] <- lapply(df["オッズ"], as.double) %>%
            as.data.frame()
    }

    if(str_detect(df$人気[1], "\d")){
        df["人気"] <- lapply(df["人気"], as.integer) %>%
            as.data.frame()
    }

    # race_idをdata.frameに追加
    df <- df %>%
        mutate(race_id = race_id, .before = everything())

    df
}

# スクレイピング本体
get_scheduled_race_table <- function(race_ids, rsChr = NA){
    df.cond <- NULL
    df.horse <- NULL

    for(race_id in race_ids){
        # htmlデータの読み込み
        html <- get_scheduled_race_html(race_id, rsChr)

        # race条件の読み込み
        df.cond.tmp <- get_scheduled_race_cond(html, race_id)

        # 出馬表を取得する
        df.horse.tmp <- get_scheduled_race_horse(html, race_id)

        # 各data.frameの合体
        if(is.null(df.cond)){
            df.cond <- df.cond.tmp
            df.horse <- df.horse.tmp
        }else{
            df.cond <- rbind(df.cond, df.cond.tmp)
            df.horse <- rbind(df.horse, df.horse.tmp)
        }
    }

    # race条件と各馬データの合体
    df.race.table <- left_join(df.cond, df.horse)

    df.race.table
}

# RSelenium の起動

start_selenium <- function(){

    # seleniumの起動
    system("java -jar selenium-server-standalone-3.141.59.jar &")

    # Google Chrome 起動
    rsChr <- RSelenium::remoteDriver(port = 4444L, browserName = "chrome")

    # Webブラウザを開く
    rsChr$open()

    rsChr
}

# RSelenium 終了処理
stop_selenium <- function(rsChr){

    # ブラウザを閉じる
    rsChr$close()

    # 何かバグとかで終了して、Rのみ再起動してしまって、
    # selenium を複数立ち上げてしまうことがある
    # それを防止するため
    # selenium を全て終了する

    # まず、seleniumのpidを確認
    system("ps -A | grep 'java'")
    cat("n")

    pid <- system("ps -A | grep 'java'", intern = TRUE)

    # seleniumのpid
    pid_selenium <- pid %>%
        str_subset("selenium") %>%
        str_extract("^\d*")

    #
    # 6721 ?? 0:01.37 /usr/bin/java -jar selenium-server-standalone-3.141.59.jar
    # 6724 ?? 0:00.01 sh -c ps -A | grep 'java'
    # 6726 ?? 0:00.00 grep java
    #
    # pidをkillする（上の場合6721）
    # system("kill 6721") # seleniumをkillする

    # selenium を全て終了する
    for(p in pid_selenium){
        paste0("kill ", p)
        system(paste0("kill ", p))
    }

    #killできていることの確認
    cat("n")
    system("ps -A | grep 'java'")

}

#---------------------------------------
# race_dateで指定された開催日のrace_idの抽出
#---------------------------------------

# 開催日
race_date <- "20220327"

# race_idの読み込み
race_ids <- get_race_ids(race_date)

# race_idsに対応する出馬表（オッズなし）
df.race.table <- get_scheduled_race_table(race_ids, NA)

# お目当てのレースのrace_idを抽出
race_ids2 <- df.race.table %>%
    filter(レース %in% (10:12)) %>%
    select(race_id) %>%
    unique()　 %>%
    unlist()

#---------------------------------------
# オッズありの出馬表の抽出
#---------------------------------------

# seleniumの起動
rsChr <- start_selenium()

# オッズありの出馬表のスクレイピング
df.race.table <- get_scheduled_race_table(race_ids2, rsChr)

# seleniumの停止
stop_selenium(rsChr)

# seleniumの停止確認
system("ps -A | grep 'java'")