誰？

著書(共著)

R ユーザのための RStudio[実践]入門
− tidyverse によるモダンな分析フローの世界−

この資料の目的

• R 初心者（触ったことはあるけど、なんかよくわからない）が、雰囲気を掴む

Contents

• R と RStudio について
• tidyverse について
• テーブルデータの読み込み
• データハンドリング
• 統計学・モデリング・可視化については触れません。

注意

• わりと駆け抜けます
• 参考リンクも多いので資料は後でじっくり御覧ください。
• パッケージ名だけでも覚えてかえっていただけると嬉しいです。

Rとは

• 統計解析およびその周辺環境に強いプログラミング言語
  • データの読み込み（ローカル, Webページ, DB）
  • データハンドリング
  • モデリング
  • 可視化
• 最近はWebアプリを作れたり、いろいろできるようになってきた
• プログラミング未経験でも始めやすい(個人的の感想)

R の環境構築

• R のインストールは、CRANから、自分のOSに合ったものを。
• 2020/8/1時点の最新版は、4.0.2
• 3.X.X→4.X.Xの変更点
  • R 4.0.0 リリース - Qiita
  • R 4.0.0 の破壊的変更まとめ - Qiita

• おすすめのIDE（統合開発環境）は、RStudio

R のパッケージ

• R のパッケージを使うことで、世界中で開発されている便利な手法を使える
• パッケージに含まれている関数を呼び出すことで、様々な拡張機能を使う
• パッケージは、関数の集まり
• CRANに登録されているものは、install.packages("パッケージ名") でインストール
  • 例: install.packages("ggplot2")

パッケージ内の関数の表記

• readr パッケージの read_csv 関数を使いたいとき

# 方法 1
library(readr)
dat <- read_csv("hoge.csv")
# 方法 2
dat <- readr::read_csv("hoge.csv")

tidyverse について

tidyverse(概念)

ざっくり:

• R でやるいろんな操作(データハンドリング、可視化、スクレイピング、分析、etc)を直感的で統一的なインターフェースでできるようになったら嬉しくない?

tidyverse パッケージ

• 上記の概念を実現するためのコアパッケージ群
• install.packages("tidyverse")でインストール

tidyverse を読み込み

library(tidyverse)

── Attaching packages ───────────────────────────────────────────────────────────────────────── tidyverse 1.2.1 ──

✓ ggplot2 3.3.0     ✓ purrr   0.3.4
✓ tibble  3.0.1     ✓ dplyr   0.8.5
✓ tidyr   1.1.0     ✓ stringr 1.4.0
✓ readr   1.3.1     ✓ forcats 0.4.0

── Conflicts ──────────────────────────────────────────────────────────────────────────── tidyverse_conflicts() ──
x dplyr::filter() masks stats::filter()
x dplyr::lag()    masks stats::lag()

R でのデータ読み込みのベストプラクティス

0. RStudio でプロジェクトを作成
   • ファイルの位置が分かりやすくなります
1. 様々な読み込み関数を使って読み込み
   • ローカルにあるファイル(今日の中心)
   • データベース(パッケージの紹介のみ)
   • Web スクレイピング(またの機会に…)

Project → New Project

New Directory → New Project

ディレクトリ名を入力

Done!

• 読み込みの関数は、プロジェクトの中のファイルを探しにいきます。
• 書籍によっては setwd() を書いているものもありますが、RStudioプロジェクトでは必要ありません。

read.csv()

• パッケージを使わない方法

dat <- read.csv("sample.csv")

• R < 4.0.0 では stringsAsFactors = TRUE がデフォルトになっているので、stringsAsFactors = FALSE をつけることを推奨します。

dat <- read.csv("sample.csv", stringsAsFactors = FALSE)

readr::read_csv()

• 高速で、列の型をいい感じにやってくれる(オススメ)

dat <- readr::read_csv("sample.csv")

data.table::fread()

• readr::read_csv() よりも高速
• デフォルトでは、data.table というデータフレームとは別の形で読み込まれるのでデータフレームがいいときは data.table = FALSE

library(data.table)
dat <- fread("sample.csv", data.table = FALSE)

速度検証

時間を計測

system.time(dat <- read.csv("data/Sales.csv"))

   user  system elapsed 
  3.916   0.162   4.294 

system.time(dat2 <- readr::read_csv("data/Sales.csv"))

   user  system elapsed 
  0.925   0.051   1.097 

system.time(dat3 <- data.table::fread("data/Sales.csv"))

   user  system elapsed 
  1.349   0.039   0.820 

もっとちゃんと時間を知りたい

• microbench パッケージ
• 比較したい関数を1000回ずつとか実行して見やすく表示してくれる

library(microbenchmark)
file <- "data/Sales.csv"
compare <- microbenchmark("read.csv()" = read.csv(file),
                          "readr::read_csv()" = readr::read_csv(file),
                          "data.table::fread()" = data.table::fread(file),
                          times = 1000)

結果1

compare

結果2

read.delim()

• read.delim()は区切り値のファイルを読む標準関数
• read.csv()は sep = ","をつけたもの

# R < 4.0.0ではstringsAsFactors = FALSEを忘れずに
dat <- read.delim("sample.tsv", stringsAsFactors = FALSE)

readr::read_tsv()

library(readr)
dat <- read_tsv("sample.tsv")

data.table::fread()

• 区切り値は勝手に判断

library(data.table)
dat <- fread("sample.tsv", data.table = FALSE)

read.delim()

# R < 4.0.0ではstringsAsFactors = FALSEを忘れずに
dat <- read.delim("sample.tsv", stringsAsFactors = FALSE, sep = "|")

readr::read_delim()

dat <- readr::read_delim("sample.tsv", "|")

data.table::fread()

dat <- data.table::fread("sample.tsv", data.table = FALSE)

どれがいいのか

• readrパッケージの read_***()関数が一番オススメ
• 速い、エンコーディングの調整が難しくない(後述)

エクセルファイル

エクセルファイルを読み込めるパッケージ

• xlsx
• gdata
• XLConnect
• openxlsx
• readxl → オススメ(速い、列の型をいい感じに読める)

読み込み方

dat <- readxl::read_excel("sample.xlsx", sheet = "シート名")
# シート名はシート番号でも OK

SAS(.sas7bdat), STATA(.dta), SPSS(.sav)形式

haven パッケージで読み込み

SAS

dat <- haven::read_sas("sample.sas7bdat")

STATA

dat <- haven::read_dta("sample.dta")

SPSS

dat <- haven::read_sav("sample.sav")

エンコーディング問題

• Windows の文字コードは Shift-JIS（CP932）
• Mac の文字コードは UTF8
• Windows で作られた（日本語を含む）ファイルを Mac で読むときは Encoding=cp932
• Mac で作られた（日本語を含む）ファイルを Windows で読むときは Encoding=UTF8

csv を CP932 で読む

R の標準関数

dat <- read.csv("sample.csv", stringAsFactors = FALSE, fileEncoding = "cp932")

readr

dat <- readr::read_csv("sample.csv", locale = locale(encoding = "cp932"))

data.table

dat <- data.table::fread("sample.csv", data.table = FALSE) %>%
  dplyr::mutate(VAR1 = iconv(VAR1, from = "UTF8", to = "CP932"))

RStudio の GUI 読み込み

RStudio の GUI 読み込み

データベースやクラウド上のデータ

• 企業にデータは膨大なのでクラウドにデータを置くことがとても多い
• こういうデータを R から直接触れたら嬉しいですよね！

便利パッケージたち

• DBI(データベースへの接続)
• dplyr(dbplyr)(データベースのテーブル操作)
• sparklyr(Spark, AWS S3)
• bigrquery(Big Query)
• RStudio の Connection タブ

データベース関連の参考資料たち

• dplyr でデータベース操作
• PostgreSQL からスキーマを指定してデータを参照する
• これからはコネの時代

時間がないので省略

R は他にもいろいろなデータを読み込めます

• 地理情報データ
• 画像
• 音声
• etc…

ググると、意外といろいろ出てきます

データハンドリングでやること、例えば

• 縦横変換
• 絞り込み(列・行)
• 新しい変数の作成
• 集計
• テーブルのマージ
• etc… →分析できる形に整形

データハンドリング編のコンテンツ

1. tidy data
2. dplyr
3. FAQ

本日の主役は

データハンドリング編のゴール

• tidy data についてざっくり理解する
• R の dplyr パッケージで簡単な集計ができるようになること
• dplyr や他のパッケージで何ができるのかをなんとなく把握して、「ググり力」を身につける

データの形式

２つのデータ形式(例: カテゴリごとの購買金額(千円))

tidy data

• 2016 年に Hadley Wickham 氏が提唱
• 定義
  • 1つの列が1つの変数を表す
  • 1つの行が1つの観測を表す
  • 1つのテーブルが1つのデータセットを含む
• Rでのtidy data は、Long 型。

tidyr 1.0.0 (2019/09/11〜)

詳しくは

Tokyo.R #79 の応用セッション を参照。

参考: tidyr (〜2019/09/11)

EC サイトのログデータ

• を意識して作ったダミーデータ
• https://github.com/ymattu/sampledata_small

データの読み込み方

1. RStudio のプロジェクトを作成
2. Terminal ペインで以下を実行
   git clone https://github.com/ymattu/sampledata_small
3. readr パッケージの関数で読み込み

sales <- read_csv("sampledata_small/csv/Sales.csv")
product <- read_csv("sampledata_small/csv/Products.csv")
user_master <- read_csv("sampledata_small/csv/UserMaster.csv")

列選択

sales %>%
  select(UserID) %>%
  head()

%>%

パイプ演算子

• “これまでの処理を次の関数の第 1 引数として渡す」という働き”

1:3 %>%
  sum()

[1] 6

# これと全く同じ
sum(1:3)

どう書くのか問題

思考の流れと書く流れ

パイプ演算子を使うときのポイント

結果 <- スタート地点 を書いて、やりたい処理をパイプでつないでいく

列選択のやりかたいろいろ 2

例

select(product, 1:3) # 列番号が連続している場合
select(product, ProductID:Price) # 列名でも連続していれば同様
select(product, -CreatedDate) # 特定の列を除く
select(product, -4) # 特定の列番号を除く
select(product, starts_with("p"), ignore.case = TRUE) # 大文字小文字を無視
select(product, matches("^(Product|Price)")) # "Product"または"Price"で始まる列を選択

列追加

• 税込み価格を計算

product %>%
  mutate(zeikomi = Price * 1.1) %>%
  head(4)

行の絞り込み

user_master %>%
  filter(Age >= 20, Sex == "F") # 年齢 20 歳以上の女性

集計

• グルーピング + 集計

sales %>%
  group_by(UserID) %>%
  summarise(buy_count = n())

パッケージを使わないでできないの？

• できるものもあります。
• select, filter あたりはできます。
• でもめんどくさい
• しかもデータが大きいと遅い
• このあたり、私の過去資料もみてね
• でも$はお手軽だしよく使います。

$で 1 列だけ取り出す

product$Category %>%
  unique()

[1] "雑貨・日用品"           "花・グリーン"          
[3] "食品"                   "衣料品"                
[5] "ヘルス＆ビューティー"   "家具・インテリア・家電"

lubridate パッケージ

library(lubridate)
ymd("20110604")

[1] "2011-06-04"

ymd(20120101) + years(1)

[1] "2013-01-01"

データハンドリングでの使い所

たくさんあるけど例えば

sales %>%
  mutate(buy_year = year(Timestamp)) %>%
  head()

ここから集計につなげる

ユーザー、年ごとに集計

sales %>%
  mutate(buy_year = year(Timestamp)) %>%
  group_by(UserID, buy_year) %>%
  summarise(buy_count = n()) %>%
  arrange(UserID) %>% 
  head()

文字列型

• stringr パッケージ
• https://kazutan.github.io/kazutanR/stringr-intro.html

因子型(factor 型)

• forcats パッケージ
• https://kazutan.github.io/kazutanR/forcats_test.html

複数のテーブルを考える

• 基本は SQL と同じ

inner_join()

inner_join(a, b, by = "x1")

left_join()

left_join(a, b, by = "x1")

full_join()

full_join(a, b, by = "x1")

anti_join()

anti_join(a, b, by = "x1")

dplyr とかだと何で
R の標準関数より速いの？

Answer : C++を使っているから

• dplyrや readrでは、メインの処理を C++でやり、結果を R で受け取る、という構造になっています。
• Rcpp パッケージが活躍!

たくさんのテーブルを join したい!

  x1 x2
1  A  1
2  B  2
3  C  3

  x1    x3
1  A  TRUE
2  B FALSE
3  D  TRUE

  x1 x4
1  B 10
2  C 11
3  D 12

a %>%
  full_join(b, by = "x1") %>%
  full_join(c, by = "x1")

たくさんのテーブルを join したい!

Answer : 初心者セッションの範囲をこえますが、
purrrパッケージを使うと簡単です。

datlist <- list(a, b, c)
datlist %>%
  purrr::reduce(~full_join(.x, .y, by = "x1"))

purrr パッケージの参考資料→そろそろ手を出す purrr

言いたいこと

• （イマドキな）R でのデータ操作では tidyverse は必須
• 基礎的なことは Tokyo.R 初心者セッションや、宇宙本で!
• 応用は、まずパッケージ名を知ることから(purrr, broom, etc…)
• ぜひ使いこなせるようになりましょう。

本資料について

• revealjs パッケージで作りました。
• 以下の URL で公開しています。
  https://ymattu.github.io/TokyoR87/slide.html#/

Enjoy!