誰？

宣伝（6/3発売（電子版は5/31））

改訂2版 R ユーザのための RStudio[実践]入門
− tidyverse によるモダンな分析フローの世界−

この資料の目的

• R 初心者（触ったことはあるけど、なんかよくわからない）が、データ操作の雰囲気を掴む

前提知識

• Rはパッケージを使って様々な機能拡張ができる

Contents

• tidyverse について
• データの読み込み
• データハンドリング

注意

• 扱う範囲が広く資料の分量が多いので、特に重要なところをピックアップしながら進めます。
• 参考リンクも多いので資料は後でじっくり御覧ください。
• パッケージ名だけでも覚えていただけると嬉しいです。

データ分析の(おおまかな)流れ

tidyverse について

tidyverse(概念)

ざっくり:

• R でやるいろんな操作(データハンドリング、可視化、スクレイピング、分析、etc)を直感的で統一的なインターフェースでできるようになったら嬉しくない?

tidyverse パッケージ

• 上記の概念を実現するためのコアパッケージ群
• install.packages("tidyverse")でインストール

tidyverse を読み込み

library(tidyverse)

── Attaching packages ─────────────────────────────────────── tidyverse 1.3.0 ──

✓ ggplot2 3.3.3     ✓ purrr   0.3.4
✓ tibble  3.1.0     ✓ dplyr   1.0.3
✓ tidyr   1.1.2     ✓ stringr 1.4.0
✓ readr   1.4.0     ✓ forcats 0.5.0

── Conflicts ────────────────────────────────────────── tidyverse_conflicts() ──
x dplyr::filter() masks stats::filter()
x dplyr::lag()    masks stats::lag()

R でのデータ読み込みのベストプラクティス

0. RStudio でプロジェクトを作成
   • ファイルの位置が分かりやすくなります
1. 様々な読み込み関数を使って読み込み
   • ローカルにあるファイル
   • データベース
   • Web スクレイピング(またの機会に…)

Project → New Project

New Directory → New Project

ディレクトリ名を入力

Done!

• 読み込みの関数は、プロジェクトの中のファイルを探しにいきます。
• 書籍によっては setwd() を書いているものもありますが、RStudioプロジェクトでは必要ありません。
  • むしろ、RStudio プロジェクトでは非推奨

データハンドリングでやること、例えば

• 縦横変換
• 絞り込み(列・行)
• 新しい変数の作成
• 集計
• テーブルのマージ
• etc… →分析できる形に整形

データハンドリング編のコンテンツ

1. tidy data
2. dplyr
3. FAQ

本日の主役は

データハンドリング編のゴール

• tidy data についてざっくり理解する
• R の dplyr パッケージで簡単な集計ができるようになること
• dplyr やtidyrで何ができるのかをなんとなく把握して、「ググり力」を身につける

データの形式

２つのデータ形式(例: カテゴリごとの購買金額(千円))

tidy data

• 2016 年に Hadley Wickham 氏が提唱
• 定義
  • 1つの列が1つの変数を表す
  • 1つの行が1つの観測を表す
  • 1つのテーブルが1つのデータセットを含む
• Rでのtidy data は、Long 型。

tidyr

tidyrでの縦横変換の例

• 以下のデータを例に説明
• これは、いわゆる「横持ちのデータ」

df <- tibble::tibble("country" = c("a", "b", "c"),
                     "1999" = c(0.7, 0.3, 1.0),
                     "2000" = c(1.0, 2.0, 4.8),
                     "2001" = c(2.0, 5.0, 7.0))
df

# A tibble: 3 x 4
  country `1999` `2000` `2001`
  <chr>    <dbl>  <dbl>  <dbl>
1 a          0.7    1        2
2 b          0.3    2        5
3 c          1      4.8      7

pivot_longer

• 横→縦（tidyな形）の変換

df_long <- df %>%
  pivot_longer(col = -country, names_to = "year", values_to = "amount")
df_long

# A tibble: 9 x 3
  country year  amount
  <chr>   <chr>  <dbl>
1 a       1999     0.7
2 a       2000     1  
3 a       2001     2  
4 b       1999     0.3
5 b       2000     2  
6 b       2001     5  
7 c       1999     1  
8 c       2000     4.8
9 c       2001     7  

pivot_longer

• 縦（tidyな形）→横の変換
  • 統計解析のパッケージによっては、この形でないとうまく行かないものもある

df_wide <- df_long %>%
  pivot_wider(names_from = "year", values_from = "amount")
df_wide

# A tibble: 3 x 4
  country `1999` `2000` `2001`
  <chr>    <dbl>  <dbl>  <dbl>
1 a          0.7    1        2
2 b          0.3    2        5
3 c          1      4.8      7

詳しくは

• Tokyo.R #79 の応用セッション を参照。
• または、『ユーザのための RStudio[実践]入門』

参考: tidyr (〜2019/09/11)

パイプ演算子

• “これまでの処理を次の関数の第 1 引数として渡す」という働き”

1:3 %>%
  sum()

[1] 6

# これと全く同じ
sum(1:3)

例えば、以下の動作を考えてみる

どう書くのか問題

思考の流れと書く流れ

パイプ演算子を使うときのポイント

• 結果 <- スタート地点 を書いて、やりたい処理をパイプでつないでいく
• RStudioでのキーボードショートカット
  • Windows: Ctrl + Shift + M
  • Mac: Cmd + Shift + M

EC サイトのログデータ

• を意識して作ったダミーデータ
• https://github.com/ymattu/sampledata_small

データの読み込み方

1. RStudio のプロジェクトを作成
2. Terminal ペインで以下を実行

git clone https://github.com/ymattu/sampledata_small

3. readr パッケージの関数で読み込み

sales <- read_csv("sampledata_small/csv/Sales.csv")
product <- read_csv("sampledata_small/csv/Products.csv")
user_master <- read_csv("sampledata_small/csv/UserMaster.csv")

列選択

sales %>%
  select(UserID) %>%
  head()

列選択のやりかたいろいろ 2

例

select(product, 1:3) # 列番号が連続している場合
select(product, ProductID:Price) # 列名でも連続していれば同様
select(product, -CreatedDate) # 特定の列を除く
select(product, -4) # 特定の列番号を除く
select(product, starts_with("p")) # "p"で始まる列のみを選択
select(product, starts_with("p"), ignore.case = TRUE) # 大文字小文字を無視
select(product, matches("^(Product|Price)")) # "Product"または"Price"で始まる列を選択

列追加

• 税込み価格を計算

product %>%
  mutate(zeikomi = Price * 1.1) %>%
  head(4)

行の絞り込み

user_master %>%
  filter(Age >= 20, Sex == "F") # 年齢 20 歳以上の女性

集計

• グルーピング + 集計

sales %>%
  group_by(UserID) %>%
  summarise(buy_count = n())

パッケージを使わないでできないの？

• できるものもあります。
• select, filter あたりはできます。
• でもめんどくさい
• しかもデータが大きいと遅い
• このあたり、私の過去資料もみてね
• でも$はお手軽だしよく使います。

$で 1 列だけ取り出す

product$Category %>%
  unique()

[1] "雑貨・日用品"           "花・グリーン"           "食品"                  
[4] "衣料品"                 "ヘルス＆ビューティー"   "家具・インテリア・家電"

lubridate パッケージ

library(lubridate)
ymd("20110604")

[1] "2011-06-04"

ymd(20120101) + years(1)

[1] "2013-01-01"

データハンドリングでの使い所

たくさんあるけど例えば

sales %>%
  mutate(buy_year = year(Timestamp)) %>%
  head()

ここから集計につなげる

ユーザー、年ごとに集計

sales %>%
  mutate(buy_year = year(Timestamp)) %>%
  group_by(UserID, buy_year) %>%
  summarise(buy_count = n()) %>%
  arrange(UserID) %>% 
  head()

文字列型

• stringr パッケージ
• https://kazutan.github.io/kazutanR/stringr-intro.html

因子型(factor 型)

• forcats パッケージ
• https://kazutan.github.io/kazutanR/forcats_test.html

複数のテーブルを考える

• 基本は SQL と同じ

inner_join()

inner_join(a, b, by = "x1")

left_join()

left_join(a, b, by = "x1")

full_join()

full_join(a, b, by = "x1")

anti_join()

anti_join(a, b, by = "x1")

dplyr とかだと何で
R の標準関数より速いの？

Answer : C++を使っているから

• dplyrや readrでは、メインの処理を C++でやり、結果を R で受け取る、という構造になっています。
• Rcpp パッケージが活躍!

たくさんのテーブルを join したい!

  x1 x2
1  A  1
2  B  2
3  C  3

  x1    x3
1  A  TRUE
2  B FALSE
3  D  TRUE

  x1 x4
1  B 10
2  C 11
3  D 12

a %>%
  full_join(b, by = "x1") %>%
  full_join(c, by = "x1")

たくさんのテーブルを join したい!

Answer : 少し応用的ですが、purrrパッケージを使うと簡単です。

datlist <- list(a, b, c)
datlist %>%
  purrr::reduce(~full_join(.x, .y, by = "x1"))

purrr パッケージの参考資料→そろそろ手を出す purrr

Contents

• R と RStudio について
• データハンドリング編
  • tidyverse について
  • dplyr, tidyrパッケージを用いたデータハンドリング

ありがとうございました