第4回

シェルを使ったデータ処理

前回、前々回に引き続き、シェルを使った操作を練習しましょう。今回はsed、awk、grep、lessなどを使い、データの確認を行います。

1. 以前の演習でhomeに作成したinfovisフォルダに移動してください。

2. dataという名前のフォルダを作成し、作成したフォルダに移動してください。

3. seq -f "Line %g" 10 > lines.txt を実行し、練習で使うダミーファイルを作成してください。

Hint

seqコマンドについても調べてみてください。

4. head、sed、またはawkを使ってlines.txtの先頭3行を出力してください。

Hint

cat lines.txt | head -n 3
# or
cat lines.txt | sed -n '1,3p'
# or
cat lines.txt | awk 'NR<=3'

それぞれのコマンドについて調べてみましょう。

5. lines.txtの最後の3行を出力してください。

Hint

tailを使ってみましょう。

6. lines.txtの奇数行を出力してください。

Hint

cat lines.txt | awk 'NR%2'

7. lines.txtの偶数行を出力してください。

Answer

cat lines.txt | awk '(NR+1)%2'

8. Project GutenbergからAlice’s Adventures in Wonderland (https://www.gutenberg.org/cache/epub/11/pg11.txt) をダウンロードして、alice.txtとして保存します。

Hint

curl https://www.gutenberg.org/cache/epub/11/pg11.txt > alice.txt

9. wcで行数、単語数、文字数を調べてみましょう。どの値がどれに対応するでしょうか？

Hint

wc alice.txt

10. lessを使ってalice.txtの中身を確認してみましょう。kとjで上下移動、qで退出することができます。

Hint

less alice.txt

11. grepを使い、alice.txtからすべての章見出しを抜き出してみましょう。

Hint

grep -i chapter alice.txt

12. 今度はgrepで正規表現を使い、先頭が「The」になっている章見出しだけを抜き出してください。

Hint

grep -E 'CHAPTER (.*)The' alice.txt

「正規表現」についても調べてみましょう。

13. grepを使い、alice.txtから2文字以上の単語をすべて抽出し、alice-words.txtとして保存しましょう。

Hint

grep -oE '\w{2,}' alice.txt

Answer

grep -oE '\w{2,}' alice.txt > alice-words.txt

14. 現在の作業ディレクトリをGitリポジトリにしてください（すでにGitリポジトリ内で作業している人は新しく作成しなくても問題ありません）。

Hint

git init

15. このウェブサイトを参照し、GitHubにリモートリポジトリを作成しましょう。「ローカルのリポジトリをGitHubに登録」まで行ってください。

    • 「SSH公開鍵の作成」で「id_rsa」ではなく「id_ed25519」が表示されても問題ありません。
    • 同じページのここに少し詳しく書かれています。
    • 『暗号解読』（サイモン・シン）も面白い。

16. ローカルリポジトリをGitHubリポジトリにプッシュし、先程作成したalice-words.txtがGitHubに表示されているスクリーンショットをコメントシートに提出してください。