elixir/iex/mixでコマンド補完
最近趣味でElixir/Phoenixを勉強してます。
Phoenixをいじってく過程で mix phoenix.server
やら mix ecto.migrate
やらを入力する機会が多々あるのですが、
デフォルトではこれらのコマンドはタブ補完ができなくて地味にしんどいです。
タブ補完してくれる何かがないかと思ってぐぐったら案の定見つかりました。
GitHub - bjhaid/elixir_auto_complete: Bash Autocompletion for elixir, iex and mix
DLしてsourceするだけで使えます。 快適なElixir/Phoenixライフに一歩近づきました。
めでたしめでたし。
Leaf Classification
勉強の為久々にKaggleをやってます。
参加してるのはこちら。
https://www.kaggle.com/c/leaf-classification
試行錯誤の記録をこちらに書いていきます。
実際にはもう幾つかサブミットしてますが、主要なアップデートについてのみ書いていきます。
1回目
とりあえずRandomForestにぶっこんで学習させてみる。スコア0.9くらい。
2回目
RandomForestでパラメータをグリッドサーチさせてやってみる。スコアはむしろ下がった。
3回目
xgboostにぶっこんで見る。スコア0.7くらい。
4回目
xgboostを軽くパラメータチューニング。スコア0.54くらい。
5回目
caribrationしてみる。元々の予測値と、caribrate後の予測値の比率を幾つかのパターンで試してみた。結果、caribrate後の値をそのままsubmitするのが最もスコアが良かった。スコア0.48くらい。
特徴量の作り方
先日書いた↓の記事のちょっとした続編。
【Kaggle】Bike Sharing Demandを予測してみた - naohachi89’s diary
上記のコンペティションについて、参考になる記事があったのでゆるふわな感じで日本語でまとめてみる。記事はこちら。
A simple model for Kaggle Bike Sharing. – brandonharris.io
元データからシンプルな特徴量を作ってconditional inference treesで予測したら結構良い精度が出たよというお話。使う言語はR。以下、記事の大まかな流れ。
始めに、元データから天気や季節等の、自転車の貸し出しに大きく影響を与えそうな要素をそのまま特徴量とする。windspeedとかは自転車の貸し出し台数にそんな影響ないだろうということで無視する感じ。
次に、日付と時刻に関する情報を特徴量とすることを考える。日付と時刻は元データだと"2011-01-01 00:00:00"という形式なので、そのままだと使えない。そこで日付と時刻を分離させて、その上でそれぞれに関する特徴量を作っていく。
日付については、始めに各日付に対して関数を使ってその日付の曜日を割り出し、曜日ごとの貸し出し台数の平均を算出する。すると、どうやら日曜日の貸し出し台数が他の曜日と比べて少ないので、「日曜日か否か」を0/1で示す特徴量を追加する。
時刻については、元データで時刻が1時間刻みで記録されているので、これを0時~23時までの24種類の値を持つカテゴリカルな特徴量とする。次に、貸し出し台数は1日における時間帯(朝、昼、夜等)によって変わってくると考えられるので、1日を6時間ごとに4つのパートに区切って、これもカテゴリカルな特徴量とする。特徴量を作る話はこれでおしまい。
特徴量が出来たら、後はconditional inference treesを使って予測する。予測してみると、0.49523という結構良さげな結果が得られましたとさ。めでたしめでたし
feature engineeringはこれまできちんと勉強したことがなかったので、為になる記事だった。ちなみに、貸し出し台数に一番寄与する特徴量は時刻らしい。深夜3時に自転車を借りる人とかほとんどいないだろうし、そりゃそうだ。
【Kaggle】Bike Sharing Demandを予測してみた
修論が終わったので、今まで余り手が出せていなかった分野にぼちぼちチャレンジしようと思う。
ということで、とりあえずKaggleに投稿してみた。投稿したコンペティションはこちら。
Description - Bike Sharing Demand | Kaggle
自転車のシェアリングシステムで、一時間に何台の自転車が貸し出されるかを予測する問題。
与えられるデータには日時、季節、天候等が記載されていて、これらの特徴量から自転車の貸し出し台数を予測する。予測結果と真の値の誤差はRMSLEで算出され、評価される。
一先ず、処理がめんどくさい日時以外の特徴量とscikit-learnのSVRを使って予測してみる。結果は、スコアが1.45くらいで順位が大体1900位/2000人。道のりは険しい。ちなみに、予測台数を全て0にしたサンプルのサブミッションファイルだとスコアが4.5くらいだった。
次に、時間帯を特徴量として扱うように変更を加えた。時間帯を1時間ごとに区切ってカテゴリカルな特徴量として扱うようにした。この特徴量を加えて、同様にSVRで予測するとスコアが1.2くらいに改善された。これでもまだ1800位くらい。
SVRだと性能が余り良くなさそうだったので、scikit-learnに入っている他の手法を試してみた。すると、RandomForestRegressorでスコアが0.55程度まで改善された。大分良くなったのだけど、何でRandomForestだとここまで精度が改善されるのかは理解していないので勉強しないと...。
ちょっとした追記
Mac Book Pro Retinaの開発環境構築
現在、先日買ったMac Bookの開発環境を構築しているのですが、備忘録として環境構築の参考にした記事をまとめておく。
・エディタ
Sublime Text2を使っているので以下の記事を参考にして設定した。
【追記】【寄せあつめ】今さらだけどSublime Text 2の基本とカスタマイズ【&Vim化】【4日目】 | Developers.IO
・ パッケージ管理
パッケージ管理ソフトとしてhomebrewを使っているので以下の記事を参考にしてGit、Python、PHP、Rubyを入れた。
MacOSX - Mac OSX で開発環境を構築するための環境構築 (Homebrew, Git, SVN, Ruby, Perl, Python) - Qiita
以下の記事を参考にして、所謂LAMP環境を構築した。
Homebrew で Apache, PHP, MySQL, Composer をインストールして Yii Framework を動かすところまで - Qiita
機械学習関連のライブラリを入れるために以下の記事を参考にしてanacondaを入れた。
pyenvは前のマシンでは全く使っていなかったのだけど、pythonの2系と3系を簡単に切り替えられて非常に便利。
MacでPython3系ベースの機械学習環境設定(Python2系との共存) - Qiita
形態素解析ライブラリであるMecabを入れるために以下の記事を参考にした。
mecab-pythonをMacにインストールする - Qiita
途中でエラーが出てちょっと詰まってしまったのだけど、どうやらsetup.pyの中にpython3系だと動かないコードが含まれていないことが原因だったらしい。以下の記事を参考にsetup.pyを修正したら正常にインストールすることができた。やっぱりMeCabのインストールはめんどい。
現状はこんな感じ。また新たに環境を構築したら追記するかも。
修論審査終了
修士論文の発表をしてきた。
終わってみれば以外とあっけなかったように思う。
修士での研究生活は卒論の頃と比べるとしんどかったけれど、修論そのもののしんどさは卒論と比べるとそれほどでもなかった気がする。学部の頃は提出直前に6日間ほど研究室に連泊したのだけど、修論で大学に泊まることはなかった。
これは学会経験の有無に依るもので、学部時代の研究はろくな成果が出なかったため、卒論発表までに結局学会を経験することはなかった。対して、修士では曲がりなりにも学会発表を何度か経験していて、修論に書く内容や発表スライド等の資産があったので卒論の頃と比べるとかなりスムーズに論文を書くことができた。結局修士の間に国際会議に投稿することはなかったし、人に自慢できるような大した成果は出なかったけれど、それでも学会を経験しておくことでだいぶ楽にはなったと思う。
もしこの文章を読んでいる卒論生や修論生がいたら、例え研究に対するモチベーションが低い学生であっても、学会に論文を投稿することをおすすめする。学会論文を書くのは、(僕のような)意識の低い学生にとっては中々しんどい作業ではあるのだけど、書いておくと修論の執筆が楽になるのはもちろん、修論執筆時に既に一定の成果が出ているので精神的にもだいぶ楽になると思う。書いててよかった、学会論文。