読者です 読者をやめる 読者になる 読者になる

GW3日目 コードコンプリートを読んだ(途中)

CODE COMPLETE 第2版 上 完全なプログラミングを目指して

CODE COMPLETE 第2版 上 完全なプログラミングを目指して

3日目はコードコンプリートを読みつつ、A tour of Goを進めた。

コードコンプリートは6章まで読み終わった。 ソフトウェア開発におけるコンストラクション(コーディングを中心とした、詳細設計〜テストまでのプロセスのこと)に関するプラクティスが解説されている本で、現時点(6章)だと設計に関するプラクティスまでが言及されている。

今のところで印象に残っているトピックは下記

修正が遅くなるほど修正コストが増加する

要件定義の段階でミスを発見するよりもコーディングの段階でミスを見つける方が修正コストが高くなる的な話。 これは実際にやっている中でもめちゃくちゃ実感していて、既にリリースされているシステムのバグフィックスなんかだと開発段階とくらべて考慮事項が多くなるため同じ修正量であってもかかる修正コストが圧倒的に膨らむ。 だからこそ、要求段階等の早い段階でミスを見つけるのが大事。

読み進めたらまた書きます。

GW2日目 [改定第3版]Apache Solr入門を一部読んだ

[改訂第3版]Apache Solr入門――オープンソース全文検索エンジン (Software Design plus)

[改訂第3版]Apache Solr入門――オープンソース全文検索エンジン (Software Design plus)

オープンソース検索エンジン、Solrを勉強する為に読みました。 当面はSolrを運用する予定は特にないので1~4章、6章の一部、あと9章を読みました。

良かった点

  • Solrの導入方法や挙動がわかりやすく解説されている
  • githubサンプルソースが容易されていて、スムーズに読み進められる。特に躓く点がなかった。
  • 割と高度な検索エンジンの改善手法(LTRとか)をSolrに導入する方法についても言及されている。

もう少しな点

後は、検索エンジンの改善に言及するのであればモニタリングについてももう少し言及してくれるとより親切になると感じました。この点はビッグデータ分析・活用のためのSQLレシピが素晴らしかったので、検索業務に携わる人は併せて読むと良いかと。

ビッグデータ分析・活用のためのSQLレシピ

ビッグデータ分析・活用のためのSQLレシピ

GW1日目 ウェブデータの機械学習を読んだ

以下感想

  • ウェブデータと言いつつ、内容のほとんどは言語処理。タイトルと内容が若干アンマッチ。
  • 言語処理をこれから勉強したい人におすすめ。個人的には言語処理を勉強したいと思っていたのでちょうどよかった。
  • 扱っているトピックは、異常検知・評判分析・単語の意味表現・グラフマイニング・情報検索
  • 各トピック、この本の知識だけだと物足りないのでこの本を起点に興味のある/活用するトピックの専門書や論文を読むのが良い。
  • 全トピックの中でも評判分析・単語の意味表現辺りは気合が入っていて、特に単語の意味表現についてはCBOWとSkip-Gramが詳細に解説されていてかなりわかりやすかった。

GWの予定

が特にないので、ひたすら本を読もうと思っています。 読もうと思っているのは下記。

  • ウェブデータの機械学習
  • Apache Solr入門第3版
  • コードコンプリート
  • パタヘネ
  • 情報検索の基礎
  • 世界で戦うプログラミング力を鍛える本

どこまで読めるかわからないけど、力尽きるまで頑張ります。

elixir/iex/mixでコマンド補完

最近趣味でElixir/Phoenixを勉強してます。

Phoenixをいじってく過程で mix phoenix.server やら mix ecto.migrate やらを入力する機会が多々あるのですが、 デフォルトではこれらのコマンドはタブ補完ができなくて地味にしんどいです。 タブ補完してくれる何かがないかと思ってぐぐったら案の定見つかりました。

GitHub - bjhaid/elixir_auto_complete: Bash Autocompletion for elixir, iex and mix

DLしてsourceするだけで使えます。 快適なElixir/Phoenixライフに一歩近づきました。

めでたしめでたし。

Leaf Classification

勉強の為久々にKaggleをやってます。

参加してるのはこちら。

https://www.kaggle.com/c/leaf-classification

 

試行錯誤の記録をこちらに書いていきます。

実際にはもう幾つかサブミットしてますが、主要なアップデートについてのみ書いていきます。

 

1回目

とりあえずRandomForestにぶっこんで学習させてみる。スコア0.9くらい。

 

2回目

RandomForestでパラメータをグリッドサーチさせてやってみる。スコアはむしろ下がった。

 

3回目

xgboostにぶっこんで見る。スコア0.7くらい。

 

4回目

xgboostを軽くパラメータチューニング。スコア0.54くらい。

 

5回目

caribrationしてみる。元々の予測値と、caribrate後の予測値の比率を幾つかのパターンで試してみた。結果、caribrate後の値をそのままsubmitするのが最もスコアが良かった。スコア0.48くらい。

特徴量の作り方

先日書いた↓の記事のちょっとした続編。

【Kaggle】Bike Sharing Demandを予測してみた - naohachi89’s diary

 

上記のコンペティションについて、参考になる記事があったのでゆるふわな感じで日本語でまとめてみる。全訳はたいへんなので、飽く迄ゆるふわな感じで。記事はこちら。


A simple model for Kaggle Bike Sharing. – brandonharris.io

 

元データからシンプルな特徴量を作ってconditional inference treesで予測したら結構良い精度が出たよというお話。使う言語はR。以下、記事の大まかな流れ。

 

始めに、元データから天気や季節等の、自転車の貸し出しに大きく影響を与えそうな要素をそのまま特徴量とする。windspeedとかは自転車の貸し出し台数にそんな影響ないだろうということで無視する感じ。

次に、日付と時刻に関する情報を特徴量とすることを考える。日付と時刻は元データだと"2011-01-01 00:00:00"という形式なので、そのままだと使えない。そこで日付と時刻を分離させて、その上でそれぞれに関する特徴量を作っていく。

 

日付については、始めに各日付に対して関数を使ってその日付の曜日を割り出し、曜日ごとの貸し出し台数の平均を算出する。すると、どうやら日曜日の貸し出し台数が他の曜日と比べて少ないので、「日曜日か否か」を0/1で示す特徴量を追加する。

時刻については、元データで時刻が1時間刻みで記録されているので、これを0時~23時までの24種類の値を持つカテゴリカルな特徴量とする。次に、貸し出し台数は1日における時間帯(朝、昼、夜等)によって変わってくると考えられるので、1日を6時間ごとに4つのパートに区切って、これもカテゴリカルな特徴量とする。特徴量を作る話はこれでおしまい。

特徴量が出来たら、後はconditional inference treesを使って予測する。予測してみると、0.49523という結構良さげな結果が得られましたとさ。めでたしめでたし

 

feature engineeringはこれまできちんと勉強したことがなかったので、為になる記事だった。ちなみに、貸し出し台数に一番寄与する特徴量は時刻らしい。深夜3時に自転車を借りる人とかほとんどいないだろうし、そりゃそうだ。