Cpaw AI Competitionを連覇しました

第3回 Cpaw AI Competitionで優勝してきました。


cpaw.connpass.com


前回も優勝したので連覇になります。嬉しいです。

Cpaw AI Competitionがどのようなものかは以下の記事に詳しく記載されています。

knowledge.sakura.ad.jp

 

ざっくり概要を説明すると「短時間で複数のデータセットに対してソリューションを作成するKaggle」です。

データセットの数は毎回異なっているようで、前回は4つでしたが今回は3つでした。

それぞれのタスクは以下のとおりです。

  • 自然言語 + テーブルデータのマルチクラス分類
  • 画像のマルチクラス分類
  • ハイパースペクトル画像のマルチクラス分類

この記事では、今回行った事前準備と私のソリューションの概要について説明します。

 

自然言語 + テーブルデータのマルチクラス分類

観光地に関するデータセットで、観光地の説明文や都道府県・観光地が開かれている曜日・時間帯などの情報を使って観光地のクラス(Temple, Spa, Park, Shopなど8クラス)に分類する問題です。

私のソリューションはMulti Layer PerceptronとLightGBMのスタッキングで、各レイヤーのモデル・特徴量は以下の通りです。

  • 1段目のMLPの特徴量として、word tfidf(形態素解析MeCab + neologd)とcharacter ngram tfidfをconcatして利用
  • 2段目のLightGBMの特徴量として、上記のconcatした特徴量 + MLPの予測値 + 元データの中で型がint, floatのものを利用

データセットの中にはカテゴリカルなカラムもあったので本当はそちらも使いたかったのですが、時間がなくて断念しました。

最終的な精度は84.3%程度でした。

 

画像のマルチクラス分類

手の画像があり、指が何本(1本 or 2本 or 3本)立っているかを予測するマルチクラス分類の問題でした。

モデルは以下のCNNで、kerasのImageDataGeneratorでData Augmentationをし、50エポックほど学習させて精度は97%程度でした。

model = Sequential()
model.add(Conv2D(32, (3, 3), input_shape=input_shape))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(32, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Conv2D(64, (3, 3)))
model.add(Activation('relu'))
model.add(MaxPooling2D(pool_size=(2, 2)))

model.add(Flatten())
model.add(Dense(64))
model.add(Activation('relu'))
model.add(Dropout(0.5))
model.add(Dense(class_num))
model.add(Activation('softmax'))

model.compile(loss='binary_crossentropy',
              optimizer='rmsprop',
              metrics=['accuracy'])

ハイパースペクトル画像のマルチクラス分類

ハイパースペクトル画像のマルチクラス分類問題です。すみません、解説のときにぼーっとしていたのでこれ以上詳しい説明ができません...。
そもそもハイパースペクトル画像というものを知らなかったのでぐぐってそれっぽい論文を探したり、1次元CNNを実装したりしたのですが学習がうまくいかず、
結局サンプルコードのモデルをリッジ回帰からLightGBMに差し替えたものが最も高精度で、88%程度の精度で終わりました。

Cpaw AI Competitionで勝つために大切なたった2つのこと

勿論Kaggleで求められるような機械学習やプログラミングの基礎的な能力も当然大事なのですが、個人的にはこの大会で勝つために求められる能力は微妙に異なると思っていて、特に以下の2点が重要だと考えています。

やることの優先順位をつけること

Kaggleと比べると圧倒的にタスクを解く時間が足りないので、実装にかかる工数と期待される効果を鑑みてやることの優先順位をつけることがKaggle以上に重要になります。
Kaggleに関しては全てのdiscussionとkernelを見てtry everythingすれば良いだけなので特にやることの優先順位などをつける必要はないのですが、何せ4.5時間で3タスクを解く必要があるのでtry everythingする余裕はありません。
今回は観光地データセットにカテゴリカルなカラムが含まれていて恐らくこのカラムで特徴量を作れば精度が上がったかもしれないのですが、実装工数がかかりそうだったので見送りました。
結果的にはStackingが余り効果がなかったのでひょっとするとfeature engineeringに取り組んだほうが良かったのかもしれないのですが、この辺は結果論ですね。
データセットの各カラムのデータ型を見たときにnumericalなカラムがあったので、カテゴリカルな特徴量に対してfeature engineeringするよりはMLPの予測値とnumericalなfeatureをLightGBMでStackingした方が期待される精度向上は高そうだと考えてそちらを優先しました。

事前準備をすること

この大会ではさくらVPSのハイスペックなサーバーが各参加者に与えられるのですが、ほぼまっさらな状態で与えられるので環境構築を行う必要があります。
地味に時間がかかるので、環境構築はスクリプトで自動化しておくとだいぶ時間が節約できると思います。
私自身前回は準備をせずに行ってかなり時間を取られたので、今回はある程度環境構築を自動化できるようスクリプト化しておきました。それでもmecab周りの設定は準備できておらず、うまくサーバーの方に入っていなかったので結局手元のローカルMacでやる羽目になりましたが...。
後は、(中々そこまでのガチ勢はいないと思いますが)本気で勝つことを目指すのであれば特徴量生成などの関数を自作したり、様々なタスク(e.g. 画像のクラス分類)のテンプレート的なNotebookを作成しておくと時間が節約できると思います。

感想

前回に引き続き大変疲れましたが、とても楽しい大会でした!
4.5時間で3タスクはエグいですね。終始アドレナリンを出しながら仕事以上に集中してやってました。
KaggleもKaggleでコンペ中はとても楽しいのですが、時間がめちゃくちゃ短くてリーダーボードも所謂パブリックリーダーボードしかないのでまた別のヒリヒリ感があります。(Kaggleも1位の人とかだとヒリヒリ感があるのかもしれませんが、なったことがないので感じたことがありません😢)
最後の20秒くらいは出来ることも特になかったので、抜かれないことを祈りながら更新ボタンを押してました。
運営的にはかなり大変(データセットの作成は本当に大変だと思います。いつもありがとうございます)だと思いますが、とても楽しい大会なので是非今後も続けて頂けると嬉しいです。
運営(Cpaw)の皆様、スポンサーの皆様(サイバーエージェント様・さくらインターネット様)、素晴らしい会を開いて頂いてありがとうございました!

GW 1日目日記

今年もGWがやってきたので日記を書きます。

去年は途中で力尽きましたが、今年はどこまでいけるか。

 

やったこと

WikipediaのダンプデータをAmazonのElasticsearchに載せた。

ざっくり手順

  • Wikipediaのダンプを落とす
  • WikipediaExtractorで中身をパースし、分割して出力する 
  • 分割して出力したファイルをpyhton(Beautifulsoup4)で読んで、Elasticsearchモジュールで記事をindexに追加

ググってみても、Wikipediaの日本語のダンプデータをAmazonのElastisearchに載せてる人は見つからなかった。(ローカルのESに載せてる人はいた) 生データは11GBくらいあるので、(ローカルのESに載せる記事だと)XMLをstream2esで載せている方法があったがAmazon Elasticsearchでこの方法を使ってもいまいちうまくいかない。 ストリームデータをAmazon Elasticsearchに載せる方法はいくつかあるみたいだが、 微妙に今回やりたいことにそぐわないのと準備に手間がかかりそうなので上記のような手順を取った。

ファイルを分割する部分に関しては別にWikipediaExtractorを使う必要はないのだけど、巨大なXMLを分割して読み込み・出力するスクリプトを1から書くのが手間がかかりそうだったので利用させてもらいました。

上記のような手順を経て、どうにかAmazonのElasticsearchにwikipediaのデータをロードすることができました。

TensorFlowのエラー解消

kerasでGANのexampleを動かそうとしたら下記のエラーが出た。

TypeError: sigmoid_cross_entropy_with_logits() got an unexpected keyword argument 'labels'

調べたらどうも下記のIssueと同一のエラーな模様。 下記Issueはpython2系のもので、自分の環境はpython3系だけど同一のエラーが発生していた。

https://github.com/carpedm20/DCGAN-tensorflow/issues/84

Issueのコメントに従って、tensorflowのバージョンを最新(1.3.0rc2)に上げたところエラーが解消された。 アップデートに際しては下記リポジトリのREADMEに記載されているリンクから最新バージョンのtensorflowをDLし、その後下記コマンドを実行した。

リポジトリ: https://github.com/tensorflow/tensorflow#installation

コマンド: sudo pip install --upgrade tensorflow-1.3.0rc2-py3-none-any.whl

元々tensorflowのバージョンは最新のものに挙げたつもりだったのだけど 公式ページに書かれているものがすこし古いバージョン(1.2.1)だったようで、 どうやらそのせいでエラーが発生してたっぽい。 リポジトリのREADMEに記載されているものは最新のバージョンになっているようなので、 そちらを参照するようにした方が良さそう。

GW3日目 コードコンプリートを読んだ(途中)

CODE COMPLETE 第2版 上 完全なプログラミングを目指して

CODE COMPLETE 第2版 上 完全なプログラミングを目指して

3日目はコードコンプリートを読みつつ、A tour of Goを進めた。

コードコンプリートは6章まで読み終わった。 ソフトウェア開発におけるコンストラクション(コーディングを中心とした、詳細設計〜テストまでのプロセスのこと)に関するプラクティスが解説されている本で、現時点(6章)だと設計に関するプラクティスまでが言及されている。

今のところで印象に残っているトピックは下記

修正が遅くなるほど修正コストが増加する

要件定義の段階でミスを発見するよりもコーディングの段階でミスを見つける方が修正コストが高くなる的な話。 これは実際にやっている中でもめちゃくちゃ実感していて、既にリリースされているシステムのバグフィックスなんかだと開発段階とくらべて考慮事項が多くなるため同じ修正量であってもかかる修正コストが圧倒的に膨らむ。 だからこそ、要求段階等の早い段階でミスを見つけるのが大事。

読み進めたらまた書きます。

GW2日目 [改定第3版]Apache Solr入門を一部読んだ

[改訂第3版]Apache Solr入門――オープンソース全文検索エンジン (Software Design plus)

[改訂第3版]Apache Solr入門――オープンソース全文検索エンジン (Software Design plus)

オープンソース検索エンジン、Solrを勉強する為に読みました。 当面はSolrを運用する予定は特にないので1~4章、6章の一部、あと9章を読みました。

良かった点

  • Solrの導入方法や挙動がわかりやすく解説されている
  • githubサンプルソースが容易されていて、スムーズに読み進められる。特に躓く点がなかった。
  • 割と高度な検索エンジンの改善手法(LTRとか)をSolrに導入する方法についても言及されている。

もう少しな点

後は、検索エンジンの改善に言及するのであればモニタリングについてももう少し言及してくれるとより親切になると感じました。この点はビッグデータ分析・活用のためのSQLレシピが素晴らしかったので、検索業務に携わる人は併せて読むと良いかと。

ビッグデータ分析・活用のためのSQLレシピ

ビッグデータ分析・活用のためのSQLレシピ

GW1日目 ウェブデータの機械学習を読んだ

以下感想

  • ウェブデータと言いつつ、内容のほとんどは言語処理。タイトルと内容が若干アンマッチ。
  • 言語処理をこれから勉強したい人におすすめ。個人的には言語処理を勉強したいと思っていたのでちょうどよかった。
  • 扱っているトピックは、異常検知・評判分析・単語の意味表現・グラフマイニング・情報検索
  • 各トピック、この本の知識だけだと物足りないのでこの本を起点に興味のある/活用するトピックの専門書や論文を読むのが良い。
  • 全トピックの中でも評判分析・単語の意味表現辺りは気合が入っていて、特に単語の意味表現についてはCBOWとSkip-Gramが詳細に解説されていてかなりわかりやすかった。

GWの予定

が特にないので、ひたすら本を読もうと思っています。 読もうと思っているのは下記。

  • ウェブデータの機械学習
  • Apache Solr入門第3版
  • コードコンプリート
  • パタヘネ
  • 情報検索の基礎
  • 世界で戦うプログラミング力を鍛える本

どこまで読めるかわからないけど、力尽きるまで頑張ります。