読者です 読者をやめる 読者になる 読者になる

JOY全国採点GP集計システム稼働開始。

ここ1週間ぐらいで一気に作り込んだJOYの全国採点グランプリ集計システム
徐々に稼働開始。
今回はDBサーバがバッチを使って100万件の曲IDに対してAPIを叩きに行くので
マルチスレッドを勉強したり。
付け焼刃だけど一応動いてます。
高速化を狙って100件ずつバッチinsert方式で実装したら
マルチスレッドで動いてるせいかレコードの重複エラーでプロセスが落ちるので、適度にリトライかけてやらないといけない。
データ取得に関してはまだ完全に自動化できていないという感じ。

マルチスレッドで17時間ほどCPU占有し続けるのでDBサーバとAPサーバ分けました。
これも初めての試みだったりします。
後はDBのデータ量が半端ないのでインデックス張ったり。
このあたりが結構参考になりました。
qiita.com

マルチスレッドのスレッドプールはだいたい6ぐらいで運用してます。
1日で1か月分のデータしか取れないので全部のデータ取り終わるまで
後何日かかることやら…。
github.com
github.com


データ取得状況

年月 開始 終了
2016年01月 01/17 22:20 01/18 16:52
2016年02月 01/18 18:00 01/19 05:36
2016年03月 01/19 08:00 01/20 16:42
2016年04月 01/20 01:00 01/20 18:57
2016年05月 01/20 19:10 01/20 08:45
2016年06月 01/21 12:30 01/21 22:16
2016年07月 01/21 22:30 01/22 18:58
2016年08月 01/22 19:00 01/23 11:36
2016年09月 01/23 12:30 01/24 0:06
2016年10月 01/24 1:00 01/24 16:36
2016年11月 01/14 01:00 01/14 14:49
2016年12月 01/14 17:00 01/15 13:37