2018-12-30

ベジタブルマラソン走ってきた

記録はネットタイムが1時間51分35秒。ちなみに2017年が1時間47分39秒、2016年が1時間49分33秒。2015年が1時間44分17秒、2014年が1時間42分7秒です。

練習不足なのでこんなもんですかね。走っている時はエイドのキュウリ、ミニトマト、パイナップル、オレンジ、レモン、グレープフルーツ、チョコ、梅干しを少々、走り終わった後は豚汁、熊谷駅で満州の餃子とチャーハンを食べて帰ってきました。餃子は王将の方がうまいな。

この大会は12時スタートで人数もそんなに多くなく気軽に参加できる良い大会です。
5年連続で参加してますが、毎回良い天気ですが若干風があって寒かった。。

今日が走り納めです。runtasticによると今年は1285km走ったらしい。2017年は1471km、2016年は1476km、2015年は1633kmです。

今年はあんまり走れてなかったけど、来年はもうちょっと走ろうかな。

2018-12-03

那覇マラソン走ってきた

記録は5時間6分57秒で、ワーストなのはある程度事前に予想できたけど5時間オーバーなのは想定外。

理由は練習不足以外にも、思ったより暑く最高気温が27度を超えたらしい。元々完走率が低い大会で今回も60%ほど。地味にアップダウンもあってコース的にもタフ。

後半はしばしば歩いてしまったし、20回以上フルマラソン走ったけどこんなにきつかったのは、初マラソンで膝やった時以来だな。

びっくりしたのはエイドでゴミ箱がほぼなくて道路にすてる前提になっていることと、立ち小便が多かった事。あとランナーが多過ぎてちょっと走りづらいかな。

エイドに関しては公式のものは少なくてほぼ私設エイドに頼っているのが実態で、僕もお世話になったけど、私設エイドが無かったら完走は難しかったと思う。

私設エイドはもちろんありがたいんだけど、参加費上げてランナー減らしてもっとクオリティ上げた方が良いのではと思ってしまった。まあずっと続いてるし評価の高い大会なのでそういうもんだと思った方がいいんでしょうけど、他の大会と雰囲気違ったんでちょっとびっくりしました

2018-10-29

横浜マラソン走ってきた

タイムは手元のGARMINで4:43:18と自己ワーストだったけど練習不足なのでしょうがない。去年は台風で中止になり今年はその分の優先出走権を使って参加した。去年参加予定で今年も参加した人は2つの完走メダルをもらえた。

感想はというと、まあ次回参加は無いかなというもの。理由は下記の通り。

RUNNETの評価みてもぱっとしない感じでまあそうだろうなと思った。

コースではスタート、フィニッシュ直後以外横浜らしさが無い
ラッキー給食を一つも食べられなかった
給水のドリンクがぬるかった
ゴール後の導線が悪く混雑していた
参加費が東京マラソンより高い
事前受付が必要

なんか批判ばかりになってしまったけど、参加者数が多すぎるんじゃないかな。もっとももっと参加者が多い東京マラソンは完璧な運営してるけど、あれと比べられると辛いというのはわかる。

2018-10-07

イタリア旅行

9月下旬にリフレッシュ休暇でイタリアに行ってきました。

ネット環境はいままではWifi ルーター使ってたんですが、繋がらないことも多かったので今回はSIM買いました。
値段も安いし、ちゃんと繋がるし良いですね。

AIS プリペイドSIMカードデータ通信 15日 4G/3G

出版社/メーカー: AIS
メディア: エレクトロニクス
この商品を含むブログを見る

機内ではFire HD 10にNetflixでダウンロードしたテラスハウスをずっと見てました。
普段はkindle使いなのですが、こういう動画視聴デバイスを何にするか出発前に考えていて、最初はiPadにしようかと思ったんですが、値段高いのでFire HDへ。Fire HDは雑誌読む時にカラーなのが良いのと動画見るのには向いてます。

フライトは成田からデュッセルドルフ経由でミラノに入りました。帰りは逆になります。
ミラノのマルペンサ空港からミラノ中央駅へはシャトルバスを使いましたが、これは楽でいいです。
スーツケースを持ち運ばなくていいし、空港からバス乗り場も近い。

僕はマルペンサ空港からミラノ市内へのアクセスまとめを参考にTerravision社のバスを使いました。

ミラノカードなるものを事前に購入してこれを現地で受け取ってそれを使って地下鉄でDuomoへ

View this post on Instagram

Duomo

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月19日午前12時43分PDT

ガッレリア

View this post on Instagram

ヨーロッパっぽい

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月19日午前2時46分PDT

ブレラ絵画館は僕のような美術全く興味無い人間でも結構楽しめます。

死せるキリスト

View this post on Instagram

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年10月月6日午後7時17分PDT

イタロでベネチアへ。
電車は日本でレイルヨーロッパで全部予約しました。イタロ良いです。座席のグレードが3つあって僕は真ん中のPrimaにしました。
参考イタロの予約と座席、サービスについて - 乗車レビュー

ベネチアは特別な街でミラノのような都会ではないですが、駅でてすぐ下記のように川と橋が見えて良い感じです。

View this post on Instagram

ベネチアの駅出てすぐこんな感じです。

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月20日午前5時30分PDT

サン・マルコ広場へ行き鐘楼に登ってそこからの眺め

View this post on Instagram

上からの眺め

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月20日午前7時18分PDT

他はヴェネチアの勧め - Chikirinの日記を参考に僕はサン・ロッコとドガーナに行きました。
ベネチアは道が狭くしかも橋を渡らないといけない箇所もあってGoogle Map使っていてもちょいちょい迷いましたが、広くは無いので徒歩で割となんとかなります。水上バスのヴァポレットも使いましたが、遅いので1回乗れば十分な気がします。

ベネチアのレストランはここがお勧めです。ネット予約もできます。
Hostaria Osottoosopra (ベネチア) の口コミ675件 - トリップアドバイザー

ベネチアの次はフィレンツェへ。

フィオレンティーナの試合も見てきました。

View this post on Instagram

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年10月月6日午後7時35分PDT

電車でピサにも行ってきた。

View this post on Instagram

傾いてるな

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月24日午前2時43分PDT

フィレンツェ観光後はミラノに戻ってサッカー観戦。サン・シーロスタジアムです。

View this post on Instagram

始まりました

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月25日午後12時05分PDT

そのあとトリノに移動してユベントス戦観戦

View this post on Instagram

試合画像

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月26日午後2時33分PDT

ローマへ移動

トレビの泉

View this post on Instagram

トレビの泉

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月27日午前9時49分PDT

スペイン広場

View this post on Instagram

スペイン広場

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月27日午前10時00分PDT

ローマのレストランはここがお勧めです。
Ristorante Nerone (ローマ) の口コミ694件 - トリップアドバイザー

ナポリへ移動して観光
地下鉄の1日券買ったのに乗り場行こうとしたらその日は閉鎖されていたので徒歩で、ヌオーヴォ城の方へ行きました。

View this post on Instagram

城からの眺め

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月28日午前6時37分PDT

ローマに戻って観光してたら、ローマのユニフォームきたお姉さんが観光地でローマダービーのチケット売ってたのでうっかり購入して試合見てきました。
お姉さんに中田英寿知ってるか？って聞いたら知らんとのこと。まあ20代っぽかったしな。

View this post on Instagram

後半キックオフ

wyukawaさん(@wyukawa)がシェアした投稿 - 2018年 9月月29日午前7時05分PDT

そういえば旅行来る前に

Number PLUS 中田英寿 20年目のイタリア (Sports Graphic Number PLUS(スポーツ・グラフィックナンバープラス)) (文春e-book)

作者: 文・金子達仁
出版社/メーカー: 文藝春秋
発売日: 2018/09/05
メディア: Kindle版
この商品を含むブログを見る

読んでて中田がペルージャにきてからもう20年もたつのかあという。
ローマ時代の思い出のところの記事が良いです。もちろんあのユベントス戦のこともかかれているし、なによりもモンテッラのくだりが熱い。
プロフェッショナルとはこうなんだなという。

そんなわけで約二週間のイタリア旅行でしたが、天気がずっとよくて、昼間は暑かったです。
心配してた治安も問題なく、不満といえばホテルがしょぼいぐらいですね。狭いし朝食の種類が少ない。ここに関してはイギリスの方がはるかに上。
これでイギリス、フランス、ベルギー、ドイツ、イタリアに行ったので次はスペインに行きたいなあ。

2018-09-11

Hadoopのworker系nodeでのkernel panic

Hadoop Linux

6月ごろからHadoopのworker系nodeつまりdatanode, nodemanager, presto workerが動いているnodeでkernel panicが多発するようになって困っていてまだ解決はしていないのですが、メモっておきます。

ログ分析基盤として使っているHadoop クラスタで深夜帯にバッチを動かします。
load averageは100を超えることもあり、マシンスペックはメモリ256GB、CPUは40プロセッサ、HDDは3TBが12本ささってます。
OSはCentOS 7.2.1511です。
データ量が増えてきたこともあり、ディスクだけじゃなくコンピューティングリソースももりもり使ってます。

だいたい午前6時から8時にkernel panic起こることが多くて、ひどいときは短い時間に3台kernel panicが起きて、マシン再起動、サービス起動が間に合わずmissing blockになってjobが失敗することもありました。
負荷がピークの時に起きているわけではないのがちょっと不思議なのですが、別の負荷がそんなに高くないHadoop クラスタでは全く起きてないので負荷が原因のひとつではありそう。

この状況はさすがに辛いので、ジョブのスケジューリングを変えて負荷を平準化するとともに、インフラチームから提案のあったkernelアップグレードをやったところ回数こそ減ったもののまだ週一回程度起きます。
さらに仮にkernel panicしても、マシン再起動したらdatanode, nodemanager, presto workerが自動起動するようにsystemctlにType=oneshotで仕込みました。

ただ

Wants=network-online.target
After=network-online.target

とかやっても期待通りに動かなかったので、

After=network.target remote-fs.target nss-lookup.target ambari-agent.service

とかしてさらにsleep 45してマシン再起動時にambari apiをたたいてdatanode, nodemanagerを起動するようにしました。

kernelは3.10.0-514.2.2から3.10.0-862.9.1にあげました。

マシン再起動が必要で3台同時にやるとmissing blockになってジョブがこけるので多くても2台まで同時に作業しました。ここは完全に手動で温かみのある作業です。40台でだいたい4時間かかりました。

その後まだkernel panicが起きたのでkdumpを仕込みました。元々kdump自体はインストール済みだったので設定だけ少し変えて起動しときました。
どこを変えたかというとvmcoreはそれなりの容量になる気がしたので、OSとは別のパーティションに出力するように変更しました。

そしてkernel panicがまた起きてcrashコマンドでの解析を試みましたが、よくわからずcentosにissue登録しました。
0015216: 3.10.0-862.9.1.el7.x86_64 kernel panic and crash under hadoop environment - CentOS Bug Tracker

メッセージに

[exception RIP: find_busiest_group+869]

とあったのでfind_busiest_groupでググると
https://qiita.com/nhiroki/items/2fa7bb048118145b00cd
が見つかりずいぶん参考になりました。
負荷が高いときにスケジューラ周りのバグを踏んだんじゃないかという気がしますが、その後centos teamから返信がきて、最新のkernel 3.10-862.11.6を試してくれない？って言われます。
タイミング悪く3.10.0-862.9.1にあげた後にすぐ3.10-862.11.6が出たようです。
cpu hot plug関連でcpu core数が正しく表示されないbug 0015108: cpu core counts change unexpectedly - CentOS Bug Trackerが関係してそうでそれがkernel 3.10-862.11.6でfixされているとのことでした。

バージョン一覧がどこにあるのかよくわからんですが、例えば下記で見れるようです。
ftp://ftp.riken.jp/Linux/cern/centos/7/updates/x86_64/repoview/kernel-devel.html

3.10.0-862.9.1と3.10-862.11.6の差分は下記で見れます。
https://git.centos.org/compare/rpms!kernel.git/refs!tags!imports!c7!kernel-3.10.0-862.11.6.el7..refs!tags!imports!c7!kernel-3.10.0-862.9.1.el7

kernel upgradeのansible playbookはこんな感じで作りました。

    - name: chattr -i
      command: chattr -i /boot/grub2/grub.cfg

    - name: upgrade kernel
      yum: name=kernel state=latest

    - name: chattr +i
      command: chattr +i /boot/grub2/grub.cfg

3.10.0-862.11.6にあげても残念ながらkernel panicは起きました。ただメッセージは違いました。

 [exception RIP: __hrtimer_get_next_event+52]

その旨を報告すると、関連しそうな部分を直したものが含まれる3.10.0-862.11.6.el7.centos.plus.2を試してくれと言われます。

plus.1だったら

yum install --enablerepo=centosplus kernel-plus

とかすれば入りましたが、plus.2はkernel-plusにはないようなのでrpmで入れます。playbookはこんな感じ。

    - name: chattr -i
      command: chattr -i /boot/grub2/grub.cfg

    - name: install kernel-plus
      yum: name=http://.../kernel-plus-3.10.0-862.11.6.el7.centos.plus.2.x86_64.rpm state=present

    - name: grubby --set-default
      command: grubby --set-default=/boot/vmlinuz-3.10.0-862.11.6.el7.centos.plus.2.x86_64

    - name: chattr +i
      command: chattr +i /boot/grub2/grub.cfg

で、今は様子見中です。今までの頻度を考えると1週間何も起きなかったら解決したと思っていい気がします。

2018-08-03

yanagishimaとElasticsearch

yanagishima Elasticsearch

Elasticsearch 6.3になってSQLがサポートされたのですが、KibanaからだとDiscoverからはクエリ投入できなくてDev Toolsから実行するしかないです。

https://www.elastic.co/guide/en/elasticsearch/reference/6.3/xpack-sql.html

そのうちDiscoverからはクエリ投入できるようになりそうですけど、yanagishimaでサポートしても悪くあるまいということで進めてます。

Elasticsearch JDBC Driverを自前で実装してyanagishimaから使っています。
https://github.com/wyukawa/elasticsearch-jdbc-driver
自前実装といっても下記を参考にしてますし、全メソッドを実装しているわけではなくyanagishimaで使うものだけ実装しています。
https://github.com/tokuhirom/unofficial-elasticsearch-jdbc-driver

SQLからLuceneクエリに変換するAPIも用意されていたので、それも別途取り込んでます。
https://www.elastic.co/guide/en/elasticsearch/reference/6.3/sql-translate.html

maven repoにjar登録するの面倒かなと思ったんですが、調べつつやったらそんなに大変でもなかった。下記がプロジェクト申請時のissueです。
https://issues.sonatype.org/browse/OSSRH-41141

社内で軽く使い始めてみましたが、group byに1つしかかけない、case/union allをサポートしてない、sum(if())みたいにifを関数として使えない、などまだ機能が足りてない感じなので今後に期待といったところです。
関数も少ないですね。
https://www.elastic.co/guide/en/elasticsearch/reference/6.3/sql-syntax-show-functions.html

個人的にはyanagishimaでsqlからtranslateしてそこからkibanaにリンクできると面白いかなと思ってます。

yanagishimaのバージョンは今14.0ですが、15.0で正式にElasticsearch SQLをサポートしようと思ってます。