横浜マラソン走ってきた

タイムは手元のGARMINで4:43:18と自己ワーストだったけど練習不足なのでしょうがない。去年は台風で中止になり今年はその分の優先出走権を使って参加した。去年参加予定で今年も参加した人は2つの完走メダルをもらえた。 感想はというと、まあ次回参加は無い…

イタリア旅行

9月下旬にリフレッシュ休暇でイタリアに行ってきました。ネット環境はいままではWifiルーター使ってたんですが、繋がらないことも多かったので今回はSIM買いました。 値段も安いし、ちゃんと繋がるし良いですね。AIS プリペイドSIMカード データ通信 15日 4G…

Hadoopのworker系nodeでのkernel panic

6月ごろからHadoopのworker系nodeつまりdatanode, nodemanager, presto workerが動いているnodeでkernel panicが多発するようになって困っていてまだ解決はしていないのですが、メモっておきます。ログ分析基盤として使っているHadoopクラスタで深夜帯にバッ…

yanagishimaとElasticsearch

Elasticsearch 6.3になってSQLがサポートされたのですが、KibanaからだとDiscoverからはクエリ投入できなくてDev Toolsから実行するしかないです。https://www.elastic.co/guide/en/elasticsearch/reference/6.3/xpack-sql.htmlそのうちDiscoverからはクエリ…

ディス・イズ・ザ・デイ

ディス・イズ・ザ・デイ作者: 津村記久子出版社/メーカー: 朝日新聞出版発売日: 2018/06/07メディア: 単行本この商品を含むブログ (4件) を見る全22チームある架空のJ2の最終節を舞台とした連作短編集です。 11試合+プレーオフの合計12編あって、それぞれホ…

Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした

6.3.0のrelease blogはこちら https://www.elastic.co/blog/elasticsearch-6-3-0-released https://www.elastic.co/blog/kibana-6-3-0-released6.3.0からX-Packが標準で含まれるようになったのでインストールは不要で、最初からBasic Licenseが適用されてい…

Elasticsearch実践ガイドを読んでみた

Elasticsearch実践ガイド impress top gearシリーズ作者: 惣道哲也出版社/メーカー: インプレス発売日: 2018/06/15メディア: Kindle版この商品を含むブログ (1件) を見る目次 第 1 章 Elasticsearch とは 1-1 Elasticsearch が登場した背景 1-2 Elasticsearc…

南魚沼グルメマラソンにいってきた

5年連続5回目の参加です。結果はネットタイムが2時間1分1秒でした。 参加した5回のなかではおそらくもっとも気温が低く走りやすかったと思うけど、練習不足でした。06:08東京発の新幹線にのり浦佐駅には07:36到着。 今回はゼッケンや計測チップは事前発送だ…

presto/hiveクエリ変換

prestoでクエリを書いてあとでバッチ化するためにhiveに書き換えるというのはよくある話なので変換ルールをメモっておく。 prestoの方が機能的にリッチなんですが、安定性を考えるとバッチではhiveをうちの環境では使ってます。一番よくつかうのがjson_extra…

ロンドン観光

etc

Strata Data Conference London 2018で発表してきたのですが、そのついでにちょっとだけ観光しました。 ウィンザー城 グリニッジからの眺め 水上バスからの眺め フィッシュアンドチップス アビーロード FAカップ決勝 エミレーツスタジアム キューガーデン エ…

Strata Data Conference in Londonで発表してきた

abstractやスライドは下記からたどれます。https://conferences.oreilly.com/strata/strata-eu/public/schedule/detail/65222一度はrejectされたCFPが2週間前になってacceptになったので慌てて準備して発表してきました。20人ぐらいは来てくれたかな。発表直…

ロンドンで現金、VISAカード盗難にあった

etc

諸事情でロンドンに一人で来ていて現金、VISAカード盗難したのでメモっておく。 他の人が似たような状況にならないようになればと思います。ロンドンは治安の良いところだと思っていたのですが、まあこういうことに遭遇してしまったので用心した方がいいです…

石垣島へ行ってきた

etc

石垣島へ一人旅してきました - wyukawa’s blog以来3年ぶり2回目の石垣島です。5/1から6泊7日の旅です。今回はベストイン石垣島に泊まりました。 本当は前回止まったベッセルホテル石垣島にしたかったんですが予約取れず。 でもベストイン石垣島も良かったで…

掛川・新茶マラソンにいってきた

去年に続いて4回目の参加です。 掛川・新茶マラソンにいってきた - wyukawa’s blog結果はネットタイムが4時間25分3秒でした。練習不足もあり30km以降失速。坂もあったし、戦国汁、バナナ、メロン、いちご、オレンジを食べてたせいもある。今回は腹減ってたの…

東京マラソン走ってきた

記録はネットタイムが3:56:57でした。スタート前に二回トイレ行ったにもかかわらず、スタート待ってるうちに冷えてトイレ行きたくなり6kmあたりでトイレに行きました。まあそれがなかったとしても僕の自己ベスト3:48:00を更新するのは難しかったでしょう。マ…

東京30Kで走ってきた

去年に続いて東京30Kで走ってきました。寒かった。。風が冷たかったです。去年同様最初だけ4時間のペースメーカーの後について走って混雑してたので前にでて5分10秒から20秒あたりのペースで走ってました。結果はネットタイムで2時間40分33秒で去年よりちょ…

Elasticsearch, Kibanaを5.6.2から6.1.2にupgradeした

といっても上書きupgradeじゃなくて新旧2つのElasticsearchにdouble writeして切り替えました。うちの環境だとfluentd→kafka→kafka-fluentd-consumer→fluentd→Elasticsearchという経路でElasticsearchに書き込んでいます。 fluentdは0.12系を使っています。 …

ベジタブルマラソン走ってきた

記録はネットタイムが1時間47分39秒、ちなみに去年が1時間49分33秒。2年前が1時間44分17秒、3年前が1時間42分7秒です。去年よりは早かったのでまあよしとします。衰えは隠せないですが、走っている時はエイドのキュウリ、ミニトマト、パイナップル、オレンジ…

2017年振り返り

etc

今日が仕事納めでした。今年も相変わらずデータエンジニアリング業をしていて、大きなところではHadoopクラスタのアップグレード作業を2回やりました。 クラスタが2つあるから2回。とりわけ3年使ってたクラスタをHDP 2.1から2.5.3にしたのは大きいところで現…

青島太平洋マラソン

3年連続で青島太平洋マラソンにいってきました。過去2年は快晴で走っている最中はちょっと暑いぐらいだったのに、今年は寒くて雨もちょっとぱらつきました。記録は4時間27分32秒。寒かったせいかスタート前にトイレ2回いったにも関わらず、レース中にもトイ…

Strata Data Conference in Singaporeで発表してきた

abstractやスライドは下記からたどれます。 https://conferences.oreilly.com/strata/strata-sg/public/schedule/detail/629482014年5月に異動してから新規に構築したHadoopクラスタの3年にわたる歴史を紹介しております。Hadoopに初めて触ったのが6年前にSI…

Hadoopでトラフィックが多いと言われたのでtcpdump使って調べてみた

8:20から9時ぐらいまで断続的にoutboundトラフィックが増えてなんでだろって思ったのでtcpdumpしてみた。やり方は下記参照 定期的にtcpdumpをある期間だけ実行したいという時 - その手の平は尻もつかめるさHadoopのdatanodeマシンを一つ使って以下のようにcr…

hiveserver2とFull GC

昔からhiveserver2はあんまり安定してない気がしますが、最近ちょっと不調でたまに下記のようなエラーが出て接続できないときがありました。hiveserver2 log 2017-11-10 01:18:38,430 ERROR [CuratorFramework-0]: curator.ConnectionState (ConnectionState…

転職して5年経った

転職します - wyukawa’s blog 入社しました - wyukawa’s blog早いもので転職して5年経ちました。ほんと、あっという間でしたね。5年前にSIerから転職してきました。最近は優秀な若者が新卒でそこそこ高い給料で入社して、でもなかなか上がらないから転職カー…

yanagishima v8をリリースしました。

https://github.com/wyukawa/yanagishimayanagishima v7をリリースしました。 - wyukawa’s blogから1週間ぐらいしか経ってませんが、v8をリリースしました。今回の目玉はクエリ履歴とブックマークをサーバーサイドで保存できるようにしたことです。 今までは…

データ民主化の負の側面

データの活用が当然のことのようになってエンジニア以外でもSQL書いてデータ抽出するのが一般的になってきました。さらにデータサイエンティストの登場により高度な分析もされるようになってきて、顕在化してきたのがHadoopクラスタの無法地帯化とエンジニア…

yanagishima v7をリリースしました。

yanagishimaは割とカジュアルにメジャーバージョンを上げていて、作っている方も正直ちゃんとchange logを管理してないのはよくないのですが、最近7.0をリリースしました。3.0のリリースブログがyanagishima v3をリリースしました。 - wyukawa’s blogなんで4…

オホーツク網走マラソン走ってきた

記録はネットタイムが4時間38分28秒で去年、オホーツク網走マラソン走ってきた - wyukawa’s blog、よりはマシだけどワースト2でした。まあ練習不足だししゃーない。これが実に20回目のフルマラソンでした。これだけ走っているとだいたいタイムも予想できて、…

ベルギー、フランス、イギリス旅行

etc

夏休みを2週間とってベルギー、フランス、イギリスに旅行してきました。まずは成田からブリュッセルへ。ホテルはブリュッセル中央駅近くにとりました。到着した当日8/18(金)にchez leonでムール貝を食う。8/19(土)はグランプラス、小便小僧を見学その後…

fluentdでUndefinedConversionErrorに遭遇した

エラーログはこんな感じ。 2017-08-07 12:25:55 +0900 [warn]: /path/to/ruby-2.2/lib/ruby/gems/2.2.0/gems/fluent-mixin-plaintextformatter-0.2.6/lib/fluent/mixin/plaintextformatter.rb:85:in `encode' 2017-08-07 12:25:55 +0900 [warn]: /path/to/ru…