Presto Conference Tokyo 2019で発表してきた

https://techplay.jp/event/733772 で発表してきました。 スライドや参加レポートに関しては https://prestosql.io/blog/2019/07/11/report-for-presto-conference-tokyo.html にちゃんとまとまっているのでこれをみるのが良いです。 togetterは https://tog…

Elasticsearch, Kibanaを6.7.1から7.1.1にupgradeした

やり方は https://wyukawa.hatenablog.com/entry/20180124/1516762676 と同じで上書きアップグレードじゃなくて新旧double writeして切り替えました。 うちの環境だとfluentd→kafka→kafka-fluentd-consumer→fluentd→Elasticsearchという経路でElasticsearch…

南魚沼グルメマラソン

6年連続6回目の参加です。結果はネットタイムで1時間54分41秒でした。 去年とは違って8:26に浦佐駅につく一本遅い新幹線で来たけど9:00のスタートに普通に間に合ったので来年参加する場合もこれでいこうかな。 今年は荷物預かりの場所が変わって、グルメ村か…

黒部名水マラソンで走ってきた

去年申し込んだけど諸事情で参加できなかった大会に行ってきました。 感想は、ともかく暑かった。。常時30度超えのなかネットタイムで4:31:59はまあよく走った方でしょう。 ほぼ2kmごとに給水があるのでそれで完走できました。 36kmのエイドではアイスがあっ…

掛川・新茶マラソンで走ってきた

去年に続いて5回目の参加です。https://wyukawa.hatenablog.com/entry/20180415/1523793968 結果はネットタイムが4時間7分58秒でした。前半はよかったけど30km以降失速。 おにぎり、戦国汁、バナナ、メロン、いちご、オレンジいただきました。ごちそうさまで…

鳥取マラソン

鳥取マラソンで走ってきた。 www.nnn.co.jp 記録はネットタイムでギリギリサブ4の3:59:31 シーズンに1回はサブ4出したいと思っててなんとか達成できた。 しかし代償としてエイドのうどん食いそびれたw 大会としては良い大会なんだけど、もうちょっと給水を増…

spark thrift server gc

spark thrift serverが不安定でOutOfMemoryになったりしてたんでJVMオプションをいじってた。 うちの環境だとambari管理なのでjava heapを増やす場合はAdvanced spark2-envのspark_daemon_memoryを増やせばOKです。ちなみにデフォルトは1GBです。 それ以外は…

release yanagishima 19.0(support sparksql)

yanagishimaというpresto web uiを作っていて気づけばhive, elasticsearchに続いてsparksqlをサポートしたので今回はその辺をちょっと書いてみようと思います。 https://github.com/yanagishima/yanagishima sparkではspark thrift serverなるものを起動すれ…

ベジタブルマラソン走ってきた

記録はネットタイムが1時間51分35秒。ちなみに2017年が1時間47分39秒、2016年が1時間49分33秒。2015年が1時間44分17秒、2014年が1時間42分7秒です。 練習不足なのでこんなもんですかね。走っている時はエイドのキュウリ、ミニトマト、パイナップル、オレンジ…

那覇マラソン走ってきた

記録は5時間6分57秒で、ワーストなのはある程度事前に予想できたけど5時間オーバーなのは想定外。 理由は練習不足以外にも、思ったより暑く最高気温が27度を超えたらしい。元々完走率が低い大会で今回も60%ほど。地味にアップダウンもあってコース的にもタフ…

横浜マラソン走ってきた

タイムは手元のGARMINで4:43:18と自己ワーストだったけど練習不足なのでしょうがない。去年は台風で中止になり今年はその分の優先出走権を使って参加した。去年参加予定で今年も参加した人は2つの完走メダルをもらえた。 感想はというと、まあ次回参加は無い…

イタリア旅行

9月下旬にリフレッシュ休暇でイタリアに行ってきました。ネット環境はいままではWifiルーター使ってたんですが、繋がらないことも多かったので今回はSIM買いました。 値段も安いし、ちゃんと繋がるし良いですね。AIS プリペイドSIMカード データ通信 15日 4G…

Hadoopのworker系nodeでのkernel panic

6月ごろからHadoopのworker系nodeつまりdatanode, nodemanager, presto workerが動いているnodeでkernel panicが多発するようになって困っていてまだ解決はしていないのですが、メモっておきます。ログ分析基盤として使っているHadoopクラスタで深夜帯にバッ…

yanagishimaとElasticsearch

Elasticsearch 6.3になってSQLがサポートされたのですが、KibanaからだとDiscoverからはクエリ投入できなくてDev Toolsから実行するしかないです。https://www.elastic.co/guide/en/elasticsearch/reference/6.3/xpack-sql.htmlそのうちDiscoverからはクエリ…

ディス・イズ・ザ・デイ

ディス・イズ・ザ・デイ作者: 津村記久子出版社/メーカー: 朝日新聞出版発売日: 2018/06/07メディア: 単行本この商品を含むブログ (4件) を見る全22チームある架空のJ2の最終節を舞台とした連作短編集です。 11試合+プレーオフの合計12編あって、それぞれホ…

Elasticsearch/Kibanaを6.2.2から6.3.0にupgradeした

6.3.0のrelease blogはこちら https://www.elastic.co/blog/elasticsearch-6-3-0-released https://www.elastic.co/blog/kibana-6-3-0-released6.3.0からX-Packが標準で含まれるようになったのでインストールは不要で、最初からBasic Licenseが適用されてい…

Elasticsearch実践ガイドを読んでみた

Elasticsearch実践ガイド impress top gearシリーズ作者: 惣道哲也出版社/メーカー: インプレス発売日: 2018/06/15メディア: Kindle版この商品を含むブログ (1件) を見る目次 第 1 章 Elasticsearch とは 1-1 Elasticsearch が登場した背景 1-2 Elasticsearc…

南魚沼グルメマラソンにいってきた

5年連続5回目の参加です。結果はネットタイムが2時間1分1秒でした。 参加した5回のなかではおそらくもっとも気温が低く走りやすかったと思うけど、練習不足でした。06:08東京発の新幹線にのり浦佐駅には07:36到着。 今回はゼッケンや計測チップは事前発送だ…

presto/hiveクエリ変換

prestoでクエリを書いてあとでバッチ化するためにhiveに書き換えるというのはよくある話なので変換ルールをメモっておく。 prestoの方が機能的にリッチなんですが、安定性を考えるとバッチではhiveをうちの環境では使ってます。一番よくつかうのがjson_extra…

ロンドン観光

etc

Strata Data Conference London 2018で発表してきたのですが、そのついでにちょっとだけ観光しました。 ウィンザー城 グリニッジからの眺め 水上バスからの眺め フィッシュアンドチップス アビーロード FAカップ決勝 エミレーツスタジアム キューガーデン エ…

Strata Data Conference in Londonで発表してきた

abstractやスライドは下記からたどれます。https://conferences.oreilly.com/strata/strata-eu/public/schedule/detail/65222一度はrejectされたCFPが2週間前になってacceptになったので慌てて準備して発表してきました。20人ぐらいは来てくれたかな。発表直…

ロンドンで現金、VISAカード盗難にあった

etc

諸事情でロンドンに一人で来ていて現金、VISAカード盗難したのでメモっておく。 他の人が似たような状況にならないようになればと思います。ロンドンは治安の良いところだと思っていたのですが、まあこういうことに遭遇してしまったので用心した方がいいです…

石垣島へ行ってきた

etc

石垣島へ一人旅してきました - wyukawa’s blog以来3年ぶり2回目の石垣島です。5/1から6泊7日の旅です。今回はベストイン石垣島に泊まりました。 本当は前回止まったベッセルホテル石垣島にしたかったんですが予約取れず。 でもベストイン石垣島も良かったで…

掛川・新茶マラソンにいってきた

去年に続いて4回目の参加です。 掛川・新茶マラソンにいってきた - wyukawa’s blog結果はネットタイムが4時間25分3秒でした。練習不足もあり30km以降失速。坂もあったし、戦国汁、バナナ、メロン、いちご、オレンジを食べてたせいもある。今回は腹減ってたの…

東京マラソン走ってきた

記録はネットタイムが3:56:57でした。スタート前に二回トイレ行ったにもかかわらず、スタート待ってるうちに冷えてトイレ行きたくなり6kmあたりでトイレに行きました。まあそれがなかったとしても僕の自己ベスト3:48:00を更新するのは難しかったでしょう。マ…

東京30Kで走ってきた

去年に続いて東京30Kで走ってきました。寒かった。。風が冷たかったです。去年同様最初だけ4時間のペースメーカーの後について走って混雑してたので前にでて5分10秒から20秒あたりのペースで走ってました。結果はネットタイムで2時間40分33秒で去年よりちょ…

Elasticsearch, Kibanaを5.6.2から6.1.2にupgradeした

といっても上書きupgradeじゃなくて新旧2つのElasticsearchにdouble writeして切り替えました。うちの環境だとfluentd→kafka→kafka-fluentd-consumer→fluentd→Elasticsearchという経路でElasticsearchに書き込んでいます。 fluentdは0.12系を使っています。 …

ベジタブルマラソン走ってきた

記録はネットタイムが1時間47分39秒、ちなみに去年が1時間49分33秒。2年前が1時間44分17秒、3年前が1時間42分7秒です。去年よりは早かったのでまあよしとします。衰えは隠せないですが、走っている時はエイドのキュウリ、ミニトマト、パイナップル、オレンジ…

2017年振り返り

etc

今日が仕事納めでした。今年も相変わらずデータエンジニアリング業をしていて、大きなところではHadoopクラスタのアップグレード作業を2回やりました。 クラスタが2つあるから2回。とりわけ3年使ってたクラスタをHDP 2.1から2.5.3にしたのは大きいところで現…

青島太平洋マラソン

3年連続で青島太平洋マラソンにいってきました。過去2年は快晴で走っている最中はちょっと暑いぐらいだったのに、今年は寒くて雨もちょっとぱらつきました。記録は4時間27分32秒。寒かったせいかスタート前にトイレ2回いったにも関わらず、レース中にもトイ…