etc
Strata Data Conference London 2018で発表してきたのですが、そのついでにちょっとだけ観光しました。 ウィンザー城 グリニッジからの眺め 水上バスからの眺め フィッシュアンドチップス アビーロード FAカップ決勝 エミレーツスタジアム キューガーデン エ…
諸事情でロンドンに一人で来ていて現金、VISAカード盗難したのでメモっておく。 他の人が似たような状況にならないようになればと思います。ロンドンは治安の良いところだと思っていたのですが、まあこういうことに遭遇してしまったので用心した方がいいです…
石垣島へ一人旅してきました - wyukawa’s blog以来3年ぶり2回目の石垣島です。5/1から6泊7日の旅です。今回はベストイン石垣島に泊まりました。 本当は前回止まったベッセルホテル石垣島にしたかったんですが予約取れず。 でもベストイン石垣島も良かったで…
今日が仕事納めでした。今年も相変わらずデータエンジニアリング業をしていて、大きなところではHadoopクラスタのアップグレード作業を2回やりました。 クラスタが2つあるから2回。とりわけ3年使ってたクラスタをHDP 2.1から2.5.3にしたのは大きいところで現…
夏休みを2週間とってベルギー、フランス、イギリスに旅行してきました。まずは成田からブリュッセルへ。ホテルはブリュッセル中央駅近くにとりました。到着した当日8/18（金）にchez leonでムール貝を食う。8/19（土）はグランプラス、小便小僧を見学その後…
2年前に石垣島に行ったんだけど、沖縄本島には行ったことがなかったので来てみました。 石垣島へ一人旅してきました - wyukawa’s blog5/1に来て明日の5/5に帰ります。僕は車の免許を持っていないのでモノレールとバスを使って移動しました。5/1はまず国際通…
正確にいうと台北に出張で行ってきました。3/15に行って3/17に帰ってきました。使った空港は羽田空港と松山空港です。もちろん愛媛県の松山空港じゃないです。ソンシャンと読むらしい。台北の街中にあるので移動に便利です。移動は主にタクシーを使って、結…
今日が仕事納めでした。今年も去年に引き続いてデータエンジニアリング業していたんですが、違いとしては今年に入ってからモニタリングにPrometheusを試すようになり、その延長でPromCon 2016に登壇しました。海外のカンファレンスで喋るのは初めての経験で…
Prometheus London MeetupおよびPromCon 2016に行ったので空いた時間で観光してきました。8/17に羽田空港からヒースロー空港までフライト時間は約12時間初日の晩御飯は去年行った http://www.copita.co.uk/ ホテルの最寄駅は地下鉄のRussell SquareかHolborn…
僕は今見ている社内のログ分析基盤に数多くのOSSプロダクトを使っています。具体的に言うと、Fluentdでログ収集してHadoopに書き込んでAzkaban経由でHiveバッチを動かしてデータを加工してPresto, Prestogres経由でみたりしています。また最近はKafkaやElast…
昨日が仕事納めでした。今年も去年に引き続いてHadoop, Hive, Presto, Azkabanを使ってのログ分析環境の整備をしつつETL書いてというのをやっていたんですが、大きな違いとしてOSSプロダクトをいくつかリリースしました。そんな大層なもんじゃないですけど。…
最近ふと思うことはIT仕事にはざっくり以下の四種類あるなということ。 一つの会社で四種類の仕事を提供している場合もあります。 第一象限の超エンジニアリング系 技術的優位性がそのままビジネスメリットに結びつくもの。 技術的にチャレンジする部分も多…
9/18（金）はブロードウェイタワーへチェルトナムからバスでブロードウェイまで行ってそこから30分以上歩きました。 途中で羊の群れのなかを通りました。ちょっと曇ってたけど眺めはまあまあ。 9/19（土）はロンドンに戻り、スタンフォードブリッジでチェル…
去年に続いてシルバーウィーク周辺に夏休みをとってイギリスにきてます。 今回はロンドンとコッツウォルズに行きます。羽田空港からヒースロー空港へ。フライト時間はだいたい12時間かな。 金曜日に出発して金曜日につく。機内では「ビリギャル」、「しくじ…
日本最南端、波照間島に一人旅した時の写真うｐしていく - アレスケープ２ｃｈを見てから石垣島とその周辺の離島に行きたいなーってずっと思ってはや3年経ったんですがやっと行ってきました。5/4(月)から5泊6日の日程です。羽田空港から石垣空港まで行きも帰…
僕は様々なOSSプロダクトを使ってシステムを構築しているけれど、自分なりにぼんやりと考えているOSSプロダクトとのつきあい方について書いてみる。どのようなシステムを作るにせよ、それが一定以上の規模になるのであればOSSプロダクトを使わずに全部自前で…
今日が仕事納めでした。今年もHadoopでログ解析してた1年でした。 5月に異動したので、1月〜4月とそれ以降では環境はずいぶん変わりました。異動先でIRCを最初使ってたのですが、途中からHipChatに変わりました。今となってはSlackの方が良さげではあります…
使用するソフトウェアを選択するときに、商用製品（例：Oracle）を使うのか、自分じゃない人が作った内製ソフト（例：SIerの内製フレームワーク、Web系の独自サーバー管理ツール）を使うのか、世に出回っているOSSソフト（例：Hadoop, Spring, Presto）を使…
rebuildfm 67にNaoya Itoさんが出るというので、もしかしたらHow Google Worksの話が出るかと思ったらでなくて残念。でも別の機会に話してくれそうなのでそれを楽しみに待ちます。How Google Works作者: エリック・シュミット,ジョナサン・ローゼンバーグ,ア…
イギリス旅行 その3 - wyukawa’s blogの続きです。9/21（日） ニューカッスル駅からマンチェスター・ピカデリー駅へ電車で移動。所要時間は約3時間。 新聞のフットボール記事をチェック。シセがパーデューを救った云々の記事がある。 ホテルチェックイン後に…
イギリス旅行 その2 - wyukawa’s blogの続きです。9/19（金） ホテルで朝飯食ってたら、ホテルマンに日本語で話かけられてちょっとびびる。 なんでも昔大阪に住んでたことがあるらしい。アストンビラとガンバ大阪のファンだそうです。 今年のビラは調子が良…
イギリスにプレミアリーグ観戦旅行にきてます - wyukawa’s blogの続きです。9/17（水） 新聞のフットボール記事をチェックする。前日のリバプールのCLの試合の記事が出てる。 バロテッリとジェラードの写真があった。まあ得点者だしね。 ただこの試合は左SB…
イギリスに旅行してきました - wyukawa’s blogでイギリスに行って以来、プレミアリーグを見るようになったこともあり、いつかまたイギリスに行きたいとずっと思っていたのですが腰が重くてなかなかいけずに約3年が経ちました。今回ようやくきました。チケッ…
ジョブ設計についてつぶやいていたらfrsyukiさんにいろいろアドバイスもらったのでジョブ設計についてのあれやこれや - Togetterにまとめておいた。で、まあ、それをもとにしつつジョブ設計について書いてみようと思う。別にこうした方が良いとかそういう結…
Rebuild: 44: OS X Pier 39 (N, naan)の1時間14分ぐらいからJava API著作権侵害の話を皮切りにJavaの話が出てくるんだけど面白かった。まあはっきり言ってJavaをdisっているんだけど、しゃべり方がうまいせいか聞いてて思わず笑ってしまったw ちなみに僕はプ…
Rebuild: 35: You Don't Need API Version 2 (Kenn Ejima)の最後の方のAPIの話が面白かったのでそれについて書いてみる。HTTP JSON APIにしろHiveServerが提供しているようなThrift APIにしろバックエンドにあるAPIサーバーにクライアントがアクセスして情報…
なんかTLとRebuild: 33: There's No Test For goto fail (hotchpotch)で話題になってた。Apple史上最悪のセキュリティバグか、iOSとOS XのSSL接続に危険すぎる脆弱性が発覚──原因はタイプミス？ | アプリオ 上記の記事を最初読んだときgoto failが常に実行さ…
Rebuild: 32: How We Work Remotely (Naoya Ito)のリモートワークの話、、、というよりも情報共有、感情共有、情報格差を作らない、疎外感を抱かないようにする、辺りの話がすげ〜共感したのでちょっとブログ書いてみる。 ちなみにワタクシは在宅勤務したこ…
http://ch.nicovideo.jp/syachosan/blomaga/ar432119を読んで思ったことをつらつらと書いてみる。プログラミングをどうやって勉強するかっていうのはいろいろやり方あると思うけど、よく聞くのは何か作りたいものがある→どうやって作るのか調べる→実際に手を…
2013年の振り返りです。一言で言うとHadoopでログ解析してました。データ量がどんどん増えてそれにともないノード数も増えました。あとジョブ数も増えましたね。扱うミドルウェアもHadoop/HiveだけじゃなくてHBaseやStorm、あとはAzkabanやfluentdといったも…
