SITW24に参加してfluentdについてしゃべりました
去る2014年7月26日(土)、第24回目の山陰ITPro勉強会(SITW)でコンテナとシステム管理者の将来について勉強したあと、fluentdの収集データ可視化について喋ってきました。
ところで fluentd + Elasticsearch + Kibana について解説したムック本が近々出るらしいです。これは注目!
発表スライド
使用したスライドに少々の改変を加えて公開しました。
当日はスライドを表示しつつ口頭とデモでかなり補足しながら喋ったため、そのあたりを全然知らない人が見てもある程度内容がわかるよういろいろ追記しました。それを加味してもスライドの内容ではざっくりしすぎなため、参考リンクなんかも埋め込んでいます。
補足
まだまだ追記したい内容や埋め込みたいリンクがあったのですが、すっかり忘れてそのまま公開してしまったので、この場を借りて更に補足。
Elasticsearchのデモの中で「syslogも取得しましょう」てな感じでさらっと流してしまったあたりは以下にちゃんとしたチュートリアルがあります。
また、「GrowthForecastに送っているfluent-plugin-dstatで取得したデータを、そのままElasticsearchにも送りましょう」みたいな流れにしましたが、実はこれではあまりうまいこといきません。Elasticsearchがdstatの各数値データをString型で保存してしまうため、「そのまま」ではHistgramやSparklinesでグラフを描画することができないのです。(これの追記を忘れてしまったのは悔やまれる...)
それを解消するにはElasticsearchのmappingやtemplateといった機能を使って、数値データがちゃんとfloat型などで保存されるようにする必要があります。以下などを参考にさせていただきました。
- fluentd -> elasticsearchでつっこんだデータのstringになっているやつをintegerに変換する
- Elasticsearch の index templates で解析方法を指定する(または、default mapping が効かない時に)
- Elasticsearchにmappingをtemplate設定してみた
当日は後半かなり駆け足になってしまい、ElasticsearchとKibanaについてはかなりアバウトな説明しかできませんでした。スライドに追加したリンク以外にもいろいろ勉強になる情報がウェブ上にありますので、参考にさせていただきましょう。
SITW24の感想など
そもそもなぜ発表したか
この半年強くらい、fluentdを触る機会があり、ソースをそれなりに読んでみたりプルリク(たった1行の修正w)を送ってみたりなどということをしていた背景がありました。SITWスタッフである@sho_hashimotoさんがそんな様子を見ていてくださっており、声を掛けていただいたというのが登壇の経緯となります。そんなこともありつつ、また公の場で喋るのは初めだということもありつつで(社内LTなんかはやっていましたが)、@sho_hashimotoさんには発表当日までいろいろサポートしていただきました。この場を借りてお礼申し上げます。
メインセッション: Linuxコンテナを支える技術とLXC、Dockerのキホン
TenForward(@ten_forward)さんによるセッション。
今話題のコンテナ、LXC、Dockerについてのセッションでした。
コンテナ周りは最近凄い流行り具合で、そのビッグウェーブに乗り遅れまいと自分でもいろいろと調べてみたりするのですが、細部はイマイチよくわからなかったりでした。そんな中で、コンテナ技術の歴史も交えてkernelまわりの目線から話を聞けたり、デモを見せていただいたりというのは大変勉強になり、楽しかったです。これまで不明瞭だったことも、デモで実際に動きを見せていただけるとなんとなくイメージができました。
とはいえ不勉強なものでスライドの中には理解できない話もそれなりに。とりあえず実際に使ってみなきゃ&もっと勉強しなきゃですね。
サブセッション1: これからシステム管理者として生きていくために
あみだく(@amidaku)さんによるセッション。
前半は「これからのシステム管理者」としての心持ちについてなどのお話、後半はシステム管理系の各種ソフトウェアについての横断的・全体概要的なお話でした。スライドは公開しないとのことで、残念。
前半の中で、便利な新しいツールをどんどん試そう!といった旨のお話が出てきました。自分は保守的というかものぐさというか、新しい何かを触る・調べる・使うことに対するハードルがものすごく高いので、実践していかねばなぁと思いました。慣れてしまったものを変えるのは大変だけれど、その方法をいつまでも続けていくこともそれはそれで大変ですし、続けていった結果時代遅れになってしまったタイミングでその時のトレンドに追いつこうとするのはもっと大変ですもんね...(自戒)。
サブセッション2: fluentdとダッシュボードを使った ビジュアルなシステム管理
スライドは上に載せてあります。
対象としてfluentdをほぼ知らない人を想定して資料を作ったため、fluentdの概要と何ができるのかなどといったところにわりと力を割いた内容となりました。(皆さん、もっと深い話が聞きたかったでしょうか...?)
そのせいもあるのでしょうが、後半のダッシュボードまわり(特にElasticsearch+Kibana)がざっくりしすぎてしまったのが少々心残りです。そもそも自分自身そこまでちゃんと使えていないところも多々あったので仕方なしといったところでしょうか。
参加者の方からの発言でもありましたが、ダッシュボードや最先端のストレージを使わなくても、複数ホストからの情報をどこか一箇所のファイルにまとめておく、とかでも十分有用だと思うんですよね、fluentd。そういう緩い使い方も一言挟めたら良かったなあと思いました。
あとは資料やデモの準備に追われて時間配分など到底考えられず、何分で喋り終えたかも把握できていないスピーカー素人っぷりはかなり反省するところです。
まとめ
ウェブ上の情報の寄せ集めみたいなスライド・発表でしたが、ポジティブな感想をいただけたのは本当に良かったです。人と喋ることや人前で喋ることは結構ニガテなんですが、今後また機会があれば何かについて発表していければなと思いました。
懇親会でもいろいろなお話が聞けて楽しかったです。