世界の中心でELKを叫ぶ

# 2017/11/12 Jun Ohtaniさんからコメントいただきましたので追記しました。

アットファイブ稲吉です。

最近ちょっと気になっていたELK。（Elasticsearch、Logstash、Kibana）
Elasticsearch＋Logstash＋Kibanaと言えば、可視化ソリューションで有名ですが、そこは置いといて、個人的気になりポイントは語感です。
「エラスティックサーチログスタッシュキバナ」
言いきった感は「高濃度茶カテキン」、「ラクトバチルス・カゼイ・シロタ株」と互角と思います。
なんなら「エラスティックサーチ・ログスタッシュー・キバナー！！！！」ってドラゴンボール風に言いたいです。

今回、基本は「言いたいだけ」なんですが、せっかくなのでSlackのoffice Channel（弊社本社Channel）の投稿をエラスティックサーチログスタッシュキバナ！（＋クロモジ）でタグクラウドしてみます。

ELKレシピ

１．Elasticsearchをインストール

brew install elasticsearch

かなり説明を省きましたが、インストール先はMacBookです。最初は公開目的でAWSの無料枠上に作ってましたが、t2.microのメモリでELK動かず、断念。。。

２．logstashをインストール

brew install logstash

３．kibanaダウンロード

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-darwin-x86_64.tar.gz

ダウンロード後、解凍して、適当なディレクトリに配置。

４．logstashからElasticsearchにデータ投入
が、その前にSlackからデータを抜かないといけないので、Slackのchannels.historyというAPIでデータを抜きます。
で、以下logstashのコンフィグファイルを書いて、抜いたjsonデータをlogstashに食わせようとしましたが、channels.historyで返ってくるjsonデータを、codec=>jsonの形式で読み込めず。

slack_log.conf

input {
  file {
  path => "/Users/inayoshimasaki/slacklog/20170828.log"
  sincedb_path => "/tmp/cero_t.sincedb"
  start_position => "beginning"
  codec => json
  }
}

output {
  elasticsearch {
  index => "slack-%{+YYYY.MM}"
  }
}

さて、どうしようかと悩んでも仕方ないので、一手間加えて、channels.historyから取得したjsonデータからlogstashに渡すためだけのjsonに変換する、javascriptを用意。

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8" />
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.2.2/jquery.min.js"></script>
<script>
// ページ読み込み時にSlackからデータ取得
$(document).ready( function(){
  var url = "https://slack.com/api/channels.history?token=" +
  "xxxx-xxxxxxxxxxx-xxxxxxxxxxx-xxxxxxxxxxxx-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" + "&" +
  "channel=" +
  "XXXXXXXXX" + "&" +
  "count=1000&pretty=1";
  $.getJSON(url , function(data) {
    var len = data.messages.length;
    var tbodyObj = $("#datatbl_tbody");
    tbodyObj.find("*").remove();
    for(var i = len-1; i >= 0; i--) {
      var tr = $('<tr>')
      var outputtext = data.messages[i].text;
      if(data.messages[i].attachments != null){
        for(var j=0; j <data.messages[i].attachments.length; j++ ){
            attachtext = data.messages[i].attachments[j].text;
            outputtext = outputtext + attachtext;
        }
      }

      tr.append('<td>{"text":"' + $('<div />').text(outputtext).html() + '"}</td>');
      tbodyObj.append(tr);
    }
  });
});
</script>
</head>
<body>
  <table id="datatbl">
    <tbody id="datatbl_tbody">
    </tbody>
  </table>
</body>
</html>

で、こんな感じのデータにして