prometheusにてnodejsでパースしたnginxログ見てる図

prometheusにてnodejsでパースしたnginxログ見てる図

何が増えてるのかと見てみるとrobots.txtだった。なるほどそうだよなって感じ
でもそんなにクローラーはrobotsを尊重するのか？robotsのdisallowなんて任意…みたいなもんだしな

扱い方が分かってなくてぐちゃぐちゃだけど
grafanaで上手く扱えるかのテスト段階