へろへろもへじ

(ブログタイトル募集中)

【Fluentd】要素の順番を並び替えるFluentdのプラグイン(fluent-plugin-order)を公開しました

前回(【Fluentd】ネストされたJSONをフラットにするFluentdのプラグイン(fluent-plugin-json-nest2flat)を公開しました - f.retu.TechLog)に引き続き俺得なプラグインを公開しました。

fluent-plugin-order | RubyGems.org | your community gem host
fukuiretu/fluent-plugin-order · GitHub

プラグインの概要

例えば以下のような感じです。

■変換前
{"hoge":"hoge_val","foo":"foo_val","bar":"bar_val"}

■変換後
{"bar":"bar_val","hoge":"hoge_val","foo":"foo_val"}

なぜ作ったの?

Redshiftにログを流し込むシーンで、S3経由でCOPYコマンドを使ってロードする場合、テーブルのカラムの順序を一致させる必要があったからです。

COPYコマンドについて:COPY - Amazon Redshift

使い方

インストールはRubyGemsをご参照ください。
設定等はGitHubのREADME#Configurationをご参照ください。

所感など

  • 前回の経験もあって、実装->動作検証->Github,RubyGemsに公開まで大分スムーズにいけました。
  • Rubyに加えて、Gitのお勉強も頑張ります。
  • 不具合等見つけた方、初学者向けのRuby・Gitの良書 or 良サイトを教えていただける親切な方は、@f.retuまでご連絡頂けると幸いです。