fluent-bit - Linux、BSD、OSXおよびWindows用の高速で軽量なログおよびメトリックプロセッサ

(Fast and Lightweight Logs and Metrics processor for Linux, BSD, OSX and Windows)

Created at: 2015-01-28 04:41:52
Language: C
License: Apache-2.0

ロゴ

CI ステータス

CI ワークフロー 地位
単体テスト (マスター) CI/単体テスト
統合テスト (マスター) CI/統合テスト
最新リリース CI/ビルド

プロジェクト概要

Fluent Bitは、Linux、Windows、Embedded Linux、MacOS、BSDファミリのオペレーティングシステム用の高速ログプロセッサおよびフォワーダです。これは、卒業した流暢なエコシステムとCNCFサブプロジェクトの一部です。

Fluent Bitを使用すると、さまざまなソースからログイベントやメトリックを収集し、処理して、Fluentd、Elasticsearch、Splunk、DataDog、Kafka、New Relic、Azureサービス、AWSサービス、Googleサービス、NATS、InfluxDB、またはカスタムHTTPエンドポイントなどのさまざまなバックエンドに配信できます。

Fluent Bitには、SQLクエリを使用したデータ操作と分析という完全なSQLストリーム処理機能が付属しています。

Fluent Bit は x86_64、x86、arm32v7、arm64v8 アーキテクチャで動作します。

顔立ち

  • 高性能
  • データ解析
  • 信頼性とデータ整合性
  • ネットワーキング
    • セキュリティ: 組み込みの TLS/SSL サポート
    • 非同期 I/O
  • プラグ可能なアーキテクチャと拡張性:入力、フィルタ、出力
  • 監視: 内部メトリックを HTTP 経由で JSON およびプロメテウス形式で公開する
  • ストリーム処理: 単純な SQL クエリを使用してデータの選択と変換を実行する
    • クエリ結果を使用した新しいデータ ストリームの作成
    • 集計ウィンドウ
    • データ分析と予測: 時系列予測
  • ポータブル:Linux、MacOS、Windows、BSDシステムで動作

生産における流暢なビット

流暢なビットは、運用環境で広く使用されています。2020年、Fluent Bitは2億2,000万回以上展開され、1日に100万回以上展開され続けています。以下は、Fluent Bitを本番環境で頻繁に使用しているユーザーのプレビューです。

あなたの会社がFluent Bitを使用していて、リストにない場合は、Githubの問題を開いてください。

ユーザー

ドキュメンテーション

インストール構成、展開、および開発のトピックに関する公式プロジェクトドキュメントは、次の場所にあります。

クイックスタート

ゼロから構築

ソースからFluent Bitを構築することを目指す場合は、次のコマンドから始めることができます。

cd build
cmake ..
make
bin/fluent-bit -i cpu -o stdout -f 1

より詳細な情報が必要な場合は、ビルドとインストールのセクションを参照してください。

必要条件

  • CMake >= 3.0
  • フレックス
  • バイソン
  • YAMLライブラリ/ヘッダ
  • OpenSSL ライブラリ/ヘッダー

リナックスパッケージ

私たちは、最も一般的なLinuxディストリビューション用のパッケージを提供しています:

Linux / Dockerコンテナイメージ

当社のLinuxコンテナイメージは最も一般的なデプロイメントモデルであり、毎日何千もの新規インストールが行われ、利用可能なイメージとタグの詳細については、こちらをご覧ください

ウィンドウズパッケージ

流暢なビットは、Windows環境で完全にサポートされている、これらの手順で開始してください。

プラグイン:入力、フィルタ、出力

Fluent Bitは、さまざまなプラグインがデータパイプラインで大きな役割を果たすプラグ可能なアーキテクチャに基づいています。

入力プラグイン

名前 タイトル 説明: __________
収集済み 収集済み 収集からのUDPパケットをリッスンします。
ティッカー CPU 使用率 システムの合計CPU使用率を測定します。
ディスク ディスク使用量 ディスク I/O を測定します。
ダミー ダミー ダミーイベントを生成します。
エグゼクティブ エグゼクティブ 外部プログラムを実行し、イベントログを収集します。
フォワード フォワード 流暢なフォワードプロトコル。
ファイルの最初の部分を読み取ります。
健康 健康 TCP サービスの正常性を確認します。
キロプスグ カーネルログバッファ Linux カーネルのログバッファメッセージを読み込みます。
メモリ メモリ使用量 システム上で使用されているメモリの合計量を測定します。
mqtt ティッカー MQTT サーバーを起動し、パブリッシュ・メッセージを受信します。
ネティフ ネットワークトラフィック ネットワークトラフィックを測定します。
処理プロセス 過程 プロセスの正常性を確認します。
ランダム ランダム ランダムサンプルを生成します。
シリアル シリアルインタフェース シリアルインタフェースからデータ情報を読み取ります。
標準入力 標準入力 標準入力からデータを読み取ります。
システムログ システムログ Unix ソケットから syslog メッセージを読み込みます。
システムテッド システムド システム/ジャーナルからログを読み取ります。
末尾のログ ファイル。
ティッカー ティッカー TCP 経由で JSON メッセージをリッスンします。
熱の 熱の システム温度を測定します。

フィルタープラグイン

名前 タイトル 説明: __________
ああ AWS メタデータ AWS メタデータでログを強化します。
予想する 予想する レコードが構造内の特定の条件に一致することを検証します。
グレップ グロップ パターンによって特定のレコードを一致または除外します。
kubernetes Kubernetes Kubernetes メタデータでログを強化します。
.lua ルア Lua スクリプトを使用してレコードをフィルター処理します。
パーサー パーサー レコードを解析します。
record_modifier レコード修飾子 レコードを変更します。
rewrite_tag タグの書き換え 新しいタグでレコードを再出力します。
標準出力 標準出力 レコードを標準出力インターフェースに印刷します。
スロットル スロットル イベントフローにレート制限を適用します。
指定したキーの下にレコードを入れ子にする
修飾する 修飾する 記録への変更。

出力プラグイン

名前 タイトル 説明: __________
紺碧 Azure Log Analytics Azure Log Analytics へのレコードの取り込み
ビッグクエリ ビッグクエリ レコードを Google BigQuery に取り込む
カウンター レコードのカウント 単純なレコード カウンター。
データドッグ データドッグ Datadog にログインします。
es Elasticsearch レコードを Elasticsearch サーバーにフラッシュします。
ファイル ファイル レコードをファイルにフラッシュします。
フローカウンタ フローカウンター レコードをカウントします。
フォワード フォワード 流暢なフォワードプロトコル。
ゲルフ ゲルフ レコードをグレイログにフラッシュする
ティッカー ティッカー レコードを HTTP エンドポイントにフラッシュします。
influxdb インフラックスDB レコードを InfluxDB 時系列データベースにフラッシュします。
カフカ アパッチ・カフカ レコードを Apache Kafka にフラッシュする
カフカレスト カフカレストプロキシ レコードを Kafka REST プロキシ サーバーにフラッシュします。
loki Loki Flush records to Loki server.
nats NATS Flush records to a NATS server.
null NULL Throw away events.
s3 S3 Flush records to s3
stackdriver Google Stackdriver Logging Flush records to Google Stackdriver Logging service.
stdout Standard Output Flush records to the standard output.
splunk Splunk Flush records to a Splunk Enterprise service
tcp TCP & TLS Flush records to a TCP server.
td Treasure Data Flush records to the Treasure Data cloud service for analytics.

貢献

Fluent Bitはオープンなプロジェクトであり、いくつかの個人や企業がコーディング、文書化、テスト、他の人のイベントでの言葉の普及など、さまざまな形で貢献しています。貢献の機会についてもっと知りたい場合は、コミュニティチャンネルを通じてご連絡ください。

バグ修正、新機能、または一般的なコーディングでFluent bitに貢献することに興味がある場合は、コード貢献ガイドラインを参照してください。また、Fluent Bitに貢献するための初心者ガイドも参照できます 詳細はこちら.

コミュニティと連絡先

Slack チャンネル、メーリングリスト、IRC にお気軽にご参加ください。

ライセンス

このプログラムは、Apacheライセンスv2.0の条件に基づいています。

著者

Fluent Bitは、すべての主要なクラウドプロバイダーを含む、クラウドネイティブコミュニティのいくつかの企業によって後援され、維持されています。

貢献者のリストはこちらからご覧いただけます