ارسال لاگ‌های Nginx از Droplet به OpenSearch از طریق Fluent Bit

مقدمه
مدیریت لاگ‌های سرور وب برای حفظ عملکرد، عیب‌یابی مشکلات و درک رفتار کاربران ضروری است. Nginx لاگ‌های ارزشمندی از دسترسی و خطا تولید می‌کند. این آموزش شما را در فرآیند نصب Fluent Bit بر روی یک Droplet، پیکربندی آن برای جمع‌آوری لاگ‌های Nginx و ارسال آن‌ها به OpenSearch مدیریت‌شده‌ی DigitalOcean برای تجزیه و تحلیل راهنمایی خواهد کرد.
پیش‌نیازها
قبل از شروع، اطمینان حاصل کنید که موارد زیر را در اختیار دارید:
1. یک یا چند Droplet در DigitalOcean با نصب سرور وب Nginx.
2. یک کلاستر مدیریت‌شده OpenSearch.
مرحله ۱ – نصب Fluent Bit
Fluent Bit یک پردازشگر و ارسال‌کننده لاگ سبک و متن‌باز است. این ابزار برای جمع‌آوری داده و لاگ از منابع مختلف، پردازش یا تبدیل آن‌ها و ارسال به مقصدهای مختلف طراحی شده است.
Fluent Bit را می‌توان روی پلتفرم‌های مختلفی مانند Ubuntu، Debian، RedHat، و CentOS نصب کرد. برای نصب، دستور زیر را در ترمینال Droplet خود اجرا کنید:
مرحله ۲ – پیکربندی Fluent Bit برای ارسال لاگ‌ها به OpenSearch
به‌طور پیش‌فرض، فایل‌های پیکربندی Fluent Bit در مسیر /etc/fluent-bit/ قرار دارند. برای ارسال لاگ‌ها به OpenSearch، باید فایل fluent-bit.conf را تغییر دهید.
ورودی‌های Fluent Bit
Fluent Bit پلاگین‌های ورودی مختلفی را برای جمع‌آوری داده‌ها و رویدادها از منابع مختلف ارائه می‌دهد. برای جمع‌آوری لاگ از فایل‌های لاگ، از پلاگین tail استفاده خواهیم کرد. این پلاگین برای خواندن داده از فایل‌ها، مدیریت چرخش لاگ‌ها و ارسال ورودی‌های جدید طراحی شده است.
فایل fluent-bit.conf را به‌صورت زیر به‌روزرسانی کنید:
[INPUT]
    name tail
    Tag nginx.access
    path /var/log/nginx/access.log
    parser  nginx
[INPUT]
    Name  tail
    Tag   nginx.error
    path  /var/log/nginx/error.log
برای اطلاعات بیشتر در مورد ورودی‌های Fluent Bit، به این لینک مراجعه کنید:
Fluent Bit یک پارسر پیش‌فرض برای لاگ‌های دسترسی Nginx ارائه می‌دهد.
خروجی‌های Fluent Bit
مانند پلاگین‌های ورودی، Fluent Bit پلاگین خروجی نیز دارد که لاگ‌های جمع‌آوری‌شده را به مقصدهای مختلف ارسال می‌کند. از آنجا که ما لاگ‌ها را به OpenSearch ارسال می‌کنیم، از پلاگین خروجی opensearch استفاده خواهیم کرد.
[OUTPUT]
    Name  opensearch
    Match nginx.access
    Host <OpenSearch_Host>
    port 25060
    HTTP_User doadmin
    HTTP_Passwd <OpenSearch_Password>
    Index fbit-nginx-access
    tls On
    Suppress_Type_Name On
[OUTPUT]
    Name  opensearch
    Match nginx.error
    Host <OpenSearch_Host>
    port 25060
    HTTP_User doadmin
    HTTP_Passwd <OpenSearch_Password>
    Index fbit-nginx-error
    tls On
    Suppress_Type_Name On
مقدار <OpenSearch_Host> را با نام میزبان سرور OpenSearch خود و مقدار <OpenSearch_Password> را با رمز عبور OpenSearch جایگزین کنید.
پس از انجام تنظیمات، سرویس Fluent Bit را با اجرای دستورات زیر راه‌اندازی کنید:
systemctl enable fluent-bit.service
systemctl start fluent-bit.service
systemctl status fluent-bit.service
عیب‌یابی
بررسی اتصال
برای بررسی اتصال Logstash به OpenSearch، دستور زیر را اجرا کنید:
curl -u your_username:your_password -X GET https://your-opensearch-server:25060/_cat/indices?v
your-OpenSearch-server را با نام میزبان OpenSearch و your_username و your_password را با اطلاعات ورود خود جایگزین کنید.
بررسی ورود داده‌ها
برای اطمینان از این‌که داده‌ها به‌درستی در OpenSearch ایندکس شده‌اند، دستور زیر را اجرا کنید:
curl -u your_username:your_password -X GET http://your-opensearch-server:25060/<your-index-name>/_search?pretty”
your-OpenSearch-server، your_username، your_password و your-index-name را با مقادیر مربوطه جایگزین کنید.
پیکربندی فایروال و شبکه
اطمینان حاصل کنید که قوانین فایروال و تنظیمات شبکه اجازه ترافیک بین Logstash و OpenSearch روی پورت موردنظر را می‌دهند.
بررسی لاگ‌های Fluent Bit
به‌طور پیش‌فرض، لاگ‌ها در سیستم لاگ نوشته می‌شوند. برای مشاهده آن‌ها دستور زیر را اجرا کنید:
sudo journalctl -u fluent-bit
اعتبارسنجی پیکربندی
برای اطمینان از صحت نحوی فایل‌های پیکربندی، دستور زیر را اجرا کنید:
/opt/fluent-bit/bin/fluent-bit -c /etc/fluent-bit/fluent-bit.conf –dry-run
نتیجه‌گیری
در این آموزش، مراحل نصب و پیکربندی Fluent Bit برای جمع‌آوری لاگ‌های Nginx و ارسال آن‌ها به OpenSearch مدیریت‌شده‌ی DigitalOcean را بررسی کردیم. با انجام این مراحل، اکنون یک سیستم مدیریت لاگ کارآمد برای نظارت و تحلیل لاگ‌های سرور وب خود دارید.
• نصب: Fluent Bit را با استفاده از یک دستور ساده curl بر روی Droplet نصب کردیم.
• پیکربندی: فایل fluent-bit.conf را برای جمع‌آوری لاگ‌های دسترسی و خطای Nginx و ارسال آن‌ها به OpenSearch به‌روزرسانی کردیم.
• مدیریت سرویس: سرویس Fluent Bit را فعال و راه‌اندازی کردیم تا به‌درستی اجرا شود.
• عیب‌یابی: مراحل مهم برای بررسی اتصال، ورود داده‌ها و لاگ‌های Fluent Bit را مرور کردیم.
با پیکربندی موفق Fluent Bit، می‌توانید از قابلیت‌های جستجو و مصورسازی قدرتمند OpenSearch برای کسب بینش از لاگ‌های Nginx خود بهره ببرید.
برای امتیاز به این نوشته کلیک کنید!
[کل: 0 میانگین: 0]

نظرات کاربران

دیدگاهی بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *