{"id":7136,"date":"2026-10-05T17:00:42","date_gmt":"2026-10-05T13:30:42","guid":{"rendered":"https:\/\/parmin.cloud\/blog\/?p=7136"},"modified":"2026-10-05T17:00:42","modified_gmt":"2026-10-05T13:30:42","slug":"%d9%85%d8%a7%d9%86%db%8c%d8%aa%d9%88%d8%b1%db%8c%d9%86%da%af-%d8%a7%d8%b3%d8%aa%d9%81%d8%a7%d8%af%d9%87-%d8%a7%d8%b2-gpu-%d8%af%d8%b1-%d8%b2%d9%85%d8%a7%d9%86-%d9%88%d8%a7%d9%82%d8%b9%db%8c-%d8%b1","status":"publish","type":"post","link":"https:\/\/parmin.cloud\/blog\/%d9%85%d8%a7%d9%86%db%8c%d8%aa%d9%88%d8%b1%db%8c%d9%86%da%af-%d8%a7%d8%b3%d8%aa%d9%81%d8%a7%d8%af%d9%87-%d8%a7%d8%b2-gpu-%d8%af%d8%b1-%d8%b2%d9%85%d8%a7%d9%86-%d9%88%d8%a7%d9%82%d8%b9%db%8c-%d8%b1\/","title":{"rendered":"\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc: \u0631\u0627\u0647\u0646\u0645\u0627\u06cc \u06a9\u0627\u0645\u0644"},"content":{"rendered":"\n<h2 class=\"wp-block-heading\">\u0645\u0642\u062f\u0645\u0647<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc\u0646 \u0631\u0627\u0647 \u0628\u0631\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0631\u0648\u06cc \u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0627\u062c\u0631\u0627\u06cc \u062f\u0633\u062a\u0648\u0631 <code>nvidia-smi --loop=1<\/code> \u0627\u0633\u062a \u06a9\u0647 \u0622\u0645\u0627\u0631 GPU \u0631\u0627 \u0647\u0631 \u062b\u0627\u0646\u06cc\u0647 \u0631\u0641\u0631\u0634 \u0645\u06cc\u200c\u06a9\u0646\u062f\u061b \u0634\u0627\u0645\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647\u060c \u0645\u0635\u0631\u0641 VRAM\u060c \u062f\u0645\u0627 \u0648 \u0645\u0635\u0631\u0641 \u062a\u0648\u0627\u0646.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0628\u0627 nvidia-smi \u0634\u0631\u0648\u0639 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0633\u067e\u0633 \u0628\u0647 \u0646\u0645\u0627\u06cc\u200c\u0647\u0627\u06cc \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647\u060c \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631 \u0648 \u0647\u0634\u062f\u0627\u0631\u0647\u0627 \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0647\u0627\u06cc \u0637\u0648\u0644\u0627\u0646\u06cc\u200c\u0645\u062f\u062a \u06af\u0633\u062a\u0631\u0634 \u0645\u06cc\u200c\u06cc\u0627\u0628\u062f. \u0627\u06cc\u0646 \u0631\u0627\u0647\u0646\u0645\u0627 \u06af\u0631\u062f\u0634 \u06a9\u0627\u0631\u0647\u0627\u06cc \u0633\u0637\u062d \u062f\u0633\u062a\u0648\u0631 \u0631\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0631\u0648\u06cc \u0627\u0648\u0628\u0648\u0646\u062a\u0648\u060c \u0633\u0631\u0648\u0631\u0647\u0627\u06cc GPU \u067e\u0627\u0631\u0645\u06cc\u0646 \u06a9\u0644\u0648\u062f\u060c \u0647\u0627\u0633\u062a\u200c\u0647\u0627\u06cc Docker \u0648 \u06a9\u0644\u0627\u0633\u062a\u0631\u0647\u0627\u06cc Kubernetes \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06af\u0631 \u062f\u0631 \u062d\u0627\u0644 \u0633\u0627\u062e\u062a \u06cc\u0627 \u0628\u0647\u0631\u0647\u200c\u0628\u0631\u062f\u0627\u0631\u06cc \u0627\u0632 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0647\u0633\u062a\u06cc\u062f\u060c \u0627\u06cc\u0646 \u0631\u0627\u0647\u0646\u0645\u0627 \u0631\u0627 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 \u0645\u0642\u0627\u0644\u0647 \u00ab\u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0645\u062d\u06cc\u0637 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0631\u0648\u06cc \u0627\u0648\u0628\u0648\u0646\u062a\u0648\u00bb \u0648 \u0633\u0631\u0648\u0631\u0647\u0627\u06cc GPU \u067e\u0627\u0631\u0645\u06cc\u0646 \u06a9\u0644\u0648\u062f \u0645\u0637\u0627\u0644\u0639\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0646\u06a9\u0627\u062a \u06a9\u0644\u06cc\u062f\u06cc<\/h3>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0628\u0631\u0627\u06cc \u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc\u0646 \u0628\u0631\u0631\u0633\u06cc \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc\u0650 GPU \u062f\u0631 \u0633\u0637\u062d \u0647\u0627\u0633\u062a \u0631\u0648\u06cc \u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0627\u0632 <code>nvidia-smi --loop=1<\/code> \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/li>\n\n\n\n<li>\u0628\u0631\u0627\u06cc \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u0627\u06cc\u0646\u06a9\u0647 \u06a9\u062f\u0627\u0645 PID \u062f\u0631 \u062d\u0627\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647\u200c\u0647\u0627\u06cc GPU \u0648 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 GPU \u0627\u0633\u062a\u060c \u0627\u0632 <code>nvidia-smi pmon -s um<\/code> \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/li>\n\n\n\n<li>\u0628\u0631\u0627\u06cc \u062f\u0627\u0634\u0628\u0648\u0631\u062f\u0647\u0627\u06cc \u062a\u0631\u0645\u06cc\u0646\u0627\u0644\u06cc\u060c \u0627\u0632 nvtop \u0628\u0631\u0627\u06cc \u0628\u0631\u0631\u0633\u06cc \u062a\u0639\u0627\u0645\u0644\u06cc \u0639\u0645\u06cc\u0642 \u0648 \u0627\u0632 gpustat \u0628\u0631\u0627\u06cc Snapshot\u0647\u0627\u06cc \u0633\u0628\u06a9 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/li>\n\n\n\n<li>\u062f\u0631 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u0647\u0627 \u0648 Kubernetes\u060c \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627 \u0631\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc NVIDIA Runtime \u0648 DCGM Exporter \u062f\u0631 \u0645\u0639\u0631\u0636 \u0646\u0645\u0627\u06cc\u0634 \u0642\u0631\u0627\u0631 \u062f\u0647\u06cc\u062f.<\/li>\n\n\n\n<li>\u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc \u062f\u0627\u0626\u0645\u06cc \u062c\u0627\u06cc \u062e\u0648\u062f \u0631\u0627 \u062f\u0631 \u067e\u0644\u062a\u0641\u0631\u0645\u200c\u0647\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0645\u0627\u0646\u0646\u062f Datadog Agent \u06cc\u0627 \u0642\u0627\u0644\u0628\u200c\u0647\u0627\u06cc Zabbix \u062f\u0627\u0631\u062f.<\/li>\n\n\n\n<li>\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647 GPU \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647 GPU \u062f\u0648 \u0633\u06cc\u06af\u0646\u0627\u0644 \u062c\u062f\u0627 \u0647\u0633\u062a\u0646\u062f\u061b \u062d\u0627\u0641\u0638\u0647 \u0628\u0627\u0644\u0627 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 \u0647\u0633\u062a\u0647 \u067e\u0627\u06cc\u06cc\u0646\u060c \u062f\u0631 \u06a9\u0627\u0631\u0647\u0627\u06cc \u0645\u062a\u0648\u0642\u0641\u200c\u0634\u062f\u0647 \u0631\u0648\u06cc \u0648\u0631\u0648\u062f\u06cc (Input-Stalled) \u0631\u0627\u06cc\u062c \u0627\u0633\u062a.<\/li>\n\n\n\n<li>\u0631\u0648\u06cc \u0648\u06cc\u0646\u062f\u0648\u0632\u060c \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU (Unified GPU Usage Monitoring) \u0641\u0639\u0627\u0644\u06cc\u062a \u0645\u0648\u062a\u0648\u0631\u0647\u0627 \u0631\u0627 \u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc \u06a9\u0631\u062f\u0647 \u0648 \u0622\u0646 \u0631\u0627 \u062f\u0631 Task Manager \u0648 WMI \u0646\u0645\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/li>\n<\/ul>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0648\u0627\u0642\u0639\u0627\u064b \u0686\u0647 \u0645\u0639\u0646\u0627\u06cc\u06cc \u062f\u0627\u0631\u0646\u062f<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0628\u0647 \u0634\u0645\u0627 \u0645\u06cc\u200c\u06af\u0648\u06cc\u0646\u062f \u06a9\u0647 \u06a9\u0627\u0631 \u0634\u0645\u0627 \u0645\u062d\u062f\u0648\u062f \u0628\u0647 \u0645\u062d\u0627\u0633\u0628\u0627\u062a (Compute-Bound) \u0627\u0633\u062a\u060c \u0645\u062d\u062f\u0648\u062f \u0628\u0647 \u062d\u0627\u0641\u0638\u0647 (Memory-Bound)\u060c \u0645\u062d\u062f\u0648\u062f \u0628\u0647 \u0648\u0631\u0648\u062f\u06cc (Input-Bound) \u06cc\u0627 \u0628\u06cc\u06a9\u0627\u0631\u0650 \u0628\u06cc\u0646 \u0628\u0686\u200c\u0647\u0627. \u06a9\u0627\u0631 \u0631\u0627 \u0628\u0627 \u0631\u062f\u06cc\u0627\u0628\u06cc \u0647\u0645\u200c\u0632\u0645\u0627\u0646\u0650 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647\u060c \u0645\u0635\u0631\u0641 \u062d\u0627\u0641\u0638\u0647\u060c \u0628\u0627\u0631 \u06a9\u0646\u062a\u0631\u0644\u0631 \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u0645\u0627 \u0648 \u0645\u0635\u0631\u0641 \u062a\u0648\u0627\u0646 \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f\u061b \u0628\u0647\u200c\u062c\u0627\u06cc \u0646\u06af\u0627\u0647\u200c\u06a9\u0631\u062f\u0646 \u0628\u0647 \u06cc\u06a9 \u0645\u062a\u0631\u06cc\u06a9 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u0627\u06cc\u0632\u0648\u0644\u0647.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647 GPU \u062f\u0631 \u0628\u0631\u0627\u0628\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647 GPU\u060c \u062f\u0631\u0635\u062f\u0650 \u0632\u0645\u0627\u0646\u06cc \u0627\u0633\u062a \u06a9\u0647 Kernel\u0647\u0627 \u062f\u0631 \u067e\u0646\u062c\u0631\u0647 \u0646\u0645\u0648\u0646\u0647\u200c\u0628\u0631\u062f\u0627\u0631\u06cc (Sampling Window) \u0628\u0647\u200c\u0637\u0648\u0631 \u0641\u0639\u0627\u0644 \u0631\u0648\u06cc SM\u0647\u0627 \u062f\u0631 \u062d\u0627\u0644 \u0627\u062c\u0631\u0627 \u0647\u0633\u062a\u0646\u062f. \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647 GPU \u062f\u0631 nvidia-smi \u0645\u0639\u0645\u0648\u0644\u0627\u064b \u0628\u0647 \u0641\u0639\u0627\u0644\u06cc\u062a \u06a9\u0646\u062a\u0631\u0644\u0631 \u062d\u0627\u0641\u0638\u0647 \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 \u0645\u0635\u0631\u0641 \u062d\u0627\u0641\u0638\u0647 (Memory Usage) \u0645\u0642\u062f\u0627\u0631 VRAM \u062a\u062e\u0635\u06cc\u0635\u200c\u06cc\u0627\u0641\u062a\u0647 \u0628\u0647 \u0645\u0628\u06cc\u200c\u0628\u0627\u06cc\u062a \u0627\u0633\u062a.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u067e\u0627\u06cc\u06cc\u0646 \u0627\u0632 \u0647\u0633\u062a\u0647 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 VRAM \u062a\u062e\u0635\u06cc\u0635\u200c\u06cc\u0627\u0641\u062a\u0647 \u0628\u0627\u0644\u0627 \u0627\u063a\u0644\u0628 \u06cc\u0639\u0646\u06cc \u0645\u062f\u0644 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u0633\u0627\u06a9\u0646 \u0627\u0633\u062a \u0627\u0645\u0627 \u0645\u0646\u062a\u0638\u0631 \u062f\u0627\u062f\u0647 \u06cc\u0627 \u0647\u0645\u06af\u0627\u0645\u200c\u0633\u0627\u0632\u06cc (Synchronization) \u0645\u0627\u0646\u062f\u0647. \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0628\u0627\u0644\u0627 \u0627\u0632 \u0647\u0633\u062a\u0647 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 \u0641\u0639\u0627\u0644\u06cc\u062a \u067e\u0627\u06cc\u06cc\u0646 \u06a9\u0646\u062a\u0631\u0644\u0631 \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u0631 Kernel\u0647\u0627\u06cc \u0633\u0646\u06af\u06cc\u0646 \u0627\u0632 \u0646\u0638\u0631 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u0631\u0627\u06cc\u062c\u200c\u062a\u0631 \u0627\u0633\u062a.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 SM\u060c \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 \u0648 \u0645\u0635\u0631\u0641 \u062a\u0648\u0627\u0646<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 SM \u0628\u0647 \u0634\u0645\u0627 \u0645\u06cc\u200c\u06af\u0648\u06cc\u062f \u0647\u0633\u062a\u0647\u200c\u0647\u0627\u06cc CUDA \u0645\u0634\u063a\u0648\u0644\u200c\u0627\u0646\u062f \u06cc\u0627 \u0646\u0647\u061b \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0627\u0646\u0627\u0644\u200c\u0647\u0627\u06cc \u062d\u0627\u0641\u0638\u0647 \u0686\u0642\u062f\u0631 \u0633\u062e\u062a \u062f\u0631 \u062d\u0627\u0644 \u06a9\u0627\u0631\u0646\u062f \u0648 \u0645\u0635\u0631\u0641 \u062a\u0648\u0627\u0646\u060c \u0628\u0627\u0631 \u0627\u0644\u06a9\u062a\u0631\u06cc\u06a9\u06cc \u0631\u0627 \u0646\u0633\u0628\u062a \u0628\u0647 \u0633\u0642\u0641 \u06a9\u0627\u0631\u062a \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f. \u0627\u06cc\u0646 \u0633\u0647 \u0645\u0648\u0631\u062f \u062f\u0631 \u06a9\u0646\u0627\u0631 \u0647\u0645 \u062a\u0648\u0636\u06cc\u062d \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u06a9\u0647 \u0686\u0631\u0627 \u062f\u0648 \u0628\u0627\u0631\u0650 \u06a9\u0627\u0631\u06cc \u0628\u0627 \u062f\u0631\u0635\u062f\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u0634\u0627\u0628\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u0639\u0645\u0644\u06a9\u0631\u062f \u0645\u062a\u0641\u0627\u0648\u062a\u06cc \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u0646\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0647\u0646\u06af\u0627\u0645 \u062a\u0646\u0638\u06cc\u0645 \u0627\u0646\u062f\u0627\u0632\u0647 \u0628\u0686 \u0648 \u062a\u0639\u062f\u0627\u062f Worker\u0647\u0627\u06cc DataLoader\u060c \u0627\u0632 power.draw \u0648 power.limit \u0648 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062f\u0631 \u0647\u0645\u0627\u0646 \u067e\u0646\u062c\u0631\u0647 \u0646\u0645\u0648\u0646\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0627\u06af\u0631 \u062a\u0648\u0627\u0646 \u062f\u0631 \u0633\u0642\u0641 \u0642\u0631\u0627\u0631 \u062f\u0627\u0631\u062f while \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0628\u0627\u0644\u0627\u0633\u062a\u060c Throttling \u06a9\u0644\u0627\u06a9 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u06af\u0644\u0648\u06af\u0627\u0647 \u0628\u0639\u062f\u06cc \u0628\u0631\u0627\u06cc \u0628\u0631\u0631\u0633\u06cc \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0686\u0631\u0627 \u0627\u06cc\u0646 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627 \u0628\u0631\u0627\u06cc \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0645\u0647\u0645 \u0647\u0633\u062a\u0646\u062f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06cc\u0646 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627 \u0645\u0647\u0645\u200c\u0627\u0646\u062f\u061b \u0686\u0648\u0646 \u062a\u0648\u0627\u0646 \u0639\u0628\u0648\u0631\u06cc (Throughput) \u0622\u0645\u0648\u0632\u0634 \u062a\u0648\u0633\u0637 \u06a9\u0646\u062f\u062a\u0631\u06cc\u0646 \u0645\u0631\u062d\u0644\u0647 \u062e\u0637 \u0644\u0648\u0644\u0647 \u0645\u062d\u062f\u0648\u062f \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06af\u0631 \u0647\u0633\u062a\u0647\u200c\u0647\u0627\u06cc GPU \u0628\u06cc\u06a9\u0627\u0631 \u0628\u0627\u0634\u0646\u062f \u062f\u0631\u062d\u0627\u0644\u06cc\u200c\u06a9\u0647 CPU \u06cc\u0627 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0634\u0628\u0627\u0639 \u0634\u062f\u0647\u060c \u0627\u0636\u0627\u0641\u0647\u200c\u06a9\u0631\u062f\u0646 \u06cc\u06a9 GPU \u062f\u06cc\u06af\u0631 \u062a\u0648\u0627\u0646 \u0639\u0628\u0648\u0631\u06cc \u0631\u0627 \u0627\u0635\u0644\u0627\u062d \u0646\u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u062f\u0627\u0634\u062a\u0646 \u06cc\u06a9 \u062e\u0637 \u067e\u0627\u06cc\u0647 \u0639\u0645\u0644\u06cc \u0627\u0632 \u0645\u062d\u06cc\u0637 \u0642\u0628\u0644 \u0627\u0632 \u062a\u0646\u0638\u06cc\u0645\u0627\u062a\u060c \u0645\u0642\u0627\u0644\u0647 \u00ab\u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0645\u062d\u06cc\u0637 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0631\u0648\u06cc \u0627\u0648\u0628\u0648\u0646\u062a\u0648\u00bb \u0631\u0627 \u062f\u0646\u0628\u0627\u0644 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u06af\u0644\u0648\u06af\u0627\u0647\u200c\u0647\u0627\u06cc GPU \u0648 \u062e\u0637\u0627\u0647\u0627\u06cc Out of Memory<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u06cc\u0634\u062a\u0631 \u062d\u0648\u0627\u062f\u062b GPU \u062f\u0631 \u062e\u0637\u0648\u0637 \u0644\u0648\u0644\u0647 ML \u0627\u0632 \u06af\u0644\u0648\u06af\u0627\u0647\u200c\u0647\u0627\u06cc \u0648\u0631\u0648\u062f\u06cc \u06cc\u0627 \u0641\u0634\u0627\u0631 VRAM \u0645\u06cc\u200c\u0622\u06cc\u0646\u062f. \u0647\u0631 \u062f\u0648 \u0631\u0627 \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u062a\u0634\u062e\u06cc\u0635 \u062f\u0647\u06cc\u062f\u061b \u0628\u0627 \u0646\u0645\u0648\u0646\u0647\u200c\u0628\u0631\u062f\u0627\u0631\u06cc \u0627\u0632 GPU\u060c CPU \u0648 \u062d\u0627\u0641\u0638\u0647 \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647 \u062f\u0631\u062d\u0627\u0644\u06cc\u200c\u06a9\u0647 \u06cc\u06a9 \u06a9\u0627\u0631 \u0622\u0645\u0648\u0632\u0634 \u0648\u0627\u0642\u0639\u06cc \u062f\u0631 \u062d\u0627\u0644 \u0627\u062c\u0631\u0627\u0633\u062a.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06af\u0644\u0648\u06af\u0627\u0647\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u200c\u067e\u0631\u062f\u0627\u0632\u0634 CPU<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06af\u0631 \u067e\u06cc\u0634\u200c\u067e\u0631\u062f\u0627\u0632\u0634 CPU \u06af\u0644\u0648\u06af\u0627\u0647 \u0628\u0627\u0634\u062f\u060c \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0628\u06cc\u0646 \u0645\u06cc\u0646\u06cc\u200c\u0628\u0686\u200c\u0647\u0627 \u0627\u0641\u062a \u0645\u06cc\u200c\u06a9\u0646\u062f\u061b \u062d\u062a\u06cc \u0648\u0642\u062a\u06cc VRAM \u0647\u0645\u0686\u0646\u0627\u0646 \u062a\u062e\u0635\u06cc\u0635\u200c\u06cc\u0627\u0641\u062a\u0647 \u0645\u0627\u0646\u062f\u0647. \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648 \u0632\u0645\u0627\u0646\u06cc \u0638\u0627\u0647\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f \u06a9\u0647 \u062f\u06cc\u06a9\u0648\u062f \u062a\u0635\u0648\u06cc\u0631\u060c Augmentation \u06cc\u0627 Tokenization \u06a9\u0646\u062f\u062a\u0631 \u0627\u0632 \u0627\u062c\u0631\u0627\u06cc Kernel \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0641\u0634\u0627\u0631 \u0647\u0627\u0633\u062a \u0631\u0627 \u062f\u0631\u062d\u0627\u0644\u06cc\u200c\u06a9\u0647 \u062d\u0644\u0642\u0647 \u0622\u0645\u0648\u0632\u0634 \u0634\u0645\u0627 \u0627\u062c\u0631\u0627 \u0645\u06cc\u200c\u0634\u0648\u062f\u060c \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>top\nvmstat 1<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----\nr  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st\n2  0      0 824320  74384 901212    0    0     6    10  420  980 18  4 76  2  0<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062f\u0631 vmstat\u060c r \u0648 wa \u0648 bi \u0648 us \u0628\u0647\u200c\u0639\u0644\u0627\u0648\u0647 sy \u0631\u0627 \u0628\u0627 \u0647\u0645 \u062a\u0645\u0627\u0634\u0627 \u06a9\u0646\u06cc\u062f. r \u062a\u0639\u062f\u0627\u062f \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627\u06cc \u0642\u0627\u0628\u0644\u200c\u0627\u062c\u0631\u0627 (Runnable) \u0627\u0633\u062a \u0648 \u0627\u06af\u0631 \u0628\u0627\u0644\u0627\u062a\u0631 \u0627\u0632 \u062a\u0639\u062f\u0627\u062f \u0647\u0633\u062a\u0647\u200c\u0647\u0627\u06cc CPU \u0634\u0645\u0627 \u0628\u0645\u0627\u0646\u062f\u060c \u06cc\u0639\u0646\u06cc CPU \u0627\u0634\u0628\u0627\u0639 \u0634\u062f\u0647. wa \u0632\u0645\u0627\u0646 CPU \u0635\u0631\u0641\u0650 \u0627\u0646\u062a\u0638\u0627\u0631 \u0631\u0648\u06cc I\/O \u0627\u0633\u062a \u0648 \u0645\u0642\u0627\u062f\u06cc\u0631 \u067e\u0627\u06cc\u062f\u0627\u0631 \u0628\u0627\u0644\u0627\u06cc \u06f1\u06f0 \u062a\u0627 \u06f1\u06f5 \u062f\u0631 \u062d\u06cc\u0646 \u0622\u0645\u0648\u0632\u0634 \u0627\u063a\u0644\u0628 \u06cc\u0639\u0646\u06cc Worker\u0647\u0627\u06cc DataLoader \u0631\u0648\u06cc \u062e\u0648\u0627\u0646\u062f\u0646 \u0627\u0632 \u062f\u06cc\u0633\u06a9 \u0645\u0633\u062f\u0648\u062f \u0634\u062f\u0647\u200c\u0627\u0646\u062f. bi \u0628\u0644\u0648\u06a9\u200c\u0647\u0627\u06cc \u062f\u0631\u06cc\u0627\u0641\u062a\u06cc \u0627\u0632 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0633\u062a \u0648 bi \u0628\u0627\u0644\u0627 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 wa \u0628\u0627\u0644\u0627 \u0628\u0647 \u06af\u0644\u0648\u06af\u0627\u0647 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc (\u0646\u0647 \u0645\u062d\u0627\u0633\u0628\u0627\u062a) \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f. \u0645\u062c\u0645\u0648\u0639 us + sy \u06a9\u0644 \u0632\u0645\u0627\u0646 \u0641\u0639\u0627\u0644 CPU \u0627\u0633\u062a \u0648 \u0627\u06af\u0631 \u0628\u0627\u0644\u0627 \u0628\u0627\u0634\u062f while \u0645\u0642\u062f\u0627\u0631 GPU-Util \u067e\u0627\u06cc\u06cc\u0646 \u0627\u0633\u062a\u060c \u06cc\u0639\u0646\u06cc \u067e\u06cc\u0634\u200c\u067e\u0631\u062f\u0627\u0632\u0634 \u0627\u0632 GPU \u062c\u0644\u0648 \u0632\u062f\u0647. \u0627\u06af\u0631 wa \u0628\u0627\u0644\u0627\u0633\u062a\u060c Worker\u0647\u0627\u06cc DataLoader \u0631\u0627 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062f\u0647\u06cc\u062f \u06cc\u0627 \u0628\u0647 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc \u0633\u0648\u0626\u06cc\u0686 \u06a9\u0646\u06cc\u062f. \u0627\u06af\u0631 us + sy \u0628\u0627\u0644\u0627 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 GPU-Util \u067e\u0627\u06cc\u06cc\u0646 \u0627\u0633\u062a\u060c Transform\u0647\u0627 \u0631\u0627 \u0628\u0627 \u06a9\u062a\u0627\u0628\u062e\u0627\u0646\u0647\u200c\u0627\u06cc \u0645\u0627\u0646\u0646\u062f Kornia \u0628\u0647 GPU \u0645\u0646\u062a\u0642\u0644 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0686\u0647 \u0686\u06cc\u0632\u06cc \u0628\u0627\u0639\u062b \u062e\u0637\u0627\u0647\u0627\u06cc OOM \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0686\u0637\u0648\u0631 \u0622\u0646\u200c\u0647\u0627 \u0631\u0627 \u0631\u0641\u0639 \u06a9\u0646\u06cc\u0645<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0637\u0627\u0647\u0627\u06cc OOM \u0632\u0645\u0627\u0646\u06cc \u0631\u062e \u0645\u06cc\u200c\u062f\u0647\u0646\u062f \u06a9\u0647 \u062a\u062e\u0635\u06cc\u0635\u200c\u0647\u0627\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc \u0627\u0632 VRAM \u0645\u0648\u062c\u0648\u062f \u0628\u06cc\u0634\u062a\u0631 \u0634\u0648\u0646\u062f\u061b \u0627\u063a\u0644\u0628 \u0628\u0647 \u062f\u0644\u06cc\u0644 \u0627\u0646\u062f\u0627\u0632\u0647 \u0628\u0686 \u0628\u0632\u0631\u06af\u060c \u0637\u0648\u0644 Sequence \u0628\u0644\u0646\u062f \u06cc\u0627 \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627\u06cc \u0647\u0645\u200c\u0632\u0645\u0627\u0646 GPU. \u0628\u0631\u0627\u06cc \u0631\u0641\u0639 OOM \u0627\u0628\u062a\u062f\u0627 \u0641\u0634\u0627\u0631 \u062d\u0627\u0641\u0638\u0647 \u0631\u0627 \u06a9\u0645 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc \u0631\u0627 \u0628\u0627 \u0627\u062d\u062a\u06cc\u0627\u0637 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062f\u0647\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0631\u0627\u0647\u200c\u062d\u0644\u200c\u0647\u0627\u06cc \u0631\u0627\u06cc\u062c:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>\u0627\u0646\u062f\u0627\u0632\u0647 \u0628\u0686 \u06cc\u0627 \u0637\u0648\u0644 Sequence \u0631\u0627 \u06a9\u0627\u0647\u0634 \u062f\u0647\u06cc\u062f.<\/li>\n\n\n\n<li>\u0628\u0631\u0627\u06cc \u062d\u0641\u0638 \u0627\u0646\u062f\u0627\u0632\u0647 \u0628\u0686 \u0645\u0624\u062b\u0631\u060c \u0627\u0632 \u062a\u062c\u0645\u06cc\u0639 \u06af\u0631\u0627\u062f\u06cc\u0627\u0646 (Gradient Accumulation) \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/li>\n\n\n\n<li>\u062f\u0631 \u0635\u0648\u0631\u062a \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc\u060c \u062f\u0642\u062a \u062a\u0631\u06a9\u06cc\u0628\u06cc (Mixed Precision) \u0631\u0627 \u0641\u0639\u0627\u0644 \u06a9\u0646\u06cc\u062f.<\/li>\n\n\n\n<li>\u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627\u06cc \u0642\u062f\u06cc\u0645\u06cc \u0648 \u0631\u0647\u0627\u0634\u062f\u0647 GPU \u0631\u0627 \u0642\u0628\u0644 \u0627\u0632 \u0631\u06cc\u200c\u0627\u0633\u062a\u0627\u0631\u062a \u062e\u0627\u062a\u0645\u0647 \u062f\u0647\u06cc\u062f.<\/li>\n\n\n\n<li>Transform\u0647\u0627\u06cc \u067e\u0631\u0647\u0632\u06cc\u0646\u0647 \u0631\u0627 \u0628\u0647 \u0645\u0631\u0627\u062d\u0644 \u06a9\u0627\u0631\u0622\u0645\u062f\u062a\u0631\u06cc \u0627\u0632 \u062e\u0637 \u0644\u0648\u0644\u0647 \u0645\u0646\u062a\u0642\u0644 \u06a9\u0646\u06cc\u062f.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06af\u0631 \u067e\u0633 \u0627\u0632 \u06cc\u06a9 \u0627\u062c\u0631\u0627\u06cc \u0646\u0627\u0645\u0648\u0641\u0642\u060c \u067e\u0631\u0648\u0633\u0647\u200c\u0627\u06cc \u0642\u062f\u06cc\u0645\u06cc \u0647\u0646\u0648\u0632 VRAM \u0631\u0627 \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u062f\u0627\u0631\u062f\u060c \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0641\u0639\u0627\u0644 \u0631\u0627 \u0641\u0647\u0631\u0633\u062a \u06a9\u0646\u06cc\u062f\u060c \u0645\u0627\u0644\u06a9\u06cc\u062a \u0631\u0627 \u062a\u0623\u06cc\u06cc\u062f \u06a9\u0646\u06cc\u062f\u060c PID \u0642\u062f\u06cc\u0645\u06cc \u0631\u0627 \u062e\u0627\u062a\u0645\u0647 \u062f\u0647\u06cc\u062f \u0648 \u0633\u067e\u0633 \u0622\u0632\u0627\u062f\u0634\u062f\u0646 \u062d\u0627\u0641\u0638\u0647 \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi --query-compute-apps=pid,used_memory,process_name --format=csv,noheader<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>18211, 17664 MiB, python\n18304, 512 MiB, python<\/code><\/pre>\n\n\n\n<pre class=\"wp-block-code\"><code>ps -p &lt;PID&gt; -o pid,user,etime,cmd\nkill -9 &lt;PID&gt;<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0631\u0648\u06cc \u0647\u0627\u0633\u062a\u200c\u0647\u0627\u06cc \u0627\u0634\u062a\u0631\u0627\u06a9\u06cc\u060c PID\u0647\u0627\u06cc \u0646\u0627\u0634\u0646\u0627\u0633 \u0631\u0627 \u0646\u06a9\u064f\u0634\u06cc\u062f. \u0627\u0628\u062a\u062f\u0627 \u0645\u0627\u0644\u06a9\u06cc\u062a \u067e\u0631\u0648\u0633\u0647 \u0648 \u0632\u0645\u06cc\u0646\u0647 \u06a9\u0627\u0631 \u0631\u0627 \u062a\u0623\u06cc\u06cc\u062f \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi # \u062a\u0623\u06cc\u06cc\u062f \u06a9\u0646\u06cc\u062f \u06a9\u0647 VRAM \u0627\u06a9\u0646\u0648\u0646 \u0622\u0632\u0627\u062f \u0634\u062f\u0647 \u0627\u0633\u062a<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0628\u0627 nvidia-smi<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">nvidia-smi \u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631 \u062f\u0627\u062e\u0644\u06cc \u0628\u0631\u0627\u06cc \u062a\u0644\u0647\u200c\u0645\u062a\u0631\u06cc \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc GPU \u0631\u0648\u06cc \u0633\u0631\u0648\u0631\u0647\u0627\u06cc \u0644\u06cc\u0646\u0648\u06a9\u0633\u06cc \u0627\u0633\u062a. \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631 \u0647\u0645\u0631\u0627\u0647 \u062f\u0631\u0627\u06cc\u0648\u0631\u0647\u0627\u06cc NVIDIA \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0627\u0633\u062a \u0648 \u0641\u06cc\u0644\u062f\u0647\u0627\u06cc\u06cc \u0631\u0627 \u0645\u0633\u062a\u0646\u062f \u0645\u06cc\u200c\u06a9\u0646\u062f \u06a9\u0647 \u0628\u06cc\u0634\u062a\u0631 \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc\u200c\u0647\u0627\u06cc \u0633\u0637\u062d \u0628\u0627\u0644\u0627\u062a\u0631 \u0627\u0632 \u0622\u0646\u200c\u0647\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0633\u062a\u0646\u062f\u0627\u062a \u0645\u0631\u062c\u0639:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li>NVIDIA System Management Interface (nvidia-smi)<\/li>\n\n\n\n<li>NVIDIA DCGM User Guide<\/li>\n<\/ul>\n\n\n\n<h3 class=\"wp-block-heading\">\u062e\u0631\u0648\u062c\u06cc \u067e\u0627\u06cc\u0647 nvidia-smi \u0648 \u0645\u0639\u0646\u0627\u06cc \u0647\u0631 \u0641\u06cc\u0644\u062f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">nvidia-smi \u0631\u0627 \u0628\u062f\u0648\u0646 \u0647\u06cc\u0686 \u0641\u0644\u06af\u06cc \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u06cc\u06a9 Snapshot \u06a9\u0627\u0645\u0644 \u0627\u0632 \u0648\u0636\u0639\u06cc\u062a GPU \u0648 \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627 \u0628\u06af\u06cc\u0631\u06cc\u062f. \u0627\u0628\u062a\u062f\u0627 \u0631\u0648\u06cc GPU-Util \u0648 Memory-Usage \u0648 Temp \u0648 Pwr:Usage\/Cap \u062a\u0645\u0631\u06a9\u0632 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>+-----------------------------------------------------------------------------+\n| NVIDIA-SMI 550.xx       Driver Version: 550.xx       CUDA Version: 12.x    |\n| GPU  Name        Temp   Pwr:Usage\/Cap   Memory-Usage   GPU-Util  Compute M. |\n| 0    H100        53C    215W \/ 350W     18240MiB\/81920MiB   78%    Default |\n+-----------------------------------------------------------------------------+\n| Processes:                                                                |\n| GPU   PID   Type   Process name                                GPU Memory |\n| 0   18211     C    python train.py                                17664MiB|\n+-----------------------------------------------------------------------------+<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06af\u0631 GPU-Util \u0645\u0642\u062f\u0627\u0631 0% \u0631\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f \u062f\u0631\u062d\u0627\u0644\u06cc\u200c\u06a9\u0647 \u06a9\u0627\u0631\u06cc \u0638\u0627\u0647\u0631\u0627\u064b \u062f\u0631 \u062d\u0627\u0644 \u0627\u062c\u0631\u0627\u0633\u062a\u060c \u0633\u0647 \u0639\u0644\u062a \u0631\u0627\u06cc\u062c \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f. \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u06a9\u0627\u0631 \u0647\u0646\u0648\u0632 \u062f\u0631 \u0645\u0631\u062d\u0644\u0647 \u067e\u06cc\u0634\u200c\u067e\u0631\u062f\u0627\u0632\u0634\u0650 \u0645\u062d\u062f\u0648\u062f \u0628\u0647 CPU \u0628\u0627\u0634\u062f \u0648 \u0647\u0646\u0648\u0632 \u06a9\u0627\u0631\u06cc \u0628\u0647 GPU \u0627\u0631\u0633\u0627\u0644 \u0646\u06a9\u0631\u062f\u0647 \u0628\u0627\u0634\u062f. \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u067e\u0631\u0648\u0633\u0647 \u0628\u0627 \u062e\u0637\u0627 \u0631\u0648\u0628\u0631\u0648 \u0634\u062f\u0647 \u0627\u0645\u0627 \u0632\u0646\u062f\u0647 \u0648 \u0628\u06cc\u06a9\u0627\u0631 \u0645\u0627\u0646\u062f\u0647 \u0628\u0627\u0634\u062f. \u0647\u0645\u0686\u0646\u06cc\u0646 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u06a9\u0627\u0631 \u0631\u0648\u06cc \u0627\u06cc\u0646\u062f\u06a9\u0633 GPU \u062f\u06cc\u06af\u0631\u06cc \u062f\u0631 \u062d\u0627\u0644 \u0627\u062c\u0631\u0627 \u0628\u0627\u0634\u062f\u061b \u067e\u0633 \u0647\u0645\u0647 \u062f\u0633\u062a\u06af\u0627\u0647\u200c\u0647\u0627 \u0631\u0627 \u0628\u0627 <code>nvidia-smi --list-gpus<\/code> \u0641\u0647\u0631\u0633\u062a \u06a9\u0631\u062f\u0647 \u0648 \u0647\u0631 \u06a9\u062f\u0627\u0645 \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0627\u062c\u0631\u0627\u06cc nvidia-smi \u062f\u0631 \u062d\u0627\u0644\u062a \u062d\u0644\u0642\u0647 \u067e\u06cc\u0648\u0633\u062a\u0647<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0648\u0642\u062a\u06cc \u0628\u0647 \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0632\u0646\u062f\u0647 \u0628\u062f\u0648\u0646 \u0646\u0648\u0634\u062a\u0646 \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u062f\u060c \u0627\u0632 \u062d\u0627\u0644\u062a Loop \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0641\u0644\u06af \u200e&#8211;loop=1\u200e \u0647\u0631 \u062b\u0627\u0646\u06cc\u0647 \u06cc\u06a9 \u0628\u0627\u0631 \u0631\u0641\u0631\u0634 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi --loop=1<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>Wed Mar 26 12:00:01 2026\n... snapshot ...\nWed Mar 26 12:00:02 2026\n... snapshot ...<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u062b\u0628\u062a \u062e\u0631\u0648\u062c\u06cc nvidia-smi \u062f\u0631 \u06cc\u06a9 \u0641\u0627\u06cc\u0644<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc \u0646\u0645\u0648\u0646\u0647\u200c\u0628\u0631\u062f\u0627\u0631\u06cc\u200c\u0634\u062f\u0647 \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u0641\u0627\u06cc\u0644 \u0628\u0646\u0648\u06cc\u0633\u06cc\u062f \u062a\u0627 \u0628\u0639\u062f \u0627\u0632 \u0627\u062c\u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u0634\u0648\u062f. \u062e\u0631\u0648\u062c\u06cc \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f \u0631\u0627 Redirect \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0647\u0631 \u0646\u0645\u0648\u0646\u0647 \u062f\u0631 \u062a\u0627\u0631\u06cc\u062e\u0686\u0647 \u0634\u0644 \u0648 \u062c\u0631\u06cc\u0627\u0646 \u0644\u0627\u06af \u0634\u0645\u0627 Timestamp \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi --loop=5 &gt; gpu.log\n# \u0641\u0627\u06cc\u0644 gpu.log \u062d\u0627\u0644\u0627 \u0647\u0631 \u06f5 \u062b\u0627\u0646\u06cc\u0647 \u06cc\u06a9 Snapshot \u062f\u0631 \u062e\u0648\u062f \u062f\u0627\u0631\u062f<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u06a9\u0648\u0626\u0631\u06cc \u06af\u0631\u0641\u062a\u0646 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u062e\u0627\u0635 \u0628\u0627 nvidia-smi &#8211;query-gpu<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0648\u0642\u062a\u06cc \u0628\u0647 \u062e\u0631\u0648\u062c\u06cc \u0642\u0627\u0628\u0644\u200c\u062a\u062c\u0632\u06cc\u0647 \u0628\u0631\u0627\u06cc \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a\u200c\u0647\u0627 \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u062f\u060c \u0627\u0632 \u200e&#8211;query-gpu\u200e \u0647\u0645\u0631\u0627\u0647 \u200e&#8211;format=csv\u200e \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u0627\u0644\u06af\u0648\u06cc \u062a\u0631\u062c\u06cc\u062d\u200c\u062f\u0627\u062f\u0647\u200c\u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0647\u0627\u06cc cron \u0648 Exporter\u0647\u0627\u06cc \u0633\u0641\u0627\u0631\u0634\u06cc \u0627\u0633\u062a.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi --query-gpu=timestamp,index,name,utilization.gpu,utilization.memory,memory.used,memory.total,temperature.gpu,power.draw --format=csv,noheader,nounits<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>2026\/03\/26 12:10:02.123, 0, NVIDIA H100 80GB HBM3, 82, 54, 18420, 81920, 55, 228.31<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 \u067e\u0631\u0648\u0633\u0647<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647 \u0628\u0647 \u0627\u06cc\u0646 \u0633\u0648\u0627\u0644 \u067e\u0627\u0633\u062e \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u0627\u0644\u0627\u0646 \u06a9\u062f\u0627\u0645 \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646 \u062f\u0631 \u062d\u0627\u0644 \u0645\u0635\u0631\u0641 \u0632\u0645\u0627\u0646 GPU \u0627\u0633\u062a. \u0627\u0632 nvidia-smi pmon \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0631\u0627 \u0628\u0647\u200c\u062c\u0627\u06cc \u0641\u0642\u0637 \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 \u062f\u0633\u062a\u06af\u0627\u0647\u060c \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 PID \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 nvidia-smi pmon \u0628\u0631\u0627\u06cc \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">pmon \u0631\u0627 \u062f\u0631 \u062d\u0627\u0644\u062a Loop \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0641\u0639\u0627\u0644 \u0631\u0627 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631 \u06a9\u0646\u06cc\u062f. \u0641\u0644\u06af \u200e-s um\u200e \u0641\u0639\u0627\u0644\u06cc\u062a\u0650 \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648 \u062a\u0648\u0627\u0646 \u0639\u0628\u0648\u0631\u06cc \u062d\u0627\u0641\u0638\u0647 \u0631\u0627 \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 \u067e\u0631\u0648\u0633\u0647 \u0646\u0645\u0627\u06cc\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>nvidia-smi pmon -s um -d 1<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># gpu   pid  type    sm   mem   enc   dec   command\n    0 18211     C    76    41     0     0   python\n    0 18304     C    12     8     0     0   python<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0642\u062f\u0627\u0631 gpu \u0627\u06cc\u0646\u062f\u06a9\u0633 GPU\u0627\u06cc \u0627\u0633\u062a \u06a9\u0647 \u067e\u0631\u0648\u0633\u0647 \u0631\u0648\u06cc \u0622\u0646 \u0627\u062c\u0631\u0627 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0645\u0642\u062f\u0627\u0631 pid \u0634\u0646\u0627\u0633\u0647 \u067e\u0631\u0648\u0633\u0647 \u0627\u0633\u062a. \u0645\u0642\u062f\u0627\u0631 type \u06a9\u0644\u0627\u0633 \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc \u0627\u0633\u062a\u061b \u06a9\u0647 C \u06cc\u0639\u0646\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u060c G \u06cc\u0639\u0646\u06cc \u06af\u0631\u0627\u0641\u06cc\u06a9 \u0648 M \u06cc\u0639\u0646\u06cc \u062a\u0631\u06a9\u06cc\u0628\u06cc. \u0645\u0642\u062f\u0627\u0631 sm \u062f\u0631\u0635\u062f \u0632\u0645\u0627\u0646 \u0635\u0631\u0641\u200c\u0634\u062f\u0647 \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc Kernel\u0647\u0627 \u0631\u0648\u06cc Streaming Multiprocessor\u0647\u0627 \u0627\u0633\u062a. \u0645\u0642\u062f\u0627\u0631 mem \u062f\u0631\u0635\u062f \u0632\u0645\u0627\u0646\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0627\u06cc\u0646\u062a\u0631\u0641\u06cc\u0633 \u062d\u0627\u0641\u0638\u0647 \u0628\u0631\u0627\u06cc \u0622\u0646 \u067e\u0631\u0648\u0633\u0647 \u0641\u0639\u0627\u0644 \u0628\u0648\u062f\u0647. \u0645\u0642\u0627\u062f\u06cc\u0631 enc \u0648 dec \u062f\u0631\u0635\u062f\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0627\u0646\u06a9\u0648\u062f\u0631 \u0648 \u062f\u06cc\u06a9\u0648\u062f\u0631\u0646\u062f. \u0645\u0642\u062f\u0627\u0631 command \u0647\u0645 \u0646\u0627\u0645 \u06a9\u0648\u062a\u0627\u0647\u200c\u0634\u062f\u0647 \u067e\u0631\u0648\u0633\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0646\u06af\u0627\u0634\u062a \u0634\u0646\u0627\u0633\u0647 \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627 \u0628\u0647 \u0646\u0627\u0645 \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">PID\u0647\u0627 \u0631\u0627 \u0628\u0647 \u062e\u0637\u0648\u0637 \u0641\u0631\u0645\u0627\u0646 \u06a9\u0627\u0645\u0644 \u0646\u06af\u0627\u0634\u062a \u06a9\u0646\u06cc\u062f \u062a\u0627 Kernel\u0647\u0627\u06cc \u0646\u0648\u062a\u200c\u0628\u0648\u06a9\u060c \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a\u200c\u0647\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0648 Worker\u0647\u0627\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0627 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0632\u0645\u0627\u0646\u06cc \u0644\u0627\u0632\u0645 \u0627\u0633\u062a \u06a9\u0647 \u0686\u0646\u062f \u06a9\u0627\u0631 Python \u0632\u06cc\u0631 \u06cc\u06a9 \u06a9\u0627\u0631\u0628\u0631 \u062f\u0631 \u062d\u0627\u0644 \u0627\u062c\u0631\u0627 \u0647\u0633\u062a\u0646\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>ps -p 18211 -o pid,user,etime,cmd<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-preformatted\"> <code> PID USER     ELAPSED CMD\n18211 mlops    01:22:11 python train.py --model llama --batch-size 8<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u062a\u0639\u0627\u0645\u0644\u06cc GPU \u0628\u0627 nvtop \u0648 gpustat<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0632 nvtop \u0648\u0642\u062a\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u06a9\u0647 \u06a9\u0646\u062a\u0631\u0644 \u062a\u0639\u0627\u0645\u0644\u06cc \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u062f \u0648 \u0627\u0632 gpustat \u0648\u0642\u062a\u06cc \u06a9\u0647 Snapshot\u0647\u0627\u06cc \u0641\u0634\u0631\u062f\u0647 \u062f\u0631 \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a\u200c\u0647\u0627 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u062f. \u0647\u0631 \u062f\u0648 \u0627\u0628\u0632\u0627\u0631 \u0645\u06a9\u0645\u0644 nvidia-smi \u0647\u0633\u062a\u0646\u062f\u060c \u0646\u0647 \u062c\u0627\u06cc\u06af\u0632\u06cc\u0646 \u0622\u0646.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0646\u0635\u0628 \u0648 \u0627\u062c\u0631\u0627\u06cc nvtop<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">nvtop \u0631\u0627 \u0627\u0632 \u0645\u062e\u0627\u0632\u0646 \u0627\u0648\u0628\u0648\u0646\u062a\u0648 \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u062f\u0631 \u062a\u0631\u0645\u06cc\u0646\u0627\u0644 \u0627\u062c\u0631\u0627\u06cc\u0634 \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631 \u0646\u0645\u0648\u062f\u0627\u0631\u0647\u0627\u06cc \u0632\u0646\u062f\u0647 \u0648 \u0646\u0645\u0627\u06cc \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647\u200c\u0627\u06cc \u0645\u0634\u0627\u0628\u0647 htop \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>sudo apt update &amp;&amp; sudo apt install -y nvtop\nnvtop<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>GPU0  78%  MEM 18240\/81920 MiB  TEMP 54C  PWR 221W\nPID 18211 python train.py   GPU 72%   MEM 17664MiB<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u0646\u0635\u0628 \u0648 \u0627\u062c\u0631\u0627\u06cc gpustat<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">gpustat \u0631\u0627 \u0628\u0627 pip \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u0628\u0631\u0627\u06cc \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc\u200c\u0647\u0627\u06cc \u06cc\u06a9\u200c\u062b\u0627\u0646\u06cc\u0647\u200c\u0627\u06cc \u0627\u0632 \u062d\u0627\u0644\u062a watch \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u0627\u0628\u0632\u0627\u0631 \u062f\u0631 \u0646\u0634\u0633\u062a\u200c\u0647\u0627\u06cc SSH \u06a9\u0647 \u062e\u0631\u0648\u062c\u06cc \u0645\u06cc\u0646\u06cc\u0645\u0627\u0644 \u0627\u0647\u0645\u06cc\u062a \u062f\u0627\u0631\u062f\u060c \u06a9\u0627\u0631\u0628\u0631\u062f\u06cc \u0627\u0633\u062a.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>python3 -m pip install --user -i https:\/\/pypi.parmincloud.ir\/simple\/ gpustat\ngpustat --watch 1<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>hostname  Thu Mar 26 12:25:44 2026\n&#91;0] NVIDIA H100 | 54C, 79 % | 18420 \/ 81920 MB | python\/18211(17664M)<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u0686\u0647 \u0632\u0645\u0627\u0646\u06cc \u0627\u0632 nvtop \u0648 \u0686\u0647 \u0632\u0645\u0627\u0646\u06cc \u0627\u0632 gpustat \u0648 \u0686\u0647 \u0632\u0645\u0627\u0646\u06cc \u0627\u0632 nvidia-smi \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u0645<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc \u0645\u062a\u0639\u0627\u0631\u0641\u0650 \u0633\u0637\u062d \u062f\u0631\u0627\u06cc\u0648\u0631 \u0648 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a\u06cc \u0627\u0632 nvidia-smi \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc Snapshot\u0647\u0627\u06cc \u062a\u0631\u0645\u06cc\u0646\u0627\u0644\u06cc \u06a9\u0645\u200c\u0646\u0648\u06cc\u0632 \u0627\u0632 gpustat \u0648 \u0628\u0631\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u062a\u0639\u0627\u0645\u0644\u06cc \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627 \u062f\u0631 \u062d\u06cc\u0646 \u062f\u06cc\u0628\u0627\u06af \u0641\u0639\u0627\u0644 \u0627\u0632 nvtop \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU \u0628\u0627 Glances<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0632 Glances \u0648\u0642\u062a\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u06a9\u0647 \u06cc\u06a9 \u062f\u0627\u0634\u0628\u0648\u0631\u062f \u062a\u0631\u0645\u06cc\u0646\u0627\u0644\u06cc \u0628\u0631\u0627\u06cc GPU\u060c CPU\u060c \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u06cc\u0633\u06a9 \u0648 \u0634\u0628\u06a9\u0647 \u0628\u0647\u200c\u0637\u0648\u0631 \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u062f. \u0622\u0646 \u0631\u0627 \u0647\u0645\u0631\u0627\u0647 \u0627\u0641\u0632\u0648\u0646\u0647 GPU \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc NVIDIA \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0628\u0627\u0634\u0646\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>python3 -m pip install -i https:\/\/pypi.parmincloud.ir\/simple\/ 'glances&#91;gpu]'\nglances<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>GPU NVIDIA H100: util 77% | mem 18240\/81920MiB | temp 54C | power 220W\nCPU: 21.4%  MEM: 62.1%  LOAD: 2.13 1.87 1.66<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062f\u0631 \u062e\u0637 GPU \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 Glances\u060c \u0645\u0642\u062f\u0627\u0631 util \u0628\u0647 \u0641\u0639\u0627\u0644\u06cc\u062a \u0647\u0633\u062a\u0647 GPU \u0646\u06af\u0627\u0634\u062a \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 mem \u0645\u0642\u062f\u0627\u0631 VRAM \u062a\u062e\u0635\u06cc\u0635\u200c\u06cc\u0627\u0641\u062a\u0647 \u0646\u0633\u0628\u062a \u0628\u0647 \u06a9\u0644 \u0631\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f. \u0645\u0642\u0627\u062f\u06cc\u0631 temp \u0648 power \u0647\u0645 \u0628\u0627\u0631 \u062d\u0631\u0627\u0631\u062a\u06cc \u0648 \u0627\u0644\u06a9\u062a\u0631\u06cc\u06a9\u06cc \u062f\u0631 \u067e\u0646\u062c\u0631\u0647 \u0646\u0645\u0648\u0646\u0647 \u0631\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u0646\u062f. \u0627\u06cc\u0646 \u0645\u0642\u0627\u062f\u06cc\u0631 \u0631\u0627 \u0628\u0627 \u0647\u0645 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u062a\u0634\u062e\u06cc\u0635 \u062f\u0647\u06cc\u062f \u0641\u0634\u0627\u0631 \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u0627\u0633\u062a\u060c \u062d\u0627\u0641\u0638\u0647 \u06cc\u0627 \u062d\u0631\u0627\u0631\u062a. Glances \u0646\u0633\u0628\u062a \u0628\u0647 nvidia-smi \u0627\u0646\u062a\u062e\u0627\u0628 \u0628\u0647\u062a\u0631\u06cc \u0627\u0633\u062a \u0648\u0642\u062a\u06cc \u06a9\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u06cc\u062f CPU\u060c \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u06cc\u0633\u06a9 \u0648 GPU \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u0646\u0645\u0627\u06cc \u0628\u062f\u0648\u0646 \u0627\u0633\u06a9\u0631\u0648\u0644 \u062f\u0631 \u062d\u06cc\u0646 \u062f\u06cc\u0628\u0627\u06af \u062a\u0639\u0627\u0645\u0644\u06cc \u0631\u0648\u06cc \u06cc\u06a9 \u0646\u0648\u062f \u0648\u0627\u062d\u062f \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06af\u0631 Glances \u0628\u062e\u0634 GPU \u0631\u0627 \u0646\u0634\u0627\u0646 \u0646\u0645\u06cc\u200c\u062f\u0647\u062f\u060c \u062a\u0623\u06cc\u06cc\u062f \u06a9\u0646\u06cc\u062f \u06a9\u0647 \u062f\u0631\u0627\u06cc\u0648\u0631\u0647\u0627\u06cc NVIDIA \u0631\u0648\u06cc \u0647\u0627\u0633\u062a \u0646\u0635\u0628 \u0647\u0633\u062a\u0646\u062f \u0648 \u0645\u062d\u06cc\u0637 Python \u0627\u062c\u0631\u0627\u06a9\u0646\u0646\u062f\u0647 Glances \u0628\u0647 NVML \u062f\u0633\u062a\u0631\u0633\u06cc \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU \u062f\u0627\u062e\u0644 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u0647\u0627\u06cc Docker \u0648 Kubernetes<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u06cc \u0627\u0628\u062a\u062f\u0627 \u0628\u0647 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc Runtime \u0633\u0637\u062d \u0647\u0627\u0633\u062a \u0648 \u0633\u067e\u0633 \u0628\u0647 \u062c\u0645\u0639\u200c\u0622\u0648\u0631\u06cc \u0645\u062a\u0631\u06cc\u06a9 \u0633\u0637\u062d \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u062f. \u0628\u0631\u0627\u06cc Docker \u0628\u0627 NVIDIA Container Toolkit \u0648 \u0628\u0631\u0627\u06cc \u06a9\u0644\u0627\u0633\u062a\u0631\u0647\u0627\u06cc Kubernetes \u0628\u0627 DCGM Exporter \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062f\u0631 \u0645\u0639\u0631\u0636 \u0646\u0645\u0627\u06cc\u0634 \u06af\u0630\u0627\u0634\u062a\u0646 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc GPU \u062f\u0631 Docker \u0628\u0627 NVIDIA Container Toolkit<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">NVIDIA Container Toolkit \u0631\u0627 \u0631\u0648\u06cc \u0647\u0627\u0633\u062a \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u0647\u0627 \u0631\u0627 \u0628\u0627 \u200e&#8211;gpus all\u200e \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f. \u062f\u0627\u062e\u0644 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u060c nvidia-smi \u0628\u0627\u06cc\u062f \u062a\u0644\u0647\u200c\u0645\u062a\u0631\u06cc GPU \u0647\u0627\u0633\u062a \u0631\u0627 \u0646\u0634\u0627\u0646 \u062f\u0647\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u067e\u0633 \u0627\u0632 \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc Docker \u0628\u0627 \u062f\u0646\u0628\u0627\u0644\u200c\u06a9\u0631\u062f\u0646 \u0645\u0642\u0627\u0644\u0647 \u00ab\u0622\u0645\u0648\u0632\u0634 \u0646\u0635\u0628 \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 Docker \u0631\u0648\u06cc \u0627\u0648\u0628\u0648\u0646\u062a\u0648\u00bb\u060c \u0627\u0632 \u0627\u06cc\u0646 \u0628\u062e\u0634 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>curl -fsSL https:\/\/nvidia.github.io\/libnvidia-container\/gpgkey | sudo gpg --dearmor -o \/usr\/share\/keyrings\/nvidia-container-toolkit-keyring.gpg\ncurl -s -L https:\/\/nvidia.github.io\/libnvidia-container\/stable\/deb\/nvidia-container-toolkit.list | \\\n  sed 's#deb https:\/\/#deb &#91;signed-by=\/usr\/share\/keyrings\/nvidia-container-toolkit-keyring.gpg] https:\/\/#g' | \\\n  sudo tee \/etc\/apt\/sources.list.d\/nvidia-container-toolkit.list\nsudo apt update &amp;&amp; sudo apt install -y nvidia-container-toolkit\nsudo nvidia-ctk runtime configure --runtime=docker\nsudo systemctl restart docker<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">Runtime \u0627\u0646\u0648\u06cc\u062f\u06cc\u0627 \u0641\u0642\u0637 \u067e\u0633 \u0627\u0632 \u0631\u06cc\u200c\u0627\u0633\u062a\u0627\u0631\u062a \u062f\u06cc\u0645\u0646 Docker \u0641\u0639\u0627\u0644 \u0645\u06cc\u200c\u0634\u0648\u062f. \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u0647\u0627\u06cc \u062f\u0631 \u062d\u0627\u0644 \u0627\u062c\u0631\u0627 \u062a\u0623\u062b\u06cc\u0631 \u0646\u0645\u06cc\u200c\u067e\u0630\u06cc\u0631\u0646\u062f\u060c \u0627\u0645\u0627 \u0647\u0631 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631 \u062c\u062f\u06cc\u062f\u06cc \u06a9\u0647 \u0628\u0639\u062f \u0627\u0632 \u0631\u06cc\u200c\u0627\u0633\u062a\u0627\u0631\u062a \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0634\u0648\u062f \u0628\u0647 GPU \u062f\u0633\u062a\u0631\u0633\u06cc \u062e\u0648\u0627\u0647\u062f \u062f\u0627\u0634\u062a. \u0628\u0631\u0627\u06cc \u062c\u0632\u0626\u06cc\u0627\u062a \u06a9\u0627\u0645\u0644 \u0646\u0635\u0628\u060c \u0631\u0627\u0647\u0646\u0645\u0627\u06cc NVIDIA Container Toolkit \u0631\u0627 \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>docker run --rm --gpus all hub.cr.parmincloud.ir\/nvidia\/cuda:12.4.1-base-ubuntu22.04 nvidia-smi<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>+-----------------------------------------------------------------------------+\n| NVIDIA-SMI 550.xx       Driver Version: 550.xx       CUDA Version: 12.x    |\n| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |\n+-----------------------------------------------------------------------------+<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 Kubernetes \u0628\u0627 DCGM Exporter<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">DCGM Exporter \u0631\u0627 \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 \u06cc\u06a9 DaemonSet \u0631\u0648\u06cc \u0646\u0648\u062f\u0647\u0627\u06cc GPU \u0645\u0633\u062a\u0642\u0631 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc Prometheus \u062f\u0631 \u0645\u0639\u0631\u0636 \u0646\u0645\u0627\u06cc\u0634 \u0642\u0631\u0627\u0631 \u0628\u06af\u06cc\u0631\u0646\u062f. \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0627\u0647\u062f\u0627\u0641 Scraping \u0628\u0627 Label\u0647\u0627\u06cc \u0645\u062a\u0631\u06cc\u06a9\u0650 \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 GPU \u0648 \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 Pod \u0645\u06cc\u200c\u0633\u0627\u0632\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong><code>dcgm-exporter-daemonset.yaml<\/code><\/strong><\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>apiVersion: apps\/v1\nkind: DaemonSet\nmetadata:\n  name: dcgm-exporter\n  namespace: gpu-monitoring\nspec:\n  selector:\n    matchLabels:\n      app: dcgm-exporter\n  template:\n    metadata:\n      labels:\n        app: dcgm-exporter\n    spec:\n      nodeSelector:\n        nvidia.com\/gpu.present: \"true\"\n      containers:\n        - name: dcgm-exporter\n          image: nvcr.io\/nvidia\/k8s\/dcgm-exporter:3.3.8-3.6.0-ubuntu22.04\n          ports:\n            - containerPort: 9400<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code># HELP DCGM_FI_DEV_GPU_UTIL GPU utilization (in %).\n# TYPE DCGM_FI_DEV_GPU_UTIL gauge\nDCGM_FI_DEV_GPU_UTIL{gpu=\"0\",UUID=\"GPU-...\"} 78<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0634\u0627\u0647\u062f\u0647 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc GPU \u062f\u0631 \u06a9\u0644\u0627\u0633\u062a\u0631 Kubernetes \u0645\u062f\u06cc\u0631\u06cc\u062a\u200c\u0634\u062f\u0647 \u067e\u0627\u0631\u0645\u06cc\u0646 \u06a9\u0644\u0648\u062f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u062c\u0645\u0639\u200c\u0622\u0648\u0631\u06cc \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc GPU \u062f\u0631 \u06cc\u06a9 \u06a9\u0644\u0627\u0633\u062a\u0631 Kubernetes \u0645\u062f\u06cc\u0631\u06cc\u062a\u200c\u0634\u062f\u0647 \u067e\u0627\u0631\u0645\u06cc\u0646 \u06a9\u0644\u0648\u062f\u060c Prometheus \u0631\u0627 \u0637\u0648\u0631\u06cc \u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u06a9\u0646\u06cc\u062f \u06a9\u0647 DaemonSet \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 DCGM Exporter \u0631\u0627 Scrap \u06a9\u0646\u062f\u061b \u0633\u067e\u0633 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 Grafana\u53ef\u89c6\u5316 \u06a9\u0631\u062f\u0647 \u06cc\u0627 \u0628\u0647 \u06cc\u06a9 \u0628\u06a9\u200c\u0627\u0646\u062f \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0645\u06cc\u0632\u0628\u0627\u0646\u06cc\u200c\u0634\u062f\u0647 \u0641\u0648\u0631\u0648\u0627\u0631\u062f \u06a9\u0646\u06cc\u062f. \u062f\u0627\u0634\u0628\u0648\u0631\u062f\u0647\u0627\u06cc GPU \u0631\u0627 \u0628\u0631 \u0627\u0633\u0627\u0633 Node Pool \u0648 Label\u0647\u0627\u06cc \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc \u062c\u062f\u0627 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0627\u0632 \u0633\u0631\u062f\u0631\u06af\u0645\u06cc\u0650 \u0686\u0646\u062f-\u0645\u0633\u062a\u0623\u062c\u0631\u06cc (Multi-Tenancy) \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0634\u0648\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0642\u0628\u0644 \u0627\u0632 \u0627\u0633\u062a\u0642\u0631\u0627\u0631\u060c \u0627\u06af\u0631 \u062a\u06cc\u0645 \u0634\u0645\u0627 \u0628\u0627 \u0627\u0635\u0648\u0644 \u0627\u0648\u0644\u06cc\u0647 Kubernetes \u062a\u0627\u0632\u0647\u200c\u0648\u0627\u0631\u062f \u0627\u0633\u062a\u060c \u0645\u0642\u0627\u0644\u0647 \u00ab\u0645\u0642\u062f\u0645\u0647\u200c\u0627\u06cc \u0628\u0631 Kubernetes\u00bb \u0631\u0627 \u0645\u0631\u0648\u0631 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong><code>prometheus.yml<\/code><\/strong><\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>scrape_configs:\n  - job_name: dcgm-exporter\n    static_configs:\n      - targets: &#91;'&lt;node-ip&gt;:9400']<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062f\u0631 \u06cc\u06a9 \u06a9\u0644\u0627\u0633\u062a\u0631 Kubernetes \u067e\u0627\u0631\u0645\u06cc\u0646 \u06a9\u0644\u0648\u062f\u060c \u0628\u0647\u200c\u062c\u0627\u06cc IP\u0647\u0627\u06cc \u0627\u0633\u062a\u0627\u062a\u06cc\u06a9 \u0646\u0648\u062f\u060c \u0627\u0632 IP\u0647\u0627\u06cc Pod \u0645\u0631\u0628\u0648\u0637 \u0628\u0647 DaemonSet \u06cc\u0627 \u0646\u0627\u0645 DNS \u06cc\u06a9 \u0633\u0631\u0648\u06cc\u0633 Kubernetes \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc \u062c\u0632\u0626\u06cc\u0627\u062a Import \u06a9\u0631\u062f\u0646 \u062f\u0627\u0634\u0628\u0648\u0631\u062f Grafana\u060c \u0645\u0633\u062a\u0646\u062f\u0627\u062a NVIDIA DCGM Exporter \u0631\u0627 \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u062f\u0627\u0626\u0645\u06cc GPU \u0628\u0627 Datadog<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0632 Datadog \u0648\u0642\u062a\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u06a9\u0647 \u0628\u0647 \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0628\u0644\u0646\u062f\u0645\u062f\u062a\u060c \u0628\u0631\u0634\u200c\u062f\u0647\u06cc \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 Tag \u0648 \u0645\u0633\u06cc\u0631\u06cc\u0627\u0628\u06cc \u0647\u0634\u062f\u0627\u0631 \u0628\u0647 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc On-Call \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u062f. Agent \u0631\u0627 \u0631\u0648\u06cc \u0647\u0631 \u0646\u0648\u062f GPU \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc NVIDIA \u0631\u0627 \u0641\u0639\u0627\u0644 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0646\u0635\u0628 Datadog Agent \u0628\u0627 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc GPU \u0627\u0646\u0648\u06cc\u062f\u06cc\u0627<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Agent \u0646\u0633\u062e\u0647 \u06f7 \u0631\u0627 \u0631\u0648\u06cc \u0647\u0627\u0633\u062a GPU \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc nvidia_gpu \u0631\u0627 \u0641\u0639\u0627\u0644 \u06a9\u0646\u06cc\u062f. \u062f\u0631\u0627\u06cc\u0648\u0631\u0647\u0627\u06cc \u0647\u0627\u0633\u062a \u0648 NVML \u0631\u0627 \u0628\u0631\u0627\u06cc \u067e\u0631\u0648\u0633\u0647 Agent \u062f\u0631 \u062f\u0633\u062a\u0631\u0633 \u0646\u06af\u0647 \u062f\u0627\u0631\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>DD_API_KEY=\"&lt;YOUR_DATADOG_API_KEY&gt;\" DD_SITE=\"datadoghq.com\" bash -c \"$(curl -L https:\/\/s3.amazonaws.com\/dd-agent\/scripts\/install_script_agent7.sh)\"<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc NVML \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u067e\u06cc\u0634\u200c\u0641\u0631\u0636 \u0647\u0645\u0631\u0627\u0647 Agent 7 \u0639\u0631\u0636\u0647 \u0646\u0645\u06cc\u200c\u0634\u0648\u062f. \u0622\u0646 \u0631\u0627 \u062c\u062f\u0627\u06af\u0627\u0646\u0647 \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 nvml.d\/conf.yaml \u0631\u0627 \u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>sudo datadog-agent integration install -t datadog-nvml==1.0.9<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0642\u0628\u0644 \u0627\u0632 \u0646\u0635\u0628\u060c \u0622\u062e\u0631\u06cc\u0646 \u0646\u0633\u062e\u0647 \u0645\u0648\u062c\u0648\u062f \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc NVML \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc GPU \u0648 \u0627\u0633\u062a\u0631\u0627\u062a\u0698\u06cc Tag<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Tag\u0647\u0627 \u0631\u0627 \u062f\u0631 \u0633\u0637\u062d \u0647\u0627\u0633\u062a \u0648 \u0633\u0637\u062d \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc \u062a\u0639\u0631\u06cc\u0641 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0628\u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0631 \u0627\u0633\u0627\u0633 \u06a9\u0644\u0627\u0633\u062a\u0631\u060c \u0645\u062d\u06cc\u0637 \u0648 \u0646\u0648\u0639 \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc \u06af\u0631\u0648\u0647\u200c\u0628\u0646\u062f\u06cc \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0645\u0633\u06cc\u0631\u06cc\u0627\u0628\u06cc \u0647\u0634\u062f\u0627\u0631 \u0648 \u0641\u06cc\u0644\u062a\u0631\u0647\u0627\u06cc \u062f\u0627\u0634\u0628\u0648\u0631\u062f \u0631\u0627 \u062f\u0631 \u0645\u0642\u06cc\u0627\u0633 \u0628\u0632\u0631\u06af \u0642\u0627\u0628\u0644\u200c\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0646\u06af\u0647 \u0645\u06cc\u200c\u062f\u0627\u0631\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><strong><code>\/etc\/datadog-agent\/conf.d\/nvml.d\/conf.yaml<\/code><\/strong><\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>init_config:\n\ninstances:\n  - min_collection_interval: 15\n    tags:\n      - env:prod\n      - role:training\n      - gpu_vendor:nvidia<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u06cc\u0646 \u0631\u0627 \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 <code>\/etc\/datadog-agent\/conf.d\/nvml.d\/conf.yaml<\/code> \u0630\u062e\u06cc\u0631\u0647 \u06a9\u0631\u062f\u0647 \u0648 \u0633\u067e\u0633 \u0631\u06cc\u200c\u0627\u0633\u062a\u0627\u0631\u062a \u06a9\u0646\u06cc\u062f:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>sudo systemctl restart datadog-agent<\/code><\/pre>\n\n\n\n<h3 class=\"wp-block-heading\">\u0633\u0627\u062e\u062a \u062f\u0627\u0634\u0628\u0648\u0631\u062f GPU \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0648 \u062a\u0646\u0638\u06cc\u0645 \u0647\u0634\u062f\u0627\u0631\u0647\u0627<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u067e\u0646\u0644\u200c\u0647\u0627\u06cc \u0633\u0631\u06cc \u0632\u0645\u0627\u0646\u06cc \u0628\u0631\u0627\u06cc nvidia.gpu.utilization \u0648 nvidia.gpu.memory.used \u0648 nvidia.gpu.temperature \u0628\u0633\u0627\u0632\u06cc\u062f \u0648 \u0633\u067e\u0633 \u0631\u0648\u06cc \u0627\u0634\u0628\u0627\u0639 \u067e\u0627\u06cc\u062f\u0627\u0631 \u0647\u0634\u062f\u0627\u0631 \u0628\u062f\u0647\u06cc\u062f. \u06cc\u06a9 \u0647\u0634\u062f\u0627\u0631 \u0627\u0648\u0644\u06cc\u0647 \u0639\u0645\u0644\u06cc \u0627\u06cc\u0646 \u0627\u0633\u062a: \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0628\u0627\u0644\u0627\u06cc \u06f9\u06f5\u066a \u0628\u0631\u0627\u06cc \u06f1\u06f0 \u062f\u0642\u06cc\u0642\u0647 \u0631\u0648\u06cc \u0646\u0648\u062f\u0647\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 production.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u0627\u0635\u0648\u0644 \u062f\u0627\u0634\u0628\u0648\u0631\u062f \u0648 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u060c \u0627\u0632 \u0645\u0642\u0627\u0644\u0647 \u00ab\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0632\u06cc\u0631\u0633\u0627\u062e\u062a \u0628\u0627 Datadog\u00bb \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0646\u0645\u0648\u0646\u0647 \u06a9\u0648\u0626\u0631\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>avg(last_10m):avg:nvidia.gpu.utilization{env:prod,role:training} by {host,gpu_index} &gt; 95<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">\u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU \u0628\u0627 Zabbix<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0647\u0627\u0633\u062a\u200c\u0647\u0627\u06cc GPU \u0628\u0627 Zabbix\u060c Zabbix Agent \u0631\u0627 \u0631\u0648\u06cc \u0647\u0631 \u0647\u0627\u0633\u062a GPU \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f\u060c \u0642\u0627\u0644\u0628 NVIDIA GPU \u0631\u0627 Import \u06a9\u0646\u06cc\u062f \u0648 \u0622\u0633\u062a\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u062a\u0631\u06cc\u06af\u0631 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648 \u062f\u0645\u0627 \u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u06a9\u0646\u06cc\u062f. Zabbix \u0627\u0646\u062a\u062e\u0627\u0628 \u062f\u0631\u0633\u062a\u06cc \u0627\u0633\u062a \u0648\u0642\u062a\u06cc \u0628\u0647 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af Self-Hosted \u0628\u0627 \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc \u0633\u0641\u0627\u0631\u0634\u06cc \u0648 \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc\u200c\u0647\u0627\u06cc \u0633\u0627\u0632\u0645\u0627\u0646\u06cc \u0645\u0648\u062c\u0648\u062f \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632\u06cc \u0642\u0627\u0644\u0628 NVIDIA GPU \u062f\u0631 Zabbix<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u06cc\u06a9 \u0642\u0627\u0644\u0628 NVIDIA GPU \u0631\u0627 \u062f\u0631 Zabbix \u0648\u0627\u0631\u062f \u06cc\u0627 \u0645\u062a\u0635\u0644 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u0622\u0646 \u0631\u0627 \u0628\u0647 \u0647\u0627\u0633\u062a\u200c\u0647\u0627\u06cc\u06cc \u06a9\u0647 \u062f\u0631\u0627\u06cc\u0648\u0631 NVIDIA \u0646\u0635\u0628 \u062f\u0627\u0631\u0646\u062f \u0645\u062a\u0635\u0644 \u06a9\u0646\u06cc\u062f. \u0622\u06cc\u062a\u0645\u200c\u0647\u0627\u06cc \u0642\u0627\u0644\u0628 \u0628\u0627\u06cc\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u0645\u0627 \u0648 \u062a\u0648\u0627\u0646 \u0631\u0627 Poll \u06a9\u0646\u0646\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0633\u06cc\u0631: Data collection -&gt; Templates -&gt; Import<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0642\u0627\u0644\u0628: Nvidia by Zabbix agent 2<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u0628\u0631\u062e\u06cc \u0646\u0633\u062e\u0647\u200c\u0647\u0627\u060c \u062d\u0627\u0644\u062a Active \u0627\u06cc\u0646 \u0642\u0627\u0644\u0628 \u0639\u0628\u0627\u0631\u062a \u0627\u0633\u062a \u0627\u0632: Nvidia by Zabbix agent 2 active<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0646\u0628\u0639 \u0631\u0633\u0645\u06cc \u0642\u0627\u0644\u0628: <a href=\"https:\/\/git.zabbix.com\/projects\/ZBX\/repos\/zabbix\/browse\/templates\/app\/nvidia_agent2\">https:\/\/git.zabbix.com\/projects\/ZBX\/repos\/zabbix\/browse\/templates\/app\/nvidia_agent2<\/a><\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u062a\u0631\u06cc\u06af\u0631\u0647\u0627 \u0628\u0631\u0627\u06cc \u0622\u0633\u062a\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u062a\u0631\u06cc\u06af\u0631\u0647\u0627\u06cc\u06cc \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0628\u0627\u0644\u0627\u06cc \u067e\u0627\u06cc\u062f\u0627\u0631\u060c \u062f\u0645\u0627\u06cc \u0628\u0627\u0644\u0627 \u0648 \u0627\u0641\u062a\u200c\u0647\u0627\u06cc \u063a\u06cc\u0631\u0645\u0646\u062a\u0638\u0631\u0647 \u0628\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0635\u0641\u0631 \u062f\u0631 \u067e\u0646\u062c\u0631\u0647\u200c\u0647\u0627\u06cc \u0632\u0645\u0627\u0646\u06cc \u0622\u0645\u0648\u0632\u0634\u0650 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0631\u06cc\u0632\u06cc\u200c\u0634\u062f\u0647 \u0628\u0633\u0627\u0632\u06cc\u062f. \u0627\u0632 \u0639\u0628\u0627\u0631\u0627\u062a \u062a\u0631\u06cc\u06af\u0631 \u0647\u0645\u0631\u0627\u0647 \u067e\u0646\u062c\u0631\u0647\u200c\u0647\u0627\u06cc \u0632\u0645\u0627\u0646\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0627\u0632 \u0646\u0648\u06cc\u0632 \u062c\u0647\u0634\u200c\u0647\u0627\u06cc \u06a9\u0648\u062a\u0627\u0647 \u062c\u0644\u0648\u06af\u06cc\u0631\u06cc \u0634\u0648\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0646\u0645\u0648\u0646\u0647 \u0645\u0646\u0637\u0642 \u062a\u0631\u06cc\u06af\u0631 \u0628\u0627 \u06a9\u0644\u06cc\u062f\u0647\u0627\u06cc \u0622\u06cc\u062a\u0645 \u0642\u0627\u0644\u0628 Zabbix agent 2:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>avg(\/GPU Host\/nvidia.smi&#91;{#GPUINDEX},utilization.gpu],10m)&gt;95\nand\nlast(\/GPU Host\/nvidia.smi&#91;{#GPUINDEX},temperature.gpu])&gt;85<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0642\u062f\u0627\u0631 {#GPUINDEX} \u06cc\u06a9 \u0645\u0627\u06a9\u0631\u0648 \u06a9\u0634\u0641 \u0633\u0637\u062d \u067e\u0627\u06cc\u06cc\u0646 (LLD) \u0627\u0633\u062a \u06a9\u0647 \u0628\u0647\u200c\u0637\u0648\u0631 \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u0648\u0633\u0637 \u0642\u0627\u0644\u0628 \u067e\u0631 \u0645\u06cc\u200c\u0634\u0648\u062f. \u0646\u06cc\u0627\u0632\u06cc \u0628\u0647 \u062a\u0646\u0638\u06cc\u0645 \u062f\u0633\u062a\u06cc \u0622\u0646 \u0646\u062f\u0627\u0631\u06cc\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0648\u06cc\u0646\u062f\u0648\u0632<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU (Unified GPU Usage Monitoring) \u0641\u0639\u0627\u0644\u06cc\u062a \u0686\u0646\u062f \u0645\u0648\u062a\u0648\u0631 GPU \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u0646\u0645\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648\u0627\u062d\u062f \u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u062a\u0627 \u0627\u067e\u0631\u0627\u062a\u0648\u0631\u0647\u0627 \u0628\u062a\u0648\u0627\u0646\u0646\u062f \u0633\u0631\u06cc\u0639 \u0628\u062e\u0648\u0627\u0646\u0646\u062f. \u0627\u0628\u062a\u062f\u0627 \u0622\u0646 \u0631\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 NVIDIA Control Panel \u0641\u0639\u0627\u0644 \u06a9\u0646\u06cc\u062f \u0648 \u0633\u067e\u0633 \u062f\u0631 \u0635\u0648\u0631\u062a \u0646\u06cc\u0627\u0632 \u062a\u0648\u0633\u0637 \u067e\u0631\u0648\u0641\u0627\u06cc\u0644 \u062f\u0631\u0627\u06cc\u0648\u0631\u060c \u0633\u06cc\u0627\u0633\u062a \u0631\u062c\u06cc\u0633\u062a\u0631\u06cc \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0686\u06cc\u0633\u062a\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u060c \u0641\u0639\u0627\u0644\u06cc\u062a \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u06af\u0631\u0627\u0641\u06cc\u06a9\u060c \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u060c \u06a9\u067e\u06cc \u0648 \u0648\u06cc\u062f\u06cc\u0648 \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u0645\u062a\u0631\u06cc\u06a9 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0646\u0631\u0645\u0627\u0644\u200c\u0634\u062f\u0647 \u062a\u0631\u06a9\u06cc\u0628 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u062f\u06cc\u062f \u0628\u06cc\u0646-\u067e\u0631\u0648\u0633\u0647\u200c\u0627\u06cc \u0631\u0627 \u062f\u0631 \u0632\u0645\u0627\u0646 \u0627\u062c\u0631\u0627\u06cc \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u062a\u0631\u06a9\u06cc\u0628\u06cc \u0631\u0648\u06cc \u06cc\u06a9 \u0622\u062f\u0627\u067e\u062a\u0648\u0631 \u0648\u0627\u062d\u062f \u0628\u0647\u0628\u0648\u062f \u0645\u06cc\u200c\u062f\u0647\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u0646\u062d\u0648\u0647 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632\u06cc \u0627\u0632 \u0637\u0631\u06cc\u0642 NVIDIA Control Panel \u0648 \u0631\u062c\u06cc\u0633\u062a\u0631\u06cc<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u062f\u0631 NVIDIA Control Panel \u0642\u0627\u0628\u0644\u06cc\u062a \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0641\u0639\u0627\u0644\u06cc\u062a GPU \u0631\u0627 \u0641\u0639\u0627\u0644 \u06a9\u0631\u062f\u0647 \u0648 \u062a\u0646\u0638\u06cc\u0645\u0627\u062a \u0631\u0627 \u062f\u0631 \u06a9\u0644 \u0633\u06cc\u0633\u062a\u0645 \u0627\u0639\u0645\u0627\u0644 \u06a9\u0646\u06cc\u062f. \u0627\u06af\u0631 \u0645\u062d\u06cc\u0637 \u0634\u0645\u0627 \u0627\u0632 \u0633\u06cc\u0627\u0633\u062a \u0645\u062f\u06cc\u0631\u06cc\u062a\u200c\u0634\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0645\u0642\u062f\u0627\u0631 \u0631\u062c\u06cc\u0633\u062a\u0631\u06cc \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0627\u062e\u0647 \u062f\u0631\u0627\u06cc\u0648\u0631 NVIDIA \u062e\u0648\u062f \u0631\u0627 \u0628\u0631\u0627\u06cc \u0631\u0648\u0634\u0646\u200c\u06a9\u0631\u062f\u0646 \u06af\u0632\u0627\u0631\u0634\u200c\u062f\u0647\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u062a\u0646\u0638\u06cc\u0645 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0646\u0645\u0648\u0646\u0647 \u0631\u062c\u06cc\u0633\u062a\u0631\u06cc \u0648\u06cc\u0646\u062f\u0648\u0632 \u0628\u0631\u0627\u06cc \u062f\u06cc\u062f\u067e\u0630\u06cc\u0631\u06cc \u0634\u0645\u0627\u0631\u0646\u062f\u0647\u200c\u0647\u0627\u06cc \u06a9\u0627\u0631\u0627\u06cc\u06cc GPU:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>HKEY_LOCAL_MACHINE\\SOFTWARE\\NVIDIA Corporation\\Global\\NVTweak\nValue name: RmProfilingAdminOnly (DWORD)<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0642\u062f\u0627\u0631 0 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0627\u062c\u0627\u0632\u0647\u200c\u062f\u0627\u062f\u0646 \u062f\u0633\u062a\u0631\u0633\u06cc \u063a\u06cc\u0631 \u0627\u062f\u0645\u06cc\u0646 \u0628\u0647 \u0634\u0645\u0627\u0631\u0646\u062f\u0647\u200c\u0647\u0627\u06cc \u06a9\u0627\u0631\u0627\u06cc\u06cc GPU \u062a\u0646\u0638\u06cc\u0645 \u06a9\u0646\u06cc\u062f \u0648 \u0645\u0642\u062f\u0627\u0631 1 \u0631\u0627 \u0628\u0631\u0627\u06cc \u062f\u0633\u062a\u0631\u0633\u06cc \u0641\u0642\u0637 \u0627\u062f\u0645\u06cc\u0646.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0631\u062c\u0639: <a href=\"https:\/\/developer.nvidia.com\/ERR_NVGPUCTRPERM\">https:\/\/developer.nvidia.com\/ERR_NVGPUCTRPERM<\/a><\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>reg query \"HKLM\\SOFTWARE\\NVIDIA Corporation\\Global\" \/s<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u0646\u0627\u0645\u200c\u0647\u0627\u06cc \u0645\u0642\u062f\u0627\u0631 \u0631\u062c\u06cc\u0633\u062a\u0631\u06cc \u0628\u0631\u0627\u06cc \u06af\u0632\u0627\u0631\u0634\u200c\u062f\u0647\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u060c \u0628\u0633\u062a\u0647 \u0628\u0647 \u0634\u0627\u062e\u0647 \u062f\u0631\u0627\u06cc\u0648\u0631 \u0648 \u0627\u0628\u0632\u0627\u0631 \u0633\u06cc\u0627\u0633\u062a\u200c\u06af\u0630\u0627\u0631\u06cc \u0645\u062a\u0641\u0627\u0648\u062a\u200c\u0627\u0646\u062f. \u06a9\u0644\u06cc\u062f \u0648 \u0645\u0642\u062f\u0627\u0631 \u062f\u0642\u06cc\u0642 \u0631\u0627 \u0642\u0628\u0644 \u0627\u0632 \u062a\u063a\u06cc\u06cc\u0631 \u0633\u06cc\u0633\u062a\u0645\u200c\u0647\u0627\u06cc production\u060c \u0628\u0627 \u0645\u0633\u062a\u0646\u062f\u0627\u062a \u062f\u0631\u0627\u06cc\u0648\u0631 \u0633\u0627\u0632\u0645\u0627\u0646\u06cc NVIDIA \u062e\u0648\u062f \u0627\u0639\u062a\u0628\u0627\u0631\u0633\u0646\u062c\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062e\u0648\u0627\u0646\u062f\u0646 \u062f\u0627\u062f\u0647\u200c\u0647\u0627\u06cc GPU \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u0632 \u0637\u0631\u06cc\u0642 Task Manager \u0648 WMI<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u067e\u0633 \u0627\u0632 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647\u060c Task Manager \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0645\u0648\u062a\u0648\u0631 GPU \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062a\u062c\u0645\u06cc\u0639\u06cc \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 \u067e\u0631\u0648\u0633\u0647 \u0631\u0627 \u0646\u0645\u0627\u06cc\u0634 \u062f\u0647\u062f. \u0633\u067e\u0633 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0627\u0632 \u06a9\u0648\u0626\u0631\u06cc\u200c\u0647\u0627\u06cc WMI \u0628\u0631\u0627\u06cc \u062c\u0645\u0639\u200c\u0622\u0648\u0631\u06cc \u0627\u0633\u06a9\u0631\u06cc\u067e\u062a\u06cc \u062f\u0631 \u06af\u0631\u062f\u0634 \u06a9\u0627\u0631\u0647\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u0648\u06cc\u0646\u062f\u0648\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0631\u062f.<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>powershell -Command \"Get-Counter '\\GPU Engine(*)\\Utilization Percentage' | Select-Object -ExpandProperty CounterSamples | Select-Object InstanceName,CookedValue\"<\/code><\/pre>\n\n\n\n<p class=\"wp-block-paragraph\">\u062e\u0631\u0648\u062c\u06cc:<\/p>\n\n\n\n<pre class=\"wp-block-code\"><code>InstanceName                                   CookedValue\npid_1204_luid_0x00000000_0x0000_engtype_3D     27.31\npid_1820_luid_0x00000000_0x0000_engtype_Compute_0  74.02<\/code><\/pre>\n\n\n\n<h2 class=\"wp-block-heading\">\u0645\u0642\u0627\u06cc\u0633\u0647 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0632 \u0627\u06cc\u0646 \u062c\u062f\u0648\u0644 \u0628\u0631\u0627\u06cc \u0627\u0646\u062a\u062e\u0627\u0628 \u0627\u0628\u0632\u0627\u0631 \u0628\u0631 \u0627\u0633\u0627\u0633 \u0639\u0645\u0642 \u062f\u0627\u062f\u0647\u060c \u0633\u0631\u0628\u0627\u0631 \u0639\u0645\u0644\u06cc\u0627\u062a\u06cc \u0648 \u0646\u06cc\u0627\u0632\u0647\u0627\u06cc \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc \u0639\u06cc\u0628\u200c\u06cc\u0627\u0628\u06cc \u0628\u0627 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc CLI \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f\u061b \u0633\u067e\u0633 \u0628\u0631\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u062f\u0627\u0626\u0645\u06cc\u060c \u062e\u0637\u0648\u0637 \u0644\u0648\u0644\u0647 Datadog \u06cc\u0627 Zabbix \u06cc\u0627 DCGM \u0631\u0627 \u0627\u0636\u0627\u0641\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u062c\u062f\u0648\u0644 \u0645\u0642\u0627\u06cc\u0633\u0647 \u0642\u0627\u0628\u0644\u06cc\u062a\u200c\u0647\u0627 \u0648 \u062a\u0648\u0627\u0641\u0642\u200c\u0647\u0627<\/h3>\n\n\n\n<figure class=\"wp-block-table\"><table class=\"has-fixed-layout\"><thead><tr><th>\u0627\u0628\u0632\u0627\u0631<\/th><th>\u067e\u0644\u062a\u0641\u0631\u0645<\/th><th>\u0646\u0631\u062e \u0631\u0641\u0631\u0634<\/th><th>\u0646\u0645\u0627\u06cc \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647<\/th><th>\u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc<\/th><th>\u0647\u0632\u06cc\u0646\u0647<\/th><\/tr><\/thead><tbody><tr><td>nvidia-smi<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0648\u06cc\u0646\u062f\u0648\u0632<\/td><td>\u06f1 \u062b\u0627\u0646\u06cc\u0647 \u0648 \u0628\u06cc\u0634\u062a\u0631 (&#8211;loop)<\/td><td>\u0628\u0644\u0647 (\u0641\u0647\u0631\u0633\u062a \u067e\u0631\u0648\u0633\u0647\u200c\u0647\u0627\u060c pmon)<\/td><td>\u0647\u0634\u062f\u0627\u0631 \u0628\u0648\u0645\u06cc \u0646\u062f\u0627\u0631\u062f<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646<\/td><\/tr><tr><td>nvtop<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633<\/td><td>\u062a\u0639\u0627\u0645\u0644\u06cc\u060c \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc<\/td><td>\u0628\u0644\u0647<\/td><td>\u0647\u0634\u062f\u0627\u0631 \u0628\u0648\u0645\u06cc \u0646\u062f\u0627\u0631\u062f<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646<\/td><\/tr><tr><td>gpustat<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633<\/td><td>\u06f1 \u062b\u0627\u0646\u06cc\u0647 \u0648 \u0628\u06cc\u0634\u062a\u0631 (&#8211;watch)<\/td><td>\u0628\u0644\u0647 (\u062e\u0644\u0627\u0635\u0647)<\/td><td>\u0647\u0634\u062f\u0627\u0631 \u0628\u0648\u0645\u06cc \u0646\u062f\u0627\u0631\u062f<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646<\/td><\/tr><tr><td>Glances<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633\u060c macOS\u060c \u0648\u06cc\u0646\u062f\u0648\u0632<\/td><td>\u06f1 \u062b\u0627\u0646\u06cc\u0647 \u0648 \u0628\u06cc\u0634\u062a\u0631<\/td><td>\u062c\u0632\u0626\u06cc<\/td><td>\u0647\u0634\u062f\u0627\u0631 \u0628\u0648\u0645\u06cc \u0646\u062f\u0627\u0631\u062f<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646<\/td><\/tr><tr><td>atop<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633<\/td><td>\u0628\u0627\u0632\u0647 \u0642\u0627\u0628\u0644\u200c\u062a\u0646\u0638\u06cc\u0645<\/td><td>\u0628\u0631\u0627\u06cc GPU \u063a\u06cc\u0631\u0645\u0633\u062a\u0642\u06cc\u0645<\/td><td>\u0647\u0634\u062f\u0627\u0631 \u0628\u0648\u0645\u06cc \u0646\u062f\u0627\u0631\u062f<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646<\/td><\/tr><tr><td>Datadog Agent<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0648\u06cc\u0646\u062f\u0648\u0632<\/td><td>\u0628\u0627\u0632\u0647 \u0645\u0639\u0645\u0648\u0644 Agent: \u06f1\u06f5 \u062b\u0627\u0646\u06cc\u0647<\/td><td>\u0628\u0644\u0647 (\u0632\u0645\u06cc\u0646\u0647 Tag \u0648 \u0647\u0627\u0633\u062a)<\/td><td>\u0628\u0644\u0647<\/td><td>\u067e\u0648\u0644\u06cc<\/td><\/tr><tr><td>Zabbix<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0648\u06cc\u0646\u062f\u0648\u0632<\/td><td>Polling \u0642\u0627\u0628\u0644\u200c\u062a\u0646\u0638\u06cc\u0645<\/td><td>\u0628\u0644\u0647 (\u0648\u0627\u0628\u0633\u062a\u0647 \u0628\u0647 \u0642\u0627\u0644\u0628)<\/td><td>\u0628\u0644\u0647<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646 (Self-Hosted)<\/td><\/tr><tr><td>DCGM Exporter<\/td><td>\u0644\u06cc\u0646\u0648\u06a9\u0633\u060c Kubernetes<\/td><td>\u0645\u0628\u062a\u0646\u06cc \u0628\u0631 \u0628\u0627\u0632\u0647 Scraping<\/td><td>\u0628\u0644\u0647 (\u0648\u0627\u0628\u0633\u062a\u0647 \u0628\u0647 Label)<\/td><td>\u0627\u0632 \u0637\u0631\u06cc\u0642 Prometheus\/Grafana Alertmanager<\/td><td>\u0631\u0627\u06cc\u06af\u0627\u0646<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n<h3 class=\"wp-block-heading\">\u0627\u0646\u062a\u062e\u0627\u0628 \u0627\u0628\u0632\u0627\u0631 \u0645\u0646\u0627\u0633\u0628 \u0628\u0631\u0627\u06cc \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0634\u0645\u0627<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0631\u0627\u06cc \u062f\u06cc\u0628\u0627\u06af \u062a\u06a9\u200c\u0646\u0648\u062f\u06cc\u060c \u0628\u0627 nvidia-smi \u0648 nvtop \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc \u062f\u06cc\u062f \u062f\u0631 \u0633\u0637\u062d \u0646\u0627\u0648\u06af\u0627\u0646 (Fleet) \u062f\u0631 \u0633\u0631\u0648\u0631\u0647\u0627\u06cc GPU \u067e\u0627\u0631\u0645\u06cc\u0646 \u06a9\u0644\u0648\u062f \u0648 \u0646\u0648\u062f\u0647\u0627\u06cc Kubernetes\u060c \u0627\u0632 DCGM Exporter \u0628\u0647\u200c\u0647\u0645\u0631\u0627\u0647 \u0628\u06a9\u200c\u0627\u0646\u062f \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u062e\u0648\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u06cc\u0627 \u0628\u0631\u0627\u06cc \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0648 \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc\u060c Datadog \u06cc\u0627 Zabbix \u0631\u0627 \u0645\u0633\u062a\u0642\u0631 \u06a9\u0646\u06cc\u062f. \u0627\u06af\u0631 \u0628\u0647 \u0633\u0627\u0628\u0642\u0647 \u062a\u0627\u0631\u06cc\u062e\u06cc \u0641\u0639\u0627\u0644\u06cc\u062a GPU \u062f\u0631 \u06a9\u0646\u0627\u0631 CPU\u060c \u062d\u0627\u0641\u0638\u0647 \u0648 \u062f\u06cc\u0633\u06a9 \u062f\u0631 \u06cc\u06a9 \u0644\u0627\u06af \u0648\u0627\u062d\u062f \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u062f\u060c atop \u0647\u0645\u0647 \u0627\u06cc\u0646\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 \u0628\u0627\u0632\u0647\u200c\u0647\u0627\u06cc \u0642\u0627\u0628\u0644\u200c\u062a\u0646\u0638\u06cc\u0645 \u062b\u0628\u062a \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0627\u0631\u0632\u0634 \u0627\u0641\u0632\u0648\u062f\u0646 \u0628\u0647 \u0647\u0627\u0633\u062a\u200c\u0647\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0637\u0648\u0644\u0627\u0646\u06cc\u200c\u0645\u062f\u062a \u062f\u0631 \u06a9\u0646\u0627\u0631 nvidia-smi \u0631\u0627 \u062f\u0627\u0631\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u0633\u0648\u0627\u0644\u0627\u062a \u0645\u062a\u062f\u0627\u0648\u0644<\/h2>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f1. \u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc\u0646 \u0631\u0627\u0647 \u0628\u0631\u0631\u0633\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0631\u0648\u06cc \u0644\u06cc\u0646\u0648\u06a9\u0633 \u0686\u06cc\u0633\u062a\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u062f\u0633\u062a\u0648\u0631 <code>nvidia-smi --loop=1<\/code> \u0631\u0627 \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u062f\u0633\u062a\u0648\u0631 \u0647\u0631 \u062b\u0627\u0646\u06cc\u0647 \u06cc\u06a9 \u0628\u0627\u0631 \u0631\u0641\u0631\u0634 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647\u060c \u0645\u0635\u0631\u0641 \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u0645\u0627 \u0648 \u0645\u0635\u0631\u0641 \u062a\u0648\u0627\u0646 \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u0646\u0645\u0627\u06cc \u0648\u0627\u062d\u062f \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f. \u0627\u06cc\u0646 \u0645\u0639\u0645\u0648\u0644\u0627\u064b \u0627\u0648\u0644\u06cc\u0646 \u0628\u0631\u0631\u0633\u06cc \u062f\u0631 \u0637\u0648\u0644 Triage \u062d\u0627\u062f\u062b\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f2. \u0686\u0637\u0648\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0631\u0627 \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 \u06cc\u06a9 \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646 \u06cc\u0627 \u067e\u0631\u0648\u0633\u0647 \u062e\u0627\u0635 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631 \u06a9\u0646\u0645\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0632 <code>nvidia-smi pmon -s um -d 1<\/code> \u0628\u0631\u0627\u06cc \u0646\u0645\u0627\u06cc\u0634 \u0641\u0639\u0627\u0644\u06cc\u062a GPU \u0628\u0647 \u062a\u0641\u06a9\u06cc\u06a9 \u067e\u0631\u0648\u0633\u0647 \u0647\u0645\u0631\u0627\u0647 \u0628\u0627 PID\u0647\u0627 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f. \u0633\u067e\u0633 PID \u0631\u0627 \u0628\u0627 <code>ps -p &lt;PID&gt; -o cmd<\/code> \u0646\u06af\u0627\u0634\u062a \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646 \u062f\u0642\u06cc\u0642 \u0634\u0646\u0627\u0633\u0627\u06cc\u06cc \u0634\u0648\u062f. \u0627\u06cc\u0646 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc\u0646 \u0645\u0633\u06cc\u0631 \u0628\u0631\u0627\u06cc \u0627\u06cc\u0632\u0648\u0644\u0647\u200c\u06a9\u0631\u062f\u0646 \u06a9\u0627\u0631\u0647\u0627\u06cc \u067e\u0631\u0647\u0632\u06cc\u0646\u0647 \u0627\u0633\u062a.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f3. \u0686\u0637\u0648\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0631\u0627 \u062f\u0627\u062e\u0644 \u06cc\u06a9 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631 Docker \u0645\u0627\u0646\u06cc\u062a\u0648\u0631 \u06a9\u0646\u0645\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">NVIDIA Container Toolkit \u0631\u0627 \u0631\u0648\u06cc \u0647\u0627\u0633\u062a \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u0647\u0627 \u0631\u0627 \u0628\u0627 \u200e&#8211;gpus all\u200e \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f. \u067e\u0633 \u0627\u0632 \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u060c nvidia-smi \u0631\u0627 \u062f\u0627\u062e\u0644 \u0622\u0646 \u0627\u062c\u0631\u0627 \u06a9\u0646\u06cc\u062f \u062a\u0627 \u062f\u0633\u062a\u0631\u0633\u06cc \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0631\u0627 \u062a\u0623\u06cc\u06cc\u062f \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u062f\u0627\u0626\u0645\u06cc\u060c \u0628\u0627 DCGM Exporter \u062c\u0645\u0639\u200c\u0622\u0648\u0631\u06cc \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f4. \u0641\u0639\u0627\u0644\u200c\u06a9\u0631\u062f\u0646 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u06cc\u06a9\u067e\u0627\u0631\u0686\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0628\u0647 \u0686\u0647 \u0645\u0639\u0646\u0627\u0633\u062a\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u06cc\u0639\u0646\u06cc \u0641\u0639\u0627\u0644\u06cc\u062a GPU \u0627\u0632 \u0686\u0646\u062f \u0645\u0648\u062a\u0648\u0631 \u062f\u0631 \u06cc\u06a9 \u0633\u06cc\u06af\u0646\u0627\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0648\u0627\u062d\u062f \u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc \u0645\u06cc\u200c\u0634\u0648\u062f. \u0627\u06cc\u0646 \u0645\u0648\u0636\u0648\u0639 \u062a\u0641\u0633\u06cc\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062f\u0631 \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647 \u0648 \u0633\u0637\u062d \u0622\u062f\u0627\u067e\u062a\u0648\u0631 \u0631\u0627 \u062f\u0631 \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u062a\u0631\u06a9\u06cc\u0628\u06cc \u0622\u0633\u0627\u0646\u200c\u062a\u0631 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0631\u0648\u06cc \u0648\u06cc\u0646\u062f\u0648\u0632\u060c \u0627\u06cc\u0646 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0633\u067e\u0633 \u062f\u0631 Task Manager \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u0647\u062f\u0647 \u0648 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u0634\u0645\u0627\u0631\u0646\u062f\u0647\u200c\u0647\u0627 \u0648 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 WMI \u0642\u0627\u0628\u0644 \u062f\u0633\u062a\u0631\u0633 \u0647\u0633\u062a\u0646\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f5. \u0686\u0637\u0648\u0631 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af GPU \u0631\u0627 \u062f\u0631 Datadog \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u06a9\u0646\u0645\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Datadog Agent \u0646\u0633\u062e\u0647 \u06f7 \u0631\u0627 \u0631\u0648\u06cc \u0647\u0631 \u0647\u0627\u0633\u062a GPU \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f\u060c \u06cc\u06a9\u067e\u0627\u0631\u0686\u06af\u06cc NVIDIA \u0631\u0627 \u0641\u0639\u0627\u0644 \u06a9\u0646\u06cc\u062f \u0648 Agent \u0631\u0627 \u0631\u06cc\u200c\u0627\u0633\u062a\u0627\u0631\u062a \u06a9\u0646\u06cc\u062f. \u067e\u0633 \u0627\u0632 \u0641\u0639\u0627\u0644\u200c\u0633\u0627\u0632\u06cc\u060c \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627 \u062f\u0631 \u0641\u0636\u0627\u06cc \u0646\u0627\u0645 <code>nvidia.gpu.*<\/code> \u0628\u0631\u0627\u06cc \u062f\u0627\u0634\u0628\u0648\u0631\u062f\u0647\u0627 \u0648 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u0647\u0627 \u0638\u0627\u0647\u0631 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0642\u0628\u0644 \u0627\u0632 \u0633\u0627\u062e\u062a \u0647\u0634\u062f\u0627\u0631\u0647\u0627\u060c Tag\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f \u0645\u062d\u06cc\u0637 \u0648 \u0646\u0642\u0634 \u0627\u0636\u0627\u0641\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f6. \u0622\u06cc\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0645 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0631\u0627 \u062f\u0631 \u06cc\u06a9 \u06a9\u0644\u0627\u0633\u062a\u0631 Kubernetes \u0645\u0627\u0646\u06cc\u062a\u0648\u0631 \u06a9\u0646\u0645\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0644\u0647. DCGM Exporter \u0631\u0627 \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 DaemonSet \u0631\u0648\u06cc \u0646\u0648\u062f\u0647\u0627\u06cc GPU \u0645\u0633\u062a\u0642\u0631 \u06a9\u0646\u06cc\u062f \u0648 \u0622\u0646 \u0631\u0627 \u0628\u0627 Prometheus \u0627\u0633\u06a9\u0631\u067e \u06a9\u0646\u06cc\u062f. \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc GPU \u0631\u0627 \u062f\u0631 \u0633\u0631\u0627\u0633\u0631 \u0646\u0648\u062f\u0647\u0627 \u0648 \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0628\u0631\u0627\u06cc \u0645\u0635\u0648\u0631\u0633\u0627\u0632\u06cc \u0648 \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc\u060c \u0627\u0632 Grafana \u0648 Alertmanager \u06cc\u0627 \u06cc\u06a9 \u0628\u06a9\u200c\u0627\u0646\u062f \u0645\u06cc\u0632\u0628\u0627\u0646\u06cc\u200c\u0634\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f7. \u062a\u0641\u0627\u0648\u062a \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0648 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647 GPU \u0686\u06cc\u0633\u062a\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">\u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f \u0645\u0648\u062a\u0648\u0631\u0647\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u062f\u0631 \u06cc\u06a9 \u062f\u0648\u0631\u0647 \u0646\u0645\u0648\u0646\u0647 \u0686\u0642\u062f\u0631 \u0645\u0634\u063a\u0648\u0644 \u0628\u0648\u062f\u0647\u200c\u0627\u0646\u062f. \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647 GPU \u0641\u0639\u0627\u0644\u06cc\u062a \u0632\u06cc\u0631\u0633\u06cc\u0633\u062a\u0645 \u062d\u0627\u0641\u0638\u0647 \u0631\u0627 \u0646\u0634\u0627\u0646 \u0645\u06cc\u200c\u062f\u0647\u062f\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 \u062d\u0627\u0641\u0638\u0647 \u0645\u0635\u0631\u0641\u200c\u0634\u062f\u0647 \u0628\u0647 \u062a\u062e\u0635\u06cc\u0635 VRAM \u0627\u0634\u0627\u0631\u0647 \u062f\u0627\u0631\u062f. \u06cc\u06a9 \u06a9\u0627\u0631 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f VRAM \u0632\u06cc\u0627\u062f\u06cc \u062a\u062e\u0635\u06cc\u0635 \u062f\u0647\u062f \u0648 \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0642\u0648\u0639 \u062a\u0648\u0642\u0641 \u0648\u0631\u0648\u062f\u06cc\u060c \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u067e\u0627\u06cc\u06cc\u0646\u06cc \u0646\u0634\u0627\u0646 \u062f\u0647\u062f.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\">\u06f8. \u0686\u0637\u0648\u0631 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0631\u0627 \u0628\u0627 Zabbix \u0645\u0627\u0646\u06cc\u062a\u0648\u0631 \u06a9\u0646\u0645\u061f<\/h3>\n\n\n\n<p class=\"wp-block-paragraph\">Zabbix Agent \u0631\u0627 \u0631\u0648\u06cc \u0647\u0627\u0633\u062a\u200c\u0647\u0627\u06cc GPU \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u06cc\u06a9 \u0642\u0627\u0644\u0628 NVIDIA GPU \u06a9\u0647 \u0628\u0631\u0631\u0633\u06cc\u200c\u0647\u0627\u06cc \u0645\u0628\u062a\u0646\u06cc \u0628\u0631 nvidia-smi \u0627\u062c\u0631\u0627 \u0645\u06cc\u200c\u06a9\u0646\u062f \u0631\u0627 \u0645\u062a\u0635\u0644 \u06a9\u0646\u06cc\u062f. \u0627\u0633\u062a\u0641\u0627\u062f\u0647\u060c \u062d\u0627\u0641\u0638\u0647\u060c \u062f\u0645\u0627 \u0648 \u062a\u0648\u0627\u0646 \u0631\u0627 \u0628\u0647\u200c\u0639\u0646\u0648\u0627\u0646 \u0622\u06cc\u062a\u0645 \u0631\u062f\u06cc\u0627\u0628\u06cc \u06a9\u0646\u06cc\u062f. \u0628\u0631\u0627\u06cc \u0628\u0627\u0631 \u067e\u0627\u06cc\u062f\u0627\u0631 \u0648 \u0631\u06cc\u0633\u06a9 \u062d\u0631\u0627\u0631\u062a\u06cc\u060c \u0622\u0633\u062a\u0627\u0646\u0647\u200c\u0647\u0627\u06cc \u062a\u0631\u06cc\u06af\u0631 \u0627\u0636\u0627\u0641\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\">\u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc<\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc\u0650 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u0628\u0631\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u06a9\u0627\u0631\u0627\u06cc\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642\u060c \u0639\u06cc\u0628\u200c\u06cc\u0627\u0628\u06cc \u06af\u0644\u0648\u06af\u0627\u0647\u200c\u0647\u0627 \u0648 \u0631\u0633\u06cc\u062f\u0646 \u0628\u0647 \u0645\u0635\u0631\u0641 \u06a9\u0627\u0631\u0622\u0645\u062f \u0645\u0646\u0627\u0628\u0639 \u0636\u0631\u0648\u0631\u06cc \u0627\u0633\u062a \u2014 \u0686\u0647 \u0631\u0648\u06cc \u0646\u0648\u062f\u0647\u0627\u06cc \u0645\u0646\u0641\u0631\u062f\u060c \u0686\u0647 \u062f\u0627\u062e\u0644 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631\u0647\u0627 \u0648 \u0686\u0647 \u062f\u0631 \u0645\u0642\u06cc\u0627\u0633\u200c\u062f\u0647\u06cc \u062f\u0631 \u0645\u062d\u06cc\u0637\u200c\u0647\u0627\u06cc \u06a9\u0644\u0627\u0633\u062a\u0631\u06cc. \u0627\u0628\u0632\u0627\u0631 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0645\u0646\u0627\u0633\u0628 \u0628\u0647 \u0645\u0648\u0631\u062f \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062e\u0627\u0635 \u0634\u0645\u0627 \u0628\u0633\u062a\u06af\u06cc \u062f\u0627\u0631\u062f: \u0628\u0631\u0631\u0633\u06cc\u200c\u0647\u0627\u06cc \u0633\u0631\u06cc\u0639 \u06cc\u06a9\u200c\u0628\u0627\u0631\u0647\u060c \u062f\u06cc\u0628\u0627\u06af \u062a\u0639\u0627\u0645\u0644\u06cc\u060c \u062f\u06cc\u062f \u067e\u06cc\u0648\u0633\u062a\u0647 \u062f\u0631 \u0633\u0637\u062d \u0646\u0627\u0648\u06af\u0627\u0646 \u06cc\u0627 \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0628\u0644\u0646\u062f\u0645\u062f\u062a \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627 \u0648 \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">\u0628\u0627 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0633\u0627\u062f\u0647\u200c\u0627\u06cc \u0645\u0627\u0646\u0646\u062f nvidia-smi \u0628\u0631\u0627\u06cc \u062f\u06cc\u062f \u0641\u0648\u0631\u06cc \u0634\u0631\u0648\u0639 \u06a9\u0646\u06cc\u062f \u0648 \u0628\u0627 \u0631\u0634\u062f \u0646\u06cc\u0627\u0632\u0647\u0627\u060c \u0628\u0647 \u062f\u0627\u0634\u0628\u0648\u0631\u062f\u0633\u0627\u0632\u06cc\u060c \u0647\u0634\u062f\u0627\u0631\u062f\u0647\u06cc \u0633\u0641\u0627\u0631\u0634\u06cc \u0648 \u0631\u0627\u0647\u06a9\u0627\u0631\u0647\u0627\u06cc \u062f\u0631 \u0633\u0637\u062d \u0633\u0627\u0632\u0645\u0627\u0646\u06cc \u067e\u06cc\u0634\u0631\u0648\u06cc \u06a9\u0646\u06cc\u062f. \u0628\u0627 \u0627\u0633\u062a\u0631\u0627\u062a\u0698\u06cc\u200c\u0647\u0627 \u0648 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u0639\u0631\u0641\u06cc\u200c\u0634\u062f\u0647 \u062f\u0631 \u0627\u06cc\u0646 \u0631\u0627\u0647\u0646\u0645\u0627\u060c \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u0628\u0647\u200c\u0637\u0648\u0631 \u067e\u06cc\u0634\u06af\u06cc\u0631\u0627\u0646\u0647 \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc GPU \u062e\u0648\u062f \u0631\u0627 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u060c \u0639\u06cc\u0628\u200c\u06cc\u0627\u0628\u06cc \u0648 \u062d\u062f\u0627\u06a9\u062b\u0631\u0633\u0627\u0632\u06cc \u06a9\u0646\u06cc\u062f \u0648 \u0627\u0632 \u0639\u0645\u0644\u06a9\u0631\u062f \u0631\u0648\u0627\u0646\u200c\u062a\u0631 \u0628\u0631\u0627\u06cc \u062e\u0637\u0648\u0637 \u0644\u0648\u0644\u0647 \u062a\u0648\u0633\u0639\u0647\u060c \u0622\u0645\u0648\u0632\u0634 \u0648 \u0627\u0633\u062a\u0642\u0631\u0627\u0631 \u0627\u0637\u0645\u06cc\u0646\u0627\u0646 \u062d\u0627\u0635\u0644 \u0646\u0645\u0627\u06cc\u06cc\u062f.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\"><\/p>\n","protected":false},"excerpt":{"rendered":"<p>\u0645\u0642\u062f\u0645\u0647 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631\u06cc\u0646 \u0631\u0627\u0647 \u0628\u0631\u0627\u06cc \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0631\u0648\u06cc \u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0627\u062c\u0631\u0627\u06cc \u062f\u0633\u062a\u0648\u0631 nvidia-smi &#8211;loop=1 \u0627\u0633\u062a \u06a9\u0647 \u0622\u0645\u0627\u0631 GPU \u0631\u0627 \u0647\u0631 \u062b\u0627\u0646\u06cc\u0647 \u0631\u0641\u0631\u0634 \u0645\u06cc\u200c\u06a9\u0646\u062f\u061b \u0634\u0627\u0645\u0644 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u0647\u0633\u062a\u0647\u060c \u0645\u0635\u0631\u0641 VRAM\u060c \u062f\u0645\u0627 \u0648 \u0645\u0635\u0631\u0641 \u062a\u0648\u0627\u0646. \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 GPU \u062f\u0631 \u0632\u0645\u0627\u0646 \u0648\u0627\u0642\u0639\u06cc \u0628\u0627 nvidia-smi \u0634\u0631\u0648\u0639 \u0645\u06cc\u200c\u0634\u0648\u062f \u0648 \u0633\u067e\u0633 \u0628\u0647 \u0646\u0645\u0627\u06cc\u200c\u0647\u0627\u06cc \u0633\u0637\u062d \u067e\u0631\u0648\u0633\u0647\u060c \u0645\u062a\u0631\u06cc\u06a9\u200c\u0647\u0627\u06cc \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631 &hellip;<\/p>\n","protected":false},"author":9,"featured_media":7138,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[150],"tags":[],"class_list":["post-7136","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-linux"],"_links":{"self":[{"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/posts\/7136","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/comments?post=7136"}],"version-history":[{"count":1,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/posts\/7136\/revisions"}],"predecessor-version":[{"id":7137,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/posts\/7136\/revisions\/7137"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/media\/7138"}],"wp:attachment":[{"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/media?parent=7136"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/categories?post=7136"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/parmin.cloud\/blog\/wp-json\/wp\/v2\/tags?post=7136"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}