เพิ่มขีดจำกัดไฟล์ Systemd ของ Synapse โดยไม่ต้องคาดเดา

ตัวอย่างสถานการณ์:โรวันดูแลโฮมเซิร์ฟเวอร์ Matrix ขนาดเล็ก และเห็นบันทึก Synapse [Errno 24] Too many open filesเมื่อกิจกรรมเพิ่มขึ้น หากกระบวนการ Synapse ที่กำลังทำงานอยู่ถึงขีดจำกัดการเปิดไฟล์ของ systemd แล้ว ให้เพิ่มขีดจำกัดLimitNOFILEใน systemd drop-in สำหรับบริการที่ได้รับผลกระทบ โหลด systemd ใหม่ และรีสตาร์ท Synapse ตรวจสอบขีดจำกัดของกระบวนการที่กำลังทำงานอยู่ อย่าเปลี่ยนขีดจำกัดเคอร์เนลโดยรวมจนกว่าคุณจะมีหลักฐานว่าตารางไฟล์ทั่วทั้งเครื่องหมดลงแล้ว

ขีดจำกัดที่แน่นอนขึ้นอยู่กับการติดตั้งและปริมาณงาน ค่าตัวอย่างด้านล่างไม่ใช่ค่าต่ำสุดอย่างเป็นทางการของ Synapse คำแนะนำปัจจุบันของ Synapse เกี่ยวกับ systemd ครอบคลุมบริการหลัก หน่วยเทมเพลตตัวทำงานเสริม และเป้าหมายที่จัดกลุ่มหน่วยเหล่านั้น จับคู่ชื่อหน่วยกับการติดตั้งของคุณเอง ดู เอกสาร ประกอบsynapse systemd-with-workers

หน้าต่างเทอร์มินัลแสดงรายการบันทึกของ matrix-synapse.service โดยมีข้อความ Errno 24 Too many open files ซ้ำๆ กัน
ตัวอย่างบันทึกการทำงานแสดงให้เห็นว่า Synapse รายงานข้อผิดพลาด Errno 24 ขณะรับการเชื่อมต่อ นี่เป็นเพียงตัวอย่างอาการที่เกิดขึ้น ไม่ใช่บันทึกจากเซิร์ฟเวอร์จริง

ตรวจสอบว่าขีดจำกัดใดทำงานผิดพลาด

“ไฟล์ที่เปิดอยู่” หมายถึงตัวระบุไฟล์ (file descriptors): ตัวจัดการที่กระบวนการใช้สำหรับซ็อกเก็ต ไฟล์ ท่อ และทรัพยากรอื่นๆ Synapse อาจต้องการตัวระบุไฟล์จำนวนมากสำหรับการเชื่อมต่อไคลเอ็นต์ การรวมระบบ การเชื่อมต่อฐานข้อมูล และเวิร์กเกอร์ ขั้นแรกให้ตรวจสอบบริการและบันทึกของบริการนั้น:

sudo systemctl status matrix-synapse.service
sudo journalctl -u matrix-synapse.service -b --no-pager -n 100
sudo systemctl show matrix-synapse.service -p MainPID -p LimitNOFILE

แทนที่matrix-synapse.serviceหากหน่วยของคุณมีชื่ออื่น แพ็กเกจ คอนเทนเนอร์ หรือการปรับใช้แบบกำหนดเองอาจตั้งชื่อหรือเรียกใช้บริการแตกต่างกัน ใช้systemctl list-units '*synapse*'เพื่อค้นหาหน่วยที่จัดการโดยตัวจัดการ systemd ปัจจุบัน หาก systemd ไม่ได้เรียกใช้ Synapse โดยตรง การตั้งค่านี้อาจไม่สามารถควบคุมกระบวนการได้

นำค่าMainPIDจากผลลัพธ์มาตรวจสอบกระบวนการนั้น แทนที่ PID ตัวเลขด้วยค่าต่อไปนี้PID:

grep -i 'open files' /proc/PID/limits
ls /proc/PID/fd | wc -l

คำสั่งแรกแสดงขีดจำกัดแบบอ่อนและแบบแข็งของกระบวนการที่กำลังทำงานอยู่ คำสั่งที่สองนับจำนวนตัวอธิบายที่เปิดอยู่ในปัจจุบัน หากจำนวนใกล้เคียงกับขีดจำกัดแบบอ่อนและบันทึกมีข้อความToo many open filesหรือErrno 24ขีดจำกัดต่อกระบวนการอาจเป็นสาเหตุได้ เคอร์เนลจะแสดงค่าเหล่านี้ผ่านทาง/proc/<pid>/limitsดูข้อมูลอ้างอิงเกี่ยวกับขีดจำกัดของกระบวนการใน Linux

จากตัวอย่างของโรวัน สมมติว่าขีดจำกัดแบบอ่อนของกระบวนการคือ 1,024 และจำนวนตัวอธิบายใกล้เคียงกับค่านี้ นั่นแสดงว่าควรปรับหน่วย หากกระบวนการไม่ได้อยู่ใกล้ขีดจำกัดเลย ให้ตรวจสอบข้อผิดพลาดและการใช้ทรัพยากรทั้งหมดก่อนที่จะเพิ่มขีดจำกัด เพราะการรั่วไหลหรือความล้มเหลวอื่นๆ อาจเป็นสาเหตุได้

หน้าจอเทอร์มินัลแสดงค่า LimitNOFILE=1024 และตารางขีดจำกัดของกระบวนการ โดยที่ขีดจำกัดแบบอ่อนของไฟล์ที่เปิดได้คือ 1024 และขีดจำกัดแบบแข็งคือ 524288
ตารางขีดจำกัดกระบวนการตัวอย่างแสดงขีดจำกัดการเปิดไฟล์แบบอ่อนที่ 1,024 และขีดจำกัดแบบแข็งที่สูงกว่า ตรวจสอบกระบวนการ Synapse ที่กำลังทำงานอยู่แทนที่จะพึ่งพาค่า ulimit ของเชลล์ล็อกอิน

เพิ่มขีดจำกัดด้วย systemd drop-in

การเพิ่มแบบดรอปอินจะเพิ่มการแทนที่เล็กน้อยโดยไม่ต้องแก้ไขหน่วยผู้จำหน่ายของแพ็กเกจ ในการติดตั้ง systemd ทั่วไป ให้สร้างการแทนที่สำหรับหน่วยหลักจริง:

sudo systemctl edit matrix-synapse.service

ป้อนการตั้งค่านี้ลงในตัวแก้ไข:

[Service]
LimitNOFILE=65536

บันทึกและออก65536เป็นเพียงตัวอย่าง ไม่ใช่ค่าที่ Synapse กำหนด เลือกค่าที่สูงกว่าการใช้งานสูงสุดที่สังเกตได้ โดยยังมีค่าเผื่ออยู่ภายในขีดจำกัดสูงสุดและขีดความสามารถในการทำงานของโฮสต์ systemd ยอมรับการตั้งค่า resource-limit เช่นLimitNOFILE; เอกสารประกอบยังเตือนด้วยว่าบางโปรแกรมที่ใช้select(2)ไม่สามารถจัดการตัวอธิบาย (descriptor) ที่สูงกว่า 1,023 ได้ ตรวจสอบให้แน่ใจว่ารันไทม์และแอปพลิเคชันยอมรับค่าที่เลือก แทนที่จะคัดลอกโดยไม่ตรวจสอบ อ่านเอกสารประกอบ resource-limit ของ systemd.exec

โหลดคำจำกัดความของหน่วยใหม่และรีสตาร์ท Synapse เพื่อให้กระบวนการเริ่มต้นใหม่ด้วยขีดจำกัดใหม่:

sudo systemctl daemon-reload
sudo systemctl restart matrix-synapse.service
sudo systemctl status matrix-synapse.service --no-pager

อย่าใช้ulimit -nเซสชัน SSH ของคุณในการเปลี่ยนแปลงบริการระบบ เชลล์ล็อกอินและบริการ systemd ได้รับข้อจำกัดจากบริบทที่แตกต่างกัน คุณต้องตรวจสอบการตั้งค่าที่มีผลของบริการโดยตรง

โปรแกรมแก้ไขข้อความแสดงไฟล์ override.conf ของ systemd drop-in ที่มีส่วน Service และค่า LimitNOFILE=65536
ส่วนเสริม systemd จะกำหนดค่า LimitNOFILE ระดับบริการ ค่าตัวอย่างเป็นเพียงตัวอย่างเท่านั้น โปรดเลือกค่าจำกัดที่เหมาะสมกับโฮสต์และแอปพลิเคชัน

กำหนดขีดจำกัดสำหรับคนงานและตู้คอนเทนเนอร์เมื่อจำเป็น

หากคุณใช้งาน Synapse worker แต่ละ worker จะเป็นกระบวนการบริการแยกต่างหากและมีขีดจำกัดทรัพยากรของตัวเอง ตัวอย่างอย่างเป็นทางการของ systemd ใช้หน่วยต่างๆ เช่น `<worker_unit>` matrix-synapse-worker@generic_worker.serviceสร้าง drop-in ที่ตรงกันสำหรับทุกหน่วย worker ที่ใช้งานอยู่ซึ่งกำลังถึงขีดจำกัด ตัวอย่างเช่น:

sudo systemctl edit matrix-synapse-worker@generic_worker.service

จากนั้นเพิ่มบรรทัดเดียวกัน[Service]และLimitNOFILEบรรทัดอื่นๆ โหลด systemd ใหม่ และรีสตาร์ท worker หรือ Synapse target เอกสารของ Synapse แสดงให้เห็นว่าการรีสตาร์ท target จะรีสตาร์ท master และ worker พร้อมกัน ตรวจสอบขีดจำกัดที่มีประสิทธิภาพของแต่ละหน่วยที่ได้รับผลกระทบทีละรายการ

สำหรับ Docker หรือตัวจัดการคอนเทนเนอร์อื่นๆ การตั้งค่า systemd บนโฮสต์จะช่วยได้ก็ต่อเมื่อหน่วยนั้นเริ่มต้นกระบวนการโดยตรงและส่งผ่านขีดจำกัดนั้นไปเท่านั้น มิเช่นนั้น ให้ตั้งค่าขีดจำกัดตัวระบุไฟล์ผ่านการกำหนดค่ารันไทม์ของคอนเทนเนอร์หรือการกำหนดค่าการจัดการคอนเทนเนอร์ จากนั้นสร้าง/รีสตาร์ทคอนเทนเนอร์และตรวจสอบกระบวนการภายในนั้น เอกสารการติดตั้งของ Synapse แสดงรายการอิมเมจคอนเทนเนอร์อย่างเป็นทางการ รายละเอียดการบรรจุอาจแตกต่างกัน ดังนั้นให้ตรวจสอบการกำหนดค่าปัจจุบันของรันไทม์แทนที่จะใช้คำสั่งเฉพาะบนโฮสต์

หน้าจอเทอร์มินัลแสดงคำสั่ง systemd daemon reload และ Synapse restart ตามด้วย LimitNOFILE=65536 และสถานะบริการที่กำลังทำงานอยู่
หลังจากรีโหลด systemd และรีสตาร์ทบริการแล้ว ขีดจำกัดที่มีประสิทธิภาพที่แสดงคือ 65,536 และหน่วย Synapse ทำงานอยู่ในตัวอย่างนี้

ตรวจสอบว่า Synapse อยู่ในสภาพปกติ

หลังจากรีสตาร์ทแล้ว ให้รันsystemctl showและตรวจสอบ อีกครั้ง /proc/PID/limitsโดยใช้ PID หลักใหม่ ค่าขีดจำกัดแบบอ่อนและแบบแข็งที่ใช้งานได้ควรสะท้อนถึงค่าที่กำหนดไว้ ตรวจสอบบันทึกการทำงานเพื่อหาข้อผิดพลาดในการเริ่มต้นและToo many open filesข้อผิดพลาดใหม่ จากนั้นทำการร้องขอจากไคลเอ็นต์และยืนยันว่ากิจกรรมการรวมระบบหรือกิจกรรมของเวิร์กเกอร์ที่ได้รับผลกระทบได้กลับมาทำงานต่อแล้ว

หากข้อผิดพลาดระบุToo many open files in systemหรือบันทึกชี้ไปที่ตารางไฟล์เคอร์เนล ให้ตรวจสอบ/proc/sys/fs/file-nr: ตัวเลขแรกคือจำนวนไฟล์แฮนเดิลที่จัดสรร และตัวเลขที่สามคือค่าสูงสุด การขาดแคลนทั่วทั้งระบบนั้นแตกต่างจากการที่ Synapse ถึงขีดจำกัดตัวอธิบายของตัวเอง ตรวจสอบบริการอื่นๆ และความจุโดยรวมก่อนที่จะพิจารณาการเปลี่ยนแปลงระดับเคอร์เนลเอกสารอ้างอิงระบบไฟล์ proc ของ Linuxfile-nrและfile-max.

สำหรับ Rowan การแก้ไขจะได้รับการตรวจสอบก็ต่อเมื่อกระบวนการที่เริ่มต้นใหม่มีขีดจำกัดที่ต้องการ Synapse ยังคงทำงานอยู่ และข้อผิดพลาดในบันทึกเดิมไม่เกิดขึ้นซ้ำอีกภายใต้ภาระงานที่เกี่ยวข้อง หากการใช้งานยังคงเพิ่มขึ้นเข้าใกล้ขีดจำกัดใหม่ ให้ตรวจสอบการรั่วไหลของตัวอธิบายหรือความต้องการด้านความจุแทนที่จะเพิ่มจำนวนซ้ำๆ

ฝากความเห็น

เพิ่มขีดจำกัดไฟล์ Systemd ของ Synapse โดยไม่ต้องคาดเดา

เพิ่มขีดจำกัดไฟล์ Systemd ของ Synapse โดยไม่ต้องคาดเดา

ตรวจสอบว่า Synapse ถึงขีดจำกัดการเปิดไฟล์ต่อกระบวนการแล้วหรือไม่ ตั้งค่า systemd drop-in สำหรับบริการหรือ worker ที่ถูกต้อง และตรวจสอบขีดจำกัดแบบเรียลไทม์

หากพบข้อความ “ถอดรหัสไม่สำเร็จ” ให้กู้คืนรหัสห้องที่หายไป

หากพบข้อความ “ถอดรหัสไม่สำเร็จ” ให้กู้คืนรหัสห้องที่หายไป

ตรวจสอบว่าข้อผิดพลาดนั้นเกิดขึ้นเฉพาะกับเบราว์เซอร์เดียวหรือเหตุการณ์เดียวหรือไม่ จากนั้นใช้รหัสกู้คืนของ Element หรืออุปกรณ์ที่เชื่อถือได้โดยไม่ต้องเสี่ยงกับประวัติการเข้ารหัสที่เหลืออยู่ของคุณ

ล้างข้อความและไฟล์มีเดียเก่าๆ ของ Synapse โดยไม่สูญเสียข้อมูล

ใช้ API สำหรับล้างประวัติและสื่อของ Synapse หรือการตั้งค่าการเก็บรักษาข้อมูลเพื่อลบข้อมูลที่ล้าสมัยอย่างปลอดภัย จากนั้นตรวจสอบความสมบูรณ์และการกู้คืนพื้นที่ดิสก์

สร้างบอท Matrix Echo ในภาษา Python โดยใช้ Simple-Matrix-Bot-Lib

สร้างบอท Matrix Echo ในภาษา Python โดยใช้ Simple-Matrix-Bot-Lib

ติดตั้งไลบรารีเวอร์ชันปัจจุบัน เชื่อมต่อบัญชี Matrix เฉพาะ และเรียกใช้บอท !echo ขนาดเล็กที่มีการจัดการข้อมูลประจำตัวที่ปลอดภัยยิ่งขึ้นและการทดสอบที่ชัดเจน

เชื่อมต่อ Matrix กับ WhatsApp, Telegram และ Discord ด้วยบริดจ์แยกต่างหาก

เชื่อมต่อ Matrix กับ WhatsApp, Telegram และ Discord ด้วยบริดจ์แยกต่างหาก

ตั้งค่าบริดจ์ Mautrix สามตัว โดยแยกการลงทะเบียน การเข้าสู่ระบบ และการทดสอบออกจากกัน เพื่อหลีกเลี่ยงปัญหาที่อาจเกิดขึ้นจากการเชื่อมต่อเครือข่าย Docker นโยบายบัญชี และการซิงค์ข้อมูล

เรียกคืนพื้นที่ดิสก์ Synapse Media โดยไม่ทำให้ไฟล์ที่แชร์เสียหาย

ค้นหาสิ่งที่กำลังทำให้พื้นที่เก็บข้อมูลของ Synapse เต็ม ตั้งค่าการเก็บรักษาข้อมูลสื่ออย่างปลอดภัย และล้างแคชระยะไกลโดยไม่ต้องลบไฟล์โดยตรงจากดิสก์

ปิดใช้งานผู้ใช้ Matrix ที่ไม่ได้ใช้งานโดยไม่ต้องลบประวัติห้อง

ปิดใช้งานผู้ใช้ Matrix ที่ไม่ได้ใช้งานโดยไม่ต้องลบประวัติห้อง

ตรวจสอบกิจกรรมของอุปกรณ์ ปิดใช้งานบัญชี Synapse ที่ได้รับการยืนยันว่าไม่ได้ใช้งานผ่านทาง Admin API และเรียนรู้ว่าตัวเลือก "ลบข้อมูล" นั้นลบอะไรออกไปบ้าง

ลดภาระการใช้หน่วยความจำของ PostgreSQL ใน Matrix Synapse

ตรวจสอบว่าหน่วยความจำของ PostgreSQL มาจากงานประมวลผลคำสั่งค้นหา บัฟเฟอร์ที่ใช้ร่วมกัน การเชื่อมต่อ หรือการบำรุงรักษา จากนั้นทำการเปลี่ยนแปลงที่ปลอดภัยต่อการใช้งาน Synapse ตามเป้าหมาย

เหตุใดการเข้าร่วมห้องสนทนา Matrix Synapse จึงช้า และควรตรวจสอบอะไรบ้าง

เหตุใดการเข้าร่วมห้องสนทนา Matrix Synapse จึงช้า และควรตรวจสอบอะไรบ้าง

ตรวจสอบการเข้าร่วมห้อง Matrix ที่ช้าไปยังโฮมเซิร์ฟเวอร์ระยะไกลเครื่องใดเครื่องหนึ่ง การหน่วงเวลาของเฟเดอเรชัน การโหลดฐานข้อมูลภายใน หรือคิวผู้ส่งขาออก ก่อนที่จะเปลี่ยนการตั้งค่า Synapse

ปิดการลงทะเบียนผ่าน Matrix หรือกำหนดให้ต้องใช้โทเค็นเชิญบน Synapse

หยุดการสร้างบัญชีแบบเปิดบนเซิร์ฟเวอร์ Synapse ที่โฮสต์เอง หรือจำกัดการลงทะเบียนเฉพาะผู้ได้รับเชิญเท่านั้น โดยใช้โทเค็นการลงทะเบียนที่มีจำนวนการใช้งานจำกัด