ลดภาระการใช้หน่วยความจำของ PostgreSQL ใน Matrix Synapse

หาก PostgreSQL ใช้หน่วยความจำมากกว่าที่คาดไว้สำหรับ Matrix Synapse ให้ตรวจสอบก่อนว่าหน่วยความจำนั้นถูกใช้ไปกับบัฟเฟอร์ที่ใช้ร่วมกัน การทำงานของคิวรีที่กำลังทำงานอยู่ การล้างข้อมูลอัตโนมัติ หรือการเชื่อมต่อจำนวนมาก จากนั้นปรับแต่งทีละส่วนและวัดผลอีกครั้ง ตัวประมวลผล Python ของ Synapse เองก็ใช้หน่วยความจำจำนวนมากเช่นกัน ดังนั้นตรวจสอบให้แน่ใจว่ากระบวนการ PostgreSQL หรือคอนเทนเนอร์ฐานข้อมูลเป็นแหล่งที่มาของการใช้หน่วยความจำก่อนที่จะเปลี่ยนแปลงการตั้งค่าฐานข้อมูล

เข้าใจความหมายของคำว่า “หน่วยความจำสูง”

PostgreSQL ใช้หน่วยความจำร่วมสำหรับแคช หน่วยความจำส่วนตัวสำหรับแต่ละการเชื่อมต่อเซิร์ฟเวอร์และการสืบค้น และแคชเพจของระบบปฏิบัติการ บน Linux หน่วยความจำที่แสดงว่า "ใช้งานอยู่" อาจรวมถึงแคชของระบบไฟล์ที่สามารถเรียกคืนได้ ตัวเลขนั้นเพียงอย่างเดียวไม่ได้พิสูจน์ว่าฐานข้อมูลกำลังทำงานหนักเกินไป ให้มองหาหน่วยความจำที่ใช้งานได้ต่ำอย่างต่อเนื่อง กิจกรรมสวอป เหตุการณ์หน่วยความจำไม่เพียงพอ หรือคอนเทนเนอร์ที่ใกล้ถึงขีดจำกัดหน่วยความจำ เปรียบเทียบสัญญาณเหล่านั้นกับเมตริกกระบวนการของ Synapse และ PostgreSQL

แบ็กเอนด์ของ PostgreSQL คือกระบวนการเซิร์ฟเวอร์ที่จัดการการเชื่อมต่อของไคลเอ็นต์ พูลการเชื่อมต่อฐานข้อมูลของ Synapse สามารถเปิดแบ็กเอนด์ได้หลายตัวต่อกระบวนการ และเวิร์กเกอร์ของ Synapse แต่ละตัวจะมีพูลของตนเอง ดังนั้น การเพิ่มจำนวนเวิร์กเกอร์หรือขนาดพูลอาจเพิ่มปริมาณงานฐานข้อมูลพร้อมกันและความต้องการหน่วยความจำได้การดำเนินการ:ตรวจสอบกระบวนการของ Synapse จำนวนเวิร์กเกอร์ การตั้งค่าพูล การเชื่อมต่อ PostgreSQL และขีดจำกัดหน่วยความจำของโฮสต์หรือคอนเทนเนอร์ก่อนที่จะปรับแต่ง PostgreSQL

ค้นหาแหล่งที่มาหลักก่อนทำการปรับแต่ง

เชื่อมต่อกับฐานข้อมูล Synapse ในฐานะผู้ดูแลระบบ และตรวจสอบการตั้งค่าที่ควบคุมหน่วยความจำและการเชื่อมต่อ:

SHOW shared_buffers;
SHOW work_mem;
SHOW maintenance_work_mem;
SHOW autovacuum_work_mem;
SHOW max_connections;

shared_buffersคือแคชที่ใช้ร่วมกันของ PostgreSQL และจะถูกจัดสรรเมื่อเซิร์ฟเวอร์เริ่มต้นwork_memคืองบประมาณต่อการดำเนินการต่อการสืบค้นสำหรับลำดับและตารางแฮช ไม่ใช่ข้อจำกัดต่อเซิร์ฟเวอร์ การสืบค้นหนึ่งรายการอาจใช้การดำเนินการดังกล่าวหลายรายการ และการเชื่อมต่อจำนวนมากสามารถดำเนินการพร้อมกันได้ หน่วยความจำสำหรับการบำรุงรักษาและการล้างข้อมูลอัตโนมัติอาจเพิ่มขึ้นเมื่อมีตัวดำเนินการบำรุงรักษาหลายตัวทำงานคำแนะนำ:เปรียบเทียบค่าที่กำหนดไว้กับ RAM ที่ใช้งานได้ การทำงานพร้อมกัน และจำนวนการเชื่อมต่อ Synapse แทนที่จะคิดว่าการตั้งค่าที่มากที่สุดนั้นดีที่สุด

ใช้คำสั่งค้นหานี้เพื่อดูจำนวนเซสชันไคลเอ็นต์ที่เชื่อมต่ออยู่ และดูว่าเซสชันเหล่านั้นใช้งานอยู่หรือไม่ได้ใช้งาน:

SELECT application_name, state, count(*)
FROM pg_stat_activity
GROUP BY application_name, state
ORDER BY count(*) DESC;

หากระบบของคุณรองรับ ให้ตรวจสอบขีดจำกัดหน่วยความจำของคอนเทนเนอร์ PostgreSQL และใช้เมตริกของคอนเทนเนอร์หรือเมตริกของกระบวนการและ cgroup บนโฮสต์ การรวมหน่วยความจำที่ใช้งานจริงของกระบวนการ PostgreSQL อาจทำให้จำนวนหน้าหน่วยความจำที่ใช้ร่วมกันเกินจริงได้วิธีแก้ไข:ใช้การคำนวณหน่วยความจำทั้งหมดของคอนเทนเนอร์หรือโฮสต์เพื่อตรวจสอบแรงดันหน่วยความจำ จากนั้นใช้สถิติการเชื่อมต่อและการสืบค้นเพื่อระบุสาเหตุที่เป็นไปได้

เลือกการเปลี่ยนแปลงโดยพิจารณาจากหลักฐาน

หากการใช้หน่วยความจำในการสืบค้นข้อมูลเพิ่มสูงขึ้นในช่วงเวลาที่มีการใช้งานมาก

ตรวจสอบwork_memก่อน ค่าที่สูงเกินไปอาจใช้หน่วยความจำจำนวนมากเมื่อมีการเรียกใช้คิวรีพร้อมกันหลายรายการที่ทำการเรียงลำดับหรือคำนวณแฮช ควรลดค่าลงอย่างระมัดระวังหากการวัดผลแสดงให้เห็นว่าการเรียกใช้คิวรีพร้อมกันทำให้การใช้หน่วยความจำเพิ่มขึ้นหลายเท่า ข้อเสียคือการดำเนินการขนาดใหญ่อาจต้องใช้ไฟล์ชั่วคราวและทำงานช้าลง หลีกเลี่ยงการคัดลอกค่าทั่วไปจากเซิร์ฟเวอร์อื่นเนื่องจากปริมาณงานของ Synapse และเวอร์ชันของ PostgreSQL มีความสำคัญ

เอกสารประกอบของ PostgreSQL อธิบายshared_buffersว่าแคชที่ใช้ร่วมกันหลักคือประมาณ 25% ของ RAM เป็นจุดเริ่มต้นที่เหมาะสมสำหรับเซิร์ฟเวอร์ฐานข้อมูลเฉพาะที่มี RAM อย่างน้อย 1 GB เท่านั้น นอกจากนี้ยังระบุว่าการจัดสรรมากกว่า 40% ไม่น่าจะช่วยเพิ่มประสิทธิภาพการทำงานส่วนใหญ่ได้ เนื่องจาก PostgreSQL ยังอาศัยแคชของระบบปฏิบัติการด้วยข้อควรปฏิบัติ:ใช้ตัวเลขเหล่านั้นเป็นบริบท ไม่ใช่เป้าหมายสำหรับโฮสต์ Synapse ที่ใช้ร่วมกัน หากบัฟเฟอร์ที่ใช้ร่วมกันใช้หน่วยความจำส่วนใหญ่ไปแล้ว ให้ประเมินค่าที่ต่ำกว่าในระหว่างการรีสตาร์ทที่วางแผนไว้

ถ้าจำนวนการเชื่อมต่อเป็นแรงดันหลัก

ตรวจสอบ ค่าต่างๆ ของ Synapse ในdatabase.args.cp_minไฟล์การกำหนดค่าของเวิร์กเกอร์ คู่มือ Synapse PostgreSQL แสดงการตั้งค่าเหล่านี้เป็นขนาดพูลการเชื่อมต่อขั้นต่ำและสูงสุด เมื่อมีเวิร์กเกอร์จำนวนมาก แต่ละตัวมีพูลเป็นของตัวเอง จำนวนการเชื่อมต่อทั้งหมดที่เป็นไปได้อาจมีขนาดใหญ่กว่าค่าในไฟล์เดียวมาก การลดขนาดพูลลงสามารถจำกัดจำนวนฐานข้อมูลที่ใช้งานพร้อมกันและปริมาณการใช้หน่วยความจำได้ แต่พูลที่เล็กเกินไปอาจทำให้คำขอต้องรอการเชื่อมต่อcp_maxhomeserver.yamlcp_max

database:
  name: psycopg2
  args:
    user: synapse_user
    password: "use-a-secret-store-or-protected-config"
    dbname: synapse
    host: 127.0.0.1
    port: 5432
    cp_min: 2
    cp_max: 5

ค่าข้างต้นเป็นเพียงตัวอย่างเท่านั้น ไม่ใช่คำแนะนำสากล นับจำนวนพูลทั่วทั้งกระบวนการหลักและทุกๆ เวิร์กเกอร์ และเว้นพื้นที่ว่างไว้สำหรับการดูแลระบบ การโยกย้าย การตรวจสอบ และไคลเอ็นต์อื่นๆ PostgreSQL จัดสรรทรัพยากรบางส่วนตามmax_connectionsดังนั้นการเพิ่มขีดจำกัดนั้น "เผื่อไว้" อาจทำให้แรงดันหน่วยความจำพื้นฐานเพิ่มขึ้นได้การดำเนินการ:จำกัดจำนวนพูลของ Synapse ให้อยู่ในระดับที่การวัดปริมาณการทำงานพร้อมกันของคุณต้องการ และตรวจสอบให้แน่ใจว่าขีดจำกัดการเชื่อมต่อของ PostgreSQL มีพื้นที่เพียงพอสำหรับบริการทั้งหมดรวมถึงการเข้าถึงของผู้ดูแลระบบ

หากการบำรุงรักษาหรือการดูดฝุ่นอัตโนมัติเกิดขึ้นพร้อมกับช่วงเวลาที่อุณหภูมิสูงขึ้นผิดปกติ

PostgreSQL อาจจัดสรรหน่วยความจำสำหรับการบำรุงรักษาเพื่อการทำงานของ vacuum และ index หน่วยความจำ autovacuum สามารถจัดสรรได้ต่อ worker ของ autovacuum ดังนั้นการตั้งค่าขนาดใหญ่ร่วมกับ worker หลายตัวอาจทำให้การใช้งานสูงสุดเพิ่มสูงขึ้น อย่าปิดใช้งาน autovacuum เพื่อลดหน่วยความจำ เพราะมันทำหน้าที่บำรุงรักษาตารางที่จำเป็นการดำเนินการ:ตรวจสอบบันทึกและกิจกรรมในช่วงที่มีการใช้งานสูงสุด จากนั้นปรับการตั้งค่าmaintenance_work_memหรือautovacuum_work_memเฉพาะเมื่อยืนยันแล้วว่าการดำเนินการเหล่านั้นเป็นสาเหตุของการใช้งานสูงสุด

ปรับใช้การเปลี่ยนแปลงและตรวจสอบผลลัพธ์

สำรองข้อมูลการตั้งค่า PostgreSQL และ Synapse ก่อน เปลี่ยนตัวแปรหรือขีดจำกัดพูลทีละรายการเท่านั้น เก็บรักษาข้อมูลรับรองที่มีอยู่ให้ปลอดภัย และใช้เส้นทางการตั้งค่าที่เหมาะสมกับแพ็กเกจหรือคอนเทนเนอร์ของคุณ พารามิเตอร์ PostgreSQL บางตัว รวมถึงshared_buffersและmax_connectionsจำเป็นต้องรีสตาร์ทเซิร์ฟเวอร์ การตั้งค่าที่สามารถโหลดซ้ำได้สามารถนำไปใช้กับกลไกการโหลดซ้ำที่ PostgreSQL รองรับ ตรวจสอบบริบทการตั้งค่าก่อนที่จะสรุปว่าการโหลดซ้ำได้นำไปใช้แล้ว

หลังจากทำการเปลี่ยนแปลงแล้ว ให้ตรวจสอบการใช้งานหน่วยความจำสูงสุด การสลับหน่วยความจำ และเหตุการณ์หน่วยความจำไม่เพียงพอ การเชื่อมต่อที่ใช้งานอยู่ ความหน่วงในการสืบค้น กิจกรรมไฟล์ชั่วคราว และความล่าช้าในการร้องขอ Synapse ในช่วงเวลาที่มีการใช้งานมากที่สุด การเปลี่ยนแปลงนี้จะมีประโยชน์หากช่วยลดภาระการใช้หน่วยความจำโดยไม่ทำให้เกิดการรอการเชื่อมต่อที่ยาวนาน การสืบค้นที่ช้าลง หรือคำขอที่ค้างอยู่เพิ่มขึ้น หาก Synapse เป็นกระบวนการที่ใช้ RAM มากกว่า PostgreSQL ให้ปรับแต่งพฤติกรรมแคชและจำนวนเวิร์กเกอร์ของ Synapse แยกต่างหาก การตั้งค่า PostgreSQL จะไม่แก้ไขปัญหาหน่วยความจำที่เวิร์กเกอร์ Python ใช้

อย่าตั้งค่าwork_memให้เท่ากับ RAM ทั้งหมดของเซิร์ฟเวอร์ อย่าเพิ่มค่าmax_connectionsโดยไม่คำนวณผลรวมของกลุ่มหน่วยความจำ หรือปิดใช้งาน autovacuum เป็นวิธีแก้ปัญหาแบบเหมาหมด หากหน่วยความจำยังคงสูงอยู่ ให้บันทึกข้อมูลเมตริกในช่วงเวลาที่มีการใช้งานสูงสุด และตรวจสอบคำสั่ง SQL ที่กำลังทำงานอยู่จริงและแหล่งที่มาของการเชื่อมต่อก่อนที่จะเพิ่มฮาร์ดแวร์หรือทำการเปลี่ยนแปลงการกำหนดค่าในวงกว้าง

ข้อมูลอ้างอิงอย่างเป็นทางการ

ฝากความเห็น

ลดภาระการใช้หน่วยความจำของ PostgreSQL ใน Matrix Synapse

ตรวจสอบว่าหน่วยความจำของ PostgreSQL มาจากงานประมวลผลคำสั่งค้นหา บัฟเฟอร์ที่ใช้ร่วมกัน การเชื่อมต่อ หรือการบำรุงรักษา จากนั้นทำการเปลี่ยนแปลงที่ปลอดภัยต่อการใช้งาน Synapse ตามเป้าหมาย

เหตุใดการเข้าร่วมห้องสนทนา Matrix Synapse จึงช้า และควรตรวจสอบอะไรบ้าง

เหตุใดการเข้าร่วมห้องสนทนา Matrix Synapse จึงช้า และควรตรวจสอบอะไรบ้าง

ตรวจสอบการเข้าร่วมห้อง Matrix ที่ช้าไปยังโฮมเซิร์ฟเวอร์ระยะไกลเครื่องใดเครื่องหนึ่ง การหน่วงเวลาของเฟเดอเรชัน การโหลดฐานข้อมูลภายใน หรือคิวผู้ส่งขาออก ก่อนที่จะเปลี่ยนการตั้งค่า Synapse

ปิดการลงทะเบียนผ่าน Matrix หรือกำหนดให้ต้องใช้โทเค็นเชิญบน Synapse

หยุดการสร้างบัญชีแบบเปิดบนเซิร์ฟเวอร์ Synapse ที่โฮสต์เอง หรือจำกัดการลงทะเบียนเฉพาะผู้ได้รับเชิญเท่านั้น โดยใช้โทเค็นการลงทะเบียนที่มีจำนวนการใช้งานจำกัด

คำเตือนเกี่ยวกับข้อมูลประจำตัวเซสชันขององค์ประกอบ: ยืนยันการเข้าสู่ระบบของคุณอย่างปลอดภัย

ล้างคำเตือนเซสชันที่ไม่ได้รับการยืนยันของ Element โดยใช้อุปกรณ์ที่เชื่อถือได้หรือคีย์กู้คืน พร้อมการตรวจสอบที่ปกป้องประวัติการแชทที่เข้ารหัสของคุณ

หยุดปัญหาการหมดเวลาการล็อกไฟล์ ownCloud ด้วยระบบแบ็กเอนด์ที่เหมาะสม

แยกแยะปัญหาการแย่งชิงการล็อกฐานข้อมูลออกจากปัญหาการล็อก WebDAV ที่หมดอายุ จากนั้นเลือกและกำหนดค่าวิธีแก้ไข ownCloud 10 ที่ถูกต้อง

สิ่งที่ควรตรวจสอบเมื่อ ownCloud Web เปิดขึ้นมาเป็นหน้าว่างเปล่า

สิ่งที่ควรตรวจสอบเมื่อ ownCloud Web เปิดขึ้นมาเป็นหน้าว่างเปล่า

ตรวจสอบหาสาเหตุของหน้าจอ ownCloud Web ว่างเปล่าว่าเกิดจากแคชของเบราว์เซอร์ ไฟล์เว็บหายไป ข้อผิดพลาดของบริการ หรือการตั้งค่า URL ของพร็อกซีแบบย้อนกลับ ด้วยการตรวจสอบแบบเจาะจง

ล้างคำเตือนหน่วยความจำ PHP ของ ownCloud ในรันไทม์ที่ถูกต้อง

ตั้งค่าขีดจำกัดหน่วยความจำ PHP ของเว็บ ownCloud รีสตาร์ทบริการที่เกี่ยวข้อง และตรวจสอบค่าที่ใช้งานอยู่โดยไม่ต้องสับสนกับค่าการตั้งค่า CLI หรือขีดจำกัดการอัปโหลด

แก้ไขปัญหาการเชื่อมต่อ MySQL ล้มเหลวใน ownCloud 10

ตรวจสอบว่า MySQL, PHP, การตั้งค่าซ็อกเก็ต หรือสิทธิ์การเข้าถึงฐานข้อมูลกำลังขัดขวางการทำงานของ ownCloud 10 หรือไม่ จากนั้นตรวจสอบวิธีการแก้ไขที่ปลอดภัย

กำหนดวันหมดอายุที่แน่นอนสำหรับลิงก์สาธารณะของ ownCloud

กำหนดวันหมดอายุที่แน่นอนสำหรับลิงก์สาธารณะของ ownCloud

กำหนดให้การหมดอายุของลิงก์สาธารณะเป็นข้อบังคับใน ownCloud Classic กำหนดอายุการใช้งานสูงสุด และตรวจสอบการแชร์ที่มีอยู่ซึ่งอาจต้องมีการล้างข้อมูลแยกต่างหาก

เพิ่มระบบยืนยันตัวตนสองขั้นตอน TOTP ให้กับ ownCloud Infinite Scale ด้วย Keycloak

เพิ่มระบบยืนยันตัวตนสองขั้นตอน TOTP ให้กับ ownCloud Infinite Scale ด้วย Keycloak

เปิดใช้งาน TOTP ผ่าน Keycloak ลงทะเบียนผู้ใช้ได้อย่างปลอดภัย และทำความเข้าใจว่าเมื่อใดที่การตั้งค่า MFA ระดับเส้นทางของ Infinite Scale จะมีผล