Track

00000000  46 72 6f 6d 3a 20 4d 61  79 61 20 43 68 65 6e 20 |From: Maya Chen |
00000010  3c 6d 61 79 61 2e 63 68  65 6e 40 65 78 61 6d 70 |<maya.chen@examp|
00000020  6c 65 2e 63 6f 6d 3e 0a  54 6f 3a 20 53 74 6f 72 |le.com>.To: Stor|
00000030  61 67 65 20 45 6e 67 69  6e 65 65 72 69 6e 67 20 |age Engineering |
00000040  3c 73 74 6f 72 61 67 65  2d 65 6e 67 40 65 78 61 |<storage-eng@exa|
00000050  6d 70 6c 65 2e 63 6f 6d  3e 0a 53 75 62 6a 65 63 |mple.com>.Subjec|
00000060  74 3a 20 46 6f 6c 6c 6f  77 2d 75 70 20 6f 6e 20 |t: Follow-up on |
00000070  65 6c 65 76 61 74 65 64  20 77 72 69 74 65 20 6c |elevated write l|
00000080  61 74 65 6e 63 79 20 69  6e 20 74 68 65 20 4b 56 |atency in the KV|
00000090  20 63 6c 75 73 74 65 72  0a 44 61 74 65 3a 20 46 | cluster.Date: F|
000000a0  72 69 2c 20 33 31 20 4a  75 6c 20 32 30 32 36 20 |ri, 31 Jul 2026 |
000000b0  31 34 3a 31 38 3a 30 30  20 2d 30 34 30 30 0a 0a |14:18:00 -0400..|
000000c0  48 69 20 74 65 61 6d 2c  0a 0a 57 65 20 74 72 61 |Hi team,..We tra|
000000d0  63 65 64 20 74 68 69 73  20 6d 6f 72 6e 69 6e 67 |ced this morning|
000000e0  e2 80 99 73 20 69 6e 63  72 65 61 73 65 20 69 6e |...s increase in|
000000f0  20 70 39 39 20 77 72 69  74 65 20 6c 61 74 65 6e | p99 write laten|
00000100  63 79 20 74 6f 20 63 6f  6d 70 61 63 74 69 6f 6e |cy to compaction|
00000110  20 70 72 65 73 73 75 72  65 20 6f 6e 20 74 68 72 | pressure on thr|
00000120  65 65 20 6e 6f 64 65 73  20 69 6e 20 74 68 65 20 |ee nodes in the |
00000130  75 73 2d 65 61 73 74 20  63 6c 75 73 74 65 72 2e |us-east cluster.|
00000140  20 52 65 70 6c 69 63 61  74 69 6f 6e 20 72 65 6d | Replication rem|
00000150  61 69 6e 65 64 20 68 65  61 6c 74 68 79 2c 20 61 |ained healthy, a|
00000160  6e 64 20 77 65 20 64 69  64 20 6e 6f 74 20 6f 62 |nd we did not ob|
00000170  73 65 72 76 65 20 61 6e  79 20 6c 6f 73 74 20 6f |serve any lost o|
00000180  72 20 69 6e 63 6f 6e 73  69 73 74 65 6e 74 20 6b |r inconsistent k|
00000190  65 79 73 2e 0a 0a 57 65  e2 80 99 76 65 20 72 65 |eys...We...ve re|
000001a0  64 75 63 65 64 20 74 68  65 20 63 6f 6d 70 61 63 |duced the compac|
000001b0  74 69 6f 6e 20 63 6f 6e  63 75 72 72 65 6e 63 79 |tion concurrency|
000001c0  20 61 6e 64 20 6d 6f 76  65 64 20 74 77 6f 20 68 | and moved two h|
000001d0  6f 74 20 70 61 72 74 69  74 69 6f 6e 73 20 74 6f |ot partitions to|
000001e0  20 6e 6f 64 65 73 20 77  69 74 68 20 6d 6f 72 65 | nodes with more|
000001f0  20 61 76 61 69 6c 61 62  6c 65 20 49 2f 4f 20 63 | available I/O c|
00000200  61 70 61 63 69 74 79 2e  20 4c 61 74 65 6e 63 79 |apacity. Latency|
00000210  20 69 73 20 62 61 63 6b  20 77 69 74 68 69 6e 20 | is back within |
00000220  74 68 65 20 6e 6f 72 6d  61 6c 20 72 61 6e 67 65 |the normal range|
00000230  2c 20 62 75 74 20 70 6c  65 61 73 65 20 61 76 6f |, but please avo|
00000240  69 64 20 6c 61 72 67 65  20 62 61 63 6b 66 69 6c |id large backfil|
00000250  6c 73 20 75 6e 74 69 6c  20 74 6f 6d 6f 72 72 6f |ls until tomorro|
00000260  77 e2 80 99 73 20 6d 61  69 6e 74 65 6e 61 6e 63 |w...s maintenanc|
00000270  65 20 77 69 6e 64 6f 77  2e 0a 0a 49 e2 80 99 6c |e window...I...l|
00000280  6c 20 70 6f 73 74 20 74  68 65 20 69 6e 63 69 64 |l post the incid|
00000290  65 6e 74 20 74 69 6d 65  6c 69 6e 65 20 61 6e 64 |ent timeline and|
000002a0  20 70 72 6f 70 6f 73 65  64 20 70 61 72 74 69 74 | proposed partit|
000002b0  69 6f 6e 2d 62 61 6c 61  6e 63 69 6e 67 20 63 68 |ion-balancing ch|
000002c0  61 6e 67 65 73 20 61 66  74 65 72 20 74 68 65 20 |anges after the |
000002d0  61 66 74 65 72 6e 6f 6f  6e 20 72 65 76 69 65 77 |afternoon review|
000002e0  2e 0a 0a 54 68 61 6e 6b  73 2c 0a 4d 61 79 61    |...Thanks,.Maya|