Tair (Redis® OSS-Compatible):Cpc

Arka Plan

Gerçek zamanlı karar sistemleri iş olaylarını geldikleri anda işler, sonuçları hızlı erişim için saklar ve anında harekete geçmek üzere kuralları uygular. Düşük gecikme süresi gerektiren kardinalite sayımının kritik olduğu iki örnek aşağıda verilmiştir:

• Kredi kartı dolandırıcılığının önlenmesi: Bir kartın şüpheli bir bağlamda kullanılıp kullanılmadığını belirleyin ve şüpheli işlemleri en erken aşamada durdurun.

• Bilet karaborsacılığının engellenmesi: Envanteri ele geçirmeden önce sanal cihazlar ve sahte IP adresleri kullanan botları tespit edin ve engelleyin.

TairCpc, gelen verileri boyuta göre yinelemesiz hale getirmenize, taslağı bir Tair örneğinde depolamanıza ve nanosaniyeler içinde toplama sorguları çalıştırmanıza olanak tanır; böylece depolama ve hesaplama tek bir katmanda birleştirilir.

Genel Bakış

CPC bir veri akışındaki farklı değerleri sayar ve birleşik toplamı elde etmek için birden fazla taslağın birleştirilmesini destekler. CPC, HLL ile aynı doğruluğu yaklaşık %40 daha az bellek kullanarak sağlar.

TairCpc, açık kaynaklı CPC uygulamasını genişletir ve hata oranını standart CPC için %0,67 ve HLL için %1,95 iken %0.008'e düşürür.

TairCpc'yi, benzersiz öğeleri saymak için Set yapısına bellek açısından daha verimli bir alternatif olarak düşünebilirsiniz:

Set'in aksine TairCpc ham öğeleri depolamaz; bunun yerine sayımı yaklaşık olarak temsil eden kompakt bir taslak saklar. Bu dengeleme, devasa ölçekte milisaniye altı toplama işlemlerini mümkün kılar.

Temel özellikler

• Artımlı okuma ve yazma ile düşük bellek ayak izi ve minimum G/Ç

• Yüksek performanslı, ultra yüksek doğruluklu yinelenen öğe eleme

• Açık kaynaklı CPC için %0,67 ve HLL için %1,95 iken %0.008'e düşürülmüş hata oranı

Kullanım senaryoları

• Banka güvenlik sistemleri: Son bir dakika içinde belirli bir eylemi gerçekleştiren kaç farklı hesap veya cihaz var?

• Flash satışlar: Mevcut zaman aralığında bu ürünü satın almaya çalışan kaç benzersiz kullanıcı var?

• Bilet karaborsacılığının engellenmesi: Son 10 saniye içinde bu oturumdan istek gönderen kaç farklı IP adresi var?

Ön Koşullar

Başlamadan önce örneğinizin aşağıdaki Tair serisi türlerinden biri olduğundan emin olun:

• DRAM tabanlı örnek. Örnek Redis 5.0 ile uyumluysa küçük sürüm 1.7.20 veya üzeri olmalıdır.

• Küçük sürümü 1.2.3.3 veya üzeri olan Kalıcı bellek optimize edilmiş örnek.

En fazla özellik ve en yüksek kararlılık için örneğinizi en son küçük sürümde tutun. Yükseltme talimatları için bkz. Örneğin küçük sürümünü güncelleme . Küme örnekleri ve okuma/yazma ayrıştırma örnekleri için de tüm komutların beklendiği gibi çalışması amacıyla proxy düğümlerini en son küçük sürüme yükseltin.

Kullanım notları

TairCpc verileri bir Tair örneğinde depolanır.

Desteklenen komutlar

Sözdizimi kuralları

• BÜYÜK HARF: komut anahtar sözcüğü

• _italik_: değişken

• [seçenek]: isteğe bağlı parametre

• A|B: birbirini dışlayan seçenekler — yalnızca birini belirtin

• ...: önceki parametre tekrarlanabilir

CPC.UPDATE

Bir TairCpc anahtarına öğe ekler. Anahtar yoksa oluşturur. Öğe zaten varsa komut işlem yapmaz.

Sözdizimi

CPC.UPDATE key item [EX|EXAT|PX|PXAT time]

Zaman karmaşıklığı O(1)

Parametreler

Dönüş değeri

• Başarılı olursa OK.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.UPDATE foo f1 EX 3600

OK

CPC.ESTIMATE

Yinelenen öğeler elendikten sonra bir TairCpc anahtarının kardinalite tahminini döndürür. Dönüş değeri bir DOUBLE'dur; kullanılabilir bir sayım için en yakın tam sayıya yuvarlayın.

Sözdizimi

CPC.ESTIMATE key

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa DOUBLE türünde kardinalite tahmini.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ESTIMATE foo

"19.000027716212127"

CPC.UPDATE2EST

Tek bir gidiş-dönüşte bir TairCpc anahtarına öğe ekler ve güncellenmiş kardinalite tahminini döndürür. Anahtar yoksa oluşturur.

Sözdizimi

CPC.UPDATE2EST key item [EX|EXAT|PX|PXAT time]

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa güncellemeden sonraki DOUBLE türünde kardinalite tahmini.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.UPDATE2EST foo f3

"3.0000004768373003"

CPC.UPDATE2JUD

Bir TairCpc anahtarına öğe ekler ve hem güncellenmiş kardinalite tahminini hem de önceki tahminden farkı döndürür. Ayrı bir okuma komutu olmadan öğenin yeni mi yoksa zaten var mı olduğunu belirlemek için farkı kullanın.

• 1 farkı döndürülürse öğe yenidir (yinelenen yok).

• 0 farkı döndürülürse öğe zaten vardır (yinelenen algılandı).

Anahtar yoksa oluşturur.

Sözdizimi

CPC.UPDATE2JUD key item [EX|EXAT|PX|PXAT time]

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa: iki DOUBLE değeri — yeni kardinalite tahmini, ardından yeni ve önceki tahminler arasındaki fark.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.UPDATE2JUD foo f20

1) "20.000027716212127"    // New cardinality estimate: 20
2) "1.0000014901183398"    // Difference: 20 - 19 = 1 (new item)

CPC.ARRAY.UPDATE

Belirtilen zaman damgasının düştüğü zaman penceresi içinde bir TairCpc dizi anahtarına öğe ekler. Anahtar yoksa oluşturur.

Bir TairCpc dizi anahtarı, CPC taslaklarından oluşan kayan bir pencereyi korur. Her çağrı, zaman damgasına karşılık gelen zaman penceresine veri yazar. Toplam gözlemlenebilir zaman aralığı SIZE × WIN milisaniyedir. Bu aralığın dışındaki veriler, yeni veriler geldiğinde üzerine yazılır.

SIZE ve WIN yalnızca anahtar ilk oluşturulduğunda uygulanır. Aynı anahtara yapılan sonraki yazma işlemleri, oluşturma sırasında ayarlanan değerleri kullanır.

Örnek: Son 10 dakika içindeki dakika başına benzersiz olayları izlemek için SIZE değerini 10 ve WIN değerini 60000 olarak ayarlayın. 11. dakikadan veri geldiğinde ilk dakikanın verisi üzerine yazılır.

Sözdizimi

CPC.ARRAY.UPDATE key timestamp item [EX|EXAT|PX|PXAT time] [SIZE size] [WIN window_length]

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa OK.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ARRAY.UPDATE foo 1645584510000 f1 SIZE 120 WIN 10000

OK

CPC.ARRAY.ESTIMATE

Belirtilen zaman damgasının düştüğü zaman penceresi için kardinalite tahminini döndürür.

Sözdizimi

CPC.ARRAY.ESTIMATE key timestamp

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa eşleşen zaman penceresi için kardinalite tahmini.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ARRAY.ESTIMATE foo 1645584532000

"2"

CPC.ARRAY.ESTIMATE.RANGE

Belirtilen bir zaman aralığındaki (kapalı aralık) tüm zaman pencereleri için pencere başına kardinalite tahminlerini döndürür. Yanıttaki her değer bir zaman penceresine karşılık gelir.

Sözdizimi

CPC.ARRAY.ESTIMATE.RANGE key start_time end_time

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa aralıktaki her zaman penceresi için birer tane olmak üzere kardinalite tahminlerinin listesi.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ARRAY.ESTIMATE.RANGE foo 1645584510000 1645584550000

1) "2"
2) "0"
3) "1"
4) "0"
5) "0"

CPC.ARRAY.ESTIMATE.RANGE.MERGE

Belirtilen zaman damgasından başlayarak geriye doğru N zaman penceresini birleştirerek tek bir birleştirilmiş ve yinelenmeyen kardinalite tahmini döndürür.

Pencere başına sayılar yerine birden fazla zaman penceresinde birleştirilmiş benzersiz bir sayıma ihtiyaç duyduğunuzda bu komutu kullanın; örneğin, son 5 dakikadaki toplam benzersiz kullanıcı sayısı.

Sözdizimi

CPC.ARRAY.ESTIMATE.RANGE.MERGE key timestamp range

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa birleştirilmiş, yinelenmeyen kardinalite tahmini.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ARRAY.ESTIMATE.RANGE.MERGE foo 1645584510000 3

"6"

CPC.ARRAY.UPDATE2EST

Belirtilen zaman damgasına karşılık gelen zaman penceresine bir öğe ekler ve tek bir gidiş-dönüşte o pencere için güncellenmiş kardinalite tahminini döndürür. Anahtar yoksa oluşturur.

CPC.ARRAY.UPDATE ile aynı anahtar oluşturma parametrelerini kullanır.

Sözdizimi

CPC.ARRAY.UPDATE2EST key timestamp item [EX|EXAT|PX|PXAT time] [SIZE size] [WIN window_length]

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa zaman penceresi için güncellenmiş DOUBLE kardinalite tahmini.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ARRAY.UPDATE2EST foo 1645584530000 f3

"3"

CPC.ARRAY.UPDATE2JUD

Belirtilen zaman damgasına karşılık gelen zaman penceresine bir öğe ekler ve hem güncellenmiş kardinalite tahminini hem de o pencere için önceki tahminden farkı döndürür. Anahtar yoksa oluşturur.

• 1 farkı döndürülürse öğe yenidir (bu pencerede yinelenen yok).

• 0 farkı döndürülürse öğe bu pencerede zaten vardır.

CPC.ARRAY.UPDATE ile aynı anahtar oluşturma parametrelerini kullanır.

Sözdizimi

CPC.ARRAY.UPDATE2JUD key timestamp item [EX|EXAT|PX|PXAT time] [SIZE size] [WIN window_length]

Zaman karmaşıklığı: O(1)

Parametreler

Dönüş değeri

• Başarılı olursa: iki değer — zaman penceresi için güncellenmiş kardinalite tahmini, ardından yeni ve önceki tahminler arasındaki fark.

• Diğer durumlarda bir hata mesajı.

Örnek

CPC.ARRAY.UPDATE2JUD foo 1645584530000 f7

1) "8"    // New cardinality estimate for this window: 8
2) "1"    // Difference: 8 - 7 = 1 (new item)