Bu konuda, EMR Serverless StarRocks ile ilgili sık sorulan soruların yanıtları yer almaktadır.
Hesaplar arası OSS'ye nasıl erişebilirim?
Varsayılan olarak, EMR Serverless StarRocks aynı hesap içindeki Object Storage Service paketlerine şifresiz erişim sağlar. Başka bir hesaptaki Object Storage Service kaynaklarına erişmek için bu varsayılan davranışı devre dışı bırakmanız, hedef hesabın AccessKey çiftini yapılandırmanız ve yeni yapılandırmayı uygulamanız gerekir.
-
Şifresiz erişimi devre dışı bırakın: Parameter Configuration sekmesinde belirtilen dosyalardaki aşağıdaki yapılandırma öğelerinin değerlerini temizleyin.
-
core-site.xml
fs.oss.credentials.provider = -
jindosdk.cfg
fs.oss.provider.format = fs.oss.provider.endpoint =
-
-
Hedef hesabın AccessKey çiftini ekleyin: Parameter Configuration sekmesinde Add Configuration Item seçeneğini tıklayın ve belirtilen dosyalara aşağıdaki yapılandırmaları ekleyin.
-
core-site.xml
fs.oss.accessKeyId = AccessKey ID of the target account fs.oss.accessKeySecret = AccessKey Secret of the target account -
jindosdk.cfg
fs.oss.accessKeyId = AccessKey ID of the target account fs.oss.accessKeySecret = AccessKey Secret of the target account
-
Yapılandırmayı uygulayın: Parameter Configuration sekmesinde Submit Parameters seçeneğini tıklayın.
UDF ve JDBC bağlayıcı sürücülerini kullanma
UDF ve JDBC sürücülerini kullanmadan önce gerekli JAR dosyalarını harici bir kaynaktan temin etmeniz gerekir.
-
JAR dosyalarını Object Storage Service'e yükleyin. Daha fazla bilgi için bkz. Dosya yükleme.
Dosyaları yüklerken JAR dosyalarına genel okuma ve yazma izinleri vermek amacıyla object ACL değerini Public Read/Write olarak ayarlayın.
-
Her bir JAR dosyasının URL'sini edinin.
Object Storage Service konsolunda başarıyla yüklenen her JAR dosyasının bağlantısını bulun. Dahili uç noktanın HTTP URL'sini kullanın; bu URL aşağıdaki biçimlerden birinde olmalıdır:
JDBC sürücüsü için:
http://<YourBucketName>.oss-cn-xxxx-internal.aliyuncs.com/mysql-connector-java-*.jar.UDF için:
http://<YourBucketName>.oss-cn-xxxx-internal.aliyuncs.com/<YourPath>/<jar_package_name>.
JAR dosyalarını kullanın. Daha fazla bilgi için bkz. Java UDF ve JDBC Catalog.
Örnek şifresini nasıl sıfırlarım?
Örnek şifresini sıfırlamak istemci-sunucu bağlantılarını kesintiye uğratır. Üretim ortamındaki etkiyi en aza indirmek için bu işlemi yoğun olmayan saatlerde gerçekleştirin.
Şifreyi yalnızca AliyunEMRStarRocksFullAccess iznine sahip kullanıcılar sıfırlayabilir.
-
Örnek ayrıntıları sayfasına gidin.
E-MapReduce konsolu üzerinde oturum açın.
Sol gezinme bölmesinde EMR Serverless > StarRocks seçeneğini belirleyin.
Hedef örneğin adını tıklayın.
Instance Details sayfasında, Basic Information bölümünde Reset Password seçeneğini tıklayın.
Görüntülenen iletişim kutusunda yeni şifreyi girip onaylayın ve ardından OK seçeneğini tıklayın.
Paimon tablolarına veri yazma hatası
-
Belirti: StarRocks kullanarak bir Paimon tablosuna veri yazarken aşağıdaki hata iletisini alabilirsiniz:
(5025, 'Backend node not found. Check if any backend node is down.') Neden: Paimon tablolarındaki bir izin denetimi, StarRocks'un yazma işlemleri sırasında BE düğümlerini doğru şekilde tanımlamasını engelleyebilir.
-
Çözüm:
-
Sürümü yükseltin (Önerilen): Örnek sürümünüz aşağıdakilerden daha eskiyse düzeltmeyi uygulamak için bir küçük sürüm güncellemesi gerçekleştirin.
StarRocks 3.2: 3.2.11-1.89 veya üzeri
StarRocks 3.3: 3.3.8-1.88 veya üzeri
-
Geçici çözüm: StarRocks örneğinin Parameter Configuration sekmesinde,
core-site.xmldosyasına aşağıdaki yapılandırma öğesini ekleyin.dlf.permission.clientCheck=false
-
StarRocks'ta foreign table oluştururken not a RAM user hatası alırsanız ne yapmalısınız?
-
Belirti: StarRocks'ta foreign table oluştururken aşağıdaki hata iletisini alabilirsiniz:
current user is not a RAM user Neden: Bu hata, yetersiz izinlerden veya eski bir örnek sürümünden kaynaklanır.
-
Çözüm:
RAM kullanıcı izinlerini kontrol edin: Resource Access Management (RAM) kullanıcısının StarRocks için gereken izinlere sahip olduğundan emin olun. Daha fazla bilgi için bkz. RAM kullanıcısına izin verme.
-
İzinler doğruysa StarRocks Instance Details sayfasından çekirdek sürümünü kontrol edin ve yükseltin.
Örnek sürümünüz aşağıdakilerden daha eskiyse düzeltmeyi uygulamak için bir küçük sürüm güncellemesi gerçekleştirin.
StarRocks 3.2: 3.2.11-1.89 veya üzeri
StarRocks 3.3: 3.3.8-1.88 veya üzeri
SQL Editor'da noktalı virgül hatası
-
Belirti: SQL Editor'da noktalı virgül (
;) içeren bir SQL deyimi çalıştırdığınızda hata alırsınız. Hata iletisithe most similar input is {a legal identifier}ifadesini içerir.Hata kodu 1064'tür ve ayrıntılarda
Unexpected input '<EOF>'ifadesi de yer alır; bu durum 3. satır, 11. sütunda bir sözdizimi hatası olduğunu gösterir. Bu hata, SQL Editor'ün varsayılan olarak noktalı virgülü (
;) deyim sonlandırıcı olarak kullanmasından kaynaklanır. SQL deyiminiz noktalı virgül (;) içeriyorsa sözdizimi ayrıştırma hatası oluşur.-
Çözüm:
-
Özel bir sınırlayıcı ayarlayın.
Noktalı virgül içeren bir SQL deyimi çalıştırmadan önce sözdizimi ayrıştırma hatalarını önlemek için özel bir sınırlayıcı ayarlayın. Örneğin, sınırlayıcıyı
$$olarak değiştirebilirsiniz.delimiter $$ -
Noktalı virgül içeren SQL deyimini çalıştırın. Aşağıda bir örnek gösterilmektedir:
INSERT INTO sr_test VALUES (1, 'asdsd,asdsads'), (2, 'sadsad;asdsads'); -
Varsayılan sınırlayıcıyı geri yükleyin.
SQL deyimi yürütüldükten sonra sonraki SQL işlemlerinin beklendiği gibi çalışabilmesi için varsayılan sınırlayıcıyı (
;) geri yükleyin.delimiter ; -
Sonucu doğrulayın.
Verilerin doğru şekilde eklendiğini doğrulamak için bir sorgu çalıştırın.
delimiter ; SELECT * FROM sr_test;Output test_id test_desc 0 1 asdsd,asdsads 1 2 sadsad;asdsads
-
Veri alma veya foreign tablolara erişim başarısızlığı
Belirti: EMR Serverless StarRocks kullanarak veri aldığınızda veya bir foreign tabloya eriştiğinizde hedef bir genel IP adresiyse alma veya bağlantı başarısız olabilir.
Neden: Bir EMR Serverless StarRocks örneği varsayılan olarak Virtual Private Cloud (VPC) ortamında çalışır ve bu ortam doğrudan internet erişimine sahip olmayabilir. Bu nedenle, internet erişimi yapılandırılmadıkça veri alma veya foreign tablo sorguları gibi genel kaynaklara yönelik istekler başarısız olur.
Çözüm: VPC'ye bir Internet NAT ağ geçidi dağıtabilir ve SNAT özelliğini etkinleştirebilirsiniz. Bu işlem, EMR Serverless StarRocks örneğinin ağ geçidi üzerinden genel kaynaklara erişmesini sağlar. Daha fazla bilgi için bkz. Internet'e erişmek için Internet NAT ağ geçidinin SNAT özelliğini kullanma.
SLB/CLB boşta kalma zaman aşımı nedeniyle bağlantı kapanmasını önleme
Belirti: StarRocks örneğiyle SLB kullanırken bir SQL sorgusu 900 saniyeden uzun sürerse SLB istemci bağlantısını zorla kapatır ve sorgunun sonuç döndürmesini engeller. SLB'yi etkinleştirme hakkında daha fazla bilgi için bkz. Ağ geçitlerini yönetme.
Neden: SLB, 900 saniyeden uzun süre boşta kalan tüm TCP bağlantılarını kapatır. Bu durum, uzun süren bir SQL sorgusu sırasında gerçekleşebilir ve StarRocks sonuç döndürmeden önce bağlantıyı kesintiye uğratabilir.
-
Çözüm: SLB'nin boşta kalan bağlantıları kapatmasını önlemek için istemci tarafında TCP Keepalive parametrelerini yapılandırın.
-
Genel çekirdek parametresi ayarları (sistem düzeyi)
İşletim sisteminin çekirdek parametrelerini değiştirerek tüm TCP bağlantıları için uygun TCP Keepalive ayarlarını etkinleştirin ve yapılandırın. Bu işlem ağ bağlantılarının durumunu izlemeye yardımcı olur. Aşağıdaki tabloda yapılandırılması gereken parametreler açıklanmaktadır.
Parametre
Açıklama
Önerilen değer
-
Linux:
net.ipv4.tcp_keepalive_time -
FreeBSD/macOS:
net.inet.tcp.keepidle
İlk Keepalive yoklamasının gönderilmesinden önceki saniye cinsinden boşta kalma süresi.
600 saniye
-
Linux:
net.ipv4.tcp_keepalive_intvl -
FreeBSD/macOS:
net.inet.tcp.keepintvl
Keepalive yoklama yeniden iletimleri arasındaki saniye cinsinden aralık.
60 saniye
-
Linux:
net.ipv4.tcp_keepalive_probes -
FreeBSD/macOS:
net.inet.tcp.keepcnt
Bağlantının kesilmesinden önceki ardışık başarısız yoklama sayısı.
5
Linux
-
Ayarları geçici olarak uygulayın
# Set global Keepalive parameters (root permissions required) sudo sysctl -w net.ipv4.tcp_keepalive_time=600 # Corresponds to keepidle (600 seconds) sudo sysctl -w net.ipv4.tcp_keepalive_intvl=60 # Corresponds to keepintvl (60 seconds) sudo sysctl -w net.ipv4.tcp_keepalive_probes=5 # Corresponds to keepcount (5) -
Ayarları kalıcı olarak uygulayın
Aşağıdaki içeriği
/etc/sysctl.confdosyasına ekleyin ve ayarları uygulamak içinsysctl -pkomutunu çalıştırın.echo "net.ipv4.tcp_keepalive_time = 600" >> /etc/sysctl.conf echo "net.ipv4.tcp_keepalive_intvl = 60" >> /etc/sysctl.conf echo "net.ipv4.tcp_keepalive_probes = 5" >> /etc/sysctl.conf
FreeBSD/macOS
-
Ayarları geçici olarak uygulayın
# Set global Keepalive parameters (root permissions required) sudo sysctl -w net.inet.tcp.keepidle=600 sudo sysctl -w net.inet.tcp.keepintvl=60 sudo sysctl -w net.inet.tcp.keepcnt=5 -
Ayarları kalıcı olarak uygulayın
Aşağıdaki içeriği
/etc/sysctl.confdosyasına ekleyin.echo "net.inet.tcp.keepidle = 600" >> /etc/sysctl.conf echo "net.inet.tcp.keepintvl = 60" >> /etc/sysctl.conf echo "net.inet.tcp.keepcnt = 5" >> /etc/sysctl.conf
-
-
Uygulama düzeyi ayarları
Tek bir bağlantı için TCP Keepalive parametrelerini ayarlamak üzere dile özgü API'leri kullanabilirsiniz.
Java
Java standart kitaplığı TCP Keepalive desteğini sınırlı düzeyde sunar. Ancak yansıma veya düşük düzey soket seçenekleri kullanarak bunu uygulayabilirsiniz.
NotAşağıdaki kod, Linux veya FreeBSD'de
tcp_keepidlegibi seçenekler için sistem desteği gerektirir. Ayrıca yansıma gibi bazı yöntemler JVM sürümlerindeki farklılıklar nedeniyle çalışmayabilir. Üretim ortamında kullanmadan önce uyumluluğu test etmenizi öneririz.import java.io.IOException; import java.net.InetSocketAddress; import java.net.Socket; import java.net.SocketOption; import java.nio.channels.SocketChannel; public class TcpKeepaliveExample { public static void main(String[ ] args) { try (Socket socket = new Socket()) { // 1. Enable Keepalive socket.setKeepAlive(true); // 2. Set Keepalive parameters (requires low-level socket options) SocketChannel channel = socket.getChannel(); if (channel != null) { // Set Keepidle (idle time) channel.setOption(StandardSocketOptions.SO_KEEPALIVE, true); // Keepalive must be enabled first setSocketOptionInt(socket, "tcp_keepidle", 600); // Requires system support // Set Keepintvl (retransmission interval) setSocketOptionInt(socket, "tcp_keepintvl", 60); // Set Keepcount (number of failures) setSocketOptionInt(socket, "tcp_keepcnt", 5); // Note: The parameter name may vary by system } // Connect to the server socket.connect(new InetSocketAddress("example.com", 80)); // ... Other operations ... } catch (IOException e) { e.printStackTrace(); } } // Use reflection to set system-specific socket options (such as on Linux/FreeBSD) private static void setSocketOptionInt(Socket socket, String optionName, int value) { try { Class<?> clazz = Class.forName("java.net.Socket$SocketOptions"); Object options = clazz.getDeclaredMethod("options").invoke(socket); Class<?> optionsClass = options.getClass(); optionsClass.getDeclaredMethod("setOption", String.class, int.class) .invoke(options, optionName, value); } catch (Exception e) { throw new RuntimeException("Failed to set socket option " + optionName, e); } } }Python
Python
socketmodülü TCP Keepalive parametrelerinin doğrudan yapılandırılmasını destekler.NotFarklı işletim sistemleri farklı parametre adları kullanabilir. Örneğin macOS
TCP_KEEPIDLEyerineTCP_KEEPALIVEgerektirebilir. Bazı parametrelerin ayarlanması için kök izinleri gerekebilir.import socket def create_keepalive_socket(): sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # 1. Enable Keepalive sock.setsockopt(socket.SOL_SOCKET, socket.SO_KEEPALIVE, 1) # 2. Set Keepalive parameters (Linux/FreeBSD) # Keepidle: 600 seconds sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPIDLE, 600) # Keepintvl: 60 seconds sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPINTVL, 60) # Keepcount: 5 sock.setsockopt(socket.IPPROTO_TCP, socket.TCP_KEEPCNT, 5) return sock # Example sock = create_keepalive_socket() sock.connect(("example.com", 80)) # ... Other operations ... sock.close()Golang
Golang
netpaketi temel Keepalive yapılandırması sağlar. Ancak ayrıntılı parametreleri ayarlamak için düşük düzeysyscallpaketini kullanmanız gerekir.NotFarklı işletim sistemleri farklı parametre adları kullanabilir. Bazı parametrelerin ayarlanması için kök izinleri gerekebilir.
package main import ( "fmt" "net" "syscall" ) func main() { // Create a TCP connection conn, err := net.Dial("tcp", "example.com:80") if err != nil { panic(err) } defer conn.Close() // Get the underlying file descriptor file, err := conn.(*net.TCPConn).File() if err != nil { panic(err) } defer file.Close() fd := int(file.Fd()) // Enable Keepalive err = syscall.SetsockoptInt(fd, syscall.SOL_SOCKET, syscall.SO_KEEPALIVE, 1) if err != nil { panic(fmt.Errorf("set SO_KEEPALIVE: %v", err)) } // Set Keepidle (idle time) err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPIDLE, 600) if err != nil { panic(fmt.Errorf("set TCP_KEEPIDLE: %v", err)) } // Set Keepintvl (retransmission interval) err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPINTVL, 60) if err != nil { panic(fmt.Errorf("set TCP_KEEPINTVL: %v", err)) } // Set Keepcount (number of failures) err = syscall.SetsockoptInt(fd, syscall.IPPROTO_TCP, syscall.TCP_KEEPCNT, 5) if err != nil { panic(fmt.Errorf("set TCP_KEEPCNT: %v", err)) } // ... Other operations ... }
-
StarRocks verilerini yedeklerken "Unexpected exception: Table '' is not a OLAP table" hatası bildiriliyor
-
Belirti: StarRocks kullanarak veri anlık görüntüsü yedeklemesi oluştururken aşağıdaki hata iletisi bildirilir.
Unexpected exception: Table '<table_name>' is not a OLAP table -
Neden analizi:
-
Örnek depolama-işlem ayrıştırma modunu kullanır.
Depolama-işlem ayrıştırma kullanan StarRocks örnekleri veri yedekleme ve geri yüklemeyi desteklemez. Bu özelliği yalnızca depolama ve işlemin bütünleşik olduğu örnekler destekler.
-
Tablo altyapısı türü uyumsuz.
StarRocks yedekleme özelliği yalnızca OLAP altyapısını kullanan tabloları destekler. Bir tablonun altyapı türü OLAP değilse bu hata bildirilir.
-
-
Çözüm:
-
Örnek türünü kontrol edin.
StarRocks'un Instance List sayfasında Instance Type değerini kontrol edin. Örnek türü Storage-Compute Separation ise veri yedekleme ve geri yükleme desteklenmez. Yedekleme ve geri yüklemeyi etkinleştirmek için depolama ve işlemin bütünleşik olduğu bir örnek kullanmanızı öneririz. Daha fazla bilgi için bkz. Yedekleme ve geri yükleme.
-
Tablo altyapısı türünü kontrol edin.
Hedef tablonun DDL tanımını kontrol ederek
ENGINE=OLAPayarının yapılıp yapılmadığını doğrulayın.SHOW CREATE TABLE <table_name>;Tablonun altyapısı OLAP değilse iş gereksinimlerinize göre tabloyu yeniden oluşturun ve
ENGINE=OLAPbelirtildiğinden emin olun.
-
Primary Key tablosuna veri yüklemesi şu hata iletisiyle başarısız oluyor: msg: Cancelled, msg: Primary-key index exceeds the limit
-
Sorun:
Primary Key tablosuna veri yüklemesi şu hata iletisiyle başarısız oluyor:
msg: Cancelled, msg: Primary-key index exceeds the limit. tablet_id: 2506733, consumption: 33176971421, limit: 32116807950. Memory stats of top five tablets: 3656508(4465M) 3656496(4464M) 3656544(4464M) 3656520(4462M) 3656532(4461M): be: backend-0.backend.xxx.svc.cluster.local.xxx -
Sorun giderme yaklaşımı:
Bir kaynak darboğazı olup olmadığını belirlemek için BE düğümünün mevcut bellek kullanımını analiz edin.
Kümenin shared-nothing (paylaşımsız) mı yoksa shared-data (paylaşımlı veri) mimarisini mi kullandığını belirleyin ve ilgili yapılandırma öğelerini kontrol edin.
-
Ayrıntılı sorun giderme adımları:
-
Bellek kullanımını analiz etme
Hata, birincil anahtar dizini tarafından tüketilen belleğin BE düğümünün bellek sınırını aşmasından kaynaklanır.
BE düğümünün
mem_limityapılandırmasını kontrol edin; bu değeriSHOW FRONTENDSveyaSHOW BACKENDSkomutlarını çalıştırarak elde edebilirsiniz ve kullanılabilir bellek kapasitesini değerlendirin.
-
Çözümler
-
Çözüm 1: Kalıcı dizinleri etkinleştirin (önerilen)
Shared-nothing kümesi:
enable_persistent_indexdeğerinitrueolarak ayarlayın.Shared-data kümesi:
persistent_index_typedeğerinicloud_nativeolarak ayarlayın.
-
Çözüm 2: Bölümleri uygun şekilde tasarlayın
Primary Key tablosunu zaman veya bölge gibi uygun boyutlara göre bölümlere ayırarak tüm tabloya yazmayı önleyin.
Tablo bölümlere ayrıldıktan sonra her yazma işlemi yalnızca bölümlerin bir alt kümesini etkiler. Birincil anahtar dizininin yalnızca etkilenen bölümlerden veri yüklemesi gerekir; bu da her yazma işleminin bellek baskısını azaltır.
-
-
Yük işi "[E1008]Reached timeout=xxx ms" hatasıyla başarısız oluyor
-
Sorun:
Bir Flink işi StarRocks'a veri yüklerken aşağıdaki hata oluşur:
Message: [E1008] Reached timeout=7500ms @x.x.x.x:8060.INSERT INTOkullanılarak veri yüklenirken aşağıdaki hata oluşur:java.sql.SQLException: [E1008] Reached timeout=7500ms @10.106.7.182:8060.
-
Sorun giderme:
Hata içindeki zaman aşımı değeri
rpc_connect_timeout_msparametresinin varsayılan değeri olan 30000 ms değilse BE düğümününrpc_connect_timeout_msparametresinin manuel olarak değiştirilip değiştirilmediğini kontrol edin.INSERT INTOkullanan yük işleri içinquery_timeoutparametresinin (örneğinquery_timeout = 15) yapılandırılıp yapılandırılmadığını kontrol edin. StarRocks RPC zaman aşımı eşiğiniquery_timeoutdeğerinin yarısı olarak ayarlar ve sonucu milisaniyeye dönüştürür. Bu nedenlequery_timeout=15ise karşılık gelen zaman aşımı 7500 ms'dir.
-
Ayrıntılı sorun giderme adımları:
BE düğümünün
rpc_connect_timeout_msparametresinin değiştirildiğini doğruladıysanız parametreyi varsayılan değeri olan 30000 ms'ye geri yükleyerek aşırı kısa bağlantı zaman aşımından kaynaklanan yanlış zaman aşımı hatalarını önleyin.Reached timeout=7500mshatası genellikle BE düğümünde yüksek brpc iş parçacığı yükünü gösterir. Bu durum RPC isteği işlemeyi geciktirir ve sonunda zaman aşımını tetikler.Hedef tablonun veri dağılımını analiz etmek ve verilerin tabletler arasında uygun şekilde dağıtılıp dağıtılmadığını belirlemek için
SHOW TABLET FROM <destination_database>.<destination_table> ORDER BY RowCount DESC; komutunu çalıştırın. Örneğin tek bir tablette bulunan veri miktarı önerilen 1 GB ila 10 GB aralığını önemli ölçüde aşarsa bazı BE düğümleri aşırı yüklenebilir ve bu durum yazma performansını düşürür.-
Çözümler:
Çözüm 1 (önerilen): Tablo kovralama stratejisini optimize edin. Verileri tabletler arasında eşit şekilde dağıtmak için
DISTRIBUTED BY HASH(...)içinde uygun yüksek kardinalliğe sahip bir alanı kovralama anahtarı olarak seçin.-
Çözüm 2 (geçici hafifletme): BE düğümlerinde CPU ve G/Ç kullanımı sınırlarına ulaşmadıysa aşağıdaki parametreleri uygun şekilde ayarlayın:
brpc_num_threadsdeğerini artırın. Varsayılan değer BE düğümündeki CPU çekirdek sayısıdır. Parametreyi varsayılan değerinin iki veya dört katına ayarlamayı deneyebilirsiniz. İş parçacığı çekişmesini artırabileceğinden varsayılan değerin dört katını aşmayın.flush_thread_num_per_storedeğerini artırın. Varsayılan değer 2'dir. Diske veri yazılırken eşzamanlılığı artırmak için parametreyi 4 olarak ayarlayabilirsiniz.
Yük işi "Error:NULL value in non-nullable column 'xxx'" hatasıyla başarısız oluyor
Sorun: StarRocks tablosuna veri yüklerken aşağıdaki hata oluşur:
Error: NULL value in non-nullable column 'xxx'.Neden:
NOT NULLolarak tanımlanmış bir sütunaNULLdeğeri yazılıyor. Bu durum tablo şeması kısıtlamasını ihlal eder ve yük işinin başarısız olmasına neden olur.-
Çözümler:
-
Çözüm 1: Kaynak verileri düzeltin
Veriler StarRocks'a yazılmadan önce
NULLdeğerlerini filtreleyin veya değiştirerek verilerin hedef tablonun kısıtlamalarına uygun olmasını sağlayın. -
Çözüm 2: Tablo şemasını değiştirin
İş mantığı alanın NULL değerler içermesine izin veriyorsa tablo şemasını değiştirin ve
NOT NULLkısıtlamasını kaldırın.
-
Flink Connector kullanarak veri alırken "because of too many versions, current/limit: 1009/1000" hatası oluşuyor
-
Sorun:
Flink Connector kullanarak bir StarRocks tablosuna sürekli veri yazarken aşağıdaki hata oluşur:
because of too many versions, current/limit: 1009/1000. Neden: StarRocks Primary Key modelinde veya Merge-on-Write kullanan Unique Key modelinde her veri alımı yeni bir sürüm oluşturur. Meta veri şişkinliğini önlemek ve sorgu performansını sağlamak amacıyla sistem varsayılan olarak her bölümde en fazla 1.000 sürümün tutulmasına izin verir.
-
Çözüm:
-
Bölümlerin Compaction Score değerini kontrol edin
Hedef tablodaki her bölümün compaction yükünü kontrol etmek için aşağıdaki SQL deyimini çalıştırın:
SELECT TABLE_NAME, PARTITION_NAME, AvgCS AS avg_compaction_score, MaxCS AS max_compaction_score FROM information_schema.partitions_meta WHERE TABLE_NAME = 'your_table_name';Etkilenen bölümün maksimum Compaction Score değeri olan
MaxCSdeğeri 100'den önemli ölçüde büyükse bölümde birleştirilmeyi bekleyen çok sayıda küçük sürüm vardır. Bu durum compaction işleminin zamanında tamamlanmadığını gösterir. -
Compaction işlemini manuel olarak tetikleyin
Aşağıdaki deyimi çalıştırın:
ALTER TABLE your_db.your_table COMPACT PARTITION your_partition_name; -
Flink sink parametrelerini optimize edin
Aşağıdaki Flink sink parametrelerinin değerlerini artırın:
sink.buffer-flush.max-bytes,sink.buffer-flush.max-rows,sink.buffer-flush.interval-ms. Bu işlem veri alma sıklığını azaltır ve aşırı sayıda küçük sürüm oluşmasını önler.
-
External Catalog kullanarak veri sorgularken Failed to get status for file xxx hatası oluşuyor
-
Sorun:
Paimon veya Iceberg gibi harici bir veri gölündeki bir tabloyu sorgularken aşağıdaki hata oluşur:
(1064, 'Failed to get status for file: oss://data-lakehouse-oss-normal/dataware.db/dwd_annotation2_user/metadata/00097-10647858-814a-499e-b300-51c570ee7ee0.metadata.json')OSS API aşağıdaki hatayı döndürür:<Error> <Code>AccessDenied</Code> <Message>You have no right to access this object because of bucket acl.</Message> <RequestId>68EC744EB6CD8C3539FAB32A</RequestId> <HostId>data-lakehouse-oss-normal.oss-cn-shenzhen-internal.aliyuncs.com</HostId> <EC>0003-00000001</EC> <RecommendDoc>https://api.alibabacloud.com/troubleshoot?q=0003-00000001</RecommendDoc> </Error> Neden: StarRocks, Hive, Iceberg veya Hudi gibi harici bir veri gölündeki tabloları External Catalog kullanarak sorgularken Alibaba Cloud OSS gibi bir nesne depolama hizmetine erişime dayanır. Yanlış izinler veya yapılandırmalar StarRocks'un meta verileri veya veri dosyalarını okumasını engelleyebilir.
-
Çözüm:
Öncelikle AccessKey'in geçerli olduğunu doğrulayın. Yapılandırılan
accessKeyIdveaccessKeySecretdeğerlerinin hedef Object Storage Service paketine erişebildiğini onaylayın.accessKeyIdveaccessKeySecretdoğru şekilde yapılandırılmışsa Object Storage Service paketine Alibaba Cloud hesapları arasında erişilip erişilmediğini kontrol edin. Object Storage Service paketine hesaplar arası erişim için ilgili yapılandırmaları değiştirin. Daha fazla bilgi için bkz. Hesaplar arası OSS'ye nasıl erişebilirim? .
CN ve BE düğümlerinde kalıcı dizinler tarafından kaplanan disk alanını nasıl görüntülerim?
enable_persistent_index = true veya persistent_index_type = 'cloud_native' ayarlanarak kalıcı dizinler etkinleştirildikten sonra birincil anahtar dizinleri disklerde depolanır. Disk kullanımlarını elde etmek için information_schema.be_tablets tablosunu sorgulayabilirsiniz.
-- Query the index size of each table and sort the results, by index size in descending order.
SELECT
tables_config.TABLE_NAME,
t1.TABLE_ID,
t1.index_sum_mb
FROM (
-- Calculate the total index size of each table in MB.
SELECT
TABLE_ID,
SUM(INDEX_DISK)/1024/1024 AS index_sum_mb
FROM information_schema.be_tablets
GROUP BY TABLE_ID
) t1
JOIN tables_config ON tables_config.TABLE_ID = t1.TABLE_ID
ORDER BY index_sum_mb DESC
-- Optional: Add a LIMIT clause to limit the number of returned rows when the result set is excessively large.
-- LIMIT 100
;
Devam eden yazma işlemlerini ve farklı işlem partilerine ilişkin tabletleri nasıl görüntülerim?
Verilerin yazıldığı tabletleri belirlemek için devam eden veya yakın zamanda tamamlanan yük işlerini izleyin.
SELECT
txn_table.*,
tc.table_name
FROM (
SELECT
bt.TABLET_ID,
bt.COMMIT_TIME,
bt.PUBLISH_TIME,
bt.TABLE_ID
FROM information_schema.be_txns bt
JOIN information_schema.be_tablets btt
ON bt.TABLET_ID = btt.TABLET_ID
) AS txn_table
JOIN information_schema.tables_config tc
ON txn_table.TABLE_ID = tc.TABLE_ID;
Belirli bir dönemde CPU veya bellek yükündeki ani artışı nasıl analiz ederim?
Yüksek miktarda kaynak tüketen sorguları belirlemek için denetim günlüklerini kullanın.
SELECT
queryId,
timestamp,
ROUND(memCostBytes / 1024 / 1024 / 1024, 2) AS memCostGB,
cpuCostNs
FROM _starrocks_audit_db_.starrocks_audit_tbl
WHERE timestamp BETWEEN '2025-xx-xx hh:mm:ss' AND '2025-xx-xx hh:mm:ss'
ORDER BY cpuCostNs DESC, memCostGB DESC
LIMIT 20;
Belirli bir dönemde G/Ç yükündeki ani artışı nasıl analiz ederim?
G/Ç artışları genellikle tam tablo taramaları veya bölüm budama ya da dizinleri kullanamayan sorgular gibi büyük ölçekli taramalardan kaynaklanır.
SELECT
queryId,
timestamp,
ROUND(scanBytes / 1024 / 1024 / 1024, 2) AS scanTotalGB
FROM _starrocks_audit_db_.starrocks_audit_tbl
WHERE timestamp BETWEEN '2025-xx-xx hh:mm:ss' AND '2025-xx-xx hh:mm:ss'
ORDER BY scanTotalGB DESC
LIMIT 20;
Tamamen yönetilen bir StarRocks kümesinde BE düğümlerini ölçeklendirirken yetersiz depolama hatası
-
Sorun:
Tamamen yönetilen bir StarRocks kümesinin konsolundan BE düğümlerini ölçeklendirdiğinizde aşağıdaki hata görünür:
invalid status: [insufficient storage]. -
Neden: Ölçeklendirme işlemi için depolama doğrulama gereksinimleri karşılanmıyor. Sistem, ölçeklendirmeden sonraki toplam depolama kapasitesi aşağıdaki gereksinimi karşıladığında işleme izin verir:
Kullanılan depolama < Ölçeklendirmeden sonraki toplam kapasite × 0,7
Değerler aşağıdaki gibi hesaplanır:
Ölçeklendirmeden sonraki toplam kapasite = Belirtilen düğümler kaldırıldıktan sonra kalan düğümlerin birleşik kapasitesi
Kullanılan depolama = Tüm düğümlerdeki (toplam kapasite − kullanılabilir kapasite) toplamı
totalCapacity ve availCapacity değerlerini elde etmek için
SHOW BACKENDSkomutunu çalıştırın.
-
Çözüm:
-
Mevcut küme kapasitesini kontrol edin.
Her BE düğümünün toplam ve kullanılabilir kapasitelerini elde etmek için aşağıdaki SQL deyimini çalıştırın:
SHOW BACKENDS\GTotalCapacityveAvailCapacityalanlarını kontrol edin. Kullanılan depolamanın ölçeklendirmeden sonraki toplam kapasitenin %70'ini aşıp aşmadığını belirleyin. -
Diskleri genişletin ve yeniden deneyin.
Disk kapasitesi yetersizse EMR konsolunda BE düğümlerinin disklerini genişletin.
Kullanılan depolama < Ölçeklendirmeden sonraki toplam kapasite × 0,7koşulunun sağlandığından emin olun ve ardından ölçeklendirme işlemini yeniden deneyin.
-
StarRocks Manager'da oturum açarken RAM.Permission.NotAllow hatası bildiriliyor
-
Sorun:
Bir RAM kullanıcısıyla StarRocks Manager'da oturum açtığınızda
"You are not authorized to perform the operation"iletisi görünür. Hata koduRAM.Permission.NotAllowşeklindedir. Neden: RAM kullanıcısı EMR Serverless StarRocks üzerinde işlem gerçekleştirmek için gereken izinlere sahip değildir ve bu nedenle StarRocks Manager'a erişemez. Daha fazla bilgi için bkz. RAM kullanıcısına yetki verme.
-
Çözüm:
-
Yöntem 1: Sistem ilkesi atayın.
RAM konsolu üzerinde oturum açın ve RAM kullanıcısına
AliyunEMRStarRocksFullAccesssistem ilkesini atayın. RAM kullanıcısı bu şekilde EMR Serverless StarRocks üzerinde işlem gerçekleştirmek için tam izinlere sahip olur. -
Yöntem 2: Ayrıntılı izinler atayın.
Tam izinler atamak istemiyorsanız hata iletisindeki RequestId kullanarak eksik izinleri belirleyin ve bunları RAM konsolunda RAM kullanıcısına atayın. Örneğin
emr-serverless-starrocks:ListInstancesizni eksikse yalnızca bu izni veren özel bir ilke oluşturun.
RAM konsolunun Policies sayfasında
AliyunEMRStarRocksFullAccessilkesini arayarak sistem ilkesinde yer alan tüm izinleri görüntüleyin. -
StarRocks'ta "must be an aggregate expression or appear in GROUP BY clause" hatasını nasıl çözerim?
-
Belirti: StarRocks'ta GROUP BY yan tümcesi içeren bir SQL sorgusu çalıştırdığınızda SELECT listesinde GROUP BY yan tümcesinde yer almayan bir toplamsal olmayan sütun varsa aşağıdaki hata oluşur.
Getting analyzing error: ... must be an aggregate expression or appear in GROUP BY clause Neden:
sql_modeiçindekiONLY_FULL_GROUP_BYkuralı bu hatayı tetikler. Bu kural etkinleştirildiğinde SELECT listesindeki her toplamsal olmayan sütunun GROUP BY yan tümcesinde de yer alması gerekir.-
Çözüm:
StarRocks Manager'daki SQL Editor'ü veya bir MySQL istemcisini kullanarak StarRocks örneğine bağlanın.
-
sql_modedeğerini temizlemek veONLY_FULL_GROUP_BYkuralını kaldırmak için aşağıdaki komutu çalıştırın.SET GLOBAL sql_mode=''; -
sql_modedeğerinin boş olduğunu doğrulayın.SELECT @@GLOBAL.sql_mode;
SET GLOBAL sql_modeayarı hizmet yeniden başlatma olmadan hemen etkili olur.ONLY_FULL_GROUP_BYözelliğini devre dışı bırakmak GROUP BY sorgularında toplamsal olmayan sütunlar için hatalı değerler üretebilir. Bu değişikliği üretim ortamına uygulamadan önce bir test ortamında test edin. Bu işlem global ayarı değiştirir.