DataWorks:Veri geri doldurma örnek işlemleri

1. Örnek yaşam döngüsü ve günlük saklama

• Örnek temizleme: Veri geri doldurma örnekleri manuel olarak silinemez. Oluşturulduktan yaklaşık 30 gün sonra otomatik olarak temizlenir. Artık çalışması gerekmeyen bir görevin zamanlamasını durdurmak için örneklerini donun.

• Saklama ilkesi: Örnek ve günlük saklama süreleri kaynak grubu türüne göre değişir:

  Kaynak grubu türü	Örnek saklama ilkesi	Günlük saklama ilkesi
  Zamanlama için paylaşılan kaynak grubu	30 gün	7 gün
  Zamanlama için özel kaynak grubu	30 gün	30 gün
  Sunucusuz kaynak grubu	30 gün	30 gün

• Büyük günlük temizleme: Tamamlanan örnekler için 3 MB'ı aşan çalışma zamanı günlükleri günlük bir programla temizlenir.

2. Örnek çalışma zamanı kuralları

• Katı gün bazlı bağımlılık: Veri geri doldurma iş tarihi bazında seri olarak çalışır. Bir sonraki güne ait örnekler yalnızca önceki güne ait tüm örnekler başarılı olduktan sonra başlar. Herhangi bir örnek başarısız olursa sonraki tüm tarihler engellenir.

• Günler arası bağımlılıklar etkili olmaz: Görevler arasındaki günler arası bağımlılıklar veri geri doldurma sırasında etkili olmaz. Birden fazla günü kapsayan bir dönem için görevleri geri doldurduğunuzda orijinal günler arası bağımlılık yapılandırmasından bağımsız olarak bir sonraki güne ait örnekler yalnızca önceki güne ait tüm örnekler tamamlandıktan sonra çalışır.

• Belirtilen aralık/küme bağımlılıkları için günler arası işleme: Günleri aşan belirtilen aralık veya küme türündeki bağımlılıklar için veri geri doldurma örnekleri oluşturulurken yalnızca aynı güne ait bağımlılıklar eklenir. Günler arası bağımlılıklar otomatik olarak yok sayılır.

• Saatlik/dakikalık görevler için eşzamanlılık davranışı: Belirli bir gün için tüm örnekleri geri doldurduğunuzda eşzamanlılık görevin öz-bağımlılık niteliğine göre belirlenir:

  • Öz-bağımlılık ayarlanmamış: Güne ait tüm örnekler (örneğin 00:00, 01:00 vb.) kendi üst akış bağımlılıkları karşılandığı sürece gruplar halinde çalışabilir.

  • Öz-bağımlılık ayarlanmış: Güne ait tüm örnekler kesinlikle seri olarak çalışır (örneğin 01:00 örneği yalnızca 00:00 örneği başarılı olduktan sonra çalışır).

• Zamanlanmış örneklerle çakışma: Zamanlanmış örnekler veri geri doldurma örneklerine göre önceliklidir. İkisi aynı anda çalışıyorsa veri geri doldurma örneğini manuel olarak sonlandırın.

• Engelleme listesine alınan görevlerin işlenmesi: Engelleme listesine alınan bir görev veri geri doldurma zincirinde ara düğümse o da deneme çalıştırması olarak çalışır; bu durum alttaki görevlerin veri çıktısını etkileyebilir.

3. Zamanlama kaynakları ve öncelik

• Kaynakları makul şekilde yapılandırın: Çok sayıda veri geri doldurma örneği veya aşırı paralellik zamanlama kaynaklarını tüketir; bu durum zamanlanmış görevleri etkileyebilir. Yapılandırmanızı buna göre planlayın.

• Öncelik düşürme ilkesi: Platform görev önceliğini veri geri doldurma iş tarihine göre dinamik olarak ayarlar:

  • Dünün (T-1) verilerini geri doldurma: Görev önceliği değişmez ve ait olduğu temel çizginin önceliği tarafından belirlenir.

  • Geçmiş (T-2 ve öncesi) verileri geri doldurma: Görevler aşağıdaki kurallara göre otomatik olarak düşürülür:

    • Orijinal seviye 7 veya 8 → seviye 3'e düşürülür

    • Orijinal seviye 5 veya 3 → seviye 2'ye düşürülür

    • Orijinal seviye 1 → değişmez

Adım 1: Veri geri doldurma sayfasına gidin

1. DataWorks konsoluna oturum açın. Hedef bölgede sol gezinme bölmesinde Data Development and O&M > Operation Center seçeneğine tıklayın. Açılan listeden bir çalışma alanı seçin ve Go to Operation Center öğesine tıklayın.

2. Sol gezinme bölmesinde veri geri doldurma sayfasına gitmek için O&M Assistant > Run seçeneğine tıklayın.

Belirli bir zamanlanmış görev için veri geri doldurmak üzere Auto Triggered Task O&M > Auto Triggered Node sayfasına da gidebilir ve ilgili görevin yanındaki Run öğesine tıklayabilirsiniz.

Adım 2: Veri geri doldurma görevi oluşturun

Veri geri doldurma sayfasında Create Data Backfill Task öğesine tıklayın ve iş gereksinimlerinize göre veri geri doldurma görevini yapılandırın.

1. Basic information bilgilerini yapılandırın.

   Platform varsayılan biçimde otomatik olarak bir veri geri doldurma adı oluşturur; bunu ihtiyaca göre değiştirebilirsiniz.

2. Geri doldurulacak görevleri seçin.

   İşlem izniniz olan görevler için veri geri doldurmayı başlatmak ve buna göre diğer geri doldurma görevlerini seçmek için Manually Select, Select by Link, Select by Workspace ve Specify Task and All Descendant Tasks gibi yöntemleri kullanabilirsiniz. Yapılandırma parametreleri yöntemlere göre farklılık gösterir.

   Manuel seçim

   Kök görev olarak bir veya daha fazla görev seçin ardından bu veri geri doldurma için kapsam olarak alttaki görevlerini seçin. Bu yöntem önceki Current Node, Current Node and Descendant Nodes ve Advanced Mode veri geri doldurma çözümleriyle uyumludur.

   Parametreler aşağıda açıklanmıştır.

   Parameter	Description
   Method	Select Manually Select.
   Add Root Task	Search for and add root tasks by name or ID. You can also click Batch Add to filter by resource group, schedule, or workspace and add multiple root tasks in batches. Not You can select only tasks in workspaces that you have joined (that is, workspaces of which you are a member).
   Selected Data Backfill List	The tasks to backfill. The list shows the added root tasks, from which you can select downstream tasks to include. Not You can filter downstream tasks by dependency level. The direct downstream tasks of a root task are on level 1 by default, and so on. You can backfill up to 500 root tasks at a time, with a maximum of 2000 total tasks (root tasks and their downstream tasks) (3000 in the China (Beijing) and China (Hangzhou) regions). When a task is configured with a maximum number of parallel instances, data backfill instances are also subject to this limit and share the concurrency quota with scheduled instances.
   Task Blacklist	If a task does not need to be backfilled, you can add it to the blocklist. Tasks in the blocklist do not participate in this data backfill. Not Only root tasks can be added to the blocklist. If a child task of a root task does not need to be backfilled, remove it from the Selected Data Backfill List. If a task in the blocklist is an intermediate task in this data backfill (that is, its upstream and downstream dependencies are within this data backfill scope), the task runs as a dry run to ensure that downstream tasks run (it does not actually run and immediately returns a success status after starting), but this may cause abnormal data output for the downstream tasks of this task.

   Zincire göre seçim

   Bir başlangıç görevi ve bir veya daha fazla bitiş görevi seçin. Platform bunlar arasındaki tüm görevleri bu veri geri doldurma için kapsam olarak otomatik şekilde belirler (başlangıç ve bitiş görevleri dahil).

   Parametreler aşağıda açıklanmıştır.

   Parameter	Description
   Method	Select Select by Link.
   Search Tasks	Search by name or ID to add a start task and one or more end tasks. The platform identifies intermediate tasks based on the start and end tasks (intermediate tasks are direct or indirect downstream tasks of the start task and direct or indirect upstream tasks of the end tasks).
   Intermediate Task List	The intermediate tasks automatically identified by the platform based on the start and end tasks. Not The list shows only 2000 tasks. Tasks beyond 2000 are not displayed but run normally.
   Task Blacklist	If a task does not need to be backfilled, you can add it to the blocklist. Tasks in the blocklist do not participate in this data backfill. Not If a task in the blocklist is an intermediate task in this data backfill (that is, its upstream and downstream dependencies are within this data backfill scope), the task runs as a dry run to ensure that downstream tasks run (it does not actually run and immediately returns a success status after starting), but this may cause abnormal data output for the downstream tasks of this task.

   Çalışma alanına göre seçim

   Kök görev olarak bir görev seçin ve geri doldurma kapsamını alt düğümlerinin çalışma alanlarına göre belirleyin. Bu yöntem önceki Massive Node Mode veri geri doldurma çözümüyle uyumludur.

   Not

   • Önceki Massive Node Mode veri geri doldurma çözümüyle uyumludur.

   • Görev engelleme listesi yapılandırma desteklenmez.

   Parametreler aşağıda açıklanmıştır.

   Parameter	Description
   Method	Select Select by Workspace.
   Add Root Task	Search for and add root tasks by name or ID. The platform backfills tasks in the workspaces of the downstream tasks of the root task. Not You can select only tasks in workspaces that you have joined (that is, workspaces of which you are a member).
   Include Root Node	Specifies whether to include the root task in this data backfill.
   Data Backfill Workspaces	Select the workspaces whose nodes you want to backfill, based on the workspaces of the downstream tasks of the root task. Not You can select only DataWorks workspaces in the current region for data backfill operations. After you select a workspace, all nodes in the workspace are backfilled by default. You can customize the data backfill allowlist and blocklist as needed.
   Add to Whitelist	Nodes that still need to be backfilled in addition to the nodes contained in the selected workspaces.
   Task Blacklist	Nodes in the selected workspaces that do not need to be backfilled.

   Bir görev ve tüm alt görevlerini belirtin

   Bir kök görev seçtikten sonra platform görevi ve tüm alt görevlerini bu veri geri doldurma için kapsam olarak otomatik şekilde belirler.

   Önemli

   Tetiklenen görevleri yalnızca veri geri doldurma görevi çalışırken görebilirsiniz. Dikkatli kullanın.

   Parametreler aşağıda açıklanmıştır.

   Parameter	Description
   Method	Select Specify Task and All Descendant Tasks.
   Add Root Task	Search for and add root tasks by name or ID. The platform backfills the root task and all its downstream tasks. Not You can select only tasks in workspaces that you have joined (that is, workspaces of which you are a member). If the selected root task has no downstream tasks, only the data of the current root task is backfilled after the data backfill task is submitted.
   Task Blacklist	If a task does not need to be backfilled, you can add it to the blocklist. Tasks in the blocklist do not participate in this data backfill. Not If a task in the blocklist is an intermediate task in this data backfill (that is, its upstream and downstream dependencies are within this data backfill scope), the task runs as a dry run to ensure that downstream tasks run (it does not actually run and immediately returns a success status after starting), but this may cause abnormal data output for the downstream tasks of this task.

   1. Veri geri doldurma çalışma zamanı ilkesini yapılandırın.

      İş gereksinimlerinize göre veri geri doldurma görevi için çalışma zamanı, gruplama, uyarı ve kaynak grubu ayarlarını yapılandırın.

      Parametreler aşağıda açıklanmıştır.

      Parameter	Description
      Data Timestamp	Specify the business dates to backfill. Manual entry, AI-based generation, and batch entry are supported. The system uses different execution policies depending on the dates and options you select: Scenario 1: Backfill historical data (business date < current date) This is the most common scenario. When the selected business date is earlier than today, the system immediately creates and runs the task instance for that date to recompute past data. Purpose: Fix historical data errors or backfill missing data. Execution mode: Run immediately. Scenario 2: Schedule a future task (business date > current date) If you select a future business date without any special options, this is equivalent to creating a one-time scheduled task for that future date. Purpose: Schedule a one-time task run for a specific future date. Execution mode: Run when scheduled. The instance is created in the pending state and runs automatically based on the task's schedule settings when the corresponding business date arrives. Scenario 3: Immediately run instances whose scheduled time is later than the current time (select Run immediately) Run Retroactive Instances Scheduled to Run after the Current Time is an advanced option. It appears when the business date is later than the current date, or when the business date is T-1 and the task contains instances whose scheduled time is later than the current time. When selected, instances whose scheduled time is later than the current time run immediately instead of waiting for their scheduled time. Purpose: Run future-dated task instances in advance, prepare data for specific partitions for migration or testing, or immediately run hourly or minute instances whose scheduled time has not yet arrived when backfilling T-1 data. Execution mode: Run immediately after selection. Example 1 (backfilling future data): The current date is 2024-03-12, and you choose to backfill the data for 2024-03-17 and select Run Retroactive Instances Scheduled to Run after the Current Time. In this case, the task instance starts immediately on 2024-03-12, but the business date parameter it uses when running (which affects the data partition, for example) is 2024-03-17. Example 2 (backfilling T-1 data): The current time is 2024-03-12 14:30, and you choose to backfill the data for 2024-03-11 (T-1). The task is scheduled hourly (runs once every hour). If you do not select this option, instances scheduled for 15:00, 16:00, and other times later than 14:30 must wait until their respective scheduled times to run. After you select Run Retroactive Instances Scheduled to Run after the Current Time, all instances run immediately. Not The concept of business date: In batch computing, a task typically processes the previous day's (T-1) data today (T). Data backfill generates instances for a specified business date so that you can control which day's data the task processes. Multiple time periods: To backfill data for multiple non-consecutive dates, click Add to configure multiple time periods. Resource planning: Avoid setting too long a time span for a single data backfill. A large number of instances consumes scheduling resources, which may affect regular scheduled tasks.
      Period	The period during which the selected tasks run. A task generates and runs instances only when its scheduled time falls within this period. Use this to run only instances of specified periods for hourly or minute scheduled tasks. The default is 00:00-23:59. Not If a task's scheduled time is not within this period, the task does not generate instances. If a case exists where a larger-cycle task depends on a smaller-cycle task (for example, a daily task depends on an hourly task), isolated instances may be generated, which block task operation. We recommend that you modify this parameter only when an hourly or minute scheduled task needs to backfill data for specified periods.
      Run by Group	When you backfill data for multiple business dates, specify how many groups to use for concurrent execution: Yes: The platform splits the business dates into the specified number of groups and runs them concurrently. No: Runs serially in business date order. The next instance runs only after the previous one finishes. Not Whether the instances of a given day for an hourly or minute task run concurrently in groups depends on whether the hourly or minute task itself is configured with a self-dependency. The number of groups ranges from 2 to 10. Multiple instance groups run concurrently as follows: If the time span of the business dates is less than the number of groups, the tasks run concurrently in groups. For example, if the business dates are January 11 to January 13 and the number of groups is 4, only three data backfill instances are generated (each data backfill instance corresponds to one business date), and the three instances run concurrently in groups. If the time span of the business dates is greater than the number of groups, the platform runs tasks both serially and in parallel based on the business date Order. For example, if the business dates are January 11 to January 13 and the number of groups is 2, two data backfill instances are generated (one of the data backfill instances contains two business dates, and the tasks for these two business dates run serially), and the two data backfill instances run in parallel.
      Alert for Data Backfill	Specifies whether this data backfill triggers alerts. Yes: An alert is generated when the trigger condition is met. No: This data backfill does not trigger alerts.
      Trigger Condition	Available only when Alert for Data Backfill is set to Yes: Alert on Failure or Success: An alert is generated whether the data backfill succeeds or fails. Alert on Success: An alert is generated only when the data backfill succeeds. Alert on Failure: An alert is generated only when the data backfill fails.
      Alert Notification Method	Available only when Alert for Data Backfill is set to Yes. You can receive alerts by Text Message and Email, SMS, or Email. The alert recipient is the data backfill initiator. Not Click Check Contact Information to verify whether the phone number or email address of the alert recipient is registered. If not registered, see Configure alert contacts to configure it.
      Order	Choose to run the data backfill in Ascending by Business Date or Descending by Business Date.
      Scheduling Resource Group	The resource group used to run data backfill instances. Inherit Task Configuration: Uses the resource group configured for the scheduled task. Specify Resource Group for Scheduling: Uses a specified resource group to avoid contention between data backfill and scheduled instances. Not Make sure that the network connectivity of the resource group is configured; otherwise, the task may fail. If the specified resource group is not associated with the relevant workspace, the resource group of the original scheduled task is still used. We recommend that you use a serverless resource group or an exclusive resource group for scheduling, which can provide a dedicated compute resource group to ensure fast and stable data transfer when tasks run with high concurrency and cannot be run in staggered time periods.
      Execution Period	Specifies when the data backfill task runs. Inherit Task Configuration: Runs based on the scheduled time of the data backfill instances. Specify Time Period: Restricts the data backfill task to run only within a specified time period. Set the runtime period based on the number of tasks to backfill. Not Tasks that are in the not-run state after this period are not run, while tasks that are in the running state after this period continue to run.
      Computing Resources	Currently, only EMR and Serverless Spark compute resources can be set as the compute resource for data backfill. Make sure that the mapped compute resource exists and is available; otherwise, task scheduling may be affected.

3. Veri geri doldurma görevi denetim ilkesini yapılandırın.

   Denetim başarısız olduğunda görev yürütmenin sonlandırılıp sonlandırılmayacağını yapılandırır. Platform bu veri geri doldurma görevinin temel durumunu ve potansiyel risklerini kontrol eder:

   • Temel durum: İçeren görev sayısı, oluşturulan örnek sayısı ve düğüm döngülerinin, yalıtılmış düğümlerin veya izni olmayan örneklerin bulunup bulunmadığı.

   • Risk algılama: düğüm döngülerini ve yalıtılmış düğümleri kontrol eder. Her iki durum da görevin anormal çalışmasına neden olur. Denetim başarısız olduğunda görevin sonlandırılacak şekilde yapılandırabilirsiniz.

4. Veri geri doldurma görevinin oluşturulmasını tamamlamak için Submit öğesine tıklayın.

Adım 3: Veri geri doldurma görevini çalıştırın

Veri geri doldurma görevi yapılandırılan çalışma zamanına ulaştığında ve anormallik olmadığında otomatik olarak tetiklenir.

Aşağıdaki durumlarda görev çalışamaz:

• Denetimler etkinleştirilmişse ve bir denetim hatası yürütmeyi engelliyorsa. Daha fazla bilgi için bkz. Veri geri doldurma görevi oluşturun: Adım 4.

• Uzantı denetimleri etkinleştirilmişse ve bir denetim hatası yürütmeyi engelliyorsa. Daha fazla bilgi için bkz. Uzantıları yönetin.

Geri doldurma örneklerini sorgulayın

Sol gezinme bölmesinde veri geri doldurma sayfasına gitmek için O&M Assistant > Run seçeneğine tıklayın.

Veri geri doldurma sayfasının sağ tarafında sorgulamak istediğiniz örnekleri Data Backfill Instance Name, Running status ve Task type gibi koşullara göre filtrelemek için Show Search Options öğesine tıklayın. Ayrıca çalışan veri geri doldurma görevlerini toplu olarak hızlıca sonlandırabilirsiniz.

Geri doldurma örneği durumunu görüntüleyin

Geri doldurma örnekleriyle ilgili bilgileri görüntüleyin:

• Node Name: Geri doldurma örneğinin adını gösterir. Örnek adından önceki simgesine tıklayarak örneğin çalışma tarihini ve çalışma durumunun yanı sıra içerdiği düğümleri ve çalışma ayrıntılarını gösterin.

• Check Status: Mevcut geri doldurma örneğinin denetim durumu.

• Running status: Başarılı, başarısız, kaynak bekliyor ve tetiklenme bekliyor gibi durumları içerir. Anormal durumlara göre ilgili sorunlarda sorun giderme yapabilirsiniz.

• Nodes: Geri doldurma örneğinde bulunan düğüm sayısı.

• Data Timestamp: Geri doldurma örneğinin çalıştığı tarih.

• Max Parallel Instances: Görev için yapılandırılan maksimum paralel örnek sayısını Unlimited veya belirli bir değer (1 ile 10000 arasında) olarak gösterir. Bu ayar aynı anda çalışabilecek aynı görevdeki maksimum örnek sayısını sınırlar. Bu değer zamanlanmış örnekler, geri doldurma örnekleri ve test örnekleri arasında paylaşılır.

• View Task Analysis Results öğesini görüntüleyin: Beklenen örnekleri, çalışma tarihlerini ve risk denetimi sonuçlarını görüntüleyerek engellenen görevleri zamanında ele alın. Sayfada şunlar görüntülenir: Data backfill name, Task analysis (çalışma alanı adları ve beklenen örnek sayıları), Business date aralığı, Specified period zaman aralığı ve Risk check sonucu (döngü algılama ve yalıtılmış görev algılama dahil).

• Actions: Geri doldurma örneklerinde Batch Terminate, Batch Rerun ve Reuse gibi işlemler yapabilirsiniz.

  Operation	Description
  Batch Terminate	You can select and batch terminate instances in the Running state within the data backfill instances. After this operation, the corresponding instances are set to the Run failed state. Not Terminating instances in the Not Running, Succeeded, or Run failed state is not supported.
  Batch Rerun	Rerun data backfill instances in batches. Not Only instances in the Succeeded or Run failed state can be rerun. A batch rerun immediately reruns the selected instances and does not run them according to the dependencies among the instances. To run them in order, use Rerun Descendent Nodes or perform the Run operation again.
  Reuse	Reuse the node set from a previous data backfill to quickly select nodes.

Geri doldurma görevlerini yönetin

Geri doldurma örneğindeki düğümlerle ilgili bilgileri görüntüleyin:

• Name: Daha fazla düğüm bilgisi görüntülemek için bir düğüm adına tıklayarak düğüm ayrıntıları sayfasına gidin.

• Timing Time: Düğüm görevi için ayarlanan zamanlanmış çalışma saati.

• Start run time: Düğüm görevi çalışmasının başlama saati.

• End Time: Düğüm görevi çalışmasının bitiş saati.

• Run when Long: Düğüm görevi çalışmasının süresi.

• Actions: Bir veri geri doldurma düğüm görevini DAG görüntüleme, Terminate ve Rerun gibi işlemlerle yönetebilirsiniz.

  Operation		Description
  DAG		View the DAG of the node to analyze the upstream and downstream tasks of the node. For more information, see Introduction to the DAG feature.
  Terminate		You can terminate a node in the Running state. After this operation, the node is set to the Run failed state. Not Terminating nodes in the Not Running, Succeeded, or Run failed state is not supported. This operation causes the instance to fail and blocks its downstream nodes. Proceed with caution.
  Rerun		Rerun the target node task. Not Only nodes in the succeeded or failed state can be rerun.
  More	Rerun Descendent Nodes	Rerun the downstream nodes of the target node task.
  	Set to Successful	Set the status of the node task to succeeded.
  	Pause (Freeze)	Set the current node to the paused (frozen) state and stop scheduling. Not The Waiting for resources, Waiting time, and Running (node code running, data quality check in progress) states do not support the freeze operation.
  	Unfreeze	Resume scheduling for a paused (frozen) node.
  	View Lineage	View the lineage graph of the node.

Seçilen görev düğümleri için seçilen düğüm görevlerini toplu olarak sonlandırmak veya yeniden çalıştırmak amacıyla Terminate veya Rerun öğesine tıklayın.