colname で指定された列の値を配列に集約する MaxCompute V2.0 拡張関数です。
使用上の注意
MaxCompute V2.0 では追加関数が提供されています。使用する関数が新しいデータ型を伴う場合は、MaxCompute V2.0 データ型エディションを有効にする必要があります。新しいデータ型には、TINYINT、SMALLINT、INT、FLOAT、VARCHAR、TIMESTAMP、BINARY が含まれます。
セッションレベル: MaxCompute V2.0 データ型エディションを使用するには、実行する SQL 文の前に
set odps.sql.type.system.odps2=true;を追加し、まとめてコミットおよび実行する必要があります。プロジェクトレベル: プロジェクトオーナーは、プロジェクトの要件に基づいて、プロジェクトの MaxCompute V2.0 データ型エディションを有効にすることができます。構成は 10 ~ 15 分後に有効になります。コマンド例:
setproject odps.sql.type.system.odps2=true;setprojectの詳細については、「プロジェクト操作」をご参照ください。プロジェクトレベルで MaxCompute V2.0 データ型エディションを有効にする際に注意すべき事項については、「データ型エディション」をご参照ください。
複数の集計関数を含む SQL 文を使用し、プロジェクト リソースが不足している場合、メモリ オーバーフローが発生する可能性があります。ビジネス要件に基づいて SQL 文を最適化するか、計算リソースを購入することをお勧めします。
構文
array collect_list(<colname>)パラメーター
colname: 必須。任意のデータ型にすることができる列の名前。
戻り値
ARRAY 型の値が返されます。colname で指定された列の値が null の場合、この値を含む行は計算に使用されません。
サンプルデータ
このセクションでは、関数の使用方法を理解するためのサンプル ソースデータと例を示します。emp という名前のテーブルを作成し、サンプルデータをテーブルに挿入します。文の例:
create table if not exists emp
(empno bigint,
ename string,
job string,
mgr bigint,
hiredate datetime,
sal bigint,
comm bigint,
deptno bigint);
tunnel upload emp.txt emp; -- emp.txt を、データファイルをアップロードする実際のパス (パスと名前) に置き換えます。emp.txt ファイルには、次のサンプルデータが含まれています。
7369,SMITH,CLERK,7902,1980-12-17 00:00:00,800,,20
7499,ALLEN,SALESMAN,7698,1981-02-20 00:00:00,1600,300,30
7521,WARD,SALESMAN,7698,1981-02-22 00:00:00,1250,500,30
7566,JONES,MANAGER,7839,1981-04-02 00:00:00,2975,,20
7654,MARTIN,SALESMAN,7698,1981-09-28 00:00:00,1250,1400,30
7698,BLAKE,MANAGER,7839,1981-05-01 00:00:00,2850,,30
7782,CLARK,MANAGER,7839,1981-06-09 00:00:00,2450,,10
7788,SCOTT,ANALYST,7566,1987-04-19 00:00:00,3000,,20
7839,KING,PRESIDENT,,1981-11-17 00:00:00,5000,,10
7844,TURNER,SALESMAN,7698,1981-09-08 00:00:00,1500,0,30
7876,ADAMS,CLERK,7788,1987-05-23 00:00:00,1100,,20
7900,JAMES,CLERK,7698,1981-12-03 00:00:00,950,,30
7902,FORD,ANALYST,7566,1981-12-03 00:00:00,3000,,20
7934,MILLER,CLERK,7782,1982-01-23 00:00:00,1300,,10
7948,JACCKA,CLERK,7782,1981-04-12 00:00:00,5000,,10
7956,WELAN,CLERK,7649,1982-07-20 00:00:00,2450,,10
7956,TEBAGE,CLERK,7748,1982-12-30 00:00:00,1300,,10例
例 1: sal 列の値を配列に集約して、全従業員の給与を取得します。文の例:
select collect_list(sal) from emp;次の結果が返されます。
+------+ | _c0 | +------+ | [800,1600,1250,2975,1250,2850,2450,3000,5000,1500,1100,950,3000,1300,5000,2450,1300] | +------+例 2: この関数を
GROUP BYと共に使用して、deptno 列に基づいて全従業員をグループ化し、各グループの sal 列の値を配列に集約します。文の例:select deptno, collect_list(sal) from emp group by deptno;次の結果が返されます。
+------------+------+ | deptno | _c1 | +------------+------+ | 10 | [2450,5000,1300,5000,2450,1300] | | 20 | [800,2975,3000,1100,3000] | | 30 | [1600,1250,1250,2850,1500,950] | +------------+------+例 3: この関数を
GROUP BYと共に使用して、deptno 列に基づいて全従業員をグループ化し、重複が削除された後、各グループの sal 列の値を集約します。文の例:select deptno, collect_list(distinct sal) from emp group by deptno;次の結果が返されます。
+------------+------+ | deptno | _c1 | +------------+------+ | 10 | [1300,2450,5000] | | 20 | [800,1100,2975,3000] | | 30 | [950,1250,1500,1600,2850] | +------------+------+例 4: sal 列の値を配列に集約し、返された配列の値を連結します。
-- COLLECT_LIST 関数を使用します。 select array_join(collect_list(sal), ',') from emp; -- パフォーマンスが向上する WM_CONCAT 関数を使用します。 select wm_concat(',', sal) from emp;次の結果が返されます。
+-----+ | _c0 | +-----+ | 800,1600,1250,2975,1250,2850,2450,3000,5000,1500,1100,950,3000,1300,5000,2450,1300 | +-----+例 5: sal 列の値をランダムに配列に集約し、配列から値を選択します。
-- COLLECT_LIST 関数を使用します。 select collect_list(sal)[0] from emp; -- パフォーマンスが向上する ANY_VALUE 関数を使用します。 select any_value(sal) from emp;次の結果が返されます。
+------------+ | _c0 | +------------+ | 800 | +------------+
例 6: ename 列の値をソートして連結します。
-- COLLECT_LIST 関数を使用します。 select concat_ws(',', sort_array(collect_list(ename))) from emp; -- WITHIN GROUP 句と共に WM_CONCAT 関数を使用します。 select wm_concat(',', ename) WITHIN group (order by ename) from emp;次の結果が返されます。
+-----+ | _c0 | +-----+ | ADAMS,ALLEN,BLAKE,CLARK,FORD,JACCKA,JAMES,JONES,KING,MARTIN,MILLER,SCOTT,SMITH,TEBAGE,TURNER,WARD,WELAN | +-----+
COLLECT_LIST 関数を使用すると、グループ内のすべての値を配列に集約できます。特定のシナリオでは、COLLECT_LIST 関数を他の関数に置き換えることで、複雑なデータ型の処理のオーバーヘッドを削減できます。例 4、例 5、および例 6 では、COLLECT_LIST 関数を他の関数に置き換えることで、計算パフォーマンスを向上させることができます。
関連関数
COLLECT_LIST は集計関数です。複数の入力レコードの平均値を計算し、パラメーターを集約するために使用される関数の詳細については、「集計関数」をご参照ください。