공지사항 및 업데이트
LoongCollector는 관찰 가능한 차세대 파이프라인을 위해 설계되었습니다. LoongCollector는 Logtail의 로그 수집 및 처리 기능을 가지고 있으며, Logtail의 기능을 포괄적으로 업그레이드하고 확장합니다. Logtail은 로그 관련 시나리오에서 사용됩니다. LoongCollector는 관측 가능한 데이터 수집, 로컬 컴퓨팅, 서비스 발견 등 다양한 시나리오에서 사용됩니다.
자세히 알아보기 >Logtail은 네이티브 플러그인 모드, 확장 플러그인 모드, Simple Log Service Processing Language(SPL) 모드 등 세 가지 처리 모드를 지원합니다. 지정된 SPL 문장과 Simple Log Service의 연산 기능을 기반으로 데이터를 처리할 수 있습니다.
자세히 알아보기 >거대 언어 모델과 거대 모델은 벡터 데이터베이스의 광범위한 채택에 기여합니다. 텍스트, 음성, 이미지, 동영상은 벡터 데이터베이스에 벡터 형태로 저장될 수 있습니다. 이 기능은 사용자가 검색어와 관련된 정보를 효율적으로 검색할 수 있도록 도와줍니다.
자세히 알아보기 >혜택
Simple Log Service는 관찰 가능한 데이터를 위한 스토리지 및 애플리케이션 서비스입니다. Simple Log Service를 사용하면 로그, 메트릭, 추적과 같은 관찰 가능한 데이터를 수집, 변환, 쿼리, 분석, 시각화, 소비 및 전송할 수 있습니다. 관찰 가능한 데이터에 대한 알림을 설정할 수도 있습니다. Simple Log Service는 R&D, O&M, 운영, 보안 등 다양한 시나리오에서 지능적인 애플리케이션 기능을 제공합니다.
-
통합된 수집
LoongCollector, API, SDK를 사용하여 애플리케이션, 운영 체제, 데이터베이스, 모바일 디바이스, 표준 프로토콜, 클라우드 서비스, 가져온 데이터, 인터넷, 기존 네트워크, 임대 회선을 통한 제3자 데이터 등 다양한 소스로부터 데이터를 수집할 수 있습니다.
-
고성능
Simple Log Service는 거의 실시간으로 로그 기록과 스트리밍 데이터 저장을 지원하고, 로그와 메트릭에 대한 고성능 쿼리 및 분석 엔진을 제공합니다. 초대형 규모의 복잡한 데이터를 쿼리할 수 있습니다. 예를 들어, 수천억 개의 로그를 쿼리하고 초당 수십억 개의 로그를 분석할 수 있습니다. 또한 수백만 개의 시계열을 몇 초 안에 계산할 수 있습니다.
-
비용 효율성
복잡한 오픈소스 프레임워크를 구축할 필요가 없으므로 수동 O&M 비용이 발생하지 않습니다. Simple Log Service는 서버리스 아키텍처를 기반으로 합니다. 따라서, 리소스 사용량을 계획할 필요가 없습니다. Simple Log Service는 여러 가지 청구 방법을 제공하여 비즈니스 변화에 유연하게 대응할 수 있도록 합니다.
-
높은 보안 및 안정성
HTTPS 보안 기술 기반의 암호화는 데이터 전송의 보안을 보장합니다. Simple Log Service는 데이터 무결성을 보장하기 위해 멀티 레플리카 백업 스토리지를 제공합니다. 고성능 및 고신뢰성 아키텍처는 99.99%의 SLA 보장 서비스 가용성을 제공합니다.
개요
특징
데이터 수집 및 스토리지
데이터 수집
LogHub를 사용하면 저렴한 비용으로 실시간으로 대량의 로그 데이터를 수집할 수 있습니다. 로그 데이터는 메트릭, 이벤트, 바이너리 로그, 텍스트 로그, 클릭스트림 데이터가 될 수 있습니다. Simple Log Service는 플랫폼 구축을 돕기 위해 50가지 이상의 데이터 수집 방법을 제공합니다. Simple Log Service는 다양한 특성을 가진 시나리오에서 강력한 구성 및 관리 기능을 제공하여 O&M 업무량을 줄여줍니다.
데이터 스토리지
Simple Log Service는 데이터 검색 레이턴시, 데이터 처리 능력, 통계 분석에 대한 요구 사항을 충족하는 실시간 로그 저장 기능을 제공합니다. 이 기능을 사용하면 몇 초 안에 로그를 검색하고, 실시간으로 로그를 모니터링, 수집, 분석하고, 스트리밍 모드에서 로그를 사용할 수 있습니다. Simple Log Service는 역추적 검색 및 기록 로그 보관에 대한 요구 사항을 충족하는 드문 액세스(IA) 스토리지 기능을 제공합니다. 이 기능을 사용하면 자주 접속하지 않고 통계 분석이 필요하지 않은 로그를 저장할 수 있습니다. 예를 들어, 이 기능을 사용하여 보관된 감사 로그를 저장할 수 있습니다. IA 스토리지의 전체 비용은 실시간 스토리지보다 80% 저렴합니다.
ETL 및 스트림 컴퓨팅
스트림 처리
LogHub를 여러 실시간 컴퓨팅 엔진 및 서비스에 연결할 수 있습니다. LogHub는 처리 진행 상황을 모니터링하고 경보를 생성할 수도 있습니다. 또한 SDK 또는 API 작업을 사용하여 비즈니스 요구 사항에 따라 데이터를 사용할 수도 있습니다. Simple Log Service는 여러 스트림 처리 엔진과의 원활한 통합을 위해 포괄적인 SDK와 프로그래밍 프레임워크를 제공합니다. Simple Log Service는 포괄적인 메트릭과 레이턴시에 따른 경고 메커니즘을 제공합니다.
추출, 변환, 로드
구조화되지 않은 로그 데이터는 필터링, 정리, 마스킹, 구조화를 통해 구조화된 데이터로 처리됩니다. 구조화된 데이터는 후속 SQL 분석, 대시보드, 알림에 사용됩니다.
Data Warehouse
데이터 이전
LogShipper를 사용하여 데이터를 스토리지 서비스로 전송할 수 있습니다. 전송하는 동안 데이터를 압축하고, 사용자 지정 파티션 형식을 정의하고, 행 또는 열 저장소를 지정할 수 있습니다. 예를 들어, OSS(Object Storage Service) 및 MaxCompute와 같은 Alibaba Cloud 서비스로 데이터를 실시간으로 전송할 수 있습니다.
시나리오
-
Alibaba Cloud SIEM 프로세스
-
실시간 데이터 수집
-
실시간 쿼리 및 분석
-
실시간 컴퓨팅 및 ETL
-
데이터 웨어하우스와의 통합
SIEM 솔루션
보안 정보 및 이벤트 관리(SIEM)는 보안 정보 관리 및 보안 이벤트 관리 기능을 제공합니다. SIEM을 사용하면 보안 이벤트, 기타 이벤트 및 관련 데이터 소스를 수집하고 분석하여 위협 탐지, 규정 준수 탐지 및 보안 이벤트 관리를 용이하게 할 수 있습니다.
Out-of-the-box SIEM 기능
-
종합적인 데이터 수집
Alibaba Cloud 계정 전체에 걸쳐 데이터를 수집, 변환, 저장할 수 있습니다.
-
통합 쿼리 및 분석
대화형 쿼리 및 분석 구문, 머신러닝 알고리즘, 결과 시각화 기능을 사용할 수 있습니다.
-
위협 탐지 및 대응
위협에 대한 내장된 경고 규칙이나 사용자 지정 경고 규칙을 사용하여 경고 알림을 관리하고, 경고 이벤트에 대응할 수 있습니다.
-
SIEM 시스템으로 로그 전송
Syslog는 IBM QRadar, HP ArcSight 등 대부분의 SIEM 시스템과 호환되는 널리 사용되는 로깅 표준입니다. Simple Log Service를 사용하면 Syslog를 통해 로그를 SIEM 시스템으로 보낼 수 있습니다. Simple Log Service 소비자 그룹을 사용하여 소비를 위한 프로그램을 만들 수 있습니다.
실시간 데이터 수집
실시간 데이터 수집
LogHub를 사용하면 저렴한 비용으로 실시간으로 대량의 로그 데이터를 수집할 수 있습니다. 로그 데이터는 메트릭, 이벤트, 바이너리 로그, 텍스트 로그, 클릭스트림 데이터가 될 수 있습니다.
혜택
-
사용의 용이성
Simple Log Service는 플랫폼 구축을 돕기 위해 30가지 이상의 데이터 수집 방법을 제공합니다. Simple Log Service는 강력한 구성 및 관리 기능을 제공하여 운영 및 관리 업무량을 줄여줍니다. Simple Log Service는 전국과 전 세계에 분산된 노드를 가지고 있습니다.
-
Auto Scaling
Simple Log Service는 트래픽 급증과 비즈니스 피크를 처리할 수 있습니다.
권장 서비스 조합
실시간 컴퓨팅 및 ETL
스트림 컴퓨팅 및 ETL
LogHub는 여러 실시간 컴퓨팅 엔진과 서비스에 연결할 수 있습니다. LogHub는 처리 진행 상황을 모니터링하고 경보를 생성할 수도 있습니다. 또한 SDK 또는 API 작업을 사용하여 비즈니스 요구 사항에 따라 데이터를 사용할 수도 있습니다.
혜택
-
사용의 용이성
Simple Log Service는 여러 스트림 처리 엔진과의 원활한 통합을 위해 포괄적인 SDK와 프로그래밍 프레임워크를 제공합니다.
-
포괄적인 특징
Simple Log Service는 포괄적인 메트릭과 레이턴시에 따른 경고 메커니즘을 제공합니다.
-
Auto Scaling
Simple Log Service는 페타바이트 단위의 데이터를 레이턴시 없이 처리할 수 있도록 오토스케일링을 지원합니다.
권장 서비스 조합
역량
보안 규정 준수
접속 제어
사용자 기반 정책: RAM(Resource Access Management) 정책은 사용자 기반 정책입니다. 직원, 시스템, 애플리케이션 등 사용자를 관리하는 정책을 설정할 수 있습니다. 직원, 시스템 또는 응용 프로그램과 같은 사용자를 관리하도록 정책을 구성할 수 있습니다.
STS 기반 임시 인증: STS(Security Token Service)를 사용하여 AccessKey 쌍과 보안 토큰을 포함한 임시 접속 자격 증명을 획득하고 임시 사용자에게 자격 증명을 보낼 수 있습니다. 이렇게 하면 임시 사용자가 Simple Log Service에 접속할 수 있습니다. STS를 사용하여 Simple Log Service에 대한 임시 접속을 인증할 수 있습니다. STS를 사용하면 관리하는 타사 애플리케이션 또는 RAM 사용자에게 사용자 지정 유효 기간과 사용자 지정 권한이 있는 임시 접속 자격 증명을 부여할 수 있습니다.
데이터 암호화
SSL 또는 TLS 기반의 암호화된 전송: Simple Log Service는 HTTP 또는 HTTPS를 통해 접속할 수 있습니다. SSL 또는 TLS는 두 애플리케이션 간에 전송되는 데이터의 보안과 무결성을 보장합니다. Simple Log Service는 Logtail 기반의 암호화된 전송과 SDK 기반의 암호화된 전송을 지원합니다.
서버 측 암호화: Simple Log Service는 Simple Log Service의 서비스 키를 사용하여 데이터를 암호화할 수 있습니다. 각 Logstore마다 독립적인 데이터 암호화 키가 생성됩니다. Simple Log Service는 BYOK(Bring Your Own Key) 기능을 사용하여 데이터를 암호화할 수 있습니다. KMS(Key Management Service) 콘솔에서 CMK(고객 마스터 키)를 생성하고 Simple Log Service에 필요한 권한을 부여해야 합니다.
데이터 신뢰성
3중 레플리카 메커니즘: Simple Log Service의 스토리지 시스템은 3중 레플리카 메커니즘을 사용하여 3개의 레플리카가 서로 다른 서버의 서로 다른 물리적 디스크에 분산되도록 합니다. 이렇게 하면 단일 하드웨어 디바이스가 고장 나더라도 데이터가 손실되지 않습니다. 또한 스토리지 시스템은 3개의 레플리카 간에 강력한 데이터 일관성을 보장합니다.
