본문 바로가기

반응형

전체 글

Fluentd를 사용하여 데이터를 집계하고 Elasticsearch와 AWS S3로 전달하는 방법(Aggregation and Forwarding with Fluentd) Fluentd를 사용하여 데이터를 집계하고 Elasticsearch와 AWS S3로 전달하는 방법(Aggregation and Forwarding with Fluentd) 서버 구성 노드(forwarder) 서버(aggregator) 서버(destination) 서버(visualization) 비고 fluentd fluentd elasticsearch kibana fluentbit aws s3 td-agent td-agent-bit Log forwarders(로그 전달자)는 일반적으로 로컬 이벤트를 수신하기 위해 모든 노드에 설치됩니다. 이벤트가 수신되면 네트워크를 통해 'Log aggregators'로 전달합니다. 로그 전달자의 경우 fluent-bit도 경량 처리에 적합합니다. Log aggregat.. 더보기
[리눅스] Elasticsearch REST APIs Elasticsearch REST APIs cURL(command) 클러스터 정보 표시(cluster info) curl -s -k -u elastic:'elastic1!' https://localhost:9200 | jq $ curl -s -k -u elastic:'elastic1!' https://localhost:9200 | jq { "name": "node-1", "cluster_name": "my-application", "cluster_uuid": "IcZQ4wjTR1e9Hym9T8RdQg", "version": { "number": "8.6.2", "build_flavor": "default", "build_type": "deb", "build_hash": "2d58d0f136141f0323.. 더보기
[리눅스] td-agent plugin(td-agent 플러그) td-agent plugin(td-agent 플러그) 설치된 플러그인 목록 표시(로컬) td-agent-gem list --local $ td-agent-gem list --local *** LOCAL GEMS *** addressable (2.8.1) async (1.30.3) async-http (0.59.2) async-io (1.34.0) async-pool (0.3.12) aws-eventstream (1.2.0) ... uri (default: 0.10.0) webhdfs (0.10.2) webrick (1.7.0, default: 1.6.1) xmlrpc (0.3.0) yajl-ruby (1.4.3) yaml (default: 0.1.0) zip-zip (0.3) zlib (default: .. 더보기
우분투에서 td-agent를 설치하는 방법 우분투에서 td-agent를 설치하는 방법 td-agent는 Treasure Data에서 제공하는 Fluentd 기반의 에이전트입니다. 테스트 환경 $ lsb_release -d Description: Ubuntu 22.04.1 LTS td-agent 설치 td-agent 패키지 저장소의 GPG 키 추가 curl https://packages.treasuredata.com/GPG-KEY-td-agent | sudo apt-key add - td-agent 패키지 저장소 추가 echo "deb [arch=amd64] http://packages.treasuredata.com/4/ubuntu/focal/ focal contrib" | sudo tee /etc/apt/sources.list.d/treasure.. 더보기
AWS CLI 설치하는 방법 AWS CLI 설치하는 방법테스트 환경$ lsb_release -dDescription: Ubuntu 22.04.1 LTS$ uname -mx86_64** AWS CLI v2는 v1과 비교하여 더 많은 기능을 제공하며 보안 및 성능 개선이 이루어진 새로운 버전입니다.AWS CLI 설치(AWS CLI v1)더보기apt 저장소 업데이트sudo apt-get updatepip(파이썬 패키지 관리자) 설치sudo apt-get install -y python3-pippip3 --version$ pip3 --versionpip 22.0.2 from /usr/lib/python3/dist-packages/pip (python 3.10)AWS CLI 설치sudo pip3 install awscliAWS CLI .. 더보기
aws ec2 인스턴스에 goofys를 설치하고 S3 버킷을 마운트하는 방법 aws ec2 인스턴스(ubuntu)에 goofys를 설치하고 S3 버킷을 마운트하는 방법테스트 환경$ lsb_release -dDescription: Ubuntu 22.04.1 LTSFUSE 설치Goofys는 FUSE를 기반으로 작동하므로 FUSE를 설치해야 합니다.fuse 패키지와 libfuse-dev 패키지 설치sudo apt-get updateapt-get install -y fuse libfuse-devGoofys 설치Goofys를 Ubuntu 인스턴스에 설치합니다. Goofys는 Go 언어로 작성되었으며, Go 언어가 먼저 설치되어 있어야 합니다. Go 언어를 설치sudo apt-get install -y golangGo 언어가 설치되었다면, Goofys를 소스 코드를 사용하여 빌드하고 .. 더보기
ubuntu 환경에서 elasticsearch와 kibana를 설치하는 방법 ubuntu 환경에서 elasticsearch와 kibana를 설치하는 방법(8.x) 테스트 환경 $ lsb_release -d Description:Ubuntu 22.04.1 LTS Elasticsearch 설치하기 Elasticsearch의 공식 GPG key 다운로드하기 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - $ wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add - Warning: apt-key is deprecated. Manage keyring files in trusted.gpg.d inste.. 더보기
SecureCRT 접속 시 Key exchange failed 오류 SecureCRT 접속 시 Key exchange failed 오류key exchange failed 오류No compatible key-exchange method. The server supports these methods: diffie-hellman-group14-sha256"No compatible key-exchange method. The server supports these methods: diffie-hellman-group14-sha256" 오류는 SecureCRT가 호환되는 키 교환 방법을 찾지 못하여 발생합니다. 이 오류를 해결하기 위해 다음 방법을 시도해 볼 수 있습니다. 1. SecureCRT 업데이트: SecureCRT의 최신 버전으로 업데이트하면 호환되는 키 교환 방법을 지.. 더보기

반응형