본문 바로가기
728x90
반응형

분류 전체보기196

Zookeeper 개념 및 아키텍처 분산 시스템이란?: 네트워크를 통해 여럿의 컴퓨터에서 돌아가는 시스템​분산 시스템에서의 잇슈분산된 시스템 간의 정보 공유?클러스터에 있는 서버들의 상태 체크?분산된 서버들 간에 동기화를 위해 잠금(Lock)?​Zookeeper - 코디네이션 서비스 시스템(Coordination Service)주키퍼 기능분산 환경에서 노드 간에 조정자 역할을 수행하는 서비스노드 간 정보 공유, 잠금, 이벤트 등의 기능 수행여러 개의 노드에 작업을 분산시켜주는 부하 분산 기능 제공서버에서 처리된 결과를 다른 서버에게 동기화 할때 잠금(Lock) 처리 수행서버 장애 시 대기 서버가 기존 서버를 대신 처리할 수 있도록 장애 상황 판단 및 복구주키퍼는 관리 데이터를 메모리상에 유지함​​Zookeeper 아키텍처ZooKeeper는.. 2024. 5. 21.
Linux에서 MySQL/MariaDB 설치 MariaDB 설치는 root 권한으로 실행해야 한다. mariaDB를 설치하면, mysql user가 자동 생성된다. MariaDB 설치sudo apt-get install -y mariadb-server mysql 사용자 확인cat /etc/passwd | grep mysql MariaDB 접속Unix Socket 방식으로 DB에 접속한다. Unix Socket의 설명은 하단에 있다.sudo mysql DB 생성 및 User 생성DB 생성mysql> create database db_name; 사용자 생성mysql> create user user_name@localhost identified by 'password';mysql> create user user_name@'%' identified by .. 2024. 5. 21.
ModuleNotFoundError: No module named 'MySQLdb' ModuleNotFoundError: No module named 'MySQLdb'$ pip3 install mysqlclient (python 3)$ pip install mysql-python (python 2)  맥북 Homebrew python설치시 pip 문제Exception: Can not find valid pkg-config name.mysqlclient 2.2.0 설치부터 pkg-config 필요$ sudo apt install default-libmysqlclient-dev pkg-config -y (Linux)$ brew install pkg-config (Mac)  Full Excecption Logpython -m pip install mysqlclientCollecting mys.. 2024. 5. 20.
Airflow 설치 및 Tutorial 실행 SequentialExecutor는 airflow를 처음 설치할 때 기본 Executor로 sqlite와 함께 사용할 수 있는 유일한 실행자입니다(sqlite는 다중 연결을 지원하지 않음).이 Executor로는 한 번에 하나의 작업 인스턴스만 실행하여, 운영환경에는 적합하지 않습니다.​PrerequisitesPython: 3.8, 3.9, 3.10, 3.11, 3.12Databases:PostgreSQL: 12, 13, 14, 15, 16MySQL: 8.0, InnovationSQLite: 3.15.0+Kubernetes: 1.26, 1.27, 1.28, 1.29​Airflow Databaseairflow 계정을 만드는 예제 입니다.mysql> create database airflow;mysql> c.. 2024. 5. 20.
728x90
반응형

티스토리툴바