일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- Algorithm
- daspecialty
- 해시
- 엘라스틱서치
- RecommendationSystem
- 스파크
- 키바나
- ELK
- Medium
- leetcode
- twosum
- Optimization
- python
- 깊이우선탐색
- kibana
- AWS
- 알고리즘
- programmers
- CentOS
- 프로그래머스
- 리트코드
- dfs
- 장고
- dump
- Spark
- solution
- Easy
- Django
- 파이썬
- elasticsearch
- Today
- Total
목록분류 전체보기 (47)
Archive
Enviornment : CentOS 7.8 Problem Python 3.7버전을 빌드하고 실행시키자 해당 오류 등장 Solution libffi-dev 패키지가 없기 때문에 발생하는 오류입니다. libffi-dev은 외부 함수 인터프리터 라이브러리로, 주로 compile 된 언어와 interpreted 된 언어를 bridging 해주는 데 사용됩니다. python3.7을 설치할 때 apt-get이나 yum 같은 패키지 관리 툴을 사용해서 설치했다면 libffi-dev 패키지를 추가적으로 설치해주면 되고, [ubuntu] apt-get install libffi-dev [centos] yum install libffi-devel 직접 build를 했다면, 설치했던 python3.7을 지우고 해당 패키지..
Enviornment : CentOS 7.8 Problem Python 을 직접 빌드하여 설치했으나, make uninstall, make -n install 등의 명령어가 먹히지 않는 상황에서 깔끔히 지워야 했다. Solution 생각보다 설치되는 위치가 많지 않아 직접 지울 수 있다. ~/.local/lib과 /usr/local 하위에만 설치되며 bin, lib, include 등의 폴더에만 설치된다. python 3.7을 기준으로 적었으며, 3.7대신 버전명만 달리 해서 진행하면 된다. 단, Linux의 경우 default로 설치되어있는 python2를 건드리지 않도록 조심해야 한다. 물론 경로가 달라서 거의 그럴 경우는 없겠다만 혹시나... 꼭 해당하는 버전에 대한 파일들만 지우자. 1. rm -..
Enviornment : CentOS 7.8 Problem) 환경변수 설정을 잘못 입력한 후 source 명령어를 통해 적용시키면 터미널에서 명령어를 못찾는 문제가 발생한다 Solution) 아래 명령어처럼 실행관련 경로를 임시로 PATH로 설정해줌으로서 다시 접근할 수 있다. export PATH=%PATH:/bin:/usr/local/bin:/usr/bin 이후 다시 환경변수를 설정해주면 정상작동한다 CentOS의 경우 /etc/profile 을 다시 수정하고, source /etc/profile을 통해 올바르게 재 적용 시켜준다. https://unix.stackexchange.com/questions/302743/centos-7-all-command-not-found-except-cd
1. Ubuntu Download 우분투 16.04 lts 링크 우분투 18.04 lts 링크 원하는 버전, desktop 나 server 의 .iso 파일을 다운 받습니다. 2. Iso -> Img 부팅디스크 작업시 img파일로 진행되기 때문에 확장자 변환이 필요합니다. hdiutil convert -format UDRW -o [변환할 img 경로, 파일명] [다운받은 iso 파일 경로, 파일명] 저는 download 폴더에 파일이 있어 다음과 같이 사용했습니다. $ hdiutil convert -format UDRW -o ~/Downloads/ubuntu-18.04.1-desktop-amd64.img ~/Downloads/ubuntu-18.04.1-desktop-amd64.iso (2019.10.09..
1. Kafka의 구성 1.1 시스템 구성 1.2 메시징 구성 2. 메시지 송수신 과정 2.1 Producer의 메시지 send 2.2 Consumer의 메시지 receive 2.3 메시지 전송시의 Partitioning 3. Replica 역할 3.1 replica 동기상태 3.2 구조 3.3 메시지 전달 보증 수준 1. Kafka의 구성 1.1 시스템 구성 Kafka Cluster Broker 메시지 수집/전달 하나의 서버 당 하나의 데몬 프로세스로 동작하여 메시지 수신/전달 요청을 받아들임 여러대의 클러스터로도 구성 가능 Broker 의 손쉬운 scale-out 가능 -> 수신/전달 처리량 향상 Broker에서 받은 데이터는 디스크에 저장됨 디스크의 용량이 한계가 있으므로 기간/용량 중 하나를 기준..
코드 내에서 직접 파일을 다루는 경우 os.path 모듈을 사용하게 된다. 1. abspath(path) path의 절대경로를 반환한다. 입력받은 path에는 파일 혹은 폴더 이름이 들어온다. import os.path os.path.abspath("temp") >> '/Users/Desktop/temp' 2. basename(path) path의 기본이름을 반환한다. 입력받은 path에는 절대경로가 들어온다. (abspath와 반대되는 함수) import os.path os.path.basename('/Users/Desktop/temp/test.txt') >> 'test.txt' 3. dirname(path) path의 파일/디렉토리 경로를 반환한다. import os.path os.path.dirna..
TOC What is Kafka Kafka의 특징 What is Kafka 여러대의 분산 서버에서 대량의 데이터를 처리하는 분산 메시징 시스템. 링크드인에서 만든 대량의 데이터를 높은 처리량과 실시간으로 취급하기 위한 프레임워크 확장성 : 여러 서버로 쉽게 Scale out 할 수 있음 -> 데이터 양에 따른 손쉬운 처리 Broker를 여러대 구성할 수 있고, Broker수를 증가시킴으로서 Kafka Cluster 전체의 처리량을 증가시킬 수 있다. 영속성 : 파일 기반으로 수신한 데이터를 디스크에 저장 -> 필요할 때 읽을 수 있음 디스크의 용량에 따라 기간/크기를 기준으로 저장 및 제거 가능 유연성 : 연결 할 수 있는 프레임워크들이 많음 Producer/Consumer 구현을 위한 API가 제공되어..