Archive

데이터 중심 애플리케이션 - 데이터 양 / 복잡도 / 변화 속도에 따라 다르게 구축됨. 또한, 요구사항에 맞게 설계됨 유용한 애플리케이션을 위해선 기능적 요구사항과 비기능적 요구사항을 충족시켜야함 기능적 요구사항 : 데이터 저장, 조회, 검색 등 비기능적 요구사항 : 보안, 신뢰성, 법규 준수, 확장성, 호환성, 유지보수성 등 1. 신뢰성 : 하드웨어 /소프트웨어 결함, Human Error 등에서도 시스템이 지속적으로 올바르게 동작함 올바르게 동작한다 = 원하는 성능 수준에서 정확한 기능을 수행함 결함(fault) : 잘못될 수 있는 일 ( cf. 장애 (failure) : 사용자에게 필요한 서비스를 제공하지 못하고 시스템이 멈춤) 내결함성 (fault-tolerant) : 결함을 예측하고 대처할 수 ..

Scalability 수직적 규모 확장 ( Scale Up ) : 서버의 고사양화 트래픽 양이 적을 때 유용하나 확장에 한계가 있고, Fail Over / Re-Dundancy 에 대한 방안 제시 불가 수평적 규모 확장 ( Scale Out ) : 더 많은 서버 추가 대규모 애플리케이션에 적합 1) 웹서버 확장 Load balancing 을 통해 웹 서버에 트래픽 고르게 분산 -> Failover / Availability 향상 2) DB 확장 (1) DB 이중화 Master - Slave 방식 Master : 원본 저장 / 쓰기 연산 Slave : 사본 저장 / 읽기 연산 병렬로 처리 될 수 있는 질의 수 증가, Reliability / Availability 향상 (2) Sharding DB를 샤드..

Environment : MacOS BigSur 11.4 Problem) 특정 디렉토리에서 ls 명령어 입력 시 명령어가 작동하지 않음... Solution) Iterm2에 특정 디렉토리에 대한 접근 권한이 없기 때문 -> 맥 설정에서 전체 디스크 접근 권한을 부여해줌으로서 해결 가능 1) System Preference > Security & Privacy 2) Full Disk Access > iTerm Check

TLS SSL 표준화 암호화 프로토콜 웹사이트 ~ 브라우저(OR 서버 ~ 서버) 사이에 전송된 데이터를 암호화하여 인터넷 연결 보안을 유지하는 표준 기술 (HTTPS) 상호인증, 무결성, 기밀성 등을 보장함 TCP/IP 통신 위에서 동작 TLS 사용 이유 웹사이트 ~ 브라우저(OR 서버 ~ 서버) 사이에 정보를 주고받을 때 사용하는 HTTP 프로토콜 (Hypertext Transfer Protocol) 에 보안을 적용하기 위함. HTTP는 기본적으로 주고 받는 패킷을 암호화하지 않고 그대로 전송하기에 공격의 위험성이 존재. TLS는 HTTP통신에 사용되는 패킷을 암호화 및 인증 과정을 거치게끔 하는 프로토콜로 HTTPS 프로토콜 (HTTP Secure)에 사용됨. TLS 특징 1) 암호화 TLS는 여러 ..

10)Day11_CF의 Limitation을 이해하고 Text Data에 익숙해지기 CF의 limitation을 이해하고 text data에 익숙해지기 Recommendation System_Day11 yeo0.github.io Video _Machine Learning Summer School 2014 in Pittsburgh (1h43m31s ~ 1h56m39s) Slides_Recommender Systems (Machine Learning Summer School 2014 @ CMU) (89 page ~ 108 page) Recommender Systems (Machine Learning Summer School 2014 @ CMU) Slides for my 4 hour tutorial on Re..

7)Day7_MovieLens Dataset을 파악하고 간단한 Neighborhood based CF 구현 MovieLens dataset을 파악하고 간단한 neighborhood based CF 구현 Recommendation System_Day7 yeo0.github.io data download link MovieLens 100K Dataset MovieLens 100K movie ratings. Stable benchmark dataset. 100,000 ratings from 1000 users on 1700 movies. Released 4/1998. README.txt ml-100k.zip (size: 5 MB, checksum) Index of unzipped files Permal… gr..

4)Day4_Matrix Factorization Matrix Factorization Recommendation System_Day4 yeo0.github.io Coursera 16-5 Vectorization Low Rank Matrix Factorization (8:27) - YouTube www.youtube.com Coursera 16-6 Implementation Detail Mean Normalization (8:30) - YouTube www.youtube.com 5)Day5_현대 세대의 Recommender System 장단점에 대한 이해 현대 세대의 Recommender System의 장단점에 대한 이해 Recommendation System_Day5 yeo0.github.io Intr..

1)Day1_추천시스템의 시작 Netflix Prize에 대한 이해 추천시스템의 시작 Netflix prize에 대한 이해 Recommendation System_Day1 yeo0.github.io From the Labs: Winning the Netflix Prize \ How Does Netflix Recommend Movies? 인터넷 속의 수학 - How does Netflix recommend movies? (1/2) - README 본 포스팅은 단기강좌 인터넷 속의 수학의 강의 들을 요약하는 포스트입니다. Introduction Netflix라는 미국의 DVD rental 업체가 있다. 이전 포스트에서 다뤘던 기업 중에 하나인데, 다시 한번 간략하 sanghyukchun.github.io N..

Direct Connect 주로 전용 회선을 통해 AWS 서비스들과 On-Premise 자원들을 연결하여 하이브리드 환경을 구축하고자 할 때 사용한다. 전용회선을 통한 통신이기 때문에 인터넷을 통하지 않고 사용할 수 있기 때문에 높은 보안성을 제공한다. 일관된 네트워크 성능을 제공하고 Transit Gateway를 통한 연결보다는 저렴하다는 특징이 있다. 구조를 자세히 보자면, Direct Connect Location 을 구축해 두고 On-Prem ~ Direct Connect Location 까지는 전용선을 통해 연결, Direct Connect Location ~ AWS 서비스들 까지는 VIF ( Virtual Interface ) 를 통해 연결하는 구조이다. Direct Connect Locati..

Enviornment : CentOS 7.8 Hadoop ver : 3.3.1 Problem) Namenode Format이후 datanode가 실행이 되지 않는 문제 Solution) Namenode는 format을 해주었지만 관련 임시파일은 tmp폴더에 남아있기 때문에 충돌 발생한 것입니다. 때문에 Namenode, Datanode가 실행되고 있는 모든 서버에서 해당 폴더를 지워줌으로서 해결할 수 있습니다. ① Stop Hadoop Namenode가 실행되고 있는 서버에서 진행한다. [sandbox@test-master01 ~]$ $HADOOP_HOME/sbin/stop_all.sh ② tmp dir 초기화 core-site.xml에 지정해준 tmp directory 를 초기화한다. default 경..