Hadoop
MongoDB 서버 켜기 DB파일 저장되는 폴더 경로 MongoDB실행파일 있는 위치로 가서 cmd C:\Program Files\MongoDB\Server\4.2\bin mongod --dbpath C:\Users\Administrator\Desktop\Song\mDB --bind_ip_all MongDB서버 접속 MongoDB실행파일 있는 위치로 가서 새로운 cmd C:\Program Files\MongoDB\Server\4.2\bin mongo IP주소 localhost의 경우 생략가능 DB 만들기 x DB 사용하기 use DB명 테이블 만들기 x INSERT db.테이블명.insert({필드명:값, 필드명:값, ...}); db.coffee.insert({name:"americano",price:..
www.mongodb.com/try/download/community community server 다운로드 Java로 back-end CRUD jQuery - ajax Node.js - javascript로 back-end - 요청, 응답 db연결 - MongoDB : Node.js팀에서 만든 db 정형 데이터 - 미세먼지 ex) 1 강남구 100 0 비정형 데이터 - 블로그 RDB(OracleDB, MySQL, MariaDB, ...) 관계형 DB 테이블을 만들고 (자료형, 용량 전부 세팅) 그 규칙에 맞지 않으면 에러 -> 웹사이트, 은행 정형 데이터에 어울림 NoSQL(MongoDB, Elasticsearch, ...) 자유로움 비정형데이터에 어울림 humogous(MongoDB) install ..
RStudio File - NEwFile - RScript Tools - Global Options - Apperance - 세팅해 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117# R# Python 냄새가 나~# 함수 진행도 비슷함# 과학 계산 언어 - 정식 프로그래밍 언어로 하기엔 애매...# 인터프리터 방식 언어 # ..
Hadoop 껐다가 키기 NameNode에서 끄기 cd ~/hadoop/hadoop-3.2.2 sbin/stop-all.sh 컴퓨터 전부 찌꺼기폴더 삭제 rm -rf ~/hadoopTmpData NameNode에서 하둡 시스템 포맷 bin/hadoop namenode -format bin/hadoop datanode -format NameNode에서 켜기 sbin/start-all.sh Hadoop HDFS(Hadoop Distributed File System) 실제로는 20GB짜리 HDD 2개 Hadoop은 2개를 묶어서 40GB 하나의 공간으로 사용 빅데이터 분석은 실시간으로 할 수 없음 Hadoop은 HDFS에 있는 파일을 분석 내가 HDFS에 파일을 올려줘야함 NameNode의 HDD - 분석용..
텍스트 파일 분석 해보기 인코딩 방식은 UTF-8 분석할 파일을 Window에서 만듬 알드라이브를 통해 NameNode에 업로드 업로드 위치는 hadoop/hadoop-3.2.2 분석할 파일과 .jar 파일을 같이 올린다. cd hadoop/hadoop-3.2.2 분석용 파일을 하둡이 만들어 쓰는 가상공간(HDFS)에 가져다 놓아야함 bin/hadoop fs -ls / (HDFS 최상위 폴더에 뭐가 있나 확인) 분석용 파일을 여기로 올림 bin/hadoop fs -put 파일명.txt / 샘플 프로그램 실행 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.2.jar wordcount /mar03.txt /mar03Result HDF..
hadoop : 리눅스컴퓨터 여러대로 데이터를 병렬처리 분석해주는 .jar 파일 설치 -> 압축풀어서, 상황에 맞게 설정파일 수정(vi) -> 오타 -> 실패 Hadoop에 참여할 컴퓨터 DataNode NameNode : DataNode 중에 대장 역활 ex) 3대를 할 경우 a : namenode / datanode b : datanode c : datanode 1. Datanode 준비 Linux 필요하다. datanode들끼리는 id/pw가 같아야한다. 3대 준비 완료 아이디 / 비밀번호 : sdedu / 1 ifconfig로 ip주소 확인 192.168.56.102 - NameNode 192.168.56.103 - DataNode 192.168.56.104 - DataNode 2. DataNod..
MAC 주소정책 : 모든 네트워크 어댑터의 새 MAC 주소 생성 sudo apt-get install openssh-server putty에서 ip번호 입력하고 접속 화살표 사용할수 있도록 변경 sudo apt-get remove vim-tiny sudo apt-get install vim FTP서버 설정 sudo apt-get install vsftpd sudo vi /etc/vsftpd.conf a 누르고 내려가서 #write_enable=YES 찾아서 # 지우고 esc누르고 :wq! sudo service vsftpd restart openJDK 설치 sudo add-apt-repository ppa:openjdk-r/ppa sudo apt-get update sudo apt-get install ..
