socurites.com
YARN 관련 자료 정리 2 | socurites.com
http://socurites.com/big-data/yarn/yarn-관련-자료-정리-2
YARN 관련 자료 정리 2. June 12, 2015. Apache Hadoop YARN – Concepts and Applications. YARN의 분산 어플리케이션을 관리하기 위한 시스템. ResourceManger는 기본적으로 순수한 스케쥴러에 해당한다. 시스템의 가용자원을 자원 경쟁중인 어플리케이션에 할당을 중재하는 역할을 한다. Cluster utilization을 최적화(항시 모든 자원을 활용할 수 있도록 함). Pluggable scheduler를 가지므로, 상황에 따라 capacity 또는 fair 스케쥴러를 사용할 수 있다. 기존의 MRv1과 YARN 사이에는. JobTracker – RessourceManager. TaskTracker – NodeManager. 와 같이 비슷한 개념이 있다. 반면 ApplicationMaster는 YARN에서 새롭게 등장한 개념이다. ApplicationMaster로 인한 YARN의 특징. YARN 설계시 결정한 핵심 표인트. The YARN ...
popit.kr
김 형준 | Popit
http://www.popit.kr/author/babokim
Pop your experience. Share it. Http:/ www.jaso.co.kr. Posts by 형준 김:. 협업 글쓰기를 통한 학습-React 삽질. 이번 글은 지난주에 있었던 같이 일하시는 한 개발자와 협업 글쓰기를 통해서 코드가 개선된 재미있는 상황이 있어 내용을 공유해볼까 합니다. Popit에 새로운 글이 많이 올라 오지 않아서 고민 중에 북경에서 같이 지내고 있는 분이 밤 늦게까지 삽질하고 있었습니다. 저도 옆에서 다른 작업 중이었는데 몇시간을 고민하더니 결국은 해결하는 분위기였습니다. 이 상황을 보고 삽질한 내용을 popit에 글로 정리해보는 […]. Ruby http request 사용시 404 에러 삽질. 모든 삽질이 그렇지만 알면 간단하지만 몇시간 허비한 삽질기입니다. Ruby, 엄밀히 말해서 Rails는 많은 것을 알아서 해주는 경우가 많습니다. 예를 들어 문자 날짜 변환도 다음과 같이 자동으로 해줍니다. Cross Domain API 서버 구성 시 몇가지 삽질.
blrunner.com
'SQL-On-Hadoop' 태그의 글 목록 - BLRUNNER.COM
http://www.blrunner.com/tag/SQL-On-Hadoop
아즈카반으로 타조 워크플로우 구성하기 : How to schedule Tajo Job using Azkaban. 타조(Tajo) 에 대한 자주 받는 질문 중 하나는 워크플로우에 대한 문의입니다. 타조가 데이터 웨어하우스이고 ETL을 수행할 수 있다고 하는데, 실무자들이 사용할 수 있는 ETL 도구까지 준비되어 있느냐는 것입니다. 물론 타조 자체가 위와 같은 도구를 제공할 수 있지만, 이 영역은 써드 파티(3rd party) 가 담당할 분야라고 생각합니다. 그렇다면 타조를 이용한 워크플로우 도구에는 어떤 것들이 있을까요? 그동안 가장 많이 사용했던 도구. 누구나 따라할 수 있는 타조 설치 방법 : How to install Apache Tajo. 아파치 하이브 2.0.0 설치하기 : How to install Apache Hive 2.0.0. 쉽게 배우는 하둡 에코 시스템 2.0 (Hadoop ECO system 2.0). 타조는 일반적인 텍스트 파일(CSV, JSON, 기타.)과 시퀀스 파일...
blrunner.com
'맵리듀스' 태그의 글 목록 - BLRUNNER.COM
http://www.blrunner.com/tag/맵리듀스
하둡2 YARN 맵리듀스 리소스 설정하기 : How to configure MapReduce YARN parameters. 하둡10 에서 맵리듀스를 실행할 때는 슬롯 단위로 맵/리듀스 태스크 개수를 관리했습니다. 하지만 하둡2.0에서 YARN(이하: 얀)이 도입되면서 슬롯이 아닌 컨테이너 단위로 리소스를 할당하게 됩니다. 얀의 리소스매니저는 전체 클러스터의 리소스 정보를 토대로 할당 가능한 컨테이너 개수를 계산하며, 맵리듀스는 필요한 컨테이너들을 할당 받아서 맵리듀스 태스크를 실행하게 됩니다. 이때 컨테이너 개수와 맵과 리듀스 태스크 개수는 1:1의 관계가 아니며, 맵. 하둡책] 시작하세요 하둡 프로그래밍 개정판 수정 사항. 하둡 프로그래밍 의 개정판을 출간했습니다. 초판 독자분들 중에서 개정판을 구매하신 . 플랫폼데이2012 - 맵리듀스 퍼포먼스 튜닝 -. EC2와 S3 를 이용한 하둡 설치 그리고 S3 사용시 주의사항. Snappy(스내피)를 이용한 하둡 맵리듀스 튜닝. LZO 압축 라이브러리를...
blrunner.com
[하둡책] 시작하세요 하둡 프로그래밍 개정판 수정 사항 - BLRUNNER.COM
http://www.blrunner.com/87
하둡책] 시작하세요 하둡 프로그래밍 개정판 수정 사항. 이번에 출간된 하둡책 개정판의 개정 내용을 공유합니다. 사실 몇일전에 블로그 공지사항으로 올렸던 글인데요. 티스트리 공지사항은 모바일에서 조회할 수가 없어서, 부득이하게 일반 포스팅으로 다시 올립니다. ;. 많은 분들의 성원 덕분에 시작하세요! 하둡 프로그래밍 의 개정판을 출간했습니다. 초판 독자분들 중에서 개정판을 구매하신 분들을 위해서,. 초판에서 하둡 적용 사례 중 일부와 부록 부분을 삭제했습니다. 13장: 하둡 적용 사례. 132 넥스알: 하둡 생태계를 활용한 KT 분석 플랫폼 구축 사례. 133 그루터: 빅 데이터 기술을 이용한 소셜 네트워크 데이터 분석 서비스. 부록A: 윈도우 환경에서 설치하기. 부록B: 하둡 2.0 소개. 개정판에서 새롭게 추가된 내용입니다. 05장: 맵리듀스 기초 다지기. 51 맵리듀스 잡의 실행 단계. 87 압축 코덱 선택. 911 셸 스크립트를 이용한 배포 관리. 10장: 하둡 부가기능 이용하기.
blrunner.com
아파치 타조(Apache Tajo) JDBC 드라이버 활용하기 - BLRUNNER.COM
http://www.blrunner.com/88
아파치 타조(Apache Tajo) JDBC 드라이버 활용하기. 몇 일전 회사 팀블로그에 올렸던 글을, 개인 블로그에도 공유합니다. 다음 주에 릴리즈 예정인 아파치 타조. Apache Tajo) 0.10.0 버전의 JDBC 매커니즘과. BI 솔루션 및 SQL 워크벤치툴과 연동하는 방법을 작성해봤습니다. Tajo의 TSQL, JDBC, 웹 인터페이스는 TajoClient 인터페이스를 이용하여 구현되며, 사용자가 질의를 실행할 경우 TajoClient는 TajoMaster에 질의 실행을 요청합니다. TajoMaster는 각각의 TajoWorker에서 질의를 실행하며, 실행 결과를 스토리지에 저장합니다. Tajo는 다양한 스토리지를 지원하기 때문에, HDFS, HBase, AWS의 S3, Openstack의 Swift, 로컬 파일 시스템등에 데이터를 저장할 수 있습니다. TajoClient는 TajoWorker에서 질의 정보를 파악한 후, 스토리지에 저장된 데이터를 직접 접근하게 됩니다.
blrunner.com
'Yarn' 태그의 글 목록 - BLRUNNER.COM
http://www.blrunner.com/tag/Yarn
하둡2 YARN 맵리듀스 리소스 설정하기 : How to configure MapReduce YARN parameters. 하둡10 에서 맵리듀스를 실행할 때는 슬롯 단위로 맵/리듀스 태스크 개수를 관리했습니다. 하지만 하둡2.0에서 YARN(이하: 얀)이 도입되면서 슬롯이 아닌 컨테이너 단위로 리소스를 할당하게 됩니다. 얀의 리소스매니저는 전체 클러스터의 리소스 정보를 토대로 할당 가능한 컨테이너 개수를 계산하며, 맵리듀스는 필요한 컨테이너들을 할당 받아서 맵리듀스 태스크를 실행하게 됩니다. 이때 컨테이너 개수와 맵과 리듀스 태스크 개수는 1:1의 관계가 아니며, 맵. 쉽게 배우는 하둡 에코 시스템 2.0 (Hadoop ECO system 2.0). 하둡책] 시작하세요 하둡 프로그래밍 개정판 수정 사항. 하둡 프로그래밍 의 개정판을 출간했습니다. 초판 독자분들 중에서 개정판을 구매하신 . Apache Hadoop YARN : ResourceManager (하둡2 YARN : 리소스 매니저).
blrunner.com
방명록 - BLRUNNER.COM
http://www.blrunner.com/guestbook
인덕대학교에서 하둡과 sql on hadoop 특강을 들었던 15학번 김학주라고 합니다. 여쭙고 싶은게 있는데 약간 말로 하기엔 제 생각이 잘못 전해질까봐 이렇게 글로 남깁니다. 우선 특강에서 좋은 설명 감사드리고 이해가 쏙쏙 됬는데 HDFS 그러니까 하둡 분산 파일 시스템? 그부분에서 64mb로 파일을 나누어 여러 데이터 노드에 복제 한다 하셨는데 만약 파일의 용량이 적을경우엔 오히려 데이터 노드라는게 손해이지 않을까 생각되어 하둡이 어떻게 처리하는지 궁금해져서 방명록에 남기겠습니다. 제가 어떻게 말하기에 따라 쓸데없이 공격적인 언사로 들릴수 있을까 생각되어 방명록에 남기겠습니다! 201505.18 20:07 신고. 201508.28 13:53 신고. 여쩌보고 싶어서 이렇게 글을 남깁니다. 지난번에는 wordcount까지 돌려본 컴퓨터인데, 오늘 다시 시작하니 namenode와 datanode가 실행되지 않습니다.(jps확인시). 201408.13 23:08 신고. 컴퓨터 프로그래밍 전공으로하고 ...
blrunner.com
'hadoop' 태그의 글 목록 - BLRUNNER.COM
http://www.blrunner.com/tag/hadoop
하둡2 YARN 맵리듀스 리소스 설정하기 : How to configure MapReduce YARN parameters. 하둡10 에서 맵리듀스를 실행할 때는 슬롯 단위로 맵/리듀스 태스크 개수를 관리했습니다. 하지만 하둡2.0에서 YARN(이하: 얀)이 도입되면서 슬롯이 아닌 컨테이너 단위로 리소스를 할당하게 됩니다. 얀의 리소스매니저는 전체 클러스터의 리소스 정보를 토대로 할당 가능한 컨테이너 개수를 계산하며, 맵리듀스는 필요한 컨테이너들을 할당 받아서 맵리듀스 태스크를 실행하게 됩니다. 이때 컨테이너 개수와 맵과 리듀스 태스크 개수는 1:1의 관계가 아니며, 맵. 쉽게 배우는 하둡 에코 시스템 2.0 (Hadoop ECO system 2.0). HDFS 롤링 업그레이드: How to perform a rolling upgrade of HDFS. SOSCON 2015 발표 자료. 하둡책] 시작하세요 하둡 프로그래밍 개정판 수정 사항. 얼마전 비전공자들에게 하둡 개요를 주제로 발표했던 슬라이드를...
blrunner.com
'Book' 카테고리의 글 목록 - BLRUNNER.COM
http://www.blrunner.com/category/Book
하둡책] 시작하세요 하둡 프로그래밍 개정판 수정 사항. 이번에 출간된 하둡책 개정판의 개정 내용을 공유합니다. 사실 몇일전에 블로그 공지사항으로 올렸던 글인데요. 티스트리 공지사항은 모바일에서 조회할 수가 없어서, 부득이하게 일반 포스팅으로 다시 올립니다. ; = = = = = = = = = = = = = = = = = = = = = = 많은 분들의 성원 덕분에 시작하세요! 하둡 프로그래밍 의 개정판을 출간했습니다. 초판 독자분들 중에서 개정판을 구매하신 . 제 하둡 책이 2013년 우수학술도서로 선정됐습니다. 제 하둡책이 OKJSP 추천도서로 올라왔네요. 제 하둡책이 OKJSP 추천도서로 올라왔네요. http:/ www.okjsp.pe.kr/ 디퍼스닷넷 인터뷰기사에 이어, 추천도서 선정까지. 덕분에 기분좋게 한 주를 마무리하게 됐네요. 하둡 책 집필 후기. 시작하세요 하둡 프로그래밍.하둡 책을 출간했습니다. 개정판 수정사항 및 예제. 하둡 책 예제 데이터. 하둡 책 소스 코드 다운.