우주먼지의 하루

Data Pipeline 개요 IT 서비스를 사용하는 입장에서는 전혀 눈치채지 못하지만 뒤에서는 생성된 데이터를 무사히 저장소에 저장하기 위해 여러 서버 컴퓨터들이 분주하게 일을 하고 있습니다. 데이터를 생성해서 무사히 저장하기까지 일련의 과정을 데이터 파이프라인이라고 합니다. 데이터 파이프라인을 큼지막하게 본다면 아래와 같이 나눌 수 있어요. 1. 데이터 생성 2. 데이터 수집 3. 데이터 가공 후 저장(ETL) 4. 데이터 시각화(BI) 데이터를 저장하는 과정이 복잡한 이유는 데이터가 누수되지 않고 안전하게 저장되게 하기 위해서죠. 실제로 수많은 사용자들을 둔 서비스의 경우 매 초마다 수천, 수만의 데이터가 생성됩니다. 이들이 모두 데이터 저장소(데이터 웨어하우스, 데이터 레이크 등)에 저장되기 위해..

토론은 상대방 또는 제삼자를 설득하는 의사소통 유형이다. 설득한다는 것은 누군가를 자신이 원하는 방향으로 움직인다는 것을 의미한다. 토론에서뿐만 아니라 우리가 원하든 원하지 않든 간에 우리는 누군가를 설득하고 설득당하며 살아간다. 가깝게는 친구에게 내가 원하는 것을 이해시키는 일부터, 직장 내 동료와 상사를 설득하는 일, 그리고 하루에도 수백 번 이상 나의 관심을 끌려고 하는 광고처럼 말이다. 이처럼 설득은 사회적 동물인 인간과 떼려야 뗄 수 없는 관계이다. 먼저 설득을 하려면 우리가 언제 설득되는지 알아야 한다. 설득에 관한 수많은 연구 결과가 있지만, 대부분 연구 결과의 핵심은 수천 년 전에 살았던 철학자의 이론으로 간단하게 정리할 수 있다. 아리스토텔레스의 책 에서 거론한 3요소, 로고스, 파토스,..

기존 클라우드 컴퓨팅의 문제점 엣지 컴퓨팅은 이해하기 전에 먼저 클라우드 컴퓨팅을 이해할 필요가 있다. 클라우드컴퓨팅은 이미 실시간에서 널리 사용되고 있다. ‘구글드라이브, 원드라이브, 드롭박스’ 등 우리에게 친숙한 다양한 글로벌 서비스들이 이미 클라우트 컴퓨팅 시스템으로 운영되고 있다. 클라우드 컴퓨팅(cloud computing)은 이처럼 인터넷 기반의 컴퓨팅으로 자신의 컴퓨터가 아닌 인터넷에 연결된 다른 컴퓨터로 데이터를 처리하고 저장하는 기술을 의미한다. 클라우드컴퓨팅은 어디서나 접속이 가능하고, 오프라인 상의 컴퓨터에 고장이 나거나, 문제가 생겨도 중앙 데이터센터의 데이터는 안전하게 저장되는 장점이 있다. 그리고 사용자간 자료를 전달하고, 수신받기도 매우 편리하다는 장점이 있어 널리 사용되고 있..

그로스 해킹(Growth Hacking)이란 ? 성공하는 서비스를 만들기 위해서는 어떻게 해야할까요 ? 요즘은 엄청난 속도로 서비스와 제품들이 나오고 있습니다. 하지만 그 많은 것들 사이에서 소수만 선택받고 있죠. 그리고 성공적인 제품 또는 서비스를 만들기 위해서 이 그로스 해킹(Growth Hacking)이란 개념이 생겼습니다. 그로스해킹은 '어떻게하면 제품을 성장시킬 수 있을까'라는 단순한 생각부터 시작됩니다. 시장에서는 차별화 될 정도로 뛰어난 제품이나 서비스를 만들기 위해서는 굉장히 많은 시간과 리소스 투자가 필요합니다. 하지만 좋은 제품을 만들기만 해서 고객이 제 발로 찾아 올 거란 생각은 요즘 아무도 하지 않죠. 그리고 아무도 원하지 않은 제품이나 서비스를 만드는데 시간과 노력을 투자하고 싶지..

신성장 동력 산업으로 주목받는 곤충 산업 최근 곤충산업이 블루오션 시장으로 주목받고 있다. 2015년 3039억 원 규모이던 국내 곤충산업 시장은 ’17년 4000억 원에 이어 2020년 5363억 원에 달할 것으로 예상되며 바이오 신성장 동력산업으로 성장 가능성을 예고하고 있다. 이에 따라 곤충농가 수는 2015년 724호에서 ’16년 1,261호, ‘17년 2136호, ‘18년 2,590호로 급증했다. 지난해 기준 귀농귀촌 가축사육농가 중 22.2%가 곤충사육 농가일 정도다. 세계식량농업기구(FAO)는 식용곤충을 인류의 식량난과 환경파괴를 해결해줄 대안으로 제시한 바 있다.(Edible insects : Future prospects for food and feed security, 2013) 곤충산..

Julia란 ? 줄리아, 파이썬보다 데이터 읽는 속도 최대 20배 빨라 (지디넷코리아=남혁우 기자)프로그래밍 언어 줄리아가 파이썬보다 데이터 읽는 속도를 최대 20배까지 높일 수 있는 것으로 나타났다. 줄리아컴퓨팅은 프로그래밍언어 줄리아가 라이벌 언어인 �� n.news.naver.com 뉴스를 둘러보다가 Python보다 빠르다는 Julia를 보고 관심이 갔다. 검색을 해보니 이미 많은 사람들이 Julia의 존재를 알고 있었다. 나는 한발 늦었네. 먼저 줄리아(Julia, julialang.org)는 MIT의 앨런 에델만(Alan Edelman) 지도 아래 응용 컴퓨팅 그룹에서 개발한 프로그래밍 언어다. 줄리아(Julia)는 2009년 앞서 말한 앨런 에델만 4인 팀에 의해 개발되고 2012년 일반에 공..

독도란 대한민국 동쪽 끝에 위치한 아름다운 섬 독도는 동도·서도와 그 주변에 흩어져 있는 89개의 바위섬으로 이루어진 화산섬이다. 독도는 울릉도에서 동남쪽으로 87.4㎞ 떨어져 맑은 날 울릉도에서 독도를 육안으로 확인할 수 있다. 경상북도 울릉군에 속한 독도는 대한민국 정부 소유의 국유지로 천연기념물 336호이다. 60여 종의 식물, 130여 종의 곤충, 160여 종의 조류와 다양한 해양생물의 서식지로 자연 생태계의 보물창고이기도 하다. 독도의 역사는 신라 때로 거슬러 간다. 삼국시대의 역사를 기록한 『삼국사기』(1145)를 보면 512년 신라 지증왕 때 이사부가 우산국을 정벌했다고 나온다. 우산국은 울릉도·독도를 포함한 그 주변 섬을 합쳐 부른 옛날 이름이고, 이때부터 우리나라의 영토였던 것이라고 할 ..

DID(Decentralized Identity, 탈중앙화 신원증명)이란 ? “데이터는 21세기의 원유다.” 중국 최고의 거부 중 한 사람이자 알리바바 창업주인 마윈이 한 말이다. 바야흐로 우리는 데이터의 시대에 살고 있다. 지금 이 순간에도 개인(Individual)들은 세계 곳곳에서 방대한 양의 데이터를 생성하고 있다. 하지만 아이러니하게도 이러한 데이터들은 대부분 소수의 서비스 제공자 소유다. 개인의 아이덴티티(Identity)가 막대한 부를 만들어내고 있음에도 개인이 아닌 서비스 제공자들이 데이터의 주권을 갖고 있는 것이다. IT 업계에서 이런 시대착오적 문제점을 해결할 솔루션 하나가 나왔다. 바로 블록체인 기반의 ‘탈중앙화 신원증명(이하 DID, Decentralized Identity)’이다...

애그테크란 ? 농업을 의미하는 ‘agriculture’와 기술을 의미하는 ‘technology’의 합성어로 인공지능(AI)과 사물인터넷(IoT), 빅데이터, 머신러닝, 드론, 로봇 등과 같은 첨단기술을 농산물의 파종부터 수확까지의 전 과정에 적용하는 것을 뜻한다. 식량 부족 시대의 도래에 대비하기 위해 첨단기술을 활용해 최소 면적에서 최대 생산량을 얻는 것이 목적이다. 애그테크를 적용하면 작물에 최적화되도록 온도, 습도, 일조량, 풍향 등의 환경이 자동으로 조절되고, 작물에 어떤 비료를 언제 줬는지 등의 상세한 정보를 확인해 수확시기를 예측하거나 당도도 끌어올릴 수 있다. 바퀴와 팔이 달린 로봇이 농장의 잡초를 제거하거나 고해상도 카메라가 탑재된 드론을 날려 하늘에서 해충을 포착할 수도 있다. 대표적인 ..

데이터 3법 주요 내용 먼저 개인정보보호법에서 '가명정보'가 생겼다라는 것을 기억해야한다. 이 가명정보를 신용정보법에 의해 금융분야에서 마음대로 사용할 수 있다. 그런데 아무나 막 사용하는 것은 아니고 연구, 통계 등에 한하여 사용가능하다. 정보통신망법은 유럽에서 상당히 강력한 법안을 만들었는데 우리나라가 유럽에 있는 데이터를 사용하고 싶으면 개인정보감독이 별도로 있으면 특례가 주어진다. 그래서 정보통신망법을 만들어서 보완했다. 개정이 필요한 이유 기존에는 20대, 30대 등으로 서울시, 부산시 정도로 데이터를 뭉뚱그려 사용했는데 이제는 조금더 세세하게 사용할 수 있게 되었다. 하지만 개인정보를 보호하기 위해 내가 누군지 모르게 가명정보를 사용한다. 여태껏 페이스북, 유투브 등 미국 IT 기업은 맞춤형 ..