분류 전체보기152 [Hadoop] hadoop 성공사례 및 기초 개념 빅데이터 성공사례 주로 데이터마이닝(Data Mining) 분야에서 많이 거론됨 넷플릭스 - 고객의 감상 기록을 보고 좋아하는 배우, 패턴, 장르 등 다양한 분석을 통해서 추천 시스템을 만들었고 고객 만족도가 높다. 월마트 - 판매 상호관계가 높게 나타나는 것과 동선, 판매위치를 비슷하게 만들어 놓고 판매량을 늘린다 데이터를 DB에 올려놓고 분석하는 시스템 분석에 필요한 데이터 구하기 데이터는 소유가 있기 때문에 유통이 쉽지 않다. 서울시 공공데이터(http://data.seoul.go.kr) 등 데이터마이닝은 비싼 솔루션이 많은데 비해 빅데이터는 오픈소스라서 비용이 적게 든다 Hadoop의 시작 더그 커팅(Doug Cutting) 루씬 제작자 검색엔진용 오픈소스 텍스트 인덱스 엔진 Hadoop의 역사 .. 2022. 3. 9. [Algorithm] 알고리즘의 정의 및 조건 알고리즘(**algorithm)**의 정의 주어진 문제의 결과를 생성하기 위해 모호하지 않고 간단하며 컴퓨터가 수행 가능한 유한개의 일련의 명령을 순서적으로 구성한 것 입출력 : 0개 이상의 외부 입력 → 1개 이상의 출력 명확성 : 각 명령은 모호하지 않고 단순 명확해야 함 유한성 : 한정된 수의 단계를 거친 후에는 반드시 종료 유효성 : 모든 명령은 컴퓨터에서 수행 가능해야 함 순차 탐색 앞에서 부터 하나씩 뒤로 가면서 탐색한다 이진 탐색 알고리즘을 설계하고 만들고 테스트 및 분석하는 방법 설계 상향식 설계 하향식 설계 표현/기술 일상 언어 단계 1, 단계 2, ... 순서도 플로우차트 등 의사코드 프로그래밍 언어 정확성 검증 수학적 증명 효율성 분석 공간 복잡도 시간 복잡도 알고리즘의 설계 기법 알.. 2022. 3. 9. [Algorithm] 알고리즘의 개요 종류 (feat. 자료구조) 1. 알고리즘이란? 문제를 해결할 때 결과를 얻기 위해 거치는 일련의 단계적인 처리 과정이다. 보통 프로그램을 만들 때 문제를 효율적으로 해결하기 위해 많이 사용하며 데이터가 알고리즘을 거쳐 정보가 된다. 알고리즘을 잘 설계하고 분석하기 위해서는 문제 해결 방법에 대해 체계적으로 생각하는 훈련을 해야한다. 훈련을 통해 주어진 문제에 대한 지적 추상화 능력 및 통찰력이 향상된다. 2. 알고리즘의 중요성 컴퓨터를 이용해서 문제를 해결할 때 한정된 자원을 효율적으로 이용하여 일련의 단계를 거치기 위해 효율적인 알고리즘이 반드시 필요하다. 알고리즘의 한계 알고리즘의 분석 알고리즘의 개발 알고리즘의 실행 알고리즘의 통신 알고리즘의 표현 3. 알고리즘의 종류 1) 설계 분할 정복 알고리즘 이진 탐색 합병 정렬 퀵 .. 2022. 3. 9. [중소벤처기업부] 벤처확인시스템 검색 기능 개발 - AWS S3 보호되어 있는 글 입니다. 2022. 3. 9. [흥국화재] 대표사이트 통합검색 리뉴얼 - 웹&앱 개발 보호되어 있는 글 입니다. 2022. 3. 9. [대법원] 차세대 사법정보통합시스템 구축 - 분석&설계 보호되어 있는 글 입니다. 2022. 3. 9. [Regression] 회귀선의 추정 회귀선의 추정 1) 회귀선 회귀선은 표본자료(Sample data)로부터 모형식을 추정하여 얻은 직선으로 아래와 같은 공식을 가진다. $\hat{Y} = b_0 + b_1X$ $b_0$, $b_1$은 각각 $\beta_0, \beta_1$ 의 추정값 $\hat{Y}$ 은 주어진 X에서의 기댓값 $E(Y)$ 의 추정값 $b_0$ 는 $X = $ 일 때, $\hat{Y}$ 의 값으로 추정된 회귀절편(intercept) $b_1$ 는 X가 한 단위가 증가할 때에 $\hat{Y}$ 의 증가량 => 기울기(slope) $\hat{Y_1} = b_0 + b_1(X+1)$ 이면 $b_0 + b_1X + b_1$으로 $b_1$이 증가한다. 2) 최소제곱법(Method of Least Squares) 회귀계수 $b_0$.. 2022. 3. 9. [Regression] 단순회귀모형 회귀는 분류와 비슷하게 입력 데이터를 출력으로 맵핑하는 함수를 찾는 것이나 차이로는 실수 형태라는 특징이 있다. 회귀의 학습 결과는 회귀함수(regression functio)로 그린다. 학습 목표는 예측 오류인 회귀 오차를 최소화하는 최적의 회귀함수를 찾는 것이다. 함수는 출력값 사이의 오차를 제곱한 것을 최소로 하는 파라미터를 구한다. 회귀 시스템은 입출력 쌍의 데이터를 통해 관계를 설명하는 선형 모델을 찾는 선형회귀와 선형회귀분석의 출력을 범주형으로 제한해서 분류문제에 적용하는 로지스틱 회귀가 있다. 단순회귀모형 1) 산점도(scatterplot) 한 변수를 x축으로 놓고, 다른 한 변수를 y축으로 그린 그림으로서, 두 연속인 변수들 간의 관계를 밝힐 때 자주 사용된다. 2) 단순 회귀 모형 tes.. 2022. 3. 9. [밀리의 서재] 도서 검색엔진 구축 및 사용자 패턴 분석 보호되어 있는 글 입니다. 2022. 3. 8. 이전 1 ··· 4 5 6 7 8 9 10 ··· 17 다음 728x90 반응형 LIST
