본문 바로가기

전체 글

 (64)
[데이터 엔지니어링] 2-3. API 1. API Application Programming Interface. 프로그램들이 소통할 수 있는 인터페이스. 앞서서 RDB를 배울 때 DB API를 배운 적이 있다. 파이썬과 DB를 연결할 때 썼던 인터페이스다. 이를 이용해 DB에서 데이터를 가져오고 DB에 데이터를 넣을 수도 있었다. API도 이처럼 다른 프로그램 또는 서버와 내 파이썬 코드를 연결하는 것이다. 이번에 배우는 API는 날씨 API로, 내 파이썬 코드로 원하는 지역의 원하는 날씨 정보를 가져올 수 있다. 데이터를 가져올 때 JSON 형식일 가능성이 높다. a. JSON Javascript Object Notation. 표기 방식은 파이썬 자료 형식 중 Dictionary와 비슷하게 key-value 값으로 묶여있다. Diction..
[데이터 엔지니어링] 2-2. Crawling 1. 웹페이지 구조 HTML : 구조와 뼈대를 잡는다 CSS : 겉모양을 꾸며준다 Java Script : 기능을 할 수 있게 만든다 a. HTML HyperText Markup Language. MDN에 의하면 프로그래밍 언어가 아니다. 웹페이지의 구성을 표시하는 마크업 언어. head, body, div, li 등의 태그를 통해 구성과 요소를 표시한다. 태그들 사이에는 python 클래스처럼 부모-자식 관계가 존재한다. # 예시 # 태그는 태그의 자식 태그다 Hello World ! 1-2. CSS Cascading Style Sheets. CSS는 웹페이지가 어떻게 표현되는 지 알려주는 스타일시트 언어. 주요 개념 : selector, 상속, class 2. Web Crawling 웹을 돌아다니며 ..
[기초] Class 생성과 상속 1. 클래스 생성 #클래스 정의 class Dog : #클래스 생성 시 함께 실행되는 함수(=생성자) #클래스 생성 시 받고 싶은 파라미터를 넣으면 된다 def __init__ (self, breed) : #클래스 내부 함수에는 'self'를 인자로 주어야한다 self.breed = breed def bark (self, sound:str) : #sound는 str타입으로 입력되어야 함 print(sound * 5) # mary라는 이름의 리트리버 강아지 생성 mary = Dog('retriever') # 마리야 '멍'하고 짖어! mary.bark('멍') # >>> 멍멍멍멍멍 # 마리 견종은 뭐더라? mary.breed # >>> retriever 2. 클래스 상속 처음 만들었던 클래스(부모 클래스)의..
[코드스테이츠 / 딥러닝] 도배 하자 이미지 분류 (ResNet, EfficientNet) 1. 개요 기간 : 2023.5.10 ~ 5.15 (총 6일) 과제 : 직접 선택한 데이터셋을 사용해 머신러닝 예측 모델 구축, 성능 평가 및 인사이트 공유 코드 보러가기 GitHub - HeeYoung-code/Codestates-Project Contribute to HeeYoung-code/Codestates-Project development by creating an account on GitHub. github.com 보고서 보러가기 도배 하자 유형 분류 한솔데코 도배 하자 유형 분류 모델 구축 Deep Learning Image Classification AI 18기 박희영 docs.google.com 1-1. 문제 정의 국토부, 2020년 11월부터 ‘도배 하자 판정 기준’ 강화 시공사인 ..
Section3 Deep Learning을 마치며! 1. What I Learned 기본 인공신경망, 이미지 처리, 자연어 처리의 개념을 배웠다. 세부적으로 사전학습모델, 트랜스포머, GAN 등 깊이 들어간 시간도 있었다. 이전 수업보다 공부량이 월등히 많았고 인공신경망과 ANN, CNN, RNN 등의 개념이 매우 생소해서 하루치 강의를 그날그날 소화한다는 게 불가능했다. 지금도 소화하지 못한 채로 넘어온 게 많다. 당장 강의 내용을 다시 보기는 어렵고, udemy 딥러닝 기초 강의를 듣고나서 차근차근 다시 보아야할 것 같다. 이미지-자연어 처리 이 두가지 사이에서 자신의 분야를 정하면 커리어를 빌드하기 좋을 것이라는 말을 들었다. 당장에 이미지 쪽으로 더 관심이 있기는 하지만 아직은 결정이 어렵다. 만들어보고 싶은 모델이 여러개 있는데 부트캠프 후반이나..
[데이터 엔지니어링] 1-4 파이썬으로 DB 불러오기 1. DB API "Database Application Programming Interface"의 약자로, 데이터베이스와 상호작용하기 위한 프로그래밍 인터페이스를 나타낸다. DB API는 일반적으로 Python과 같은 프로그래밍 언어에서 데이터베이스에 접근하고 SQL 쿼리를 실행하는 데 사용된다. 2. 클라우드 a. 클라우드 VS 온프레미스 - 클라우드 : AWS나 GCP와 같이 회사 외부에 데이터 서버와 서버 관리를 아웃소싱하는 것. 관리가 편리하다. - 온프레미스 : 회사 내부에 서버를 들여와 직접 구축하고 관리하는 것. 보안에 유리하고 속도가 빠르다. b. URI 보통 원격으로 데이터베이스를 연결할 때에는 URI 형식 으로 연결을 하게 됩니다. URI는 다음과 같은 구조를 갖는다. 서비스://유저..
[데이터 엔지니어링] 1-3 SQL(2) 1. HAVING group by 상태에서 출력 조건을 입력하고 싶다면 HAVING을 써야한다 2. INSERT # 생성된 테이블에 데이터 추가하기 INSERT INTO VALUES(1, 'C100', 50); # 원하는 컬럼에만 값을 넣고자 하는 경우 INSERT INTO (컬럼2, 컬럼5) VALUES (40, 100); 3. DROP # 생성된 테이블을 삭제하기 DROP TABLE Teacher 4. SQL 실행순서 ① FROM ② WHERE ③ GROUP BY ④ HAVING ⑤ SELECT ⑥ ORDER BY 5. 집계함수 COUNT() SUM() AVG() MAX() MIN() **그외 RANK() OVER (ORDER BY 컬럼명) → 을 기준으로 랭킹을 매겨줘 RANK() OVER (PAR..
[데이터 엔지니어링] 1-2 SQL 1. SQL이란? Structured Query Langage. 관계형 데이터베이스에 "이러이러한 데이터를 줘"라고 날리는 일종의 '질의문'. *관계형 데이터베이스 : 구조화된 데이터를 의미하는 것으로 테이블이 서로 관계성을 가질 수 있다 통상 .json 파일, 문자열을 데이터로 가진다. 2. 활용 예시 * 사용한 데이터는 chinook.db (첨부) - Customer_Package 테이블을 생성합니다 CREATE TABLE Customer_Package( cp_id INTEGER PRIMARY KEY NOT NULL, customer_id INTEGER, package_id INTEGER, FOREIGN KEY (customer_id) REFERENCES Customer(customer_id), FO..

티스토리툴바