DEV Community: Minho Lee

[ Database ] - SQLAlchemy "or_" function

Minho Lee — Fri, 01 Apr 2022 10:17:00 +0000

진행중인 프로젝트에서 이번에 검색 기능을 추가하기로 했다.
쉽게 상품이 있는데, 한글과 영어로 된 이름이 모두 상품 테이블에 각 컬럼별로 존재한다.

보통 검색기능을 구현할 때, sql에서는 like 구문으로, orm는 종류가 다양하지만 보통 like나 filter와 같은 메소드로 값을 전달해서 데이터를 추출하곤 한다.

하지만 내가 오늘 구현하고 싶었던 기능은, 어떠한 키워드로 검색을 했을 때
한글 이름과 영어 이름 컬럼에서 모두 해당 키워드가 존재하는지 검색 후 값을 가져오고 싶었다.

상품 모델을 Product라 하고, 필드명이 name이라고 하나만 존재하고,
상품의 이름으로 검색을 하고싶다면 우리는 orm을 다음과 같이 작성할 수 있다.

# "db" is "<class 'sqlalchemy.orm.session.Session'>"
# "name" is variable from Query Parameter

db.query(Product).filter(
    Product.name.like(f"%{name}%")
).all()

그런데 만약, name이라는 하나의 컬럼이 아닌, 한국어와 영어로 이름을 모두 가지고 있는 상품이라면 컬럼은 kor,eng로 나뉠 수 있고 한 번에 두 가지의 컬럼을 모두 검색하고 싶다면 다음과 같이 sqlalchemy에서 or_이라는 함수를 가져와 사용하면 된다.

# "db" is "<class 'sqlalchemy.orm.session.Session'>"
# "name" is variable from Query Parameter

from sqlalchemy import or_

db.query(Product).filter(or_(
    Product.kor.like(f"%{name}%"),
    Product.eng.like(f"%{name}%"),
)).all()

이렇게 해주면 "나이키" 와 "Nike"이라는 이름을 가진 상품이 있을 때,
Query Parameter에 name으로 "이", "나이", "i", "ik", "ike" 등등
한글과 영어로 구분지을 필요 없이 검색을 할 수 있다.

물론 검색 필터로 f"%{name}%"이라고 주었기 때문에 가능한 것이다.
서비스에 따라 %를 잘 활용하도록 하자.

만약에 일본어의 이름도 추가하고 싶어서 jp라는 컬럼까지 추가했고, 해당 컬럼까지 조회하고 싶다면 or_ 함수에 Product.jp.like(f"%{name}%") 인자를 추가해주면 된다.

# "db" is "<class 'sqlalchemy.orm.session.Session'>"
# "name" is variable from Query Parameter

from sqlalchemy import or_

db.query(Product).filter(or_(
    Product.kor.like(f"%{name}%"),
    Product.eng.like(f"%{name}%"),
    Product.jp.like(f"%{name}%"),
)).all()

[ Database ] - Session Object of SQLAlchemy

Minho Lee — Thu, 24 Mar 2022 14:59:30 +0000

Session Object of SQLALchmey

SQLAlchemy에 Query Object를 다루는 Session Object가 있다.

쉽게 보자면 다음과 같다.

Session 객체에는 쉽게는 add와 commit, 사실 flush라는 함수도 존재한다.

그림을 보면 알겠지만, add를 한다고 해서 DB에 실제로 영향이 가진 않는다.

정확히는 commit이 일어나야 실제로 DB에 변화가 일어나고,
기본적으로 옵션을 주지 않으면, commit만 해도 flush는 commit과 함께 일어난다.

Editing now

[ Network ] - Cookie & Session

Minho Lee — Tue, 22 Mar 2022 14:59:23 +0000

사실 개발을 하다 보면 저절로 알게 되는 파트인듯하다.

하지만 두루뭉실하게 알고 지나가는 경우가 많고,
최근에는 기술 면접도 대비를 해야 해서 이렇게 글로 남겨보려고 한다.

먼저 쿠키와 세션에 대해 알기 전에, HTTP 프로토콜에 특징을 알아야 한다.
그래야 왜 쿠키와 세션을 사용하는지 알 수 있기 때문이다.

HTTP 프로토콜의 특징

1. Connectionless(비연결지향)

클라이언트가 요청을 한 후, 응답을 받으면 그 연결을 끊어버리는 특징. HTTP 프로토콜은 Client가 요청을 보내고, 서버에서 응답을 보낸 후 접속을 끊어버린다.

2. Stateless(상태정보 유지 안함)

통신이 끝나면 상태를 유지하지 않는 특징이다. 연결을 끊는 순간 Client와 서버의 통신이 끝나고, 상태 정보는 유지하지 않는 특징이 있다.

위 두 가지 공통적인 특징으로 보아 HTTP 프로토콜은 한 번의 요청이 끝나면 접속을 끊으며 상태를 유지하지 않는다.

즉, 한 번의 요청이 발생한 후 다시 백지가 된다고 생각하면 편할 것 같다.
이러한 이유 때문에, 우리는 쿠키와 세션을 사용한다.

🍪 Cookie

1️⃣ 쿠키란?

쿠키란, 클라이언트(브라우저) 로컬에 저장되는 작은 데이터 파일이다.
쿠키의 만료일이 없다면, 브라우저의 탭을 닫거나 종료해도 쿠키는 사라지지 않는다.
쿠키는 클라이언트의 상태 정보를 로컬에 저장했다가 참조한다.
하나의 클라이언트당 300개의 쿠키 저장이 가능하다. 각 도메인당 20개의 쿠키를 가질 수 있고, 쿠키 하나의 크기는 4KB이다.

2️⃣ 쿠키의 구성 요소

이름 : 각각의 쿠키를 구별하기 위해 사용되는 이름
값 : 쿠키에서 가지고 있어야 할 값
유효시간 : 말 그대로 쿠키의 유효시간
도메인 : 쿠키를 전송할 도메인
경로 : 쿠키를 전송할 요청 경로

3️⃣ 쿠키는 어떻게 동작하는가?

클라이언트에서 서버로 요청
서버에서 쿠키 생성
서버가 클라이언트에게 응답을 할 때, HTTP 헤더에 생성한 쿠키를 담아 응답
서버에게서 받은 쿠키를 클라이언트(로컬)에 저장
해당 서버에게 다른 요청을 보낼 때, 쿠키가 사용자의 로컬에 존재한다면, 해당 쿠키를 헤더에 담아 요청

4️⃣ 쿠키의 사용 예시

사이트에 방문 시, 아이디 및 비밀번호 자동 입력
팝업창의 "오늘 이 창을 다시 보지 않기" 체크

💾 Session

1️⃣ 세션이란?

일정 시간동안 동일한 사용자로 부터 들어오는 요청을 하나의 상태로 보고, 그 상태를 일정 시간동안 유지시켜주는 기술이다.

여기서의 일정 시간이란, 사용자가 브라우저를 통해서 서버에 접속한 시점부터, 브라우저를 종료하여 연결을 끝내는 시점을 말한다.

다시 말해, 사용자가 서버에 접속한 상태를 하나의 상태 단위로 보고, 그것을 세션이라고 한다.

2️⃣ 세션의 특징

웹 서버에 웹 컨테이너의 상태를 유지하기 위한 정보를 저장한다.
클라이언트(로컬)가 아닌 웹 서버에 저장되는 쿠키
세션을 브라우저를 종료했거나 웹 서버에서 세션을 삭제했을 때만 삭제가 된다. 쿠키보다 보안에 좋다.
쿠키는 총 300개, 도메인당 20개를 저장할 수 있었는데, 세션은 웹 서버에서 허용하는 한 제한 없이 저장이 가능하다.
각 클라이언트에게 고유한 Session ID를 부여한다. 이 Session ID로 각 클라이언트를 구분하는 것이다.

3️⃣ 세션의 동작 순서

클라이언트가 서버에 접속 시 Session ID를 발급 받는다.
클라이언트는 서버로부터 발급받은 Session ID에 대해 쿠키를 이용하여 저장한다. 이 때, 서버도 해당 Session ID를 서버에서 쿠키를 이용해 갖고 있는다. 그래서 서버에서 저장하는 쿠키라고 하는 것이다.
클라이언트는 서버에 요청을 보낼 때, 가지고 있던 쿠키의 Session ID를 같이 보낸다.
서버는 Session ID를 받아서 클라이언트 정보를 가져와 사용한다.

4️⃣ 세션의 사용 예시

로그인 같이 보안상 중요한 작업을 수행할 때 사용

쿠키와 세션의 차이

쿠키와 세션의 차이점 중에서 제일 중요한 몇가지만 나눠보려고 한다.

1️⃣ 저장 위치

쿠키는 클라이언트의 로컬에 저장되고, 세션은 서버에 저장이 된다.

이 말은 다시 말해, 쿠키는 클라이언트의 리소스를 사용하게 되고, 세션은 서버의 리소스를 사용하게 된다.

이따 뒤에서도 설명을 하겠지만, 세션은 서버측에서 관리를 하기에 보안에 좋다.

그렇다면 세션만 사용하면 될텐데 왜 쿠키를 사용할까?

위에도 언급했듯, 세션은 서버의 자원을 사용한다. 따라서 많은 클라이언트가 요청을 하여 무분별하게 세션을 만들다보면 서버의 메모리가 감당이 안되어 서버의 속도가 느려질 수도 있고, 잘못하면 다운이 될 수도 있다.

이러한 차원에서 쿠키가 존재하며 필요한 이유이다.

2️⃣ 속도

쿠키는 클라이언트에서 바로 서버에게 보낸다.
하지만 세션의 방식은, 서버가 Session ID를 받으면 서버 내에서 저장해뒀던 쿠키를 이용해 처리가 필요하기 때문에 속도적인 측면에서는 쿠키를 사용하는 것이 더 빠르다.

얼마나 속도 차이가 나는지는 아직 공부가 더 필요하다.

3️⃣ 보안

쿠키는 클라이언트가 보관을 하지만, 세션은 서버가 관리를 하기에,
보안적인 측면으로는 세션이 더 우수하다.

[ Data Structure ] - Stack & Queue

Minho Lee — Sun, 20 Mar 2022 14:58:51 +0000

스택과 큐를 들어가기에 앞서, 자료구조에 대해 알아야 한다.

자료구조

자료구조의 정의는 인터넷에 널리고 널렸다.

내가 생각하는 자료구조는, "섹시하게 데이터를 다루는 방법"이다.

그 방법중에 스택과 큐가 존재하는 것이다.

자료구조는 서비스나 어플리케이션에서 필요한 데이터를 메모리에 어떻게 구조적으로 잘 정리해서 담아주고 관리하고, 최종적으로 가장 효율적인 방식으로 필요한 데이터에
빠르게 접근하고 추가, 수정, 삭제할 수 있도록 도와준다.

Stack(스택)과 Queue(큐)는 ADT 라고도 불린다.

ADT

ADT(Abstract Data Type), 추상적 자료구조.

ADT는 자료구조의 한 형태인데, 자료구조의 방법이 코드로 정의 된 것이 아니라 그 구조의 행동 양식만 정의된 것을 뜻 한다.

실제로 존재하지 않지만, 규칙을 제공한다.
덕분에 자료를 좀 더 구조적으로 생각할 수 있다.

스택과 큐가 그러하다.

큐와 스택은 배열 위에 어떤 규칙을 설정한 모습이다.

Queue

큐의 사전적 의미는 줄 또는 줄을 서서 기다리를 것을 의미한다고 한다.

따라서 일상생활에서 놀이동산에서 줄을 서서 기다리는 것, 은행에서 먼저 온 사람의 업무를 창구에서 처리하는 것과 같이 선입선출인 FIFO(First In, First Out)방식이다.

큐는 한쪽 끝에서 추가가, 다른 쪽 끝에서는 삭제가 발생한다.

Queue - Front

삭제 연산이 수행되는 곳을 프론트(Front)라고 한다.
이때, Front에서 수행되는 삭제 연산을 디큐(dnQueue)라고 한다.

Queue - Rear

삽입 연산이 수행되는 곳을 리어(Rear)라고 한다.
이때, Rear에서 수행되는 삽입 연산을 인큐(enQueue)라고 한다.

큐의 데이터들은 Rear로 들어와 Front로 나가고,
Front에 있는 데이터는 가장 먼저 들어온 데이터고,
Rear에 있는 데이터는 가장 늦게 들어온 데이터이다.

Queue - Ex)

프로세스 관리
BFS(너비 우선 탐색) 구현
은행 업무

Stack

스택은 쌓아 올린다 라는 의미를 가지고 있다.

책을 쌓는 것처럼 쌓아올리는 형태의 자료구조이다.
따라서 위 사진처럼, 정해진 한 방향으로만 쌓을 수 있고
그 곳을 통해서만 데이터에 접근이 가능하다.

Stack - Top

큐는 들어오고 나가는 방향이 다르지만,
스택은 한 방향에서 들어오고 나간다.

이를 Top이라 한다.

방향이 하나라,
가장 먼저 들어온 데이터는 맨 마지막에 나가게 되고,
가장 늦게 들어온 데이터가 가장 먼저 나가게 된다.

따라서 후입선출인 LIFO(Last In, First Out)방식을 따른다.

Stack - Ex)

웹 브라우저 방문기록(뒤로가기)
실행 취소(Undo)

[ Python ] - Iterator & Generator

Minho Lee — Thu, 10 Mar 2022 06:38:57 +0000

최근에 Iterable, Iterator, Generator에 대해 공부를 했는데,
도대체 어떻게 정리를 하고 글을 써야 할지 몰라서 거의 일주일은 미룬 것 같다.

그런데 이렇게 미루다 간 평생 못쓸 것 같아 일단 두서없이 쓰더라고 일단 그냥 써보려고 한다.

쓰다 보면 내가 어느 부분을 잘 알고 어느 부분을 잘 모르는지 알 거라 생각했다.

Iterable : 반복이 가능한 모든 객체를 의미한다.
쉽게 말해, for in 구문에서 in 뒤에 올 수 있는 모든 값은 Iterable 하다고 할 수 있다.

Iterator : 요소가 여러 개인 데이터 타입에서 각 요소를 하나씩 꺼내어 어떠한 처리를 수행할 수 있도록 도와주는 객체이다.

Generator : Iterator의 한 종류이다. 하나의 요소를 꺼내려고 할 때마다 요소 Generator를 수행한다. Python에서는 주로 yield 문으로 구현한다.

Generator는 모든 데이터를 가지고 와서 사용하지 않는다. 그때그때 yield에 의해 하나씩 가져와서 사용한다. 그래서 메모리의 효율성이 좋다는 것이다.

뭔 소리인가? 일단 코드부터 살펴보자.

메모리 크기 비교

하나는 List Comprehension을 이용해 10만의 크기를 가진 리스트를 생성, 남은 하나는 Generator 객체를 만들 것이다.

size.py

import sys

# Function Version
my_list = [i for i in range(100000)]
print(type(my_list), sys.getsizeof(my_list), "bytes")

# Generator Version
my_gen = (i for i in range(100000))
print(type(my_gen), sys.getsizeof(my_gen), "bytes")

Result

<class 'list'> 800984 bytes
<class 'generator'> 112 bytes

크기가 1일 땐, 88과 112로 my_list가 더 작다.
하지만 크기가 커질수록 점점 차이가 나며, 위처럼 크기가 10만이라면 my_list의 크기는 800984 bytes가 나오게 된다.

my_gen의 크기는 크기가 몇이든 항상 112 bytes이다.
10만의 크기를 기준으로 약 8,000배의 차이가 난다.

위에 Generator는 모든 데이터를 가지고 오지 않는다고 했는데, 위 예제를 한 번 더 보면 my_list라는 변수에는 크기가 10만 개인 리스트가 메모리에 올라가 있다.

하지만 my_gen이라는 변수는 Generator 객체이다. 이미 10만 개의 크기를 갖고 있는 것이 아니라 그때그때 하나씩 가져와서 쓰는 친구이다.

위에서도 언급했지만, Generator는 Iterator의 한 종류이고, Iterator는 요소를 하나씩 꺼내어 어떠한 작업을 수행할 수 있도록 도와준다.

그리고 예를 들어 일반적인 for 문은 모든 요소를 다 돌아야지만 작업이 끝나고 다른 작업을 할 수 있는데, Generator는 한 번 yield로 반환 후, 다른 작업을 할 수 있다.

속도 비교

10만 개의 크기를 가진 피보나치수열을 리스트로 생성 후, 하나씩 총 10만 번을 출력하는 코드를 작성하려고 한다.

하나는 일반 함수로 10만 개의 크기를 가진 피보나치수열을 리스트로 생성할 것이고 for 문을 통해 출력한다.
하나는 Generator를 이용할 것이다.
모든 출력은 pass로 대체한다.

time.py

import time

# Function Version
start_func = time.time()


def fibonacci(n):
    a = b = 1
    result = []
    for i in range(n):
        result.append(a)
        a, b = b, a + b
    return result


for _ in fibonacci(100000):
    pass

end_func = time.time()
print('Function time = ', end_func - start_func)


# Generator Version
start_gen = time.time()


def fibonacci(n):
    a = b = 1
    for i in range(n):
        yield a
        a, b = b, a + b


for _ in fibonacci(100000):
    pass

end_gen = time.time()
print('Generator time = ', end_gen - start_gen)

Result

Function time =  0.3048691749572754
Generator time =  0.13507723808288574

위 예제를 통해 알 수 있듯이, 속도에 있어서 큰 차이를 보인다. 100만 개의 크기도 테스트를 해봤는데, 크기가 클수록 더 차이게 크게 난다.

왜 속도의 차이가 날까?

일반적인 방법으로는 하나하나 리스트에 담고 마지막에 for 문을 돌려가며 출력을 한다.

하지만 Generator를 이용하면 list에 담지 않아도 된다.
굳이 어느 메모리에 리스트를 올려두지 않아도 Generator가 하나하나씩 가져와서 출력을 하기 때문이다.

정리

Generator를 이용하면 메모리를 효율적으로 사용할 수 있다.
물론 항상 그런 것은 아니다.

그리고 DB Session과 같이 많이 반복되거나 끝이 없는 작업을 할 때 Generator를 사용하면 매우 좋을 것 같다.

아직 많이 부족하다. 하지만 항상 생각하고 더 좋은 코드를 짜려고 노력해야 더 좋은 개발자가 될 수 있다.