[Python] http 요청을 비동기로하기

http 요청으로 간단한 스크래핑 작업을 하는데 요청 갯수가 일곱개 정도 되니 시간이 오래걸린다.

asyncio와 aiohttp를 사용해서 속도를 높여보자.

import requests from timeit import default_timer as dt s = dt() url = 'http://example.com/' data = [] for i in range(20): data.append(requests.get(url).text) print(dt()-s)

위 코드는 http://example.com에 http get을 20회 실행하는 코드다. timeit을 이용해서 시간을 확인해보니 6~7초정도 걸렸다.

import asyncio import aiohttp import requests from timeit import default_timer as dt s = dt() url = 'http://example.com/' data = [] async def get_html(): async with aiohttp.ClientSession() as session: async with session.get(url) as response: data.append(await response.text()) loop = asyncio.get_event_loop() loop.run_until_complete( asyncio.gather( *(get_html() for i in range(20)) ) ) print(dt()-s)

같은 동작을 하는 코드지만 비동기처리를 한다. 시간을 확인해보니 1초 전후로 수행된다.

입출력이나 대기하는시간이 긴 작업일수록 비동기처리가 효율이 좋을 수 있다.

TIL