목록전체 글 (150)
이하은
보호되어 있는 글입니다.
보호되어 있는 글입니다.
Robot Framework(RF) 파이썬 기반의 프레임워크. 주로 어플리케이션에 대한 자동화 스크립트 작성에 사용된다. 키워드 기반으로 되어 있어, 상위 스텝을 작성하고 각 키워드에 맞는 하위 동작들을 RF 문법 언어로 설계한다. ex) *** Test Cases *** Example FOR ${element} IN @{ELEMENTS} Start Element ${element} END 추가하고 싶은 함수가 있다면 파이썬 스크립트로 함수를 만들어 사용할 수 있다. RF 유저 가이드 https://robotframework.org/robotframework/latest/RobotFrameworkUserGuide.html RF 함수 https://robotframework.org/robotframewor..
[2022 소개딩 시즌 4] Python 시큐어코딩 가이드
[제 1절 입력데이터 검증 및 표현] 1-1. SQL 삽입 : SQL 질의문을 생성할 때 검증되지 않은 외부 입력값을 허용하여 악의적인 질의문이 실행가능한 보안약점 - 취약점 발생 시점 : 사용자로부터 입력된 값을 검증 없이 넘겨받아 동적쿼리를 생성할 때 - 안전한 코딩기법 : 외부 입력 값을 매개변수화된 쿼리문의 바인딩 변수로 사용한다. 가) DB-API 사용 예제 (MySQL, PostgresSQL) 11 : 매개변수화된 쿼리 생성 15 : 사용자의 입력 값을 매개변수화된 쿼리에 바인딩하여 실행 (excute 함수에서 컬럼으로 지정) *request.POST.get() + SQLite DB-API의 경우, 매개변수화된 쿼리를 만들기 위해 "?"를 Placeholder로 사용하거나 ":name"처럼 N..
[논문] 최신 웹 크롤링 알고리즘 분석 및 선제적인 크롤링 기법 제안
웹 크롤러의 한계네트워크 대역폭, 시간적인 문제, 하드웨어적인 저장소 등의 제약 - 웹의 규모가 너무 크기 때문에 매우 높은 처리량을 달성해야 함. (엔지니어링 문제 발생)- 가치가 높은 콘텐츠를 수집하고, 품질이 낮거나 관련성이 없거나 악의적인 콘텐츠는 우회해야 함- 크롤링하는 웹 사이트에 너무 많은 부담을 주면 안됨- 상업 목적으로 크롤러에 부적합한 콘텐츠를 주입하면 안됨 기본 웹 크롤링 알고리즘 [1] Breadth First Search너비 우선 탐색 알고리즘, 루트 노드부터 가까운 노드들을 먼저 방문하고 멀리 떨어져 있는 노드들을 나중에 방문즉, 깊게 탐색하기 전 넓게 탐색하는 방법으로 크롤링의 궁극적인 목표인 전체 웹 포괄하기에 잘 맞는 알고리즘! 탐색 순서 : A - B - C - D -..
[2022 소개딩 시즌 4] OpenCV & 명함 검출 및 인식 실습
이미지 전처리 OpenCV 업로드된 이미지 가져와서 이미지 왜곡 보정 CamScanner https://github.com/AdityaPai2398/CamScanner-In-Python 서치 ‘opencv 명함인식 api’ https://www.youtube.com/watch?v=Bg7VU_J23dM https://d2.naver.com/helloworld/8344782 1차 대상: 깨끗한, 거의 스캔한 영양성분 이미지 2차 대상: 대충 찍고 구겨진 영양성분 사진 OpenCV(Open source Computer Vision) 실시간 이미지/영상 처리에 사용하는 오픈 소스 라이브러리 Computer Vision? 컴퓨터를 활용하여 정지 영상 또는 동영상으로부터 의미있는 정보를 추출하는 방법을 연구하는 것..
[이것이 진짜 크롤링이다 - 기본편] 섹션 5. 상품 정보 데이터 수집하기
🔶 셀레니움 기초 사용법 0️⃣ request의 한계 - 로그인을 필요한 사이트의 경우 - 동적으로 HTML을 만드는 경우 스크롤을 하거나 클릭하면 데이터가 생성되는 경우 URL 주소가 변경되지 않았는데 데이터가 변함 표, 테이블 형태의 데이터 1️⃣ 셀레니움이란? 웹 어플리케이션 테스트를 위한 도구 브라우저를 실제로 띄워서 사람처럼 동작하도록 만들 수 있다. 2️⃣ 셀레니움 기초 사용법 ① 크롬 드라이버 다운로드 브라우저 설정에서 브라우저의 버전을 확인하고, https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome versi..
[이것이 진짜 크롤링이다 - 기본편] 섹션 4. 주가 정보 데이터 수집하기
🔶 네이버 주식 현재가 정보 수집하기 #1. 사이트 분석 먼저 현재가는 NAVER 증권 사이트의 시세 탭에서 확인할 수 있으며, https://finance.naver.com/item/sise.naver?code=005930 URL의 code 파라미터 값에 종목코드를 넣으면 해당 종목의 시세가 출력됨을 알 수 있다. #2. 코드 작성하기 import requests from bs4 import BeautifulSoup # 종목 코드 리스트 codes = [ '005930', # 삼성전자 '000660', # SK하이닉스 '035720' # 카카오 ] for code in codes: url = f"https://finance.naver.com/item/sise.naver?code={code}" respo..