[Node.js] node-fetch와 cheerio 이용해서 웹 크롤링 하기

프로그래밍/JS 2022. 7. 8. 00:40

https://www.scrapingbee.com/blog/node-fetch/ Web Scraping with node-fetch In this tutorial we will see how to use the node-fetch package for web scraping. We will learn what the fetch API is and the different ways to use the package. www.scrapingbee.com 이번에 JS 의 비동기를 이용해서 빠르게 크롤링을 해보고 싶어졌습니다. 파이썬으로 크롤링 하는건 수도 없이 보이는데 Node.js 에서 웹 크롤링을 하는 예제가 많이 보이지 않아서 관련 링크를 첨부합니다. Node.js 에는 기본적으로 fetch() 가 없어..

[JS] 콜백 함수(Callback Function)란? [콜백 함수를 쓰는 함수 직접 만들어보기]

웹/JS 2022. 7. 5. 00:23

안녕하세요. 오늘은 JS에서 자주 사용되는 개념은 콜백 함수(Callback Function) 에 대해 알아보겠습니다. const words = ['spray', 'limit', 'elite', 'exuberant', 'destruction', 'present']; const result = words.filter(word => word.length > 6); console.log(result); // expected output: Array ["exuberant", "destruction", "present"] 위 코드는 developer.mozilla.org 란 곳에서 가져온 배열의 filter 메소드(함수) 를 사용하는 방법을 다루고 있습니다. JS에서 배열을 생성하면 그 배열은 .filter()라..

Article Thumbnail
[JS] 화살표 함수란? (Arrow Function)

웹/JS 2022. 7. 4. 03:04

adder = (a, b) => a + b; console.log(adder(2, 3)); >>> 5 JS로 작성된 코드들을 보면 위와 같이 () 와 화살표(=>) 를 이용한 표현들을 볼 수 있습니다. adder에 어떤 표현식을 대입할 수 있고 adder(2, 3) 를 호출하면 return a + b; 를 하는 함수처럼 동작합니다. 실제로 위 표현은 화살표 함수라고 해서 함수를 간결하게 쓸 수 있는 표현 방법입니다. adder = (a, b) => a + b; 사실 이 표현은 adder = function(a, b) { return a + b }; 이 표현과 같은 것입니다. 대충 function 키워드를 빼고 화살표를 추가한 거 같은데 return은 어디로 사라졌을까요? 오늘은 화살표 함수(Arrow F..

Article Thumbnail
[JS] var, let, const의 차이점

웹/JS 2022. 7. 3. 02:07

이번에 웹 공부의 필요성을 느껴서 이전에 대강 대강 이해하고 넘어갔던 JS를 심화 학습중입니다. 기존 응용 프로그램만 개발하면서 언어 자체가 '어렵다' 정도는 있어도 (C++ 이라던가...) 난해하다는 느낌은 없었는데 JS의 경우 제가 기존에 프로그래밍 하던 것과 다른 난해한 느낌을 받았습니다. 특히 자바스크립트의 과도한 유연성이 저에겐 혼돈의 카오스 그 자체였습니다... 'JavaScript is Weird' 라는 말이 개발자들 사이에서 도는게 그 증거겠죠. 그 중 첫번째가 바로 JS에서 변수 선언 방식인 var, let, const의 차이입니다. 오늘은 이 3가지의 차이점에 대해 좀 자세히 알아보겠습니다. *본 글에서 자바스크립트라는 단어는 전부 JS라는 단어로 축약해서 사용하겠습니다. var vs ..

Article Thumbnail
슈의 라면가게를 TAS로 플레이하는 영상

정보/기타 2022. 7. 2. 16:42

https://www.youtube.com/watch?v=MzEEWXqDR-A 도대체 이게 무슨..?

위니아 에어컨 RA-065GW 전원이 혼자서 꺼졌다 켜졌다 하는 오동작 수리 방법

프로젝트/개조,수리 2022. 6. 29. 22:30

안녕하세요 파일입니다~ 이번에도 더운 여름이 찾아왔습니다. 언제나 그랬듯이 추웠던 날은 항상 잊어먹고 매년 폭염이다, 전년도 최대 온도를 경신했다 어쩌고 저쩌고 하는데.. 중요한건 그게 아닙니다. 문제는 저희집 에어컨이 작년 겨울 기점으로 고장이 나버렸다는 것이죠 ㅠㅠ. 이번에 컴퓨터 그래픽 카드를 RTX3080 으로 업그레이드 하고 나서 이 녀석이 전기를 말도 안되게 뽑아먹으면서 그에 비례하는 열을 뿜어대기 시작했습니다. 덕분에 제가 컴퓨터를 하는 방은 여름의 더위 + 컴퓨터 발열로 인해 지옥도가 따로 없게 되었습니다. 선풍기를 아무리 틀어도 방에서 뜨거운 공기만 순환하기 시작합니다. * 반도체는 많이 일할수록 그에 상응하는 열을 뿜어댑니다! 옷도 벗어보고 방 밖에 있는 에어컨에서 선풍기로 공기도 쐬보..

Article Thumbnail
GIGABYTE AORUS 지포스 RTX 3080 Master D6X 12GB (3080 어마 12gb) 간단 리뷰

리뷰 2022. 6. 28. 23:22

안녕하세요 파일입니다. 19년도에 이엠텍 GTX1080 SUPER JETSTREAM을 중고로 구매하여 2022년까지 거짐 3년간 저희집의 게임과 각종 그래픽 작업을 책임져주던 효자였던 정든 1080을 떠나보내고 이번에 RTX3080의 상급기인 어로스 마스터 제품을 구매하게 되었습니다!! 기존에 사용하던 1080은 RTX2060s 와 거의 동일한 성능으로 사실 FHD 모니터를 사용하는 저에겐 부족함이 없는 성능이였습니다만 요새 빡센 딥러닝 작업도 많이 돌리게 되고 특히 VR 게임을 하면서 4K 영상을 양쪽에 렌더링 하는 VR의 특성상 1080으로는 부족한 성능이 나와서 교체를 고려하게 되었습니다. 사실 RTX3080은 12월 29일에 구매를 해서 1월쯤에 리뷰가 올라왔어야 하는데 제가 사기를 당하는 바람에..

Article Thumbnail
[Scam Website] techpointusa.com 컴퓨터 부품 전자 제품 사기 사이트 주의 / 100만원 사기의 혈투 - [완]

정보/IT 2022. 6. 24. 00:14

안녕하세요 파일입니다. 우선 오늘 글의 내용은 한 사기사이트에 대한 내용입니다. 본인의 경우에도 이 사기 사이트에서 그래픽 카드를 구매했다가 108만원 상당의 사기를 당했고 약 7개월만에 승소하게 되어 작년 12월이나 올해 1월에 올렸어야 하는 글을 지금에서야 작성하게 되었습니다. 아마 현재는 그래픽 카드 가격이 안정화 되어서 이런 사이트에서 구매하실 분들은 거의 없겠지만 저 같은 피해자가 더 이상 없기를 바라며 글을 작성합니다. Scam Site : techpointusa.com 전자 제품을 싼 가격에 합리적인 가격에 판매중인 것처럼 보이는 https://techpointusa.com/ 라는 사이트는 명백한 사기 사이트입니다. 결제 시스템의 경우 PayPal을 이용한다고 되어 있지만 실제로는 PayPa..

Article Thumbnail
앞으로의 간단한 공부 계획

일상 2022. 6. 21. 03:32

막상 종강하니 첫날부터 뭔가 허무함이 찾아옵니다.. 시험 공부 중간 중간 스트레스를 술로 지새우면서, 끝까지 포기 안하겠다는 생각 하나만으로 최선을 다했지만 끝은 또 다른 시작이니깐요... 어쨌던 이번 방학은 상당히 유의미한 시간들이 되도록 노력해야 할 거 같습니다. 이전에 세웠던 공부 계획을 그대로 이행중인데, 조금 더 추가해보려고 합니다. https://pgh268400.tistory.com/324 시험 마친 후 향후 공부 계획 이번에 학교에서 작게 진행한 코테 총 5문제 solved.ac 기준 브론즈~ 실버 2 정도 문제였음에도 맨날했던 Python이 아닌 C로 해서 개발렸습니다 ㅜ ㅜ 내가 바로 아래다 쓴 코드를 위에다 붙여넣기도 pgh268400.tistory.com 이전에 세웠던 계획에서 "C..

[C/C++] 선언(Declaration)과 정의(Definition)의 차이

프로그래밍/C++ 2022. 6. 21. 01:08

* 본 글은 학부생의 눈높이에 작성되었습니다 int a; int a = 10; 오류C2086'int a': 재정의 위 코드를 Visual Studio 에서 실행해보면 int a가 재정의(redefinition) 됐다는 오류 메세지가 출력되면서 컴파일이 되지 않습니다. 이런 오류 메세지는 컴파일러마다 다른데 재정의가 아니라 재선언(redeclaration) 이라는 오류 메세지가 출력되기도 합니다. 과연 정의와 선언의 차이는 무엇일까요? 정의와 선언은 다양한 프로그래밍 자료에서 혼동되어 사용되는 단어긴 하지만 엄밀히 따지면 이 둘은 다른것 입니다. 오늘은 이에 대해 알아보겠습니다. 선언(Declaration) vs 정의(Definition) 모든 정의는 선언을 포함하고 있지만 모든 선언은 정의가 아니다. 즉..

Article Thumbnail
시험이 끝났습니다

일상 2022. 6. 21. 00:19

학점은 잘 모르겠고.. 일단 최선을 다했다는 점에서 만족합니다 이번에 꽤나 새로운 내용들을 많이 공부했는데 새로운 세계에 입문한 기분이였습니다. 중간때는 멘탈이 두어번 박살이 났으나 기말때는 나름 정신을 잘 잡고 공부를 했던거 같습니다. 이제 시험중이라 작성하지 못했던 정보글들을 조금 작성해보려고 합니다~

Article Thumbnail
[C++] Natural Sort 사용하기

프로그래밍/C++ 2022. 6. 14. 01:30

숫자, 이름이 여러 섞여 있는 내용의 문자열에 대해 윈도우 탐색기와 같은 정렬을 기대하려면 Natural Sort 라는 정렬을 시행해야 합니다. Natural Sort 란 쉽게 말해서 인간이 하는 방식으로 영문자 숫자를 정렬하는 방식을 이야기 합니다. 파이썬에선 natsort 라는 라이브러리가 있어서 그냥 pip install 로 설치하고 사용하면 끝이였는데 C++에서는 당연하게도 직접 구현해야 합니다. 제목을 보시면 알겠지만 Natural Sort 구현하기가 아니라 '사용하기' 입니다. 깃허브에 이미 친절하게 구현을 해둔 분이 있어서 이걸 사용하시면 됩니다. https://github.com/scopeInfinity/NaturalSort GitHub - scopeInfinity/NaturalSort: ..

Article Thumbnail
[VIM] ESC 입력 시 (일반모드) 자동으로 영문으로 전환해주는 유틸리티

프로그래밍/Etc 2022. 6. 13. 23:57

VIM을 사용할 때 ESC나 Ctrl + [ 를 입력하면 일반 모드(Normal Mode) 로 이동이 되는데 한글 상태에서 일반 모드로 전환을 하면 영문 입력이 제대로 되지 않아서 일반 모드의 기능을 제대로 사용할 수 없습니다. 그래서 한글로 전환된 상태라면 일반 모드에서는 한영키를 한번 더 눌러줘야 하는 불편함이 있습니다. 매번 작성하면서 한영 유무를 확인한다는 것은 번거롭고, 특히 프로그램 개발자로써는 말도 안되는 일이라고 생각해서 인터넷에 공개된 소스코드를 참고해 관련 유틸리티를 제작했습니다. https://github.com/pgh268400/VIM_AUTO_HANGUL/releases/tag/v1 Release main_release · pgh268400/VIM_AUTO_HANGUL github..

Article Thumbnail
[C++] Visual Studio <std::filesystem> 사용하기

프로그래밍/C++ 2022. 6. 11. 23:39

서론 기존에 대학교 프로젝트로 C언어를 이용해 파일 이름 변경기를 만든적이 있었습니다. C언어에는 string class도 없어서 문자열들을 배열에 동적으로 저장하고 싶으면 char[] 을 이용해서 동적할당으로 구현해야 했고, 이에 따른 버그가 다량으로 발생했습니다. (예를 들어서 파일 이름을 변경할 때 치환할 문자열이 너무 길거나 illegal 한 문자가 들어가면 프로그램이 그대로 튕겨버린다던가..., C에서는 예외처리 문법도 없습니다 ;;) 또한 디렉토리 내에 파일을 순회할 때 C언어에서 공식적으로 파일 시스템에 관한 기능이 제공되지 않아서 우회책으로 dirent.h 이라는 헤더 파일의 조금 수정된 버전을 이용해서 기능을 구현했던 기억이 납니다. *dirent.h를 사용해서 디렉토리 순회하는 방법에 ..

Article Thumbnail
[암호화폐] 라이트코인(LTC) 업비트 유의종목 지정

정보/암호화폐 2022. 6. 11. 20:51

5월 23일 업비트를 포함해서 빗썸, 코인원 등 다양한 국내 자산 거래소들이 라이트 코인을 일괄적으로 투자 유의 종목으로 지정함과 동시에 현재 라이트 코인 차트 상황입니다. 거래량의 표기법은 거래소마다 다르나 업비트를 기준으로 거래량이 음봉이라는 것은 그날 거래량에서 매도세가 강했다는 뜻입니다. 보시면 상폐전에 가격을 쭉올리고 전부 물량을 털어버린 '상폐빔' 흔적이 보이고 있습니다. (원으로 표시해둔 3곳) 아마 세력은 저 3봉을 기점으로 대부분 털고 나간듯 하며 이제 계속 되는 하락만 남은듯 합니다. 제가 알기론 라이트 코인도 그렇게 작은 규모의 프로젝트는 아니였던 거 같은데... 금리 인상하고 다른 지표가 안정되기 시작하면 저는 아마 코인판은 떠나고 주식으로 이주할 듯 합니다. 요새 루나 코인부터 시..

Article Thumbnail
미러스엣지 카탈리스트 한글 패치 배포중

정보/게임 2022. 6. 9. 01:45

미러스엣지 카탈리스트는 미러스엣지의 후속작으로 출시 할때부터 한글 언어 지원 자체를 안해줬던 게임입니다. 그래서 한국에서 미러스 엣지 팬들한테 욕을 좀 먹었었죠. 저도 미러스엣지의 정말 팬이였고 최근들어서도 엔딩을 한번 더 봐서 무려 엔딩을 4번넘게 본 게임이였습니다. 저는 막 출시될 당시에 바로 구매를 했었는데 한글패치도 안되있고 자막을 켜고 게임을 했어도, 영어권 표현이나 순식간에 지나가는 자막들을 실시간으로 해석하고 바로 바로 이해하는 영어 실력은 없었기에 사실 스토리 자체를 전혀 이해하지 못하고 달리기만 하다가 게임이 끝났던 기억이 납니다. 최근 들어 할 게임을 찾아다니던 중 예전에 한글패치 없이 엔딩을 봤던 미러스 엣지 카탈리스트가 문뜩 떠올랐습니다. 출시된지는 벌써 6년이나 된 게임이라 이제쯤..

Article Thumbnail
[C++] C++ 싫어. 파이썬 좋아.

프로그래밍/C++ 2022. 6. 8. 02:53

도대체 이놈의 언어는 동적 할당 하나 때문에 class에서 고려해줘야 하는게 몇개인지.. 복사 생성, 복사 대입, 이동 생성, 이동 대입... 하다보면 정말 C++이 얼마나 극한의 성능 최적화가 가능한지 알게 됨과 동시에, C에서 객체 지향 개념만 추가하다가 이것 저것 다 추가해서 누더기 괴물이 되어버린 C++이 얼마나 방대한 언어인지 새삼 깨닫게 됩니다.. 특히 임시값을 가리키는 Rvalue Reference는 또 어떻게 만들 생각을 했는지.. GC(가비지 컬렉터) 가 있는 언어가 정말 그리워 지는군요 ㅜ ㅜ 이와는 반대로 온갖 고생해서 컴파일하면 kb 단위 exe 용량이랑, 엄청 빠른 수행 속도 보고 또 그런 생각이 사라지기도 하고..

Article Thumbnail
투데이 1122 감사합니다.

블로그 결산 2022. 6. 7. 22:42

오랜만에 투데이 1000을 넘겨서 1122를 달성했네요. 방문해주신 모두들 감사합니다. 블로그 하면서 뭔가 2000대 마의 벽을 느끼고 있습니다. 1000 이상은 잘 나오는데 2000 달성하는게 정말 쉬운게 아니네요.. 제가 봤을땐 SEO 최적화도 하고, 자동 광고도 줄이고 스킨도 모바일 친화적으로 빠른걸로 바꿔야 할 듯 싶은데... 귀찮아서 안하고 있슴다 ㅎㅎ.. 이번 시험이 끝나면 대대적으로 블로그 수정을 한번 거쳐야 할 듯 싶습니다..

Article Thumbnail
몬스터헌터 라이즈에 아이스본 사운드 이펙트(타격음) 적용 모드

정보/게임 2022. 6. 3. 01:24

삼다수로 4G 하던 것보다 타격감이 구려진 라이즈를 보자니 거의 모든 몬스터헌터 시리즈를 해본 제가 처음으로 버린 타이틀이 되었습니다.. (사놓고 안한지 몇달이 넘어가고 있어요) 라이즈는 스위치 콘솔 기반으로 제작되었기 때문에 타격감이 아이스본 같은거랑 비교해서는 떨어지는게 당연하긴 합니다만.. 제일 큰 문제는 타격음(sound effect) 입니다. 분명 쌍검으로 때리고 있는데 무슨 촤좌작 하면서 물로 써는 소리가 들리는데 이게 정말 게임 하고 싶은 맛을 뚝 떨어뜨리더군요. https://www.nexusmods.com/monsterhunterworld/mods/1623 Classic Monster Hunter SFX Pack v2.3 (Monster Set 3 -- Yian Garuga and Nar..

Article Thumbnail
[Flutter] 플러터 3.0 출시

프로그래밍/Flutter 2022. 5. 28. 00:45

https://docs.flutter.dev/development/tools/sdk/release-notes/release-notes-3.0.0 Flutter 3.0.0 release notes Release notes for Flutter 3.0.0. docs.flutter.dev 최근 Flutter 3.0이 출시 되었습니다. 놀랍네요. 솔직히 2.0까지 배워보면서 좋은 프레임워크는 맞는데 만든 곳이 그 구글이기 때문에.. 언제 폐기할지 모른다는 두려움이 은연중에 남아 있었습니다만 자사 앱도 몇년동안 플러터로 계속 빌드하고, 이번에 3.0까지 출시 해준걸로 봐서는 꽤나 전망이 밝아보입니다. Dart라는 언어로 코딩해야하는건 아직까지도 별로 마음에 들진 않습니다만 그래도 비동기가 간편하게 구현된다는 점은..

Article Thumbnail