python/딥러닝9 llama.cpp GPU 가속 설치 error : which is required to install pyproject.toml-based projects llama.cpp를 이용하면서 GPU를 이용한 가속이 가능하다. 기존 모델보다 적은 메모리를 이용하면서 매우 빠른 속도로 모델을 이용할 수 있다. llama-cpp-python install 중에 제목과 같은 에러가 발생했다. cpu만 사용하는 llama-cpp-python은 설치가 가능했지만 GPU 가속을 사용하는 llama-cpp-python은 설치가 되지 않았다. 시도했던 방법과 해결된 방법은 다음과 같다. 설치 명령어 발생한 error 여러 시도 실패한 시도(이것도 해결하는데 도움이 되었을 수 있다.) 성공한 시도 - 정확한 원인 포함 1. 설치 명령어 CUBLAS = on이 GPU 가속을 사용하는 버전을 설치하겠다는 의미이다. (linux, nvidia gpu 사용 시) CMAKE_ARGS=-D.. 2024. 2. 22. llama.cpp 설치 방법 및 사용방법 with LoRA llama.cpp는 LLM 모델을 quantization을 통하여 필요한 메모리의 양을 크게 감소시켜 고성능 GPU가 없는 환경(m1 mac 등)에서도 동작하며 빠른 추론 결과를 얻을 수 있게 해주는 pakege이다. cpp를 이용하면 cpu 만으로도 동작하지만 GPU를 함께 사용하면 더 빠른 결과를 얻을 수 있다. 모델을 cpp로 이용하는 순서는 다음과 같다. llama.cpp 환경 구축 llama.cpp code clone pakege install 사용할 LLM 모델 다운로드 LLM 모델 convert (ggml, gguf 파일로 만들기) python pakege llama_cpp를 이용하여 모델 로드 모델 추론 각 단계별 자세한 내용은 다음과 같다. 1. llama.cpp 환경 구축 모델을 con.. 2024. 2. 22. [컴퓨터 비전] SSD 개요 인프런 - 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드'를 정리한 내용입니다. SSD 원리 SSD는 singe shot detecter의 줄임말로 RCNN 계열에서 Object 위치를 찾는 과정과 Object를 분류하는 과정을 하나로 합친 모델이다. YOLO v1 다음에 나온 모델이지만 최초로 정확성과 속도를 모두 잡은 모델로 평가 받는다.(YOLO v2, v3도 정확성과 속도 모두 좋다.) 한번에 Detection하기 위해 이미지 피라미드기법과 Default Box(Anchor Box와 비슷)을 사용한다. 이미지 피라미드 & Default Box Default Box는 Faster RCNN의 Anchor Box와 비슷한 개념이다.(논문에서 다른 단어를 사용했을 뿐) 이미지에서 찾기위한 Object의 .. 2021. 5. 6. [컴퓨터 비전] OpenCV 안에 있는 Detection 모델 사용하기 인프런 - 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드'를 정리한 내용입니다. OpenCV Detection 모델 openCV를 설치하면 딥러닝 프레임워크가 없더라도 사용 가능한 모델을 제공한다. OpenCV에서 지원하는 Computer Vision 처리 기능과 딥러닝을 쉽게 결합하여 사용할 수 있다. ● 단점 - GPU 지원이 약하다. - 학습은 불가능하며 오직 inference만 가능하다. - 다른 딥러닝 프레임워크를 사용했을 때 보다 느리다. 딥러닝 모델 load 하기 자체적으로 가중치 모델을 생성하지 않고 다른 프레임워크에서 생성된 모델을 변환하여 로딩하는 방식이다. 가중치 모델 파일과 환경 파일을 필요로 한다. (각 사이트에서 받을 수 있다.) import cv2 # Tensorflow cvN.. 2021. 4. 29. [컴퓨터 비전] RCNN, SPP net, Fast RCNN, Faster RCNN 인프런 - 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드'를 정리한 내용입니다. RCNN 계열 RCNN 계열은 2가지 stage, Object 위치를 찾는 과정과 Object를 분류하는 과정으로 이루어진 알고리즘 들이다. 1. RCNN RCNN의 동작 단계는 이미지에서 Object가 있을 만한 위치 2000개를 지정하고 2000개 모두 분류 모델에 넣어 분류하는 방법이다. Object 위치를 찾는 방법으로 graph-based segment 기법인 selective search를 이용한다. 이미지를 분류하는 방법은 Imagenet을 이용, feature를 만들고 SVM을 이용하여 이미지 분류, Bounding Box Regression을 수행한다. 동시대 다른 알고리즘에 비해 매우 높은 Detection.. 2021. 4. 28. [컴퓨터 비전] 주요 Dataset 과 openCV, 컴퓨터 비전 패키지 인프런 - 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드'를 정리한 내용입니다. Object Detection과 Segmentation을 위한 주요 Dataset 1. PASCAL VOC (주로 2012 버전) - Detection을 위한 20개의 카테고리를 갖는 데이터를 제공한다. - Detection, Segmentation, Action Classification, Person Layout을 위한 데이터를 제공한다. - Annotation을 xml 형태로 제공 Annotation이란? 이미지의 Detection 정보를 설명 파일로 저장한 것을 말한다. 이미지 class, Boundering box의 위치 등을 특정 포맷으로 전달한다. 2. MS-COCO (주로 2017 버전) - Detection을.. 2021. 4. 22. [컴퓨터 비전] 개요 및 Object Detection 인프런 - 권철민 님의 '딥러닝 컴퓨터 비전 완벽 가이드'를 정리한 내용입니다. 컴퓨터 비전의 업무 1. Classification : 이미지가 무엇인지 구분하는 것 2. Localization : 하나의 object의 위치를 찾는 것 3. Object Detection : 여러 개의 Object들에 대한 위치를 Bonding box(네모 박스)로 찾는 것 4. Segmentation : Detection보다 발전된 형태로 Pixel 단위로 Object를 구분하는 것 Localization과 Detection 이미지에서 해당 Object의 위치를 Bounding box로 찾고, Boundering box내의 Object를 판별한다. boundering box를 찾는 과정은 regression과정이며 Ob.. 2021. 4. 21. [딥러닝] - few shot learning, 적은 데이터로 학습하기 few shot learning 이미지 분류 문제에서 딥러닝 모델을 학습시키기 위해서는 많은 데이터가 필요하다. (imagenet 12만장) 하지만 사람의 경우 몇 장의 이미지만으로 새로운 것을 배우고 구분할 수 있다. 사람이 배우는 것 처럼 딥러닝 모델을 학습 시키는 방법을 메타러닝(Meta-learning)이라고 하며 image 문제에 사용되는 메타 러닝을 few shot learning이라고 한다. 접근 방법 few shot learning의 학습 방식은 두 이미지 비교다. 기존 분류 문제는 이미지가 어떤 카테고리에 포함 되는가를 찾는 방법이고 few shot learning은 두 이미지를 비교하여 같은지 다른지를 판단한다. 서포트 셋은 우리가 가지고 있는 labeling된 데이터 이고 쿼리 셋은 .. 2021. 4. 12. [밑러닝 1] 2장 퍼셉트론 1. 퍼셉트론의 정의 다수의 신호를 받아 하나의 신호를 출력한다. 출력값이 0 or 1을 가질 수 있다. 동그라미 : 노드, 뉴런 값을 연산하여 출력한다. X : 입력 신호 W : 가중치 y : 출력값 $$ y= \begin{cases} 0 & (w_1x_1 + w_2x_2 \leq \theta ) \\ 1 & (w_1x_1 + w_2x_2 > \theta ) \end{cases} $$ 입력값과 가중치를 연산하여 더한값이 임계값(θ)보다 크면 1을, 작으면 0을 출력한다. 2. 간단한 게이트 1. AND 게이트 두 입력값이 모두 1일 때만 1을 출력하는 게이트 $$x_1$$ $$x_2$$ $$y$$ 0 0 0 1 0 0 0 1 0 1 1 1 ex) w1, w2, θ = 0.5, 0.5, 0.8 일 때 A.. 2021. 1. 2. 이전 1 다음
