최근 Stability AI에서 무료 오픈소스 대화형 LLM(Large Language Model)을 공개했다는 소식이 전해졌는데요, 이번에 공개된 모델은 StableLM-alpha라는 이름으로 불리며, 세 가지 다양한 크기의 파라미터를 가지고 있습니다. 로컬(PC)에서 돌릴 수 있는 무료형 챗GPT라 생각하시면 됩니다. 원클릭으로 설치하는 webui 버전입니다.
StableLM-alpha는 총 30억, 70억 파라미터로 구성된 모델을 제공하고 있고, 곧 뒤이어 150억, 300억 파라미터의 모델도 출시될 예정이라고 합니다. 이 모델은 CC BY-SA-4.0 라이선스 하에 배포되어, 누구나 자유롭게 사용하고 공유할 수 있습니다.
StableLM-alpha를 소개하는 이 글에서는, 이 모델의 기능과 특징을 설명하고, 간단한 원클릭 설치법에 대해서도 알려드리겠습니다.
StableLM이란?
StableLM은 Stability AI의 무료 오픈소스 언어 모델입니다. 30억, 70억 파라미터 알파 버전이 제공되며, 뒤따라 150억부터 650억 파라미터 모델이 출시될 예정입니다. 다양한 대화형 에이전트를 위한 미세 조정 모델도 있습니다.
텍스트 생성 웹 UI란?
로컬 LLM을 실행하기 위한 사용하기 쉬운 웹 인터페이스입니다. 원클릭 인스톨러로 간단히 설치할 수 있습니다.
StableLM이 ChatGPT보다 뛰어난가요?
아직은 아닙니다. 하지만 Stability AI의 새로운 버전이 개발되면서 빠른 개선이 기대됩니다. 현재 7B 알파 모델은 작은 LLaMA 모델과 비슷한 성능을 보입니다.
StableLM LLM 다운로드
StableLM LLM 설치하기
먼저 다운로드 받은 Zip 파일의 압축을 풉니다.
압축을 풉니다. 그리고 start_windows.bat을 실행합니다.
서치를 진행하시면 이런 창이 뜹니다. 계속 기다려주세요. 파이썬을 설치해야 할 수도 있습니다.
파이썬 3.10.10을 설치해주세요.
GPU 선택을 하라는 창이 나옵니다.
자신이 사용하는 GPU를 선택해주세요. CPU로 할 것이라면 D를 입력하고 엔터를 쳐주시면 됩니다.
저는 엔비디아를 이용하니 A를 입력합니다.
한글로 누르면 갑자기 프롬프트 창이 꺼지게 됩니다. 당황하지 않고, start_windows.bat를 다시 실행합니다. 그리고 A를 누르고 기다립니다. 좀 오래 걸리니까 조바심 내지 말고 기다리세요.
모델 설치
우리는 StableLM LLM에서 제공한 허깅페이스에서 모델을 직접 다운로드 받을 것이기에 M을 선택합니다. 만약 다른 모델을 원하신다면 설치하시면 됩니다.
설치완료가 되었습니다. 아무 키나 누르면 종료가 됩니다.
업데이트
다시 설치 폴더로 가셔서 update_windows.bat를 실행해줍니다.
이렇게 업데이트가 완료됐습니다.
허깅페이스에서 모델 다운로드 받기
필요한 모델을 다운로드 받아야 합니다.
StableLM-베이스-알파
StableLM-Base-Alpha는 오픈 소스 언어 모델로, 긴 문장을 더 잘 이해할 수 있게 만들어졌습니다. 이 모델은 다양한 영어 데이터를 이용해 훈련되었고, 3B와 7B라는 두 가지 버전이 있습니다.
3B: https://huggingface.co/stabilityai/stablelm-base-alpha-3b
7B: https://huggingface.co/stabilityai/stablelm-base-alpha-7b
StableLM-Tuned-Alpha
StableLM-Tuned-Alpha는 StableLM-Base-Alpha를 기반으로 만들어진 모델로, 채팅과 지침을 더 잘 따를 수 있도록 개선되었습니다. 이 모델 역시 3B와 7B 두 가지 버전이 있습니다.
3B: https://huggingface.co/stabilityai/stablelm-tuned-alpha-3b
7B: https://huggingface.co/stabilityai/stablelm-tuned-alpha-7b
자신의 Vram을 확인하고 다운로드 받으세요. 7B는 16GB 가량 정도 필요하고 3B는 8GB의 브램이 필요합니다. 그래픽 카드가 좋다면 7B도 구동이 가능할 것입니다. 저는 7B stablelm-base-alpha-7b로 설치하겠습니다.
모델 다운로드 받기
처음에 저도 헤맸습니다. 그냥 모델 하나만 다운로드 받으면 되는 줄 알았지만,
pytorch_model-00001-of-00004.bin
pytorch_model-00002-of-00004.bin
pytorch_model-00003-of-00004.bin
pytorch_model-00004-of-00004.bin
위의 것들을 모두 다운로드 받고
config.json이것도 다운로드 받아야 합니다. 모델이 많다 보니 폴더로 구분해주세요.
모델 설치 경로 : LLM\oobabooga_windows\text-generation-webui\models
여기에 모델 이름 폴더를 만듭니다.
stabilityaistablelm-base-alpha-7b 이렇게요
여기 안에 다 때려박으면 됩니다.
저는 혹시 몰라서 허깅페이스에 있는 것들 전부 넣었습니다.
이렇게 폴더를 만들고 그 안에 다 넣습니다. 모델 용량이 장난이 아닙니다.
실행하기
LLM\oobabooga_windows의 첫 경로로 돌아옵니다.
설치 파일이 곧 실행파일입니다.
start_windows.bat 파일 실행합니다.
전 뭔가 싶어 페이스북 모델 설치했는데, 저거 절대 설치하지마세요.
아무튼 자기가 깐 모델을 눌러주시면 됩니다.
접속 주소 : http://127.0.0.1:7860/
이건 그림 만들기 Ai와 같더군요
위의 주소로 접속해줍니다.
실행결과
인터페이스는 걍 채팅형처럼 사용하시면 됩니다.
처음에 저 진짜 잘못 깔았나? 이런 생각을 했습니다.
안녕 이라고 질문하니 헛소리를 합니다.
한글 말 못하냐고 하니까 뭔 시답지도 않은 소리를 하면서 저기 qq.com 이라고 링크까지 다는 모습 보이시죠?
대체 이놈들은 뭘 학습시킨 걸까요 ㅋㅋㅋㅋㅋ 어이가 없었지만, 심기일전해서 다시 도전했습니다. 이번엔 영어로 말입니다. 깔끔하게 대화를 모두 지웁니다.
영어로는 잘 대답하고 있습니다.
혹시 처음엔 버그였나?
제대로 내 말을 인식하지 못한 건가? 그런 생각이 들어 다시 도전했습니다.
그냥 답없습니다. 아직까진 한국어로는 불가능.
그냥 한국어로 질문/대답 들으려먼 챗GPT 쓰세요.
ChatGPT 데스크탑 다운로드
