요즘 ChatGPT가 엄청난 인기를 끌고 있는데요.
여기에 내 컴퓨터로 ChatGPT를 구현할 수 있는 프로젝트가 공개되었습니다.
LocalAI
바로 LocalAI프로젝트인데요.
이름부터 로컬에서 실행가능한 AI라는 뜻입니다.
깃허브 주소도 ㅋㅋ 스카이넷입니다.
https://github.com/go-skynet/LocalAI
LocalAI
테스트 빌드 컨테이너 이미지
LocalAI는 로컬 추론을 위해 OpenAI API 사양과 호환되는 드롭인 대체 REST API입니다. 로컬 또는 온프레미스에서 소비자용 하드웨어로 LLM을 실행할 수 있으며, ggml 형식과 호환되는 여러 모델 제품군을 지원합니다. GPU가 필요하지 않습니다.
지원되는 모델 제품군 목록은 모델 호환성 표를 참조하세요.
요약하자면:
로컬, OpenAI 드롭인 대체 REST API. 사용자가 데이터를 소유합니다.
GPU가 필요하지 않습니다. 인터넷 액세스도 필요하지 않습니다. 선택 사항으로, llama.cpp 호환 LLM에서 GPU 가속을 사용할 수 있습니다. 구축 지침을 참조하세요.
여러 모델 지원, 오디오 트랜스크립션, GPT를 사용한 텍스트 생성, 안정적인 확산을 통한 이미지 생성(실험적)
한 번 로드하면 더 빠른 추론을 위해 모델을 메모리에 로드된 상태로 유지합니다.
셸 아웃하지 않고 C++ 바인딩을 사용하여 더 빠른 추론과 더 나은 성능을 제공합니다.
LocalAI는 에토레 디 지아신토가 만든 커뮤니티 중심 프로젝트로, 누구나 AI에 액세스할 수 있도록 하는 데 중점을 두고 있습니다. 모든 기여, 피드백, 홍보를 환영합니다!
ChatGPT OSS 대체 이미지 생성
시작하기 및 예제 섹션을 참조하여 LocalAI 사용법을 알아보세요. 선별된 모델 목록은 모델 갤러리에서 확인하세요.
뉴스
06-06-2023: v1.18.0: 많은 업데이트, 새로운 기능 등 🚀, 변경 로그를 확인하세요!
29-05-2023: 이제 LocalAI 웹사이트(https://localai.io)가 생겼습니다! 전용 섹션에서 뉴스를 확인하세요!
최신 뉴스는 트위터 @LocalAI_API 및 @mudler_it에서도 팔로우하세요.
새로운 기능
✨ 매 기반 모델 제품군(7b)( mudler ) 에 대한 지원 추가
✨ Metal Apple Silicon GPU에 대한 실험적 지원 – ( 테스트를 위한 mudler 및 u/Soleblaze 에게 감사드립니다 ! ). 빌드 섹션을 참조하십시오 .
✨ /v1/completions 끝점( samm81 ) 에서 토큰 스트림 지원
✨ huggingface 백엔드 추가( Evilfreelancer )
📷 Stablediffusion은 이제 esrgan으로 2048×2048 이미지 크기를 출력할 수 있습니다! ( 머들러 )
컨테이너 이미지
🐋 CUDA 컨테이너 이미지(arm64, x86_64) ( sebastien-prudhomme )
🐋 FFmpeg 컨테이너 이미지(arm64, x86_64)( mudler )
종속성 업데이트
🆙 Bloomz는 새로운 양자화 형식( mudler ) 을 포함하여 최신 ggml 변경 사항으로 업데이트되었습니다.
🆙 RWKV가 새로운 양자화 형식( mudler ) 으로 업데이트되었습니다.
🆙 라마 모델에 대한 k-quants형식 지원 ( mudler )
🆙 gpt4all이 업데이트되어 이전 모델을 로드할 수 있는 업스트림 변경 사항을 통합하고 동일한 바이너리에서 다른 CPU 명령어 세트(AVX 전용, AVX2)를 사용합니다! ( 머들러 )
일반적인
🐧 완전한 Linux 정적 바이너리 릴리스( mudler )
📷 기본적으로 컨테이너 이미지( mudler ) 에서 Stablediffusion이 활성화되었습니다. 참고: REBUILD=false를 사용하여 컨테이너 이미지 재구축을 비활성화할 수 있습니다.
이러한 다양한 기능을 가지고 있는데요.
LocalAI 의미
사실 ChatGPT의 소스코드는 공개되어 있어서 여러가지 포크 버전이 출시되었습니다.
다만 엄청난 컴퓨팅 성능이 필요하기 때문에 일반인이 쉽게 접근하기 어려웠는데요.
메타의 LLama 등 여러 가벼운 언어모델이 발견되면서 이제 PC에서도 실행가능한 수준의
프로그램이 하나둘씩 나오고 있습니다.
ChatGPT의 경우 개인정보 유출등의 문제로 골머리를 썩게 되는데요.
이런 프로그램을 활용하여 보다 편리하게 이용하실 수 있습니다.
그럼 잘사용하시기 바랍니다.