개요

<aside>

본 문서는 FastAPI 기반의 GPU 서버 API의 사용 방법을 설명합니다. 이 API는 사용자가 입력한 문장을 기반으로 이미지를 생성하는 기능을 제공합니다.

2025-02-19 11:20 서버 재가동

</aside>


기본 정보

Base URL http://115.124.123.240:29734/generate
Content-Type application/json
Encoding UTF-8
API 버전 v1.3

변경 이력

버전 날짜 변경 사항
v1.0 2025-02-08 최초 문서 작성
v1.1 2025-02-14 모드 12개 추가
v1.2 2025-02-16 모드 9개로 축소
v1.3 2025-02-23 투표 Reject 구현

🚨 2월26일 GPU 서버들 🚨

Mode0 URL http://38.99.105.118:21538/generate m:26134 작업 중
Mode1 URL http://38.99.105.118:20171/generate m:26134
Mode2 URL http://38.99.105.119:20709/generate m:27272
Mode3 URL http://38.99.105.119:21629/generate m:27272 작업 중
Mode4 URL http://38.99.105.119:21500/generate m:27272
Mode5 URL http://45.135.56.13:22141/generate m:20897
Mode6 URL http://208.64.254.8:23795/generate m:31687
Mode7 URL http://38.99.105.118:21215/generate m:26134
Mode8 URL http://38.99.105.118:20754/generate m:26134

GPU 서버 세팅

curl -sSL <https://install.python-poetry.org> | python3 -
echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc 
cd gpu-server
poetry install
poetry self add poetry-plugin-shell
poetry shell
cd gpu-server
cp main.py main_dong.py
rm main.py
cp main_original.py main.py
cd ..
cd ComfyUI/custom_nodes/ComfyUI_LLM_Are_You_Listening
mv AYL_Node.py AYL_Node_dong.py
mv AYL_Node_original.py AYL_Node.py
CMAKE_ARGS="-DGGML_CUDA=on" pip install llama-cpp-python
cd gpu-server
uvicorn main:app --host 0.0.0.0 --port 8189 --reload
cd ComfyUI
python main.py --disable-auto-launch --listen 0.0.0.0 --port 18188 --enable-cors-header --use-pytorch-cross-attention --cuda-malloc --fast