Compare commits

..

No commits in common. "4d166ad5f98377685a9dd47a0aaed547e67d79ce" and "fd031a255bdd8fab8db24d41535959276e815e70" have entirely different histories.

7 changed files with 229 additions and 330 deletions

16
.vscode/launch.json vendored
View File

@ -1,16 +0,0 @@
{
// Use IntelliSense to learn about possible attributes.
// Hover to view descriptions of existing attributes.
// For more information, visit: https://go.microsoft.com/fwlink/?linkid=830387
"version": "0.2.0",
"configurations": [
{
"name": "Launch Package",
"type": "go",
"request": "launch",
"mode": "debug",
"program": "${fileDirname}",
"showLog": true
}
]
}

View File

@ -1,6 +1,6 @@
# Devianter # Devianter
[![Please don't upload to GitHub](https://nogithub.codeberg.page/badge.svg)](https://nogithub.codeberg.page) [![Go Reference](https://pkg.go.dev/badge/git.macaw.me/skunky/devianter.svg)](https://pkg.go.dev/git.macaw.me/skunky/devianter) [![License: AGPL v3](https://img.shields.io/badge/License-AGPL%20v3-blue.svg)](https://www.gnu.org/licenses/agpl-3.0) [![Please don't upload to GitHub](https://nogithub.codeberg.page/badge.svg)](https://nogithub.codeberg.page)
A DeviantART API library for Go. A DeviantART API library for Go.

View File

@ -2,14 +2,20 @@ package devianter
import ( import (
"encoding/json" "encoding/json"
"net/url"
"strconv" "strconv"
"strings"
) )
type Thread struct { type comments struct {
Cursor string
PrevOffset int
HasMore, HasLess bool
Total int
Thread []struct {
Replies, Likes int Replies, Likes int
ID int `json:"commentId"` ID int `json:"commentId"`
Parent int `json:"parentId"` Parent int `json:"ParrentId"`
Posted time Posted time
Author bool `json:"isAuthorHighlited"` Author bool `json:"isAuthorHighlited"`
@ -17,30 +23,27 @@ type Thread struct {
Desctiption string Desctiption string
Comment string Comment string
TextContent Text TextContent text
User struct { User struct {
Username string Username string
Banned bool `json:"isBanned"` Banned bool `json:"isBanned"`
} }
} }
type Comments struct {
Cursor string
PrevOffset int
HasMore, HasLess bool
Total int
Thread []Thread
} }
// 1 - комментарии поста; 4 - комментарии на стене группы или пользователя // функция для обработки комментариев поста, пользователя, группы и многого другого
func CommentsFunc(postid string, cursor string, page int, typ int) (cmmts Comments) { func Comments(
postid string,
cursor string,
page int,
typ int, // 1 - комментарии поста; 4 - комментарии на стене группы или пользователя
) (cmmts comments) {
for x := 0; x <= page; x++ { for x := 0; x <= page; x++ {
ujson( ujson(
"dashared/comments/thread?typeid="+strconv.Itoa(typ)+ "dashared/comments/thread?typeid="+strconv.Itoa(typ)+
"&itemid="+postid+"&maxdepth=1000&order=newest"+ "&itemid="+postid+"&maxdepth=1000&order=newest"+
"&limit=50&cursor="+url.QueryEscape(cursor), "&limit=50&cursor="+strings.ReplaceAll(cursor, "+", `%2B`),
&cmmts, &cmmts,
) )
@ -52,7 +55,7 @@ func CommentsFunc(postid string, cursor string, page int, typ int) (cmmts Commen
cmmts.Thread[i].Comment = m cmmts.Thread[i].Comment = m
// если начало строки {, а конец }, то срабатывает этот иф // если начало строки {, а конец }, то срабатывает этот иф
if m[0] == '{' && m[l-1] == '}' { if m[0] == 123 && m[l-1] == 125 {
var content struct { var content struct {
Blocks []struct { Blocks []struct {
Text string Text string

View File

@ -3,7 +3,6 @@ package devianter
import ( import (
"encoding/json" "encoding/json"
"strconv" "strconv"
"strings"
timelib "time" timelib "time"
) )
@ -21,10 +20,9 @@ func (t *time) UnmarshalJSON(b []byte) (err error) {
} }
// самая главная структура для поста // самая главная структура для поста
type Deviation struct { type deviantion struct {
Title, Url, License string Title, Url, License string
PublishedTime time PublishedTime time
ID int `json:"deviationId"`
NSFW bool `json:"isMature"` NSFW bool `json:"isMature"`
AI bool `json:"isAiGenerated"` AI bool `json:"isAiGenerated"`
@ -36,27 +34,21 @@ type Deviation struct {
Stats struct { Stats struct {
Favourites, Views, Downloads int Favourites, Views, Downloads int
} }
Media Media Media media
Extended struct { Extended struct {
Tags []struct { Tags []struct {
Name string Name string
} }
OriginalFile struct { DescriptionText text
Type string
Width int
Height int
Filesize int
}
DescriptionText Text
RelatedContent []struct { RelatedContent []struct {
Deviations []Deviation Deviations []deviantion
} }
} }
TextContent Text TextContent text
} }
// её выпердыши // её выпердыши
type Media struct { type media struct {
BaseUri string BaseUri string
Token []string Token []string
Types []struct { Types []struct {
@ -65,7 +57,7 @@ type Media struct {
} }
} }
type Text struct { type text struct {
Excerpt string Excerpt string
Html struct { Html struct {
Markup, Type string Markup, Type string
@ -73,8 +65,8 @@ type Text struct {
} }
// структура поста // структура поста
type Post struct { type Deviantion struct {
Deviation Deviation Deviation deviantion
Comments struct { Comments struct {
Total int Total int
Cursor string Cursor string
@ -86,46 +78,32 @@ type Post struct {
Replies, Likes int Replies, Likes int
} }
IMG, Description string IMG, Desctiption string
}
// преобразование урла в правильный
func UrlFromMedia(m Media) string {
var url strings.Builder
for _, t := range m.Types {
if t.T == "fullview" {
url.WriteString(m.BaseUri)
if m.BaseUri[len(m.BaseUri)-3:] != "gif" && t.W*t.H < 33177600 {
url.WriteString("/v1/fit/w_")
url.WriteString(strconv.Itoa(t.W))
url.WriteString(",h_")
url.WriteString(strconv.Itoa(t.H))
url.WriteString("/")
url.WriteString("image")
url.WriteString(".gif")
}
if len(m.Token) > 0 {
url.WriteString("?token=")
url.WriteString(m.Token[0])
}
}
}
return url.String()
} }
// для работы функции нужно ID поста и имя пользователя. // для работы функции нужно ID поста и имя пользователя.
func DeviationFunc(id string, user string) Post { func Deviation(id string, user string) Deviantion {
var st Post var st Deviantion
ujson( ujson(
"dadeviation/init?deviationid="+id+"&username="+user+"&type=art&include_session=false&expand=deviation.related&preload=true", "dadeviation/init?deviationid="+id+"&username="+user+"&type=art&include_session=false&expand=deviation.related&preload=true",
&st, &st,
) )
st.IMG = UrlFromMedia(st.Deviation.Media) // преобразование урла в правильный
for _, t := range st.Deviation.Media.Types {
if m := st.Deviation.Media; t.T == "fullview" {
if len(m.Token) > 0 {
st.IMG = m.BaseUri + "?token="
} else {
st.IMG = m.BaseUri + "/v1/fill/w_" + strconv.Itoa(t.W) + ",h_" + strconv.Itoa(t.H) + "/" + id + "_" + user + ".gif" + "?token="
}
st.IMG += m.Token[0]
}
}
// базовая обработка описания // базовая обработка описания
txt := st.Deviation.TextContent.Html.Markup txt := st.Deviation.TextContent.Html.Markup
if len(txt) > 0 && txt[1] == '{' { if len(txt) > 0 && txt[1] == 125 {
var description struct { var description struct {
Blocks []struct { Blocks []struct {
Text string Text string
@ -138,7 +116,7 @@ func DeviationFunc(id string, user string) Post {
} }
} }
st.Description = txt st.Desctiption = txt
return st return st
} }

155
misc.go
View File

@ -1,14 +1,80 @@
package devianter package devianter
import ( import (
"encoding/json"
"errors" "errors"
"io"
"log" "log"
"math" "math"
u "net/url" "net/http"
"strconv" "strconv"
"strings" "strings"
) )
// функция для высера ошибки в stderr
func err(txt error) {
if txt != nil {
println(txt.Error())
}
}
// сокращение для вызова щенка и парсинга жсона
func ujson(data string, output any) {
input, e := puppy(data)
err(e)
eee := json.Unmarshal([]byte(input), output)
err(eee)
}
/* REQUEST SECTION */
// структура для ответа сервера
type reqrt struct {
Body string
Status int
Cookies []*http.Cookie
Headers http.Header
}
// функция для совершения запроса
func request(uri string, other ...string) reqrt {
var r reqrt
// создаём новый запрос
cli := &http.Client{}
req, e := http.NewRequest("GET", uri, nil)
err(e)
req.Header.Set("User-Agent", "Mozilla/5.0 (X11; Linux x86_64; rv:123.0) Gecko/20100101 Firefox/123.0.0")
// куки и UA-шник
if other != nil {
for num, rng := range other {
switch num {
case 1:
req.Header.Set("User-Agent", rng)
case 0:
req.Header.Set("Cookie", rng)
}
}
}
resp, e := cli.Do(req)
err(e)
defer resp.Body.Close()
body, e := io.ReadAll(resp.Body)
err(e)
// заполняем структуру
r.Body = string(body)
r.Cookies = resp.Cookies()
r.Headers = resp.Header
r.Status = resp.StatusCode
return r
}
/* AVATARS AND EMOJIS */ /* AVATARS AND EMOJIS */
func AEmedia(name string, t rune) (string, error) { func AEmedia(name string, t rune) (string, error) {
// список всех возможных расширений // список всех возможных расширений
@ -46,35 +112,17 @@ func AEmedia(name string, t rune) (string, error) {
} }
} }
return "", errors.New("user not exists") return "", errors.New("User not exists")
}
/* DAILY DEVIATIONS */
type DailyDeviations struct {
HasMore bool
Strips []struct {
Codename, Title string
TitleType string
Deviations []Deviation
}
Deviations []Deviation
}
func DailyDeviationsFunc(page int) (dd DailyDeviations) {
ujson("dabrowse/networkbar/rfy/deviations?page="+strconv.Itoa(page), &dd)
return
} }
/* SEARCH */ /* SEARCH */
type Search struct { type search struct {
Total int `json:"estTotal"` Total int `json:"estTotal"`
Pages int // only for 'a' and 'g' scope. Pages int // only for 'a' and 'g' scope.
HasMore bool Results []deviantion `json:"deviations,results"`
Results []Deviation `json:"deviations"`
ResultsGalleryTemp []Deviation `json:"results"`
} }
func SearchFunc(query string, page int, scope rune, user ...string) (ss Search, e error) { func Search(query string, page int, scope rune, user ...string) (ss search, e error) {
var url strings.Builder var url strings.Builder
e = nil e = nil
@ -92,14 +140,14 @@ func SearchFunc(query string, page int, scope rune, user ...string) (ss Search,
} }
url.WriteString("&type=gallery&order=most-recent&init=true&limit=50&q=") url.WriteString("&type=gallery&order=most-recent&init=true&limit=50&q=")
} else { } else {
e = errors.New("missing username (last argument)") e = errors.New("Missing username (last argument)")
return return
} }
default: default:
log.Fatalln("Invalid type.\n- 'a' -- all;\n- 't' -- tag;\n- 'g' - gallery.") log.Fatalln("Invalid type.\n- 'a' -- all;\n- 't' -- tag;\n- 'g' - gallery.")
} }
url.WriteString(u.QueryEscape(query)) url.WriteString(query)
if scope != 'g' { // если область поиска не равна поиску по группам, то активируется этот код if scope != 'g' { // если область поиска не равна поиску по группам, то активируется этот код
url.WriteString("&page=") url.WriteString("&page=")
} else { // иначе вместо страницы будет оффсет и страница умножится на 50 } else { // иначе вместо страницы будет оффсет и страница умножится на 50
@ -110,13 +158,8 @@ func SearchFunc(query string, page int, scope rune, user ...string) (ss Search,
ujson(url.String(), &ss) ujson(url.String(), &ss)
if scope == 'g' {
ss.Results = ss.ResultsGalleryTemp
}
// расчёт, сколько всего страниц по запросу. без токена 417 страниц - максимум // расчёт, сколько всего страниц по запросу. без токена 417 страниц - максимум
totalfloat := int(math.Round(float64(ss.Total / 25))) for x := 0; x < int(math.Round(float64(ss.Total/25))); x++ {
for x := 0; x < totalfloat; x++ {
if x <= 417 { if x <= 417 {
ss.Pages = x ss.Pages = x
} }
@ -124,3 +167,53 @@ func SearchFunc(query string, page int, scope rune, user ...string) (ss Search,
return return
} }
/* PUPPY aka DeviantArt API */
func puppy(data string) (string, error) {
// получение или обновление токена
update := func() (string, string, error) {
var cookie string
if cookie == "" {
req := request("https://www.deviantart.com/_puppy")
for _, content := range req.Cookies {
cookie = content.Raw
}
}
req := request("https://www.deviantart.com", cookie)
if req.Status != 200 {
return "", "", errors.New(req.Body)
}
return cookie, req.Body[strings.Index(req.Body, "window.__CSRF_TOKEN__ = '")+25 : strings.Index(req.Body, "window.__XHR_LOCAL__")-3], nil
}
// использование токена
var (
cookie, token string
)
if cookie == "" || token == "" {
var e error
cookie, token, e = update()
if e != nil {
return "", e
}
}
var url strings.Builder
url.WriteString("https://www.deviantart.com/_puppy/")
url.WriteString(data)
url.WriteString("&csrf_token=")
url.WriteString(token)
url.WriteString("&da_minor_version=20230710")
body := request(url.String(), cookie)
// если код ответа не 200, возвращается ошибка
if body.Status != 200 {
return "", errors.New(body.Body)
}
return body.Body, nil
}

View File

@ -6,40 +6,7 @@ import (
) )
// структура группы или пользователя // структура группы или пользователя
type GroupAbout struct { type Group struct {
FoundatedAt time `json:"foundationTs"`
Description Text
}
type GroupAdmins struct {
Results []struct {
TypeId int
User struct {
Username string
}
}
}
type About struct {
Country, Website, WebsiteLabel, Gender string
RegDate int64 `json:"deviantFor"`
Description Text `json:"textContent"`
SocialLinks []struct {
Value string
}
Interests []struct {
Label, Value string
}
}
type users struct {
About About
CoverDeviation struct {
Deviation Deviation `json:"coverDeviation"`
}
}
type GRuser struct {
ErrorDescription string ErrorDescription string
Owner struct { Owner struct {
Group bool `json:"isGroup"` Group bool `json:"isGroup"`
@ -51,89 +18,75 @@ type GRuser struct {
Modules []struct { Modules []struct {
Name string Name string
ModuleData struct { ModuleData struct {
GroupAbout GroupAbout About struct {
GroupAdmins GroupAdmins Country, Website, WebsiteLabel, Gender, Tagline string
users DeviantFor int64
SocialLinks []struct {
Value string
}
TextContent text
Interests []struct {
Label, Value string
} }
} }
} CoverDeviation struct {
} Deviation deviantion `json:"coverDeviation"`
Extra struct {
Tag string `json:"gruserTagline"`
Stats struct {
Deviations, Watchers, Watching, Pageviews, CommentsMade, Favourites, Friends int
FeedComments int `json:"commentsReceivedProfile"`
}
} `json:"pageExtraData"`
} }
type Gallery struct {
Gruser struct {
ID int `json:"gruserId"`
Page struct {
Modules []struct {
Name string
ModuleData struct {
// группы // группы
GroupAbout struct {
Tagline string
CreatinDate time `json:"foundationTs"`
Description text
}
GroupAdmins struct {
Results []struct {
Username string
}
}
Folders struct { Folders struct {
HasMore bool
Results []struct { Results []struct {
FolderId int FolderId int
Size int
Name string Name string
Thumb Deviation
} }
} }
// галерея // галерея
ModuleData struct {
Folder struct { Folder struct {
HasMore bool
Username string Username string
Pages int `json:"totalPageCount"` Pages int `json:"totalPageCount"`
Deviations []Deviation Deviations []deviantion
} `json:"folderDeviations"` } `json:"folderDeviations"`
} }
} }
} }
} }
HasMore bool }
Results []Deviation PageExtraData struct {
GruserTagline string
Stats struct {
Deviations, Watchers, Watching, Pageviews, CommentsMade, Favourites, Friends int
FeedComments int `json:"commentsReceivedProfile"`
}
}
} }
type Group struct { func UGroup(name string) (g Group) {
Name string // обязательно заполнить ujson("dauserprofile/init/about?username="+name, &g)
Content Gallery
}
// подходит как группа, так и пользователь
func (s Group) GroupFunc() (g GRuser) {
ujson("dauserprofile/init/about?username="+s.Name, &g)
return return
} }
// гарелея пользователя или группы // гарелея пользователя или группы
func (s Group) Gallery(page int, folderid ...int) (g Group) { func Gallery(name string, page int) (g Group) {
var url strings.Builder var url strings.Builder
if folderid[0] > 0 {
page--
url.WriteString("dashared/gallection/contents?username=")
url.WriteString(s.Name)
url.WriteString("&folderid=")
url.WriteString(strconv.Itoa(folderid[0]))
url.WriteString("&offset=")
url.WriteString(strconv.Itoa(page * 50))
url.WriteString("&type=gallery&")
} else {
url.WriteString("dauserprofile/init/gallery?username=") url.WriteString("dauserprofile/init/gallery?username=")
url.WriteString(s.Name) url.WriteString(name)
url.WriteString("&page=") url.WriteString("&page=")
url.WriteString(strconv.Itoa(page)) url.WriteString(strconv.Itoa(page))
url.WriteString("&deviations_") url.WriteString("&deviations_limit=50&with_subfolders=false")
}
url.WriteString("limit=50")
url.WriteString("&with_subfolders=false")
ujson(url.String(), &g.Content) ujson(url.String(), &g)
return return
} }

112
util.go
View File

@ -1,112 +0,0 @@
package devianter
import (
"encoding/json"
"errors"
"io"
"net/http"
"strings"
)
// функция для высера ошибки в stderr
func err(txt error) {
if txt != nil {
println(txt.Error())
}
}
// сокращение для вызова щенка и парсинга жсона
func ujson(data string, output any) {
input, e := puppy(data)
err(e)
eee := json.Unmarshal([]byte(input), output)
err(eee)
}
/* REQUEST SECTION */
// структура для ответа сервера
type reqrt struct {
Body string
Status int
Cookies []*http.Cookie
Headers http.Header
}
// функция для совершения запроса
func request(uri string, other ...string) reqrt {
var r reqrt
// создаём новый запрос
cli := &http.Client{}
req, e := http.NewRequest("GET", uri, nil)
err(e)
req.Header.Set("User-Agent", "Mozilla/5.0 (X11; Linux x86_64; rv:123.0) Gecko/20100101 Firefox/123.0.0")
// куки и UA-шник
for num, rng := range other {
switch num {
case 1:
req.Header.Set("User-Agent", rng)
case 0:
req.Header.Set("Cookie", rng)
}
}
resp, e := cli.Do(req)
err(e)
defer resp.Body.Close()
body, e := io.ReadAll(resp.Body)
err(e)
// заполняем структуру
r.Body = string(body)
r.Cookies = resp.Cookies()
r.Headers = resp.Header
r.Status = resp.StatusCode
return r
}
/* PUPPY aka DeviantArt API */
// получение или обновление токена
var cookie string
var token string
func UpdateCSRF() error {
if cookie == "" {
req := request("https://www.deviantart.com/_puppy")
for _, content := range req.Cookies {
cookie = content.Raw
}
}
req := request("https://www.deviantart.com", cookie)
if req.Status != 200 {
return errors.New(req.Body)
}
token = req.Body[strings.Index(req.Body, "window.__CSRF_TOKEN__ = '")+25 : strings.Index(req.Body, "window.__XHR_LOCAL__")-3]
return nil
}
func puppy(data string) (string, error) {
var url strings.Builder
url.WriteString("https://www.deviantart.com/_puppy/")
url.WriteString(data)
url.WriteString("&csrf_token=")
url.WriteString(token)
url.WriteString("&da_minor_version=20230710")
body := request(url.String(), cookie)
// если код ответа не 200, возвращается ошибка
if body.Status != 200 {
return "", errors.New(body.Body)
}
return body.Body, nil
}