分享111个Java源码，总有一款适合您
Java源码
分享111个Java源码，总有一款适合您
源码下载链接：https://pan.baidu.com/s/1fycjYHA7y6r-IH8H7v5XKA?pwd=ag8l
提取码：ag8l
下面是文件的名字，我放了一些图片，文章里不是所有的图主要是放不下...，大家下载后可以看到。
import os
import shutil
import time
from time import sleep
import requests
from bs4 import BeautifulSoup
from docx import Document
from docx.shared import Inches
from framework.base.BaseFrame import BaseFrame
from sprider.business.DownLoad import DownLoad
from sprider.business.SeleniumTools import SeleniumTools
from sprider.business.SpriderTools import SpriderTools
from selenium import webdriver
from selenium.webdriver.common.by import By
from sprider.model.SpriderEntity import SpriderEntity
from sprider.access.SpriderAccess import SpriderAccess
class HuaJunCode:
base_url = "https://down.chinaz.com" # 采集的网址
save_path = "D:\Freedom\Sprider\ChinaZ\"
sprider_count = 126 # 采集数量
sprider_start_count=112# 从第几个序号开始 直接改数量即可 会做除法操作正 正在采集第32页的第16个资源 debug
word_content_list = []
folder_name = ""
page_end_number=0
max_pager=16 #每页的数量
haved_sprider_count =0 # 已经采集的数量
page_count = 1 # 每个栏目开始业务content="text/html; charset=gb2312"
def __init__(self):
pass
def sprider(self,title_name="NET"):
"""
采集
PHP https://down.chinaz.com/class/572_5_1.htm
NET https://down.chinaz.com/class/572_4_1.htm
ASP https://down.chinaz.com/class/572_3_1.htm
Pytyhon https://down.chinaz.com/class/604_572_1.htm
:return:
"""
if title_name == "PHP":
self.folder_name = "PHP源码"
self.second_column_name = "572_5"
elif title_name == "Go":
self.folder_name = "Go源码"
self.second_column_name = "606_572"
elif title_name == "NET":
self.folder_name = "NET源码"
self.second_column_name = "572_4"
elif title_name == "ASP":
self.folder_name = "ASP源码"
self.second_column_name = "572_3"
elif title_name == "Python":
self.folder_name = "Python源码"
self.second_column_name = "604_572"
elif title_name == "JavaScript":
self.folder_name = "JavaScript源码"
self.second_column_name = "602_572"
elif title_name == "Java":
self.folder_name = "Java源码"
self.second_column_name = "572_517"
#
first_column_name = title_name # 一级目录
second_folder_name = str(self.sprider_count) + "个" + self.folder_name #二级目录
self.sprider_type =second_folder_name
merchant=int(self.sprider_start_count) //int(self.max_pager)+1 #起始页码用于效率采集
self.file_path = self.save_path + os.sep + "Code" + os.sep + first_column_name + os.sep + second_folder_name
self.save_path = self.save_path+ os.sep + "Code" + os.sep+first_column_name+os.sep + second_folder_name+ os.sep + self.folder_name
BaseFrame().debug("开始采集ChinaZCode"+self.folder_name+"...")
sprider_url = (self.base_url + "/class/{0}_1.htm".format(self.second_column_name))
down_path="D:\Freedom\Sprider\ChinaZ\Code\"+first_column_name+"\"+second_folder_name+"\Temp\"
if os.path.exists(down_path) is True:
shutil.rmtree(down_path)
if os.path.exists(down_path) is False:
os.makedirs(down_path)
if os.path.exists(self.save_path ) is True:
shutil.rmtree(self.save_path )
if os.path.exists(self.save_path ) is False:
os.makedirs(self.save_path )
chrome_options = webdriver.ChromeOptions()
diy_prefs ={'profile.default_content_settings.popups': 0,
'download.default_directory':'{0}'.format(down_path)}
# 添加路径到selenium配置中
chrome_options.add_experimental_option('prefs', diy_prefs)
chrome_options.add_argument('--headless') #隐藏浏览器
# 实例化chrome浏览器时，关联忽略证书错误
driver = webdriver.Chrome(options=chrome_options)
driver.set_window_size(1280, 800) # 分辨率 1280*800
# driver.get方法将定位在给定的URL的网页，get接受url可以是任何网址，此处以百度为例
driver.get(sprider_url)
# content = driver.page_source
# print(content)
div_elem = driver.find_element(By.CLASS_NAME, "main") # 列表页面 核心内容
element_list = div_elem.find_elements(By.CLASS_NAME, 'item')
laster_pager_ul = driver.find_element(By.CLASS_NAME, "el-pager")
laster_pager_li =laster_pager_ul.find_elements(By.CLASS_NAME, 'number')
laster_pager_url = laster_pager_li[len(laster_pager_li) - 1]
page_end_number = int(laster_pager_url.text)
self.page_count=merchant
while self.page_count <= int(page_end_number): # 翻完停止
try:
if self.page_count == 1:
self.sprider_detail(driver,element_list,self.page_count,page_end_number,down_path)
pass
else:
if self.haved_sprider_count == self.sprider_count:
BaseFrame().debug("采集到达数量采集停止...")
BaseFrame().debug("开始写文章...")
self.builder_word(self.folder_name, self.save_path, self.word_content_list)
BaseFrame().debug("文件编写完毕，请到对应的磁盘查看word文件和下载文件！")
break
#(self.base_url + "/sort/{0}/{1}/".format(url_index, self.page_count))
#http://soft.onlinedown.net/sort/177/2/
next_url = self.base_url + "/class/{0}_{1}.htm".format(self.second_column_name, self.page_count)
driver.get(next_url)
div_elem = driver.find_element(By.CLASS_NAME, "main") # 列表页面 核心内容
element_list = div_elem.find_elements(By.CLASS_NAME, 'item')
self.sprider_detail( driver, element_list, self.page_count, page_end_number, down_path)
pass
#print(self.page_count)
self.page_count = self.page_count + 1 # 页码增加1
except Exception as e:
print("sprider()执行过程出现错误:" + str(e))
sleep(10)
def sprider_detail(self, driver,element_list,page_count,max_page,down_path):
"""
采集明细页面
:param driver:
:param element_list:
:param page_count:
:param max_page:
:param down_path:
:return:
"""
index = 0
element_array=[]
element_length=len(element_list)
for element in element_list:
url_A_obj = element.find_element(By.CLASS_NAME, 'name-text')
next_url = url_A_obj.get_attribute("href")
coder_title = url_A_obj.get_attribute("title")
e=coder_title+"$"+ next_url
element_array.append(e)
pass
self.sprider_start_index = int(self.sprider_start_count) % int(self.max_pager)
index=self.sprider_start_index
while index < element_length:
if os.path.exists(down_path) is False:
os.makedirs(down_path)
if self.haved_sprider_count == self.sprider_count:
BaseFrame().debug("采集到达数量采集停止...")
break
#element = element_list[index]
element=element_array[index]
time.sleep(1)
index = index + 1
sprider_info="正在采集第"+str(page_count)+"页的第"+str(index)+"个资源，共"+str(max_page)+"页资源"
BaseFrame().debug(sprider_info)
next_url=element.split("$")[1]
coder_title=element.split("$")[0]
# next_url = element.find_element(By.TAG_NAME, 'a').get_attribute("href")
# coder_title =element.find_element(By.TAG_NAME, 'img').get_attribute("title")
driver.get(next_url) # 请求明细页面
try:
codeEntity = SpriderEntity() # 下载过的资源不再下载
codeEntity.sprider_base_url = self.base_url
codeEntity.create_datetime = SpriderTools.get_current_datetime()
codeEntity.sprider_url = next_url
codeEntity.sprider_pic_title = coder_title
codeEntity.sprider_pic_index = str(index)
codeEntity.sprider_pager_index = page_count
codeEntity.sprider_type = self.sprider_type
if SpriderAccess().query_sprider_entity_by_urlandindex(next_url, str(index)) is None:
SpriderAccess().save_sprider(codeEntity)
else:
BaseFrame().debug(coder_title+next_url + "数据采集过因此跳过")
continue
if SeleniumTools.judeg_element_isexist(driver, "CLASS_NAME", "download-item") == 3:
driver.back()
BaseFrame().debug(coder_title+"不存在源码是soft因此跳过哦....")
continue
print("准备点击下载按钮...")
driver.find_element(By.CLASS_NAME, "download-item").click() #下载源码
result,message=SpriderTools.judge_file_exist(True,240,1,down_path,"zip|rar|gz|tgz")#判断源码
if result is True:
sprider_content = [coder_title, self.save_path + os.sep +"image"+ os.sep + coder_title + ".jpg"] # 采集成功的记录
self.word_content_list.append(sprider_content) # 增加到最终的数组
self.haved_sprider_count = self.haved_sprider_count + 1
BaseFrame().debug("已经采集完成第" + str(self.haved_sprider_count) + "个")
time.sleep(1)
driver.back()
coder_title = str(coder_title).replace("/", "") #去掉windows不识别的字符
files = os.listdir(down_path)
srcFile = down_path + os.sep + files[0]
file_ext = os.path.splitext(srcFile)[-1]
dstFile = down_path + os.sep + coder_title + file_ext
os.rename(srcFile, dstFile)
srcFile = dstFile
dstFile = self.save_path + os.sep + coder_title + file_ext
shutil.move(srcFile, dstFile) # 移动文件
else:
BaseFrame().error("检测下载文件出错可能原因是等待时间不够已经超时，再等待70秒...")
time.sleep(70)
#shutil.rmtree(down_path) #如果没下载完是无法删除的
#使用数组append记录文件名字 移动的时候过滤
pass
except Exception as e:
#shutil.rmtree(down_path)
BaseFrame().error("sprider_detail()执行过程出现错误：" + str(e))
#driver.get(sprider_url)
#driver.quit()
if(int(page_count)==int(max_page)):
self.builder_word(self.folder_name,self.save_path,self.word_content_list)
BaseFrame().debug("文件编写完毕，请到对应的磁盘查看word文件和下载文件！")
def builder_word(self, word_title, save_path, list_files):
"""
输出产物是word文件
:param word_title: 文件的标题
:param save_path: 文件的保存路径
:param list_files: 文件集合（单个内容）
:return:
"""
try:
self.copy_file(self.save_path)
print("Create Word"+word_title)
file_count= len(list_files)
self.gen_passandtxt(file_count,word_title,list_files)
random_full_file_name = SpriderTools.get_word_image("java",6)
document = Document()
document.add_heading(""+word_title+"", level=2)
document.add_paragraph("分享"+str(file_count)+"个"+word_title+"，总有一款适合您rn"
"下面是文件的名字，我放了一些图片，文章里不是所有的图主要是放不下...，大家下载后可以看到。")
document.add_paragraph("r")
document.add_paragraph("源码下载")
document.add_paragraph("r")
document.add_picture(random_full_file_name, width=Inches(3))
ppt_tieles = ""
for files in list_files:
ppt_tieles = ppt_tieles + str(files[0]) + "r"
document.add_paragraph(ppt_tieles)
# for files in list_files:
# try:
# document.add_paragraph(files[0])
# document.add_picture(files[1], width=Inches(3))
# except Exception as e:
# pass
document.add_paragraph("最后送大家一首诗:")
paragraph = document.add_paragraph() # 单独控制
paragraph.add_run("山高路远坑深,r")
paragraph.add_run("大军纵横驰奔,r")
paragraph.add_run("谁敢横刀立马？r")
paragraph.add_run("惟有点赞加关注大军。r")
paragraph.bold = True # 字体加粗
file_full_path=self.file_path+os.sep+word_title+".docx"
document.save(file_full_path)
except Exception as e:
print("Create Word Fail reason:" + str(e))
def copy_file(self,target_path):
print("copy files")
import os
import shutil
src_apk_file_path="薅羊毛专业版.apk"
dst_apk_file_path=target_path+os.sep+"薅羊毛专业版.apk"
#shutil.copyfile(src_apk_file_path, dst_apk_file_path) # 移动文件
src_pdf_file_path = "薅羊毛专业版.pdf"
dst_pdf_file_path = target_path + os.sep + "薅羊毛专业版.pdf"
#shutil.copyfile(src_pdf_file_path, dst_pdf_file_path) # 移动文件
src_pdf_file_path = "亚丁号.url"
dst_pdf_file_path = self.file_path + os.sep + "亚丁号.url"
shutil.copyfile(src_pdf_file_path, dst_pdf_file_path) # 移动文件
src_doc_file_path = "readme.docx"
dst_doc_file_path = self.file_path + os.sep + "readme.docx"
shutil.copyfile(src_doc_file_path, dst_doc_file_path) # 移动文件
pass
def gen_passandtxt(self,file_count,word_title, list_files):
print("Create PassWord and Pass.txt")
message=SpriderTools.gen_password()
password = "".join(message)
content=""
content = content + "n分享"+str(file_count)+"个"+word_title+"，总有一款适合您"
content = content + "nr"
content=content+"n都到这里了您就支持一下呗！谢谢老铁~~"
content=content+"nr"
content = content + "nr"
content = content + "nr"
for files in list_files:
content = content+str(files[0])+ "n"
content=content+"n文件我就不一一列举了,送老铁一首打油诗"
content=content+"n学习知识费力气，"
content=content+"n收集整理更不易。"
content=content+"n知识付费甚欢喜，"
content=content+"n为咱码农谋福利。"
content=content+"nr"
content=content+"nr"
content=content+"n感谢您的支持"
content=content+"nr"
content=content+"n-------------------------------------------华丽分割线-------------------------------------------------------"
content=content+"n友情提醒解压密码："+password+""
full_path=self.file_path+os.sep+""+str(file_count)+"sell_pass.txt"
with open(full_path, 'a', encoding='utf-8') as f:
f.write(content)
if __name__ == "__main__":
HuaJunCode().sprider("Java")
pass
Druid v1.2.15
OpenJDK Java开发环境 v21.5
Diboot轻代码开发平台 v2.8.0
blockj 基础区块链（联盟链）项目 v1.2
feilong开发工具库 v3.3.9
JGroups群组通讯工具包 v5.2.11
dp-BOOT 权限管理系统 v1.0
魔金多商户商城 v1.0
RunJS 代码编辑分享平台 v1.0
torna接口文档解决方案 v1.19.4
code-gen代码生成工具 v1.6.1
dynamic datasource 多数据源启动器 v3.6.0
mica 微服务开发工具 v3.0.1
fastcms建站系统 v0.0.9
Apache Maven项目构建工具 v3.8.7
HertzBeat 赫兹跳动 v1.2.3
Jpom项目监控软件 v2.10.6
kkFileView在线预览 v4.1.0
SMQTTX v2.0.6
SMQTTX v1.1.6
wenku 类似百度文库的实例 v1.0
ofdrw读写库 v1.20.2
XXL-API 易用的API管理平台 v1.1.1
MCMS铭飞cms建站系统 v5.2.11
jbone微服务解决方案 v1.0
Jenkins持续集成引擎 v2.384
DataGear数据可视化分析平台 v4.3.1
nginx网页配置工具 v3.4.6
rebuild库存生产管理系统 v3.1.4
mica 微服务开发工具 v2.7.6
ofcms内容管理系统 v1.1.4
JimuReport 积木报表 v1.5.4
Halo 开源建站工具 v2.0.2
MxsDoc文件管理系统 v2.02.37
小象用户行为分析平台 v1.0
Logstash日志管理系统 v8.5.3
Logstash日志管理系统 v7.17.8
Presto大数据查询引擎 v0.278.3
Smart Kettle v1.0
Spring Framework v6.0.3
野火IM服务软件 v0.99
ElasticSearch分布式搜索引擎 v8.5.3
ElasticSearch分布式搜索引擎 v7.17.8
ImageCombiner图片合成工具 v2.4.1
wangmarket网市场云建站系统 v5.7
Hbase分布式数据库 v2.5.2
Jeepay开源支付系统 v1.16.0
MicroCommunity v1.3.1
LarkMidTable v1.0
DataSphereStudio一站式数据应用开发管理门户 v1.1.1
zyplayer-doc在线文档工具 v1.1.1
DataEase数据可视化分析工具 v1.17.0
ActiveMQ消息服务器 v5.17.3
smart-doc接口文档生成工具 v2.6.2
AJ-Report可视化报表工具 v0.9.9
wps-view-java wps在线编辑 v1.0
狸云个人支付接口示列demo源码SDK v3.1
JPress博客系统 v5.0.7
Novel后台管理系统 v1.8.1
smart-license授权管理软件 v2.0
Java论坛系统巡云轻论坛 v5.8
maku-generator低代码生成器 v2.1.0
lanproxy内网穿透工具 v0.1
dbsyncer数据同步中间件 v1.2.2 RC
领课在线教育系统(roncoo-education) v11.0.0
思通舆情 v1.0.6
EDEN-MACE分销管理系统 v1.6.0
Openfire即时消息传输平台 v4.7.4 源码包
Spring Framework v5.3.24
swagger v2.2.7
swagger框架 v1.6.9
SimpleDocker v0.0.7.1
smart-web2 OA系统 v1.3.1
Apache Kylin分析型数据仓库 v4.0.2 正式版
Arthas开源的Java诊断工具 v3.6.7
HeartBeat心跳检测应用服务器 v2.0.1
FEBS Cloud微服务权限系统 v1.0
Hutool工具包 v5.8.10
DolphinScheduler任务调度系统 v3.1.1
PLOGS工作日报管理 v1.0
lamp-cloud微服务脚手架 v3.8.1
WDA文件在线预览系统 v1.2.3
WSCH鉴权内容检索系统 v1.0
x-easypdf v2.11.0
YayCrawler分布式爬虫系统 v1.0
wisdom-education智能教育平台 v1.0.4
DataBand(数据帮) v1.0
lilishop电商商城系统 v4.2.5
GarbageSort垃圾识别工具箱 v1.0
OpenJDK Java开发环境 v20.24
XBoot前后端分离快速开发平台 v3.3.4
EasyMedia v1.3.0
VisualVM程序性能分析工具 v2.1.5
easyopen v1.16.20
Alluxio分布式存储系统 v2.9.0
Gerrit代码审查工具 v3.7.0
Gerrit代码审查工具 v3.6.3
Gerrit代码审查工具 v3.5.4
cloudtalk即时通讯系统 v4.0.1
hxyFrame后台管理系统 v1.0
Spring-websocket v1.0
Hbase分布式数据库 v2.4.15
renren-security轻量级权限管理系统 v5.2.0
ApiBoot v2.3.8
weiit-saas开源电商SaaS系统 v1.0
clouddo后台管理系统 v1.0
Apache ShardingSphere分布式数据库中间层生态圈 v5.2.1
Schedulis金融级工作流调度方案 v0.7.1
ElasticJob分布式调度解决方案 v3.0.2
O2OA开源OA系统 v7.2.7
SOP开放平台 v4.4.0
import os
# 查找指定文件夹下所有相同名称的文件
def search_file(dirPath, fileName):
dirs = os.listdir(dirPath) # 查找该层文件夹下所有的文件及文件夹，返回列表
for currentFile in dirs: # 遍历列表
absPath = dirPath + '/' + currentFile
if os.path.isdir(absPath): # 如果是目录则递归，继续查找该目录下的文件
search_file(absPath, fileName)
elif currentFile == fileName:
print(absPath) # 文件存在，则打印该文件的绝对路径
os.remove(absPath)
if __name__ == "__main__":
dirPath = 'D:FreedomSpriderChinaZCodeJava\111个Java源码Java源码'
#dirPath = 'D:\Freedom\Sprider\ChinaZ\Code\NET\99个NET源码\NET源码' D:FreedomSpriderChinaZCodePHP126个PHP源码PHP源码
search_file(dirPath, "源码之家说明.txt")
search_file(dirPath, "服务器常用软件.html")
search_file(dirPath, "访问脚本之家.html")
fileName4 = '服务器软件.url'
fileName3 = '脚本之家.url'
fileName2 = 'Readme-说明.htm'
fileName5 = 'jb51.net.txt'
fileName1 = '说明.htm'
search_file(dirPath, fileName1)
search_file(dirPath, fileName2)
search_file(dirPath, fileName3)
search_file(dirPath, fileName4)
search_file(dirPath, fileName5)
最后送大家一首诗:
山高路远坑深,
大军纵横驰奔,
谁敢横刀立马？
惟有点赞加关注大军。
源码下载链接：https://pan.baidu.com/s/1fycjYHA7y6r-IH8H7v5XKA?pwd=ag8l
提取码：ag8l
本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
THE END
二维码