namespace.rb 8,4 КБ
Newer Older
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
1
class Namespace < ActiveRecord::Base
Stan Hu's avatar
Stan Hu включено в состав коммита
2
3
  acts_as_paranoid

Nick Thomas's avatar
Nick Thomas включено в состав коммита
4
  include CacheMarkdownField
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
5
  include Sortable
6
  include Gitlab::ShellAdapter
7
  include Gitlab::CurrentSettings
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
8
  include Routable
9

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
10
11
12
13
14
  # Prevent users from creating unreasonably deep level of nesting.
  # The number 20 was taken based on maximum nesting level of
  # Android repo (15) + some extra backup.
  NUMBER_OF_ANCESTORS_ALLOWED = 20

Nick Thomas's avatar
Nick Thomas включено в состав коммита
15
16
  cache_markdown_field :description, pipeline: :description

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
17
  has_many :projects, dependent: :destroy
Markus Koller's avatar
Markus Koller включено в состав коммита
18
  has_many :project_statistics
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
19
20
  belongs_to :owner, class_name: "User"

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
21
22
  belongs_to :parent, class_name: "Namespace"
  has_many :children, class_name: "Namespace", foreign_key: :parent_id
Z.J. van de Weg's avatar
Z.J. van de Weg включено в состав коммита
23
  has_one :chat_team, dependent: :destroy
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
24

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
25
  validates :owner, presence: true, unless: ->(n) { n.type == "Group" }
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
26
  validates :name,
Robert Speicher's avatar
Robert Speicher включено в состав коммита
27
    presence: true,
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
28
    uniqueness: { scope: :parent_id },
Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
29
30
    length: { maximum: 255 },
    namespace_name: true
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
31

Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
32
  validates :description, length: { maximum: 255 }
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
33
  validates :path,
Robert Speicher's avatar
Robert Speicher включено в состав коммита
34
    presence: true,
Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
35
    length: { maximum: 255 },
Bob Van Landuyt's avatar
Bob Van Landuyt включено в состав коммита
36
    dynamic_path: true
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
37

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
38
39
  validate :nesting_level_allowed

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
40
41
  delegate :name, to: :owner, allow_nil: true, prefix: true

42
  after_update :move_dir, if: :path_changed?
Ahmad Sherif's avatar
Ahmad Sherif включено в состав коммита
43
  after_commit :refresh_access_of_projects_invited_groups, on: :update, if: -> { previous_changes.key?('share_with_group_lock') }
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
44
45

  # Save the storage paths before the projects are destroyed to use them on after destroy
Stan Hu's avatar
Stan Hu включено в состав коммита
46
  before_destroy(prepend: true) { prepare_for_destroy }
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
47
  after_destroy :rm_dir
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
48

Andrew8xx8's avatar
Andrew8xx8 включено в состав коммита
49
  scope :root, -> { where('type IS NULL') }
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
50

Markus Koller's avatar
Markus Koller включено в состав коммита
51
52
53
54
55
56
57
58
  scope :with_statistics, -> do
    joins('LEFT JOIN project_statistics ps ON ps.namespace_id = namespaces.id')
      .group('namespaces.id')
      .select(
        'namespaces.*',
        'COALESCE(SUM(ps.storage_size), 0) AS storage_size',
        'COALESCE(SUM(ps.repository_size), 0) AS repository_size',
        'COALESCE(SUM(ps.lfs_objects_size), 0) AS lfs_objects_size',
Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
59
        'COALESCE(SUM(ps.build_artifacts_size), 0) AS build_artifacts_size'
Markus Koller's avatar
Markus Koller включено в состав коммита
60
61
62
      )
  end

Douwe Maan's avatar
Douwe Maan включено в состав коммита
63
64
  class << self
    def by_path(path)
Gabriel Mazetto's avatar
Gabriel Mazetto включено в состав коммита
65
      find_by('lower(path) = :value', value: path.downcase)
Douwe Maan's avatar
Douwe Maan включено в состав коммита
66
67
68
69
70
71
72
    end

    # Case insensetive search for namespace by path or name
    def find_by_path_or_name(path)
      find_by("lower(path) = :path OR lower(name) = :path", path: path.downcase)
    end

Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
73
74
75
76
77
78
79
    # Searches for namespaces matching the given query.
    #
    # This method uses ILIKE on PostgreSQL and LIKE on MySQL.
    #
    # query - The search query as a String
    #
    # Returns an ActiveRecord::Relation
Douwe Maan's avatar
Douwe Maan включено в состав коммита
80
    def search(query)
Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
81
82
83
84
      t = arel_table
      pattern = "%#{query}%"

      where(t[:name].matches(pattern).or(t[:path].matches(pattern)))
Douwe Maan's avatar
Douwe Maan включено в состав коммита
85
86
87
    end

    def clean_path(path)
Douwe Maan's avatar
Douwe Maan включено в состав коммита
88
      path = path.dup
Douwe Maan's avatar
Douwe Maan включено в состав коммита
89
      # Get the email username by removing everything after an `@` sign.
Will Starms's avatar
Will Starms включено в состав коммита
90
      path.gsub!(/@.*\z/,                "")
Douwe Maan's avatar
Douwe Maan включено в состав коммита
91
      # Remove everything that's not in the list of allowed characters.
Will Starms's avatar
Will Starms включено в состав коммита
92
93
94
95
96
      path.gsub!(/[^a-zA-Z0-9_\-\.]/,    "")
      # Remove trailing violations ('.atom', '.git', or '.')
      path.gsub!(/(\.atom|\.git|\.)*\z/, "")
      # Remove leading violations ('-')
      path.gsub!(/\A\-+/,                "")
Douwe Maan's avatar
Douwe Maan включено в состав коммита
97

Douwe Maan's avatar
Douwe Maan включено в состав коммита
98
      # Users with the great usernames of "." or ".." would end up with a blank username.
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
99
      # Work around that by setting their username to "blank", followed by a counter.
Douwe Maan's avatar
Douwe Maan включено в состав коммита
100
101
      path = "blank" if path.blank?

Timothy Andrew's avatar
Timothy Andrew включено в состав коммита
102
      uniquify = Uniquify.new
Timothy Andrew's avatar
Timothy Andrew включено в состав коммита
103
      uniquify.string(path) { |s| Namespace.find_by_path_or_name(s) }
Douwe Maan's avatar
Douwe Maan включено в состав коммита
104
    end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
105
106
  end

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
107
  def to_param
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
108
    full_path
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
109
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
110
111
112
113

  def human_name
    owner_name
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
114

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
115
  def move_dir
Kamil Trzcinski's avatar
Kamil Trzcinski включено в состав коммита
116
    if any_project_has_container_registry_tags?
James Lopez's avatar
James Lopez включено в состав коммита
117
      raise Gitlab::UpdatePathError.new('Namespace cannot be moved, because at least one project has tags in container registry')
Kamil Trzcinski's avatar
Kamil Trzcinski включено в состав коммита
118
119
    end

Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
120
121
122
    # Move the namespace directory in all storages paths used by member projects
    repository_storage_paths.each do |repository_storage_path|
      # Ensure old directory exists before moving it
Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
123
      gitlab_shell.add_namespace(repository_storage_path, full_path_was)
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
124

Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
125
126
      unless gitlab_shell.mv_namespace(repository_storage_path, full_path_was, full_path)
        Rails.logger.error "Exception moving path #{repository_storage_path} from #{full_path_was} to #{full_path}"
Chris Wilson's avatar
Chris Wilson включено в состав коммита
127

Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
128
129
        # if we cannot move namespace directory we should rollback
        # db changes in order to prevent out of sync between db and fs
James Lopez's avatar
James Lopez включено в состав коммита
130
        raise Gitlab::UpdatePathError.new('namespace directory cannot be moved')
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
131
      end
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
132
133
    end

Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
134
135
    Gitlab::UploadsTransfer.new.rename_namespace(full_path_was, full_path)
    Gitlab::PagesTransfer.new.rename_namespace(full_path_was, full_path)
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
136

Robert Speicher's avatar
Robert Speicher включено в состав коммита
137
138
    remove_exports!

Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
139
140
141
142
143
144
145
146
147
148
    # If repositories moved successfully we need to
    # send update instructions to users.
    # However we cannot allow rollback since we moved namespace dir
    # So we basically we mute exceptions in next actions
    begin
      send_update_instructions
    rescue
      # Returning false does not rollback after_* transaction but gives
      # us information about failing some of tasks
      false
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
149
    end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
150
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
151

Kamil Trzcinski's avatar
Kamil Trzcinski включено в состав коммита
152
  def any_project_has_container_registry_tags?
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
153
    all_projects.any?(&:has_container_registry_tags?)
Kamil Trzcinski's avatar
Kamil Trzcinski включено в состав коммита
154
155
  end

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
156
  def send_update_instructions
Valery Sizov's avatar
Valery Sizov включено в состав коммита
157
    projects.each do |project|
Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
158
      project.send_move_instructions("#{full_path_was}/#{project.path}")
Valery Sizov's avatar
Valery Sizov включено в состав коммита
159
    end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
160
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
161
162
163
164

  def kind
    type == 'Group' ? 'group' : 'user'
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
165
166

  def find_fork_of(project)
Gabriel Mazetto's avatar
Gabriel Mazetto включено в состав коммита
167
    projects.joins(:forked_project_link).find_by('forked_project_links.forked_from_project_id = ?', project.id)
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
168
  end
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
169

Patricio Cano's avatar
Patricio Cano включено в состав коммита
170
171
172
173
174
  def lfs_enabled?
    # User namespace will always default to the global setting
    Gitlab.config.lfs.enabled
  end

175
176
177
178
  def shared_runners_enabled?
    projects.with_shared_runners.any?
  end

Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
179
  # Returns all the ancestors of the current namespaces.
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
180
  def ancestors
Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
181
    return self.class.none if !Group.supports_nested_groups? || !parent_id
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
182

Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
183
184
185
    Gitlab::GroupHierarchy.
      new(self.class.where(id: parent_id)).
      base_and_ancestors
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
186
187
  end

Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
188
  # Returns all the descendants of the current namespace.
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
189
  def descendants
Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
190
191
192
193
194
    return self.class.none unless Group.supports_nested_groups?

    Gitlab::GroupHierarchy.
      new(self.class.where(parent_id: id)).
      base_and_descendants
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
195
196
  end

Yorick Peterse's avatar
Yorick Peterse включено в состав коммита
197
198
199
200
  def user_ids_for_project_authorizations
    [owner_id]
  end

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
201
202
203
204
  def parent_changed?
    parent_id_changed?
  end

Stan Hu's avatar
Stan Hu включено в состав коммита
205
206
207
208
209
210
211
212
  def prepare_for_destroy
    old_repository_storage_paths
  end

  def old_repository_storage_paths
    @old_repository_storage_paths ||= repository_storage_paths
  end

Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
213
214
215
216
217
218
  # Includes projects from this namespace and projects from all subgroups
  # that belongs to this namespace
  def all_projects
    Project.inside_path(full_path)
  end

Bob Van Landuyt's avatar
Bob Van Landuyt включено в состав коммита
219
220
221
222
  def has_parent?
    parent.present?
  end

Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
223
224
225
226
227
228
229
  private

  def repository_storage_paths
    # We need to get the storage paths for all the projects, even the ones that are
    # pending delete. Unscoping also get rids of the default order, which causes
    # problems with SELECT DISTINCT.
    Project.unscoped do
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
230
      all_projects.select('distinct(repository_storage)').to_a.map(&:repository_storage_path)
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
231
232
233
234
235
    end
  end

  def rm_dir
    # Remove the namespace directory in all storages paths used by member projects
Stan Hu's avatar
Stan Hu включено в состав коммита
236
    old_repository_storage_paths.each do |repository_storage_path|
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
237
238
      # Move namespace directory into trash.
      # We will remove it later async
Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
239
      new_path = "#{full_path}+#{id}+deleted"
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
240

Rémy Coutable's avatar
Rémy Coutable включено в состав коммита
241
242
      if gitlab_shell.mv_namespace(repository_storage_path, full_path, new_path)
        message = "Namespace directory \"#{full_path}\" moved to \"#{new_path}\""
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
243
244
245
246
247
248
249
        Gitlab::AppLogger.info message

        # Remove namespace directroy async with delay so
        # GitLab has time to remove all projects first
        GitlabShellWorker.perform_in(5.minutes, :rm_namespace, repository_storage_path, new_path)
      end
    end
Robert Speicher's avatar
Robert Speicher включено в состав коммита
250
251

    remove_exports!
Alejandro Rodríguez's avatar
Alejandro Rodríguez включено в состав коммита
252
  end
Ahmad Sherif's avatar
Ahmad Sherif включено в состав коммита
253
254
255
256
257
258
259

  def refresh_access_of_projects_invited_groups
    Group.
      joins(project_group_links: :project).
      where(projects: { namespace_id: id }).
      find_each(&:refresh_members_authorized_projects)
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
260

Robert Speicher's avatar
Robert Speicher включено в состав коммита
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
  def remove_exports!
    Gitlab::Popen.popen(%W(find #{export_path} -not -path #{export_path} -delete))
  end

  def export_path
    File.join(Gitlab::ImportExport.storage_path, full_path_was)
  end

  def full_path_was
    if parent
      parent.full_path + '/' + path_was
    else
      path_was
    end
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
276
277
278
279
280
281

  def nesting_level_allowed
    if ancestors.count > Group::NUMBER_OF_ANCESTORS_ALLOWED
      errors.add(:parent_id, "has too deep level of nesting")
    end
  end
Dmitriy Zaporozhets's avatar
Dmitriy Zaporozhets включено в состав коммита
282
end